Research Highlight: Creativity in VR
02 Mar 2020
Paper
Abstract
Virtual Reality (VR) has always been considered a promising medium to support designers with alternative work environments. Still, graphical user interfaces are prone to induce attention shifts between the user interface and the manipulated target objects which hampers the creative process. This work proposes a speech-and-gesture-based interaction paradigm for creative tasks in VR. We developed a multimodal toolbox (MTB) for VR-based design applications and compared it to a typical unimodal menu-based toolbox (UTB). The comparison uses a design-oriented use-case and measures flow, usability, and presence as relevant characteristics for a VR-based design process. The multimodal approach (1) led to a lower perceived task duration and a higher reported feeling of flow. It (2) provided a higher intuitive use and a lower mental workload while not being slower than an UTB. Finally, it (3) generated a higher feeling of presence. Overall, our results confirm significant advantages of the proposed multimodal interaction paradigm and the developed MTB for important characteristics of design processes in VR.
Links
- XR-Hub Würzburg - Publication Overview
- Related Research Projects @ Würzburg
In deutscher Sprache
Kurztext
Dieser ICMI’19 Best Paper Runner Up Artikel präsentiert ein sprach- und gestenbasiertes Interkationsparadigma für kreative Designaufgaben in Virtueller Realität. Der multimodale Ansatz zeigte mehrere Vorteile, darunter bessere wahrgenommene Nutzbarkeit (Usability), ein erhöhtes Gefühl eines mentalen Zustandes völliger Vertiefung und restlosen Aufgehens in einer Tätigkeit (Flow) und ein höheres Gefühl der Präsenz in VR (Presence).
Zusammenfassung
Virtuelle Realität (VR) gilt seit jeher als ein vielversprechendes Medium, um Designer mit alternativen Arbeitsumgebungen zu unterstützen. Dennoch neigen grafische Benutzeroberflächen dazu, die visuelle Aufmerksamkeit zwischen der Benutzeroberfläche und den manipulierten Zielobjekten zu verteilen, was den kreativen Prozess behindern kann. Dieser Artikel schlägt ein auf Sprache und Gesten basierendes Interaktionsparadigma für kreative Designaufgaben in VR vor. Wir entwickelten eine multimodale Toolbox (MTB) für VR-basierte Designanwendungen und verglichen sie mit einer typischen unimodalen menübasierten Toolbox (UTB). Der Vergleich verwendet einen design-orientierten Use-Case und misst Flow, Usability und das Präsenzgefühl als relevante Merkmale für einen VR-basierten Designprozess. Der multimodale Ansatz (1) führte zu einer geringeren wahrgenommenen Aufgabendauer und einem höheren berichteten Gefühl des Flows. Der Ansatz (2) bietet eine höhere intuitive Nutzung und eine geringere mentale Arbeitsbelastung, wobei er nicht langsamer als eine UTB war. Ebenfalls erzeugte der Ansatz (3) ein höheres Gefühl der Präsenz. Insgesamt bestätigen unsere Ergebnisse signifikante Vorteile des vorgeschlagenen multimodalen Interaktionsparadigmas und des entwickelten MTB für wichtige Merkmale von Designprozessen in der VR.
