Simulating video conferences in mixed reality : developing a prototype for research purposes
Creators: name: Gieshoff, Anne Catherine
Publisher: name: ZHAW Zürcher Hochschule für Angewandte Wissenschaften
Year: 2025
Subjects: Videokonferenz
Video conference
Mixed reality
Application prototype
Simulation
006: Spezielle Computerverfahren

description: Many meetings and events take place online via video conferencing platforms. Video conferencing platforms, however, present a major drawback: they condense the event to a single screen, possibly affecting the cognitive ergonomics of the event participants. A possible solution to this problem is mixed reality technology, which provides an entire room, instead of a single screen, as ‘screen space’. To investigate the affordances of video conferences in a mixed reality format, a prototype application for the Hololens2 was developed. Different functionalities were implemented to simulate an academic online conference with separate holograms for the speaker video, the slide show, other conference attendees and the conference program. The position, size and inclination of each hologram could be adjusted to the user’s needs, started and stopped using gesture commands. The app was tested with nine participants. Results from observations and post-task interviews with the participants suggested that the minimal requirements were satisfied, but four issues remained: 1) unreadable slides due to low image resolution, 2) frustration caused by the desire to align the holograms and the imprecision of the gesture commands, 3) need for increased communication and clarification due to the lack of access to the participant’s visual experience, and 4) loss of data due to difficulties in handling Hololens2’s webcam application. The issues were addressed in different ways, including reproducing the slides in better quality, refining the instructions for participants, as well as crafting a paper mock-up to secure the data collection.
description: Viele Sitzungen und Veranstaltungen finden online über Videokonferenzplattformen statt. Diese haben jedoch einen großen Nachteil: die Veranstaltungen werden auf einen einzigen Bildschirm ‘zusammengedampft’, was zu einer Verschlechterung der kognitiven Ergonomie führen kann. Eine mögliche Lösung für dieses Problem ist Mixed-Reality-Technologie, mit der der ganze Raum statt eines einzelnen Bildschirms als „Bildschirmfläche“ genutzt werden kann. Um das Potenzial von Mixed Reality for Videokonferenzen zu untersuchen, wurde ein App-Prototyp für die Hololens2 entwickelt. Die App beinhaltete verschiedene Funktionen und vier Hologramme mit Sprechervideo, Präsentationsfolien, anderen Konferenzteilnehmenden und dem Konferenzprogramm, um eine akademische Online-Konferenz zu simulieren. So konnte die Simulation gestartet und gestoppt werden und die Hologramme in Position, Größe und Rotation anhand von Gesten an die Bedürfnisse der Nutzenden angepasst werden. Die App wurde mit neun Teilnehmenden getestet. Ergebnisse aus der Beobachtung und den Interviews mit den Teilnehmenden deuteten darauf hin, dass die Mindestanforderungen zwar erfüllt wurden, aber in vier Bereichen Nachbesserungen notwendig waren: 1) die Folien waren teils aufgrund der geringen Bildauflösung schwer lesbar, 2) die Ungenauigkeit der Gestenbefehle erschwerte eine gerade Ausrichtung der Hologramme, 3) es bestand erhöhter Kommunikations- und Klärungsbedarf, da die Hologramme für die Versuchsleitung nicht sichtbar waren, und 4) es kam zu Datenverlust aufgrund von Schwierigkeiten bei der Bedienung der Webcam-Anwendung der Hololens2. Die Probleme wurden auf unterschiedliche Weise angegangen, u. a. durch Folien in besserer Qualität, klarere Instruktionen und ein Mock-up aus Papier zur Vermeidung von Datenverlust.