VAR² 2019 – Realität erweitern
5. Fachkonferenz zu VR/AR-Technologien in
Anwendung und Forschung an der Professur
Werkzeugmaschinenkonstruktion
und Umformtechnik

Tagungsband
Technische Universität Chemnitz

Herausgeber:Prof. Dr.-Ing. Matthias Putz
Dr.-Ing. Philipp KlimantFranziska Klimant

2

ImpressumISBN
978-3-00-064420-7
Herausgeber
Prof. Matthias Putz
Dr. Philipp KlimantFranziska Klimant
Redaktion
Eckhart Wittstock
Dr. Philipp Klimant
Layout/Gestaltung
Karin Eßbach
Franziska Klimant© TU Chemnitz 2019

Impressum

3

Inhaltsverzeichnis
Klimant, P.; Klimant, F.; Allmacher, C.; Putz, M.
Trends der virtuellen und erweiterten Realität mit dem Fokus auf virtueller
Inbetriebnahme ......................................................................................................... 7
Fell, T.
Blended Reality – Virtual-/Augmented Reality (VR/AR) im Corporate Learning ..... 29
Hirt, C.; Spahni, M.; Kompis, Y.; Jetter, D.; Kunz, A.
Alles rund um die Maschine - Begehbare virtuelle Schulung an
Werkzeugmaschinen .............................................................................................. 43
Brade, J.; Kögel, A.
Presence in Virtual Reality – der Schlüssel zu Akzeptanz undÜbertragbarkeit?! .................................................................................................... 59
Ritter, M.; Vodel, M.; Roschke, C.; Vogel, R.; Heinzig, M.
Explorative Studie zur computergestützten Analyse im Bereich
Fahrsimulationen .................................................................................................... 73

Lernen, Training und Therapie mit virtuellen Techniken
Dudczig, M.; Winkler-Dudczig, Chr.
VR und 360° Medien als interaktive Schulungsmittel in der Automobillogistik ........ 87
Sitter, R.
Lernen & Extended Reality am Beispiel Neotrie VR ............................................... 95
Jahn, G.; Klimant, P.
Mensch-Technik-Interaktion in hybriden Gesellschaften ....................................... 109
Hofmann, J.
Augmented Reality Einsatz in der praktischen Ausbildung (ARES):
Learnings und Ausblick ......................................................................................... 119
Linde, M.; Kiesel, M.; Beisheim, B.
Nutzung von Mixed Reality Szenarios für Training und Service............................ 127

4

Wahrnehmung und Interaktion in virtuellen Welten
Minow, A.; Stüring, S.; Böckelmann, I.
VR-Simulation von Assistenzfunktionen in der manuellen Montage –ein Ansatz für arbeitsphysiologische Vergleiche nutzerbezogener
Aspekte im Entwurfsprozess ................................................................................. 139
Dammann, M.; Steger, W.; Stelzer, R.; Bertelmann, K.
Aspekte der Interaktionsgestaltung in mobilen AR/VR-Anwendungen
im Engineering ...................................................................................................... 151
Zachmann, G.
Effects of Presence and Immersion in VR on Emotions and Behavioral
Change ................................................................................................................. 163
Terhoeven, J.; Wischniewski, S.
Arbeitswissenschaftliche Fragestellungen beim Einsatz von Datenbrillen ............ 177
Rothe, S.
Design Space für Selektionsmethoden in Virtual Reality Anwendungen .............. 189
Deckers, J.; Fritz, S.; Jaenicke, M.; Ovtcharova, J.
Neue Interaktions-Paradigmen für den einfachen Zugang zu
wissenschaftlichen Erkenntnissen durch Virtual Reality ....................................... 203

Anwendungen in der Produktionstechnik
Trezl, J.; Bernhagen, M.; Dittrich, F.
Partizipative Gestaltung von Menü-strukturen in der Virtual Reality am Beispiel
einer Applikation zur Prototypenevaluation ........................................................... 217
Eggert, M.; Flügge, W.
Digitale Assistenz bei der Wartung von Offshore-Windparks durch ARTechnologie .......................................................................................................... 223
Nguyen, T.B.M.; Marczinzik, C.
User Experience / User Interface-Design und Best Practices für VR/ARAnwendungen ....................................................................................................... 233

5Herold, R.; Kämpf, M.
Datenbrille mit Indoor-Navigation zur AR-gestützten Kommissionierung .............. 249
Häfner, U.
Reproduzierbare Analyse von VR-Sessions ......................................................... 265
Bender, J. ; Deckers, J.; Kirsch, L.; Ovtcharova, J.
VR-gestütztes Closed-Loop-Engineering für schnelle Rekonfigurationsprozesse im
Anlagenbau ........................................................................................................... 273

7

Trends der virtuellen und erweiterten
Realität mit dem Fokus auf virtueller
Inbetriebnahme
Klimant, P.1; Klimant, F.1; Allmacher, C.1; Putz, M.1
1

TU Chemnitz, Professur Werkzeugmaschinenkonstruktion und Umformtechnik

Abstract
Die inzwischen fünfte VAR²-Konferenz VAR² 2019 – Realität erweitern gibt einenÜberblick über aktuelle Trends in der Forschung sowie den industriellen Einsatz
Virtueller Techniken. In zwei Plenarsessions sowie den Sessions zu Lernen, Training und Therapie mit virtuellen Techniken, Wahrnehmung und Interaktion in virtuellen Welten sowie Anwendungen in der Produktionstechnik, stellen renommierte
Forscher neueste Entwicklungen und Unternehmensvertreter industrielle VR/ARAnwendungen vor. In der Abteilung Prozessinformatik und Virtuelle Produktentwicklung an der Professur Werkzeugmaschinenkonstruktion und Umformtechnik befassen wir uns seit mehr als 15 Jahren mit Virtuellen Technik. Dieses Paper gibt einenkurzen Überblick über aktuelle Forschungstrends unserer Abteilung und zum anderen einen detaillierten Einblick in Forschungsergebnisse auf dem Gebiet der Virtuellen Inbetriebnahme.

1

Einleitung

Aktuelle Trendthemen die die Forschung auf dem Gebiet der Virtuellen Techniken
vorantreiben sind nach wie vor die zunehmende Digitalisierung mit den Herausforderungen der Datengewinnung, -verarbeitung und -aufbereitung bzw. -nutzung.
Ebenso werden die Virtual- und Augmented-Reality-(VR/AR)-Hardwaresysteme
immer weiter entwickelt und mit neuen Funktionen ausgestattet.
Dennoch gibt es nach wie vor Hemmnisse Virtuelle Techniken einzusetzen. In kleinund mittelständigen Unternehmen sind sicherlich die mit der Einführung neuer
Technologien verbundenen Investitionskosten sowie der anfänglich hohe personelle
Aufwand (bspw. zur Modellaufbereitung, Datenbereitstellung, etc.) wesentliche
Hinderungsgründe. Aber auch persönliche Präferenzen und Bedenken spielen eine
große Rolle. Das reicht von unterschiedlichen Vorstellungen über geeignete Visualisierungs- und Interaktionsmethoden, über eine unterschiedliche Wahrnehmung

8

Klimant, P.; Klimant, F.; Allmacher, C.; Putz, M.

der virtuellen Inhalte bis hin zu Ressentiments gegenüber Virtuellen Techniken als
Assistenzsysteme im Arbeitsprozess (Überwachung, Bevormundung, um zwei
Befürchtungen zu nennen).
Dem trägt auch unsere Forschung Rechnung. Neben den klassischen Themen wie
Maschinensimulation und Kollisionsvermeidung bei Werkzeugmaschinen, der Weiterentwicklung von AR- und VR-Anwendungen sowie dem Virtuellen Zwilling rückt
mehr und mehr der Mensch, als Nutzer der Virtuellen Techniken in das Zentrum
und den Fokus der Entwicklungen. Dabei spielen Themen wie Presence (das Gefühl in der virtuellen Welt zu sein) und individuelle Wahrnehmung von virtuellen
Welten sowie der Einfluss verschiedener Visualisierungs- und Interaktionsmethoden auf diese, aber auch Fragen der Akzeptanz eine wesentliche Rolle in der Forschung (siehe hierzu auch [1])2

Aktuelle Forschungstrends

Beispielhaft für die vielfältigen Forschungsprojekte1 unserer Abteilung Prozessinformatik und Virtuelle Produktentwicklung stehen die nachfolgend beschriebenen
Forschungsbereiche.

2.1 VR-Trainings- und AR-Assistenzsysteme
Virtual-Reality-Trainingssysteme
Virtual Reality (VR) versucht ein möglichst realistisches Abbild der Realität zu generieren. Je nach verwendetem VR-System sind die Nutzer mehr oder weniger stark
von der sie umgebenden Realität abgeschottet (entweder allein oder als Gruppe
von Nutzern). Vor allem bei der Nutzung von Head Mounted Displays findet dabei
fast ausschließlich eine Interaktion innerhalb der virtuellen Umgebung statt. Bei
projektiven VR-Systemen, wie bspw. einer CAVE, können mehrere Personen
gleichzeitig in der virtuellen Umgebung aber auch untereinander und in beschränktem Maße mit realen Gegenständen interagieren. Auf der anderen Seite bietet die
VR nahezu unerschöpfliche Möglichkeiten der Visualisierung. Unter anderem dieseCharakteristika führen dazu, dass VR neben der Nutzung als Präsentations- undMarketing Instrument immer häufiger als Trainings- und Schulungswerkzeug genutzt wird.
Die Nutzung von VR als Trainings- und Schulungswerkzeug hat dabei mehrere
entscheidende Vorteile. Zum einen können Arbeitsabläufe trainiert werden, wenn
die Arbeitsgegenstände (bspw. eine neu beschaffte Maschine) noch nicht vorhanden sind bzw. im Augenblick anderweitig genutzt werden. Darüber hinaus können
1

Siehe dazu auch: https://www.tu-chemnitz.de/mb/WerkzMasch/lufa/vrcp/#projekteTrends der virtuellen und erweiterten Realität mit dem Fokus auf virtueller Inbetriebnahme

9

Arbeitsabläufe trainiert werden, bei denen Fehler in der Ausführung Gefahren fürLeib und Leben sowie für die Arbeitsmittel selbst beinhalten. Nicht zu vernachlässigen ist zudem der Aspekt der Ressourcenschonung, indem Arbeitsabläufe trainiert
werden können ohne die notwendigen Rohstoffe bzw. Materialien zu verschwenden.
Alle drei genannten Aspekte spielen bei der Ausbildung von Ärzten, hier speziell
Chirurgen eine Rolle. So ist beispielsweise das Einsetzen künstlicher Hüften, mitüber 220.000 eingesetzten künstlichen Hüften, bezogen auf das Jahr 2017, eineder am häufigsten durchgeführten Operationen Deutschlands. Gegenwärtig erfolgt
das Training von Chirurgen für den Einsatz eines künstlichen Hüftgelenkes anhand
von Köperspendern und lebenden Tieren. Neben ethischen Aspekten, stellen die
geringe Verfügbarkeit und der niedrigere Realitätsgrad Einschränkungen bzgl. desTrainingserfolges dar. Nach diesen Trainings erfolgt ein Anlernen der verschiedenen Operationsschritte im realen Operationsalltag, unter der Anleitung erfahrener
Chirurgen. Trotz großer Sorgfalt und Vorsicht kommt es besonders bei diesen angeleiteten OPs zu Fehlern, die teilweise nicht korrigiert werden können. Um das
Training der auszubildenden Chirurgen zu verbessern und den Erfolg von Hüftge2
lenkoperationen zu erhöhen, wurde mit HIPS der weltweit erste Virtual-Realitybasierte (VR) Trainingssimulator mit haptischem Feedback für konventionelle OPs
entwickelt [2,3].
Da haptische VR-OP-Trainingssimulatoren derzeit nur für minimalinvasive und nicht
für konventionelle OPs existieren, gibt es kein vergleichbares Konkurrenzsystem,
mit dem HIPS verglichen werden könnte. Der innovative Kern von HIPS ist die
Verwendung des Leichtbauroboters KUKA iiwa als haptisches Interaktionssystem[4]. Der KUKA iiwa erlaubt es Kräfte von mindestens 140 N zu simulieren, während
bestehende Haptikgeräte bei 42 N ihre Leistungsgrenze erreichen. Erst durch diesen Sprung bei den darstellbaren Kräften ist es überhaupt möglich die operativen
Schritte einer Hüft-OP zu simulieren. Dies geschieht auf der Grundlage eines Echtzeit-Materialmodells, welches den Materialabtrag mit simuliert [5].
Mit HIPS kann realitätsnah, aber gefahrlos und beliebig oft virtuell trainiert werden.
Die angehenden Chirurgen verfügen so vor ihrer ersten realen OP bereits über ein
großes Erfahrungswissen. Auch erfahrene Chirurgen können von diesem Trainingssimulator profitieren, z.B. durch das Trainieren von komplizierten, selten
durchgeführten Eingriffen, bspw. bei anatomischen Besonderheiten des Patienten.
Indem sich Chirurgen bereits mit HIPS auf ihre ersten realen OPs vorbereiten, werden weniger Komplikationen entstehen und das Risiko für den Patienten minimiert.

2

HIPS – HüftImplantat PfannenfräsSimulator war ein Gemeinschaftsprojekt im Rahmen des Kunstgelenk-Netzwerks Endoprothetik mit insgesamt vier Partnern aus Industrie und Forschung welches vom Bundesministerium für Wirtschaft und Energie von 2016 bis 2019 gefördert worden ist.

10

Klimant, P.; Klimant, F.; Allmacher, C.; Putz, M.

HIPS überzeugte auch die Jury des Deutschen Instituts für Virtual Reality (DIVR).
Das Institut verlieh „HIPS“ den DIVR Award 2019 in der Kategorie „best tech“.Die
Jury lobte die hervorragende Qualität, den hohen technologischen Innovationsgrad
und den gesellschaftlichen Einfluss der Virtual-Reality-Simulation.
Der Einsatz von VR zur Schulung von Beschäftigten birgt enorme Potenziale hinsichtlich der Verkürzung des Produktentwicklungsprozesses und damit der Einspa3
rung von Kosten und Zeit. Im BMBF-geförderten Verbundvorhaben VirMont werden diese Potentiale nutzbar gemacht. Es wird ein VR-Anlernsystem entwickelt, dases ermöglicht, Beschäftigte bereits vor dem Start der Produktion für die Montage
anzulernen. Zur Erstellung des virtuellen Trainingsszenarios werden die Daten/
Ergebnisse aus dem, ebenfalls im Vorhaben entwickelten, VR-Planungssystem
genutzt. Das VR-Planungssystem unterstützt die am Produktentwicklungsprozess
beteiligten Bereiche der Entwicklung, der Konstruktion, dem Industrial Engineering(Arbeitsplanung und Ergonomiebewertung) und der Arbeitsvorbereitung. Am virtuellen Modell können dabei Prototypen, geplante Prozesse und Arbeitsplätze erstellt
und vorab getestet und bewertet werden. Ein Ziel des Vorhabens besteht zudem inder Integration klassischer Bewertungsverfahren wie MTM-Analysen in den virtuellen Planungsprozess.
Darüber hinaus findet das im Planungssystem erstellte Szenario auch einen ganz
direkten Weg in den finalen Montagevorgang. Ein Tablet-basiertes AugmentedReality-Assistenzsystem begleitet den Werker und hilft so, unter anderem, Montage- und Produktionsfehler zu vermeiden und Qualität zu steigern.
Augmented-Reality-Assistenzsysteme
Im Gegensatz zur VR-Technologie reichert Augmented Reality (AR) die reale Umgebung, also beispielsweise den eigenen Arbeitsplatz, mit virtuellen Informationenan. Hier befindet sich der Nutzer weiterhin in der realen Umgebung und kann die
virtuellen Informationen zusätzlich nutzen. Deshalb ist AR prädestiniert zur Entwicklung von Assistenzsystemen für verschiedenste industrielle Anwendungsfälle.
4
Im Forschungsprojekt „ServAR“ wird ein AR-System zur Unterstützung der Inbetriebnahme und Instandhaltung von Maschinen entwickelt. Ziele sind die robuste
Einsatzfähigkeit in industriellen Umgebungen, die Verbesserung der manuellen
Tätigkeiten des Menschen und die Einbeziehung der Instandhaltungsplanung als
3

VirMont – Mitarbeiterzentriertes Gestalten, Anlernen und Unterstützen menschlicher Arbeit in derMontage mittels VR- und AR-Technologien ist ein Gemeinschaftsprojekt im Rahmen des Förderprogrammes „Zukunft der Arbeit“ welches vom Bundesministerium für Bildung und Forschung von2018 bis 2021 gefördert wird.

4

ServAR – Augmented-Reality-basiertes System zur Unterstützung von Inbetriebnahme, Wartung
und Instandhaltung an Maschinen ist ein Gemeinschaftsprojekt mit vier Partnern aus Industrie und
Forschung welches von 2017 bis 2019 vom Bundesministerium für Wirtschaft und Energie gefördert wird.

Trends der virtuellen und erweiterten Realität mit dem Fokus auf virtueller Inbetriebnahme11wichtigen Unternehmensprozess. Dazu wird eine neue AR-Brille entwickelt, die für
den industriellen Einsatz geeignet und für den Instandhalter komfortabel über einen
längeren Zeitraum zu tragen ist. Die AR-Anwendung wird auf Basis des von derProfessur Werkzeugmaschinenkonstruktion und Umformtechnik entwickelten AR5
Frameworks „ARViewer“ [6] entworfen und ermöglicht die Nutzung verschiedener
Geräte mit unterschiedlichen Visualisierungs- und Interaktionskonzepten als auchdie automatisierte Integration der definierten Instandhaltungsdokumentation. Um
die Instandhaltungsplanung im Unternehmensprozess effizient zu gestalten, steht
die Nutzung von bestehenden Daten und Systemen der Unternehmensinfrastruktur,z. B. dem CAD- und PDM-System, im Fokus.

2.2 Industrielle AR-Wartungsunterstützung
In den letzten Jahren verlagern sich industrielle Augmented Reality (AR)Anwendungen immer mehr von der Forschung in die produktive Nutzung. Allerdings
werden viele von ihnen noch immer ausschließlich in Pilotanwendungen getestet.
Nur einige davon sind bereits in der Produktion im Einsatz [7]. Im Rahmen des6
Horizion2020-Projekts PreCoM (Predictive Cognitive Maintenance Decision Support System) werden AR-Anwendungen zur Wartungsunterstützung entwickelt, dieden komplexen Anforderungen der Industrie gerecht sein sollen. Um dies zu erreichen stehen drei verschiedene industrielle Testumgebungen zur Verfügung: eine
Zellstoffproduktionsmaschine, die spanende Bearbeitung von Windkraftanlagennaben sowie Schleifprozesse für Hochpräzisionsgetriebe. In den Workshops vor Ort
bei den Anwendungspartnern wurden die Produktionsumgebungen, die Arbeitsbedingungen, der aktuelle Wartungsprozess und die gewarteten Maschinen untersucht. Strukturierte Interviews mit Wartungspersonal verdeutlichten ihre Erwartungen an das AR-Unterstützungssystem hinsichtlich seiner Funktionalitäten, Interaktionen und der für die Wartungsunterstützung relevanten Informationen. Die sichdaraus ergebenden Anforderung zeigten, dass die Wartungsabteilungen oft unterbesetzt sind. Zudem verfügen oft nur sehr wenige und oft auch nur ältere Mitarbeiter über das Expertenwissen zur Wartung jeder Maschine. Neue oder jüngere Kollegen sind in der Regel zwar für die Instandhaltung von Maschinen qualifiziert,
verfügen aber oft nicht über das spezifische Wissen und die Erfahrung zur Durchführung von komplexen Wartungsaufgaben an den Maschinen in der Fertigung. Die
Wartungsabteilungen arbeiten oft eng mit ihren Maschinen- und Komponentenlieferanten zusammen, die häufig um Rat gefragt werden und Teile der Wartungsarbeiten durchführen. Wenn Mitarbeiter der Maschinen- und Komponentenlieferanten zu
5

Seit 2017 sind die Rechte am ARViewer in die Ausgründung auvirea GmbH überführt.

6

PreCom ist ein Gemeinschaftsprojekt mit 17 Partnern aus sechs Ländern welches im Rahmen der
Ausschreibung FOF-09-2017 in Horizon2020 von 2017 bis 2020 von der Europäischen Union gefördert wird. www.precom-project.eu

12

Klimant, P.; Klimant, F.; Allmacher, C.; Putz, M.

den Unternehmen kommen, bedeutet dies oft interkontinentale Reisen für einfacheund schnelle Reparaturen, die mit einer verbesserten Kommunikation hätten vermieden werden können. In PreCoM wurden zwei Tablet-basierte AR-Anwendungenentwickelt, um beide Probleme zu lösen: AR Guidance System und AR Remote
Service System [8,9].
Das AR Guidance System ermöglicht es neuen oder unerfahrenen Wartungsmitarbeitern, Aufgaben mittlerer bis hoher Komplexität durchzuführen, indem Schritt-fürSchritt-Anweisungen befolgt werden, die sonst normalerweise nur die wenigen,sehr erfahrenen Mitarbeiter ausführen würden. Durch die Digitalisierung und Anpassung bestehender papierbasierter Anweisungen und deren Ergänzung mit ARVisualisierung, Bildern und Videos kann diese Verlagerung der Arbeit und eine
Reduzierung der Wartungszeit erreicht werden. Darüber hinaus können die Nutzer
Videos und Bilder mit Notizen und Zeichnungen erstellen, die in die Wartungsanweisungen integriert werden können. Im Gegensatz zu bestehenden ähnlichen ARAnwendungen sind im AR Guidance System Maschinen- und Sensordaten (z.B.
Achspositionen) zugänglich, so dass Gang zur Maschinensteuerung vermieden
werden kann.
Das AR Remote Service System ermöglicht es dem lokalen Wartungspersonal,
einen Sprach-/Videostream mit internen oder externen Experten zu starten. Durchdiesen Live Feed ist ein schnellerer und besserer Kommunikationsprozess möglich.
Beide Seiten sind außerdem in der Lage, den Videostream mit Zeichnungen, Textnotizen und 3D-Modellen zu ergänzen, Screenshots und Videos zu erstellen sowie
Dokumente auszutauschen. Dies sollte zu weniger Reisen von externen Experten
und weniger Arbeitsaufwand für die internen Experten führen.

2.3 Digitaler und Virtueller Zwilling
Ein wesentlicher Forschungstrend über viele Branchen und Anwendungsgebiete
7
hinweg ist der Digitale bzw. Virtuelle Zwilling , also die Einführung eines digitalen
Abbildes von bspw. Maschinen / Anlagen und Produkten aber auch Prozessen.
Im Projekt HEIGHT8 wird an einer verbesserten Prozesskette, von der Entstehungbis zu hin zur Endbearbeitung, für generativ gefertigte metallische Bauteile geforscht. Dabei wird der gesamte Prozess von einem Virtuellen Zwilling begleitet. Ein
wichtiger Kernpunkt dieses Virtuellen Zwillings ist es, neben der Strukturierung von
großen Datenmengen und der Erstellung einer durchgängigen Datenintegration
zwischen Plan- und Realdaten, die eindeutige und zeitorientierte Verortung der7

Zur Definition des Digitalen Zwilling und Abgrenzung des Virtuellen Zwilling dazu, siehe u.a. [10]8

Das Projekt InnoTeam HEIGHT – Entwicklung einer hochintegrativen Prozesskette zur generativen Fertigung von metallischen Hochleistungsbauteilen samt dazugehörigem virtuellen Zwilling –wird von 2016 bis 2020 durch die Europäische Union und den Freistaat Sachsen gefördert

Trends der virtuellen und erweiterten Realität mit dem Fokus auf virtueller Inbetriebnahme

13

Informationen an einen virtuellen 3D-Modell zu ermöglichen. Um den Virtuellen
Zwilling im Rahmen der Industrie 4.0 einsetzen zu können, ist es erforderlich eine
Echtzeit-Visualisierung für bestimmte Datensätze zu ermöglichen. So kann der im
Projekt entwickelte Zwilling mithilfe der Game Engine Unity Informationen aus der
NC-Steuerung einer Werkzeugmaschine über das standardisierte OPC-UAProtokoll lesen und während des Prozesses verschiedene Parameter in Echtzeitüberwachen. Beispielshaft können Daten einer ebenfalls im selben Projekt entwickelte Kraftsteuerung der Werkzeugmaschine zur Laufzeit direkt visualisiert undaufgezeichnet werden. In den nächsten Projektschritten soll diese Visualisierungauch als Augmented-Reality-Anwendung umgesetzt werden.
Einen anderen erweiterten Ansatz verfolgt das Projekt „Collaborativer Digitaler
9
Zwilling in Wertschöpfungsnetzwerken (CoTWIN) “. Um der engen Kooperation desMittelstandes im Maschinen und Anlagenbau Rechnung zu tragen, wird der Ansatz
des digitalen Zwillings erweitert, um die Zusammenarbeit in der gesamten Wertschöpfungskette bis hin zum Kunden zu verbessern. Um dies zu ermöglichen wird
ein gemeinsames Datenmodell des realen oder geplanten Produkts geschaffen,
das aus unterschiedlichen Sichten betrachtet werden kann. Diese Sichten geben
beispielsweise Auskunft über verbaute Komponenten, Betriebsdaten, beteiligte
Partner und damit verbundene Dienstleistungen oder Visualisierungsdaten. Auf
Basis dieses Modells können mit Hilfe einer Wissensbasis unterschiedliche Anwendungsfälle unterstützt werden; z. B. das Finden eines geeigneten Zulieferers odereine direkte visuell unterstützte Darstellung für den Kunden.

2.4 VR als Entwicklungs- und Testumgebung
Bei der Durchführung von VR-Design-Reviews diente die VR-Umgebung schon
immer als Testumgebung, um Maschinen und Anlagen zu analysieren und zu be10
werten. Im EU-Projekt uTRUSTit wurde die VR erstmalig als Umgebung für umfangreiche Nutzertests eingesetzt. Ziel war es die im Projekt zu entwickelnden Nutzeroberflächen (zur Interaktion mit Smart Devices und zur Rückmeldung über transferierte Daten) und Smart Devices (wie der intelligente Medizinschrank) bereits ineinem frühen Entwicklungsstadium durch verschiedene Nutzergruppen bewerten zu
lassen, um so Rückschlüsse für den Entwicklungsprozess ziehen zu können [11]. In
den letzten Jahren wurden VR-Umgebungen immer häufiger als Entwicklungs- undTestumgebung eingesetzt. Meist jedoch ohne sich die Frage zu stellen, wie diesüberhaupt auf den Nutzer wirkt und welche unterschiedlichen Ausprägungen (bspw.
9

Das Projekt Co-TWIN – Collaborativer Digitaler Zwilling in Wertschöpfungsnetzwerken – ist ein
Gemeinschaftsprojekt mit acht Partnern aus Industrie und Forschung. Es wird von 2019 bis 2022
vom Bundesministerium für Bildung Forschung gefördert.

10

uTRUSTit – Usable Trust in the Internet of Things war ein Gemeinschaftsprojekt mit Partnern ausÖsterreich, Norwegen, Schweden, Belgien und Ungarn, welches im Rahmen des 7. Europäischen
Rahmenprogramms (FP7) von 2010 bis 2013 durch die Europäische Union gefördert wurde.

14

Klimant, P.; Klimant, F.; Allmacher, C.; Putz, M.

hinsichtlich Visualisierungs- oder Interaktionsmethoden) welchen Einfluss auf den
Nutzer haben.
11
Hier setzt das Projekt InnoTeam PRESENCE an, dessen zentrale Fragestellung
es ist, wie die Presence, also das Gefühl des Eintauchens in eine virtuelle Welt,
erhöht werden kann. Die im Projekt gewonnenen Erkenntnisse werden unter anderem in einem Methodenkatalog für Presence-Kriterien in verschiedenen Use Cases
festgehalten, welcher die Entwicklung von VR- und AR-Anwendungssystemen
unterstützen kann.

In einer ersten Studie wurde die Wirkung von verschiedenen Avatarrepräsentationen in einem HMD-basierten, virtuellen Montageszenario mittels einer withinsubject-Studie untersucht. Die in dieser Studie erzielten Ergebnisse lassen annehmen, dass bei Szenarien, in denen nicht der gesamte Körper im Fokus der Betrachtungen steht, sondern − etwa bei Montagetätigkeiten − das Hauptaugenmerk nur
auf Teilen des virtuellen Körpers liegt, eine Avatar-Visualisierung vergleichsweiseminimalistisch umgesetzt werden kann, ohne die Presence und damit auch die
Akzeptanz solcher Szenarien negativ zu beeinflussen .
Im Projektverlauf werden vielfältige VR- und AR-Technologien für weitere Studien
eingesetzt, beispielsweise soll in die, im Virtual Reality Center Production Engineering installierte 5-Seiten CAVE, ein auf einem realen Fahrrad basierender Fahrradsimulator installiert werden, mit welchem der Presence-Einfluss verschiedenerInteraktionsmethoden mit VR-Szenarien untersucht werden wird.
Einen weiteren interessanten Anwendungsfall stellt das Projekt „Virtual-Realitybasierte Beurteilung von manuellen Fertigungsaktivitäten anhand von Methods12
Time-Measurement VR-MTM“ dar. Ziel des Projektes ist es die Planung und Analyse von manuellen Fertigungsaktivitäten durch den Einsatz von Virtual Reality zu
vereinfachen und den Aufwand zu reduzieren, um dies auch kleinen und mittelständischen Unternehmen zu ermöglichen. Dazu wird die Fertigungssituation in Virtual
Reality abgebildet und analysiert. Ein Schwerpunkt des Projektes erforscht die
Möglichkeiten durchgeführte Bewegungen zu erkennen und automatisch in MTMBasisbewegungen zu zerlegen. Damit auch kollaborative Arbeitsgänge bzw. längere Laufwege dargestellt werden können, werden in einem zweiten Forschungsbereich die Methoden und Möglichkeiten erforscht, um dies in der virtuellen Umgebung zu ermöglichen. Intensiv betrachtet wird dabei unter anderem die Methodedes „Redirected Walking“, das den Nutzer glauben lässt „virtuell“ längere geradlini-

11

Das InnoTeam PRESENCE wird von 2018 bis 2010 durch die Europäische Union und den Freistaat Sachsen gefördert.

12

Das Eurostars-Projekt wird gemeinsam von Deutschen und Schweizer Partnern durchgeführt undvon 2020 bis 2022 durch das Bundesministerium für Bildung und Forschung und die Schweiz gefördert.

Trends der virtuellen und erweiterten Realität mit dem Fokus auf virtueller Inbetriebnahme

15

ge Wege zurückzulegen, während er sich in der Realität in einem kleineren Raumauf gekrümmten Strecken bewegt.

3

Virtuelle Inbetriebnahme

3.1 Stand der Technik
In der modernen Produktion steigt der Anteil an Software in den Maschinen undgewinnt deshalb an Bedeutung für den Produktentstehungsprozess. Zugleich steigen die Erwartungen an kürzere Entwicklungszeiten und eine höhere Produktqualität [12].
In diesem Spannungsfeld stellt die Virtuelle Inbetriebnahme (VIBN) eine Methodezum entwicklungsbegleitenden Testen und späteren in Betrieb nehmen von Komponenten und Funktionen eines Automatisierungssystems dar [13]. Sie verkürzt die
Dauer des Produktentstehungsprozesses, siehe Bild 1, indem die Inbetriebnahme
teilweise vorgezogen wird.

Konstruktion

Fertigung/Montage

Inbetriebnahme (IBN)
Simulierbar

Modellierung

Virtuelle
Inbetriebnahme
IBN

Konstruktion

Fertigung/Montage
Zeit

NutzenBild 1: Produktentstehungsprozess mit der virtuellen Inbetriebnahme, angelehnt an [14].

Bei der virtuellen Inbetriebnahme wird die Steuerungssoftware an einen virtuellen
Prototyp der Maschine gekoppelt und getestet. Dieser virtuelle Prototyp beinhaltet
insbesondere alle Sensoren und Aktuatoren der Maschine, welche mit der Steue-

16

Klimant, P.; Klimant, F.; Allmacher, C.; Putz, M.

rungssoftware kommunizieren. Die virtuellen Sensoren generieren Eingangsdaten
für die Produktionssoftware, welche diese verarbeitet und daraus Steuerungssignale für die virtuellen Aktuatoren errechnet. Im Sinne eines mechatronischen Produktes wird dieser Kreislauf aus Sensoren, Steuerungssoftware und Aktuatoren durch
den Rest der Maschine, dem sogenannten Basissystem, geschlossen (siehe Bild
2).
Mechatronisches System
Mensch(opt.)

Aktoren

Steuerungssoftware
Maschine(opt.)

Materialfluss

Basissystem

Sensoren

Energiefluss

Informationsfluss

Bild 2: Aufbau eines mechatronischen Systems nach [15]Die Aktuatoren verändern den Zustand des Basissystems und die Sensoren können diesen wiederum überwachen und Änderungen der Steuerungssoftware melden. Eine optionale Kommunikation der Steuerungssoftware zu Maschinen oder
Menschen ist möglich.
Es existieren verschiedene Varianten der virtuellen Inbetriebnahme. Verbreitet sinddie Methoden Software-in-the-Loop (SIL) und Hardware-in-the-loop (HIL). Bei der
SIL wird die Hardware, auf welcher die Steuerungssoftware ausgeführt wird, emuliert. Demgegenüber wird bei der HIL die originale Hardware zum Ausführen der
Steuerungssoftware verwendet. Bei beiden Methoden werden alle Sensoren und
Aktuatoren des Systems simuliert. Darüber hinaus gibt es auch die hybride Inbetriebnahme (HIBN). Diese beginnt als SIL und dann werden sukzessive virtuelle
gegen reale Komponenten ausgetauscht, sodass die HIBN schlussendlich in die
reale Inbetriebnahme übergeht.
Die virtuelle Inbetriebnahme und ihre Varianten werden ebenfalls in anderen technischen Bereichen eingesetzt. In der Robotik werden sie verwendet, um frühzeitig
Funktionen von Robotern oder fahrerlosen Transportfahrzeugen zu testen [16, 17].
In der Automobilindustrie wird zumeist der Begriff „Virtuelle Integration“ benutzt [18].
Diese wird eingesetzt, um autonome Fahrfunktionen zu testen und zukünftig den
aufwendigen Validierungsprozess zu ermöglichen.
Der darunterliegende Ablauf aller Methoden umfasst die Schritte Modellierung,
Planung, Durchführung und Auswertung. Aktuelle Herausforderungen liegen dabei

Trends der virtuellen und erweiterten Realität mit dem Fokus auf virtueller Inbetriebnahme

17

zum einen im Bereich der Modellierung. Dabei sollen mit so wenig Aufwand wie
nötig passende Modelle in der erforderlichen Modellierungstiefe erstellt werden [19].
Zum anderen werden im Bereich der Planung und Durchführung sowie Auswertungvereinheitlichte Prozeduren und Vorgehen benötigt, um eine systematische Nutzung der VIBN zu ermöglichen.

3.2 Anwendung der VIBN im Projekt FOLLOWme
Die virtuelle Inbetriebnahme wurde intensiv im BMBF-geförderten Projekt
FOLLOWme eingesetzt. In diesem Projekt wurde ein fahrerloses Transportfahrzeug(FTF) entwickelt, siehe Bild 3. Dieses zeichnet sich durch seine kollaborativen Eigenschaften aus, denn es verfügt neben dem autonomen Modus über einen Folgemodus und ist für die Zusammenarbeit mit dem Menschen konzipiert.

Bild 3: Fahrerloses Transportfahrzeug des Projekts FOLLOWme

Die Komponenten des FTF können dem Aufbau eines mechatronischen Produktes(Bild 2) zugeordnet werden. Dabei kommt der Steuerungssoftware eine zentrale
Bedeutung zu, denn sie beinhaltet die Intelligenz des Fahrzeuges. Um die autonomen Fahrfunktionen zu realisieren, muss die Steuerungssoftware das FTF zunächst
lokalisieren, das heißt seine Pose im Hallenkoordinatensystem bestimmen. Aufdieser Basis lässt sich eine lokale Pfadplanung und Hindernisvermeidung durchführen, welche sowohl die Zielpose als auch aktuelle Sensordaten berücksichtigt. Zuletzt verfolgt das FTF den errechneten Pfad zum Ziel. Die Algorithmen, welche
diese Funktionen ermöglichen, sowie ihre Integration, müssen während der Entwicklung ausgiebig getestet und schlussendlich in Betrieb genommen werden.
Um dieser Herausforderung zu begegnen wurde bereits in frühen Entwicklungsphasen die VIBN eingesetzt. Als Variante wurde zunächst SIL benutzt. Dazu wurde ein
13
Setup entworfen und mittels der Software Unity3D implementiert, siehe Bild 4.

13https://unity.com/

18

Klimant, P.; Klimant, F.; Allmacher, C.; Putz, M.

Bild 4: Software-in-the-Loop-Setup in FOLLOWme [20]Die Steuerungssoftware (rechte Seite Bild 4) beinhaltet die oben genannten Funktionen. In Unity3D (linke Seite Bild 4) wird das Kontrollprogramm nachgebildet, welches Fahraufgaben an die Steuerungssoftware schicken kann. Diese sind vergleichbar mit jenen Aufträgen, welche durch einen Flottenmanager versendet werden, um einen Kommissionierauftrag zu realisieren. Weiterhin wird in Unity3D das
virtuelle Fahrzeug simuliert, welches die Sensoren und Antriebe beinhaltet. Die
Sensoren erfassen die Zustände des Fahrzeuges und nehmen die Umgebung sowie Hindernisse wahr. Ferner können Sie auch Menschen detektieren, und deren
Position als Basis des Folgemodus an die Steuerungssoftware schicken. Diese
Daten bilden gemeinsam mit der durch das Kontrollprogramm verschickten Aufgabe
die Eingangsdaten der Steuerungssoftware, welche als Resultat den Antrieben eine
Sollgeschwindigkeit vorgibt, um die Aufgabe zu erfüllen.
Erster Schritt im Ablauf der SIL ist die Modellbildung des virtuellen Fahrzeuges, derUmgebung und ihrer Objekte. Zum Beispiel ist der light-detection-and-ranging(LIDAR)-Sensor, welcher eine 2D-Punktwolke generiert, zu modellieren. Der LIDAR-Sensor ist von zentraler Bedeutung für das korrekte Verhalten der Fahrfunktionen. Deshalb ist während der Modellbildung ein spezieller Fokus auf die realitätstreue Emulation des Verhaltens zu setzen und Experimente zur Modellvalidierung
durchzuführen [21]. Diese resultierten in Formel 1, welche als mathematisches
Modell den LIDAR-Sensor beschreibt.
1

∗

,

∗

(1)

Dabei wird in Unity3D die ideale Distanz
mit zwei Gaußverteilungen überlagert, welche zufällige und systematische Messfehler des Sensors darstellen. Zusätzlich werden der Auftreffwinkel des Laserstrahls, sowie zufällige Fehlmessungenaufgrund absorbierender Materialien berücksichtigt. Das Modell wurde unter Nut-

Trends der virtuellen und erweiterten Realität mit dem Fokus auf virtueller Inbetriebnahme

19zung von Raytracing in Unity3D implementiert. Ebenso wurden die weiteren Modelle aufgebaut, welche meistens lediglich eine 3D-Geometrie mit Collidern besitzen.
Das Setup wurde zum Testen und Optimieren der Algorithmen genutzt. Wesentlicher Bestandteil der lokalen Bahnplanung und Hindernisvermeidung ist beispielsweise ein Fuzzylogik-Regler. Dieser kann nicht nur auf seine korrekte Funktionüberprüft werden, sondern mithilfe des SIL-Setups auch optimiert werden. Denn die
Parameter des Fuzzylogik-Reglers beeinflussen die Geschwindigkeit des FTFs, denFehler der Trajektorie (siehe Bild 5) sowie die Stabilität des Reglers.

Bild 5: Visualisierte gefahrene Trajektorie mit unterschiedlichen Parametern des Fuzzylogik-Reglers[22]

Durch das Aufzeichnen von relevanten Kriterien, beispielsweise der Pfadlänge und
Zeit zum Ziel, während der Durchführung und einer visuellen Beurteilung, können
die Parameter in der Phase der Analyse angepasst und verbessert werden. Ebenso
wurden auch die weiteren Funktionen der Steuerungssoftware erst modular getestet und später integriert. All dies konnte mithilfe der SIL ohne jeglichen realen Prototyp und ohne Testinfrastruktur durchgeführt werden.
Im Rahmen der Entwicklung und Inbetriebnahme des physischen Prototyps wurdedas SIL-Setup als Basis für eine hybride Inbetriebnahme verwendet. Bild 6 zeigt dieverschiedenen Stadien des physischen Prototyps.

20

Klimant, P.; Klimant, F.; Allmacher, C.; Putz, M.

Bild 6: Hybride Inbetriebnahme im Projekt FOLLOWme

Grundidee der hybriden Inbetriebnahme ist das sukzessive Austauschen von einzelnen Komponenten, besonders der Sensoren und Aktuatoren. Im Projekt
FOLLOWme wurden zuerst die Aktuatoren ausgetauscht (Bild 6 unten links). Ziel
war es zum einen die Leistungselektronik der Antriebe zu parametrieren undgleichzeitig das Modell der virtuellen Antriebe zu validieren. Dazu wurden die Sollgeschwindigkeiten der Steuerungssoftware an die Antriebe geschickt. Deren darauffolgende Bewegung wird von Encodern erfasst, deren Signale wiederum zur
Lokalisierung des Fahrzeuges mitgenutzt werden. Dies ermöglicht die Fortbewegung des virtuellen Fahrzeuges in der Unity3D-Umgebung und dadurch einen ersten Vergleich zu den virtuellen Antrieben. Allerdings ist das Verhalten der Antriebsregler von der Last abhängig, weshalb eine finale Parametrierung und Validierung
erst nach Fertigstellung des gesamten physischen Prototyps möglich ist. Dannwurden erst der LIDAR-Sensor und anschließend die 3D-Kamera ausgetauscht undweiterhin die Software getestet. Dieser schrittweise Austausch ermöglicht eine
genauere Fehlerzuordnung und beschleunigt dadurch den Entwicklungs- und Testprozess. Eine detaillierte Beschreibung des methodischen Vorgehens kann [21]entnommen werden. Resultat war ein getesteter physischer Prototyp des FTF,
dessen autonomer Modus im Speziellen validiert worden ist.
Das FTF des Projekts FOLLOWme zeichnet sich über den im Stand der Techniküblichen autonomen Modus hinaus durch sein kollaboratives Design aus. Dieses
beinhaltet zum einen den Folgemodus, aber auch eine intuitive Mensch-TechnikInteraktion. Ziel war es deshalb das SIL-Setup zu erweitern und eine Virtual-Reality-

Trends der virtuellen und erweiterten Realität mit dem Fokus auf virtueller Inbetriebnahme

21

Testumgebung (VRT) zu schaffen, um zum einen den Folgemodus und zum anderen die Mensch-Technik-Interaktion testen und optimieren zu können. Diese umfasst im Wesentlichen den Dreiklang aus Mensch, FTF und Mensch-TechnikInteraktion, siehe Bild 7.

Bild 7: Aufbau der Virtual-Reality-Testumgebung [23]Das FTF ist bereits fester Bestandteil des Setups. Dieses muss folglich noch um
den Menschen und die Mensch-Technik-Interaktion erweitert werden. Der Menschkann mittels Bewegungserfassung in die VRT integriert werden. Zur Bewegungserfassung existieren verschiedene Ansätze, von denen in der Industrie besonders
optische und Inertialsensor-Systeme bevorzugt werden. Beide Systemtypen eignen
sich grundsätzlich für die Aufgabe und besitzen verschiedene Vor- und Nachteile.
Inertialsensorsysteme besitzen eine unbegrenzte Aufnahmefläche. Optische Systeme zeichnen sich demgegenüber durch ihre absolute Messung im Bezug zur
Umgebung aus. Als konkrete Umsetzungen wurden sowohl eine inverse Kinematik
14
auf Basis des HTC Lighthouse Trackings als auch der Inertialsensoranzug MTw
15
Awinda erfolgreich getestet. Als Virtual-Reality-Ausgabegerät wird eine HTC VIVE
für beide Bewegungserfassungssysteme verwendet. Bezüglich der MenschTechnik-Interaktion wurden verschiedene Geräte auf ihre Eignung in einer Vorstudie untersucht [24]. Für das Logistikszenario, welches in FOLLOWme anvisiert ist,
wurde dabei von den Testkandidaten eine Smartwatch als das geeignetste Gerät
identifiziert. Diese ermöglicht eine intuitive Bedienung des FTFs. Mittels der ausgewählten Systeme für die Bewegungserfassung und Mensch-Technik-Interaktion
konnte das Setup für die VRT erstellt werden, siehe Bild 8.

14https://www.vive.com

15

https://www.xsens.com/products/mtw-awinda

22

Klimant, P.; Klimant, F.; Allmacher, C.; Putz, M.

Bild 8: Setup der Virtual-Reality-Testumgebung [25]Das VRT-Setup ist eine Erweiterung des SIL-Setups, um die Smartwatch als Interaktionsgerät und ein virtuelles Menschmodell, welches mittels Bewegungserfassung animiert wird.
Mithilfe des VRT-Setups kann insbesondere der Folgemodus des FTF getestet undparametriert werden. Dies war relevant, um die Algorithmen des Folgemodus
grundsätzlich testen zu können. Darauf aufbauend konnten Parameter, wie beispielsweise der zu haltende Abstand zum Menschen, optimiert werden. Großer
Vorteil des Einsatzes von Virtual Reality an dieser Stelle ist, dass der Entwickler
einen räumlichen Eindruck von der Auswirkung des Parameters hat. Dadurch kanner bereits den Platzbedarf zwischen virtuellem Menschmodell und FTF mittels der
VRT beim Durchführen von Kommissionieraufgaben in die Parameteroptimierung
mit einbeziehen. Des Weiteren können User Interfaces für die Smartwatch frühzeitig untersucht und im Ablauf des Kommissionierprozesses erprobt werden. Diesermöglicht frühzeitige Entscheidungen betreffend der Hardware und des Designs,
welche in Unity3D schnell nach Bedarf angepasst werden können.

3.3 Zukünftiger Mehrwert
Die VIBN, besonders in Kombination mit VR und unter Einbeziehung des Menschen, verspricht kürzere Zeiten im Entwicklungsprozess sowie eine höhere Qualität der resultierenden Produkte. Dies ist auf eine verkürzte Inbetriebnahmezeit unddie mögliche Parallelisierung von Software- und Hardwareentwicklung zurückzuführen. Das präsentierte Projekt FOLLOWme ist ein Beispiel dieser Vorteile und wäre
ohne die VIBN nicht erfolgreich umgesetzt worden. Weiterhin ist ein durchgängiges
Testen komplexer Algorithmen, wie die des autonomen Fahrens, ohne Ansätze wie

Trends der virtuellen und erweiterten Realität mit dem Fokus auf virtueller Inbetriebnahme

23

SIL oder HIL nicht vorstellbar. Besonders sicherheitskritische Funktionen können
vorab getestet und validiert werden.
Diesen Vorteilen stehen einige Hürden gegenüber. Im Entwicklungsprozess entsteht ein Mehraufwand für die Erstellung der nötigen Modelle und deren Validierung. Deshalb ist ein Ziel aktueller Forschung den Aufwand der Modellerstellung zu
minimieren, bspw. durch adaptive Modellierungstiefen oder die Automatisierung vonProzessen. Ein weiterer Forschungspunkt liegt auf geeigneten Methoden bezüglich
der Durchführung der VIBN. Neben der systematischen Erstellung von Testfällen
und der dadurch erzielten Abdeckung von möglichen Szenarien oder des Softwarecodes, ist die Übertragbarkeit der virtuellen auf die realen Tests von großer Bedeutung. Denn lediglich wenn die mittels der VIBN gewonnen Resultate belastbar sind,lohnt der Mehraufwand der Modellerstellung und Durchführung.
Zukünftig kann das VRT-Setup erweitert werden, um Ergonomieuntersuchungenfrühzeitig durchführen zu können. Daraufhin können weitere Designentscheidungengetroffen werden.

4

Zusammenfassung und Ausblick

Der Beitrag stellt aktuelle Forschungstrends der Abteilung Prozessinformatik und
Virtuelle Produktentwicklung der Professur Werkzeugmaschinen und Umformtechnik im Bereich der virtuellen und erweiterten Realität vor. Vor allem die MenschTechnik-Interaktion sowie die Wahrnehmung und das Presence-Empfinden des
Menschen spielen eine immer zentralere Rolle in der VR- und AR-Forschung.
Komplexe Entwicklungen, wie autonom agierende Fahrzeuge und Roboter, wären
ohne Techniken der virtuellen Inbetriebnahme undenkbar. In Zukunft werden auchder Wandel der Gesellschaft, welcher durch die Zunahme von autonom agierenden
Agenten forciert wird, eine zentrale Rolle im VR- und AR-Bereich einnehmen. Einerseits, da in VR frühzeitig bspw. Interaktion mit und Verhalten von autonomen
Fahrzeugen gefahrlos getestet werden können und andererseits, da mittels AR
zusätzliche Informationen, bspw. der Zielpfad eines fahrerlosen Fahrzeugs, dem
Menschen gegeben werden können und somit die Mensch-Maschine-Interaktion
zentral unterstützt und sicherer gestaltet werden kann.

24

Klimant, P.; Klimant, F.; Allmacher, C.; Putz, M.

Danksagung
Das Forschungsprojekt “FOLLOWme ILS – Intralogistiksystem mit FahrerlosenTransport-Systemen” wird vom Bundesministerium für Bildung und Forschung unterstützt.

Literaturangaben[1]

Brade, J.; Kögel, A.: Presence in Virtual Reality – der Schlüssel zu Akzeptanz
und Übertragbarkeit?!. In: Putz, M.; Klimant, P.; Klimant, F. (Hrsg.): VAR² 2019
– Realität erweitern. Tagungsband zur 5. Fachkonferenz zu VR/ARTechnologien in Anwendung und Forschung an der Professur für Werkzeugmaschinen und Umformtechnik. Technische Universität Chemnitz, 04.05.12.2019. S. 59-72. ISBN: 978-3-00-064420-7.

[2]Kaluschke, M.; Weller, R.; Zachmann, G.; Pelliccia, L; Lorenz; M.; Klimant, P.;
Knopp, S.; Atze, J.P.G.; Möckel, F.: A Virtual Hip Replacement Surgery Simulatorwith Realistic Haptic Feedback. In 2018 IEEE Conference on Virtual Reality and 3D User Interfaces (VR) (IEEE2018), pp. 759-760.

[3]

Kaluschke, M.; Weller, R.; Zachmann, G.; Pelliccia, L; Lorenz; M.; Klimant, P.;
Knopp, S.; Atze, J.P.G.; Möckel, F.: HIPS - A Virtual Reality Hip Prosthesis
Implantation Simulator. In 2018 IEEE Conference on Virtual Reality and 3D
User Interfaces (VR) (IEEE2018), pp. 591-592.

[4]Knopp, S.; Lorenz, M.; Pelliccia, L.; Klimant, P.: Using Industrial Robots as
Haptic Devices for VR-Training. In 2018 IEEE Conference on Virtual Reality
and 3D User Interfaces (VR) (IEEE2018), pp. 607-608.

[5]

Kaluschke, M.; Weller, R.; Zachmann, G.; Lorenz, M.: A Continuous Material
Cutting Model with Haptic Feedback for Medical Simulations. In 2019 IEEE
Conference on Virtual Reality and 3D User Interfaces (VR) (IEEE2019), pp.
1002-1003.

[6]

Klimant, P.; Kollatsch, C.; Schumann, M.: Augmented Reality Solutions in
Mechanical Engineering. ASME. International Manufacturing Science andEngineering Conference, Los Angeles, California, USA, June 4-8, 2017.
Volume 3: Manufacturing Equipment and Systems doi:10.1115/MSEC20172858

Trends der virtuellen und erweiterten Realität mit dem Fokus auf virtueller Inbetriebnahme

25

[7]

Serván, J.; Mas, F.; Menéndez, J.L.; Ríos, J.: Using augmented reality in AIRBUS A400M shop floor assembly work instructions. In AIP Conference Proceedings (AIP2012), pp. 633-640[8]Kollatsch, C.; Schumann, M.; Klimant, P.; Lorenz, M.: Industrial Augmented
Reality: Transferring a Numerical Control Connected Augmented Realty System from Marketing to Maintenance. In 2017 IEEE International Symposiumon Mixed and Augmented Reality (ISMAR-Adjunct) (IEEE2017), pp. 39–41.

[9]Lorenz, M.; Knopp, S.; Klimant, P.: Industrial Augmented Reality: Requirements for an Augmented Reality Maintenance Worker Support System. In
2018 IEEE International Symposium on Mixed and Augmented Reality Adjunct(ISMAR-Adjunct) (IEEE2018), pp. 151–153.

[10] Klimant, P.; Klimant, F., Wittstock, E., Kollatsch, C., Putz, M.: Arbeiten mit
virtuellen Techniken – Industrieller Einsatz, aktuelle Forschung und zukünftiger Mehrwert. In: Neugebauer, R.; Putz, M.; Klimant, P. (Hrsg.): VAR² 2017 –Realität erweitern. Tagungsband zur 4. Fachkonferenz zu VR/ARTechnologien in Anwendung und Forschung an der Professur für Werkzeugmaschinen und Umformtechnik. Technische Universität Chemnitz, 06.07.12.2017. S. 05-18. ISBN: 978-3-00-058419-0.
[11] Pürzel, F.; Lorenz, M.; Wittstock, E.; Wittstock, V.; Neugebauer, R.: Applications of a Modular Interaction Framework for Virtual Reality Testing in a Smart
Environment. 2nd CIRP Global Web Conference. Beyond Modern Manufacturing: Technology for the factories of the future. Procedia CIRP (2013) pp. 3539. DOI: 10.1016/j.procir.2013.06.164[12] Brökelmann, J.: Systematik der virtuellen Inbetriebnahme von automatisierten
Produktionssystemen, Universität Paderborn Dissertation. Paderborn 2014[13] VDI/VDE 3693 Blatt 1:2016-08-00. Virtuelle Inbetriebnahme – Modellarten undGlossar[14] Wünsch, G.: Methoden für die virtuelle Inbetriebnahme automatisierter Produktionssysteme, Technische Universität München Dissertation. München
2007[15] VDI 2206:2004-06. Entwicklungsmethodik für mechatronische Systeme[16] Metzner, M.; Bönig, J.; Blank, A.; Schäffer, E.; Franke, J.: “Human-In-TheLoop”- Virtual Commissioning of Human-Robot Collaboration Systems. Tagungsband des 3. Kongresses Montage Handhabung Industrieroboter. Berlin,
Heidelberg: Springer Berlin Heidelberg 2018, S. 131-138[17] Erős, E.; Dahl, M.; Hanna, A.; Albo, A.; Falkman, P.; Bengtsson, K.: Integrated
virtual commissioning of a ROS2-based collaborative and intelligent automathtion system. 2019 24 IEEE International Conference on Emerging Technologies and Factory Automation (ETFA). 2019, S. 407-413

26

Klimant, P.; Klimant, F.; Allmacher, C.; Putz, M.

[18] Hakuli, S.; Krug, M.: Virtuelle Integration. In: Winner, H., Hakuli, S., Lotz, F.;
Singer, C. (Hrsg.): Handbuch Fahrerassistenzsysteme: Grundlagen, Komponenten und Systeme für aktive Sicherheit und Komfort. Wiesbaden: Springer Fachmedien Wiesbaden 2015, S. 125-138[19] Lee, C.G.; Park, S.C.: Survey on the virtual commissioning of manufacturingsystems. Journal of Computational Design and Engineering 1 (2014) 3, S.
213-222[20] Allmacher, C.; Klimant, P.: Test Course Creation for Automated Guided Vehicles. In: Putz, M.; Schlegel, A. (Hrsg.): ASIM 2019. Simulation in Pro-duktion
und Logistik. Auerbach /Vogtl.: Wissenschaftliche Scripten 2019, S. 305-314[21] Allmacher, C.; Schumann, M.; Klimant, P.; Putz, M.: Optimizing develop-menttime through hybrid commissioning of control software. Procedia CIRP 79(2019), S. 450-455[22] Allmacher, C.; Dudczig, M.; Klimant, P.; Putz, M.: Virtual Prototyping Technologies Enabling Resource-Efficient and Human-Centered Product Development. Procedia Manufacturing 21 (2018), S. 749-756[23] Allmacher, C., Dudczig, M., Maier, T. u. Klimant, P.: Analyse und Optimierung
von Mensch-Maschine-Interaktionen mittels Virtueller Technologien. 25Tth Interdisziplinäre Wissenschaftliche Konferenz Mittweida. Digitalisierung in Industrie und Gesellschaft - Arbeiten und Leben im Umfeld der 4. Industriellen
Revolution. 2018, S. 91-94[24] Brade, J.; Dudczig, M.; Klimant, P.: Using Virtual Prototyping Technologies to
Evaluate Human-Machine-Interaction Concepts. Innovation der Innovation neu gedacht, neu gemacht, in Druck (2018)[25] Allmacher, C.; Dudczig, M.; Knopp, S.; Klimant, P.: Virtual Reality for VirtualCommissioning of Automated Guided Vehicles. 2019, S. 838-839

Plenarvorträge

29

Blended Reality - Virtual-/Augmented
Reality (VR/AR) im Corporate LearningFell, T.1
1

Institute for Immersive Learning

Abstract
Ziel des vorliegenden Kapitels ist es, aufzuzeigen, dass die sogenannte Immersion
bei der Virtual Reality (VR) neue Ebenen im Lernen und Arbeiten eröffnet und das
Mixed Reality (MR) Lernen und Arbeiten zusammenbringt, wie es bisher noch nicht
möglich war. Dies wird insbesondere im Umfeld Industrie 4.0 und der neuen Arbeitswelt – NewWork – eine Rolle spielen und die Basis bilden.
Um kurz die Begriffe Virtual Reality, kurz VR, und Augmented Reality-/Mixed-, kurz
AR/MR, vorab für Sie zu erläutern, nur so viel jetzt:
Virtual Reality (VR) bringt den Nutzer an jeden Ort, während Augmented Reality(AR) alles zum Nutzer bringt. Die Begriffe vermischen lediglich in unterschiedlichem
Grad des Realen und des Digitalen: Während Augmented-/Mixed- Reality (AR/MR)
die Realität um digitale Elemente erweitert, blendet Virtual Reality (VR) die Realität
zugunsten des Digitalen vollkommen aus.

1

Einleitung

Am Anfang stehen drei kühne Aussagen: Die Auswirkungen von der virtuellen Realität, der erweiterten Realität und dervermischten Realität wird beim Arbeiten und Lernen enorm sein.
 Die virtuelle Realität (VR) und die erweiterte Realität (AR)/vermischte Realität(MR) wird das Arbeiten und Lernen maßgeblich verändern.
 Diese ersten beiden Aussagen werden viel früher in Erfüllung gehen, als Sie
denken.
Dass es sich nicht um einen weiteren technischen Hype handelt, soll anhand einiger Beispiele und Überlegungen aufzeigt werden, ebenso wie die Tatsache, dasserhebliche Veränderung auf uns zukommen werden. Insbesondere wenn es um
sogenannte immersiven Lernerfahrungen geht. Aber auch im Umfeld von Industrie30

Fell, T.

4.0 und NewWork sind die Veränderungen in manchen Organisationen schon spürbar. Was hierbei Immersion bedeutet, wird im Anschluss erläutert.
Darüber hinaus wird die Diskussion Arbeiten=Lernen, Lernen=Arbeiten mit den
neuen Möglichkeiten der erweiterten und der vermischten Realität (AR/MR) neu
belebt. Diese schaffen Lernszenarien die vor ein bis zwei Jahren nicht möglichgewesen wären. Dies zahlt auch in die zurückliegenden Interpretationen der
70:20:10-Formel ein. Die dort mit 70% angenommenen informellen Lernprozesse
werden insbesondere durch die Mixed Reality (MR) erweitert und bilden auch fürZielgruppen im Umfeld Blue-Color, die bisher garkeinen Zugang zu PC/Notebooks
hatten eine neue Grundlage und schaffen Möglichkeiten.

1.1 Warum jetzt gerade? – Rahmen verändern sichWarum spielt gerade jetzt das Thema VR und AR eine Rolle in der Diskussion im
Umfeld Lernen und Bildung?
Die Unternehmen stecken im notwendigen Wandlungsprozess. Die “digitale“ Business Transformation betrifft alle Bereiche im Unternehmen. Neue Prozesse, Dienstleistungen und das Verständnis von Arbeiten in der Zukunft entsteht. Ansätze wie
Industrie 4.0, Arbeitswelt 4.0 und Leadership 2.0 gehen in den Organisationen um.
Dabei spielt in den meisten Fällen die Digitalisierung eine wichtige Rolle in denÜberlegungen des Wandels. Digitale Zwillinge von Maschinen und Anlagen entstehen, neue Wartungs- und Supportprozesse halten Einzug, neue Dienstleistungen
und Services gegenüber den Kunden entstehen. Dies führt in vielen Fällen zu neuen Anforderungen der Arbeitswelt, des Arbeitsplatzes und der notwendigen technischen Unterstützung. Die Skills der Mitarbeitenden verändern sich, neue Kompetenzen, Fertigkeiten und Fähigkeiten werden benötigt. Die Arbeit wird meist komplexer und Zusammenhänge vielschichtiger.
Neue Anforderungen an Mensch und Maschine entstehen. Die reale Welt wird
zunehmend digital und damit virtuell. Maschinen können von jedem Punkt der Welt
gelenkt und beeinflusst werden. Teilweise autonome Prozesse müssen nur bei
Bedarf gewartet werden, die Vernetzung der “Internet of Things“ schreitet voran, dieProzesse funktionieren damit zunehmend Predictive und basieren auf Smart Dataund künstlicher Intelligenz. Damit ist klar, dass auch die Schnittstellen Mensch undMaschine sich wandeln muss. Ganz gleich, ob es um die Unterstützung bei derPlanung, beim Bau, beim Beratungs-/Verkaufsprozess, bei Support/Wartung und
bei der täglichen Betreuung von Anlagen, Maschinen und Fertigungsprozessen
geht.
Überall halten Digitalisierung und neue Schnittstellen der Unterstützung Einzug.
Sprachassistenten, Roboter, intelligente Systeme und automatisierte Prozesse. Eingaben über Tastatur, Maus oder einen nicht mobilen Bildschirm sind nicht mehr

Blended Reality - Virtual-/Augmented Reality (VR/AR) im Corporate Learning31

zielführend. Virtuelle Realität und digitale Informationen im Kontext sind sinnvoll
und not- wendig geworden. Gleichzeitig haben sich die technischen Möglichkeiten
auch hier, was die Darstellung der virtuellen Welten angeht, maßgeblich verändert.
Consumer- Produkte, wie z.B. die Oculus Rift, sind für 350 Euro kaufbar geworden.
Die Qualität steigt von Monat zu Monat, Funktionen im AR-Umfeld halten Einzug
auf jedem Smartphone. Der Zugang zur virtuellen Welt auf der Nase wird smarterund für jeden möglich. Auch im Lern- und Bildungskontext. Dazu werden die Begrifflichkeiten in der Folge definiert.

1.2 Was bedeutet nun VR/AR und MR?

Bild 1: Torsten Fell - angelehnt an Reality–Virtuality Continuum von Milgram and Kishino's (1994)

In Bild 1 werden Formen des Reality-Virtuality-Continuums nach dem Grad derRealität bzw. Virtualität sortiert. Links steht hierbei die reale Umwelt, also jene, dievollkommen auf virtuelle Elemente verzichtet. Als Gegensatz auf der rechten Seite
ist die virtuelle Umwelt (oft auch “Virtual Realityˮ), die ausschließlich aus virtuellen
Elementen besteht und gänzlich auf reale Elemente verzichtet.
Bei allem, was zwischen diesen beiden Extremen liegt, wird von der Mixed Reality(MR) gesprochen. Es wird deutlich, dass Augmented Reality (AR) eine Form der
Mixed Reality (MR) ist. 360-Grad Videos oder Foto stellen das Abbild der Realität
dar. Der Lerner ist aber nicht aktiver Teil dieses virtuellen Abbilds, sondern nur
Zuschauer. Es ist kaum Interaktion hier möglich. Die Immersion ist somit in der VR
am größten.

1.3 Immersion das unbekannte Wesen
Was steckt nun hinter den neuen Möglichkeiten? Welcher Faktor ist hier entscheidend?

32Fell, T.

Virtual Reality erlaubt das Abtauchen in eine virtuelle Welt, mit der ich interagierenkann, was mir das Gefühl vermittelt, aktiver Teil der wahrgenommenen Welt zu
sein, auch Immersion genannt. Diese immersive Lernerfahrungen oder neudeutsch“Experience“ ermöglicht es, neue Lernszenarien abzubilden. Augmented- und
Mixed-Reality(AR/MR) hingegen erweitern unsere reale Welt mit digitalen Objekten
und Informationen. Je nach Einsatzgebiet und verfolgtem Ziel kann die Technologie
rund um Augmented- und Mixed-Reality für Lernprozess und arbeitsplatznahe Performance-Support- oder Wartungs-/Service-Prozesse eingesetzt werden.
In der virtuellen Umgebung werden Sinne, wie visuelle Wahrnehmung, akustischeund taktile Reize aktiviert. Hierbei ist das Ziel der VR dem Anwender ein Gefühl zu
geben, dass er sich in der virtuellen Umgebung befinden. Die Tiefe der Wahrnehmung hängt davon ab, wie intensiv die Sinne (Sehen, Hören und Fühlen) in einer
virtuellen Welt während einer Simulation wahrgenommen werden und wie interaktiv
der Lerner in dieser virtuellen Welt eingreifen, Objekte manipulieren und damit die
virtuelle Welt verändern kann und direktes Feedback bekommt.
Die Intensität des Gefühls des Eintauchens in die virtuelle Welt hängt jedoch nicht
zwingend mit der Abbildung möglichst realistischer grafischer Umgebungen zusammen. Fiktive Umgebungen, verfälschtes physisches Verhalten von Objektenoder Situationen, die in der realen Welt unmöglich erscheinen, sind eher als Teil derGeschichte (Story-Telling) zu sehen, welche innerhalb der VR erzählt wird. Je
spannen- der die Geschichte ist, je neugieriger Nutzer auf die neue virtuelle Umgebung sind, je mehr Interaktionsmöglichkeiten zur Verfügung stehen, desto höher ist
das Gefühl der Immersion. Sofern der Einstieg für den Nutzer hinsichtlich Bewegung, Sicht und Interaktion mit Objekten einfach verständlich gestaltet wird, kanndie Immersion durch besondere, thematisch fesselnde und interessante Eigenschaften der virtuellen Umgebung sogar noch gesteigert werden. Immer mehr werden auch im Lernumfeld hier Gamification-Elemente eingesetzt.
Natürlich werden auch möglichst reale Abbildungen der Wirklichkeit verwendet, z.B.
wenn es um das Abbilden technischer Anlagen oder Maschinen in Lebensgröße
geht. In einem physischen Raum können so per Auswahl beliebige Maschinen undAnlagen interaktiv abgebildet werden. Dabei können unterschiedliche Prozesse
durchlaufen werden. Der Lerner schlüpft jedes Mal in eine andere Rolle, die vonihm als Realität wahrgenommen wird. Er identifiziert sich hier mit der Rolle undHandlung.
Da mit der virtuellen Realität die wahrgenommene Wirklichkeit des Nutzers ersetzt
wird, geht hier eine enorme Verantwortung für die Gestaltung der Learning Experience einher.
Das Verwenden von Betroffenheit, Empathie und Schockmomenten hinterlässt
erheblich mehr Wirkung als dies bisher in elektronischen Lernmitteln überhaupt
möglich war. Sehr schön zu sehen ist dies, beim Einsatz von virtuellen Welten bei
der Phobie-Behandlung wie Höhenangst oder Platzangst. Die körperlichen Symp-

Blended Reality - Virtual-/Augmented Reality (VR/AR) im Corporate Learning

33

tome treten sofort bei den Nutzern ein: Schweiß, Blutdruck-Anstieg, Pulsrassen
usw. – die Experience geht also unter die Haut. Natürlich wollen wir dies auch beim
Lernen – mit Bedacht und sinnvollem Einsatz bitte. Gefahrensituationen zu simulieren, ist natürlich in der VR möglich und auch sinnvoll, wenn diese die Auswirkungenberücksichtigen und mit Bedacht erzählt und erlebbar werden.

1.4 Abgrenzung AR/MR zu VR
Während der Verwendung von VR tauchen Nutzer vollständig in eine künstliche
Welt ein und sehen die reale Welt um sich herum nicht. AR hingegen erlaubt dem
Nutzer, die reale Welt zu sehen, die durch virtuelle Objekte und Informationen ergänzt wird. Dementsprechend erweitert AR die Realität, während VR diese ersetzt.
Die häufigsten AR Anwendungen konzentrieren sich aktuell meist auf die Einblendung von Zusatzinformationen in das Sichtfeld des Nutzers, jedoch ist AR nicht auf
die Erweiterung der Optik eines Nutzers begrenzt.
Augmented Reality (AR) erweitert die Wahrnehmung der realen Welt um einzelne
virtuelle Aspekte, wie z. B. Richtungspfeile, die bei AR-Navigationsanwendungenüber das Sichtfeld auf den Weg gelegt werden.
Virtual Reality bietet dem Nutzer visuell sowie z. T. auch akustisch eine ganzheitliche Erfahrung und ist – im Gegensatz zu AR – in den meisten Fällen unabhängig
vom aktuellen Standort bzw. der aktuellen Situation des Nutzers anwendbar.
Mixed Reality und AR finden ihren Einsatz in erster Linie in den Arbeitsprozessen.
Im eigentlichen Sinne geht es hier um Performance Support. In der Kommunikation
stehen Experten, zentrale Service-/Support-Einheiten und Kollegen im Fokus.

2

Lernen in und mit der virtuellen Realität
If you tell me, I will listen. If you show me, I will see.
But if you let me experience, I will learn.

KONFUZIUS, *551 v. Chr. †479 v. Chr
Bei VR bietet sich eine konstruktivistisch geprägte Auffassung des Lernens z.B.
nach Prof. Mandl, sowie der problemorientierte Ansatz zur Gestaltung von Lernumgebungen (Reinmann, Rothmeier & Mandl, 2001) an. Dabei sind folgende Sichtweisen prägend: Lernen anhand von authentischen Problemen Lernen in multiplen Kontexten
 Lernen in einem sozialen Kontext – mit Multi-User-VR möglich Berücksichtigung mehrerer Sichtweisen – Rollen und Perspektivenwechsel

34Fell, T.

 Lernen mit instruktionaler Unterstützung – durch Trainer/Coach oder Experten(auch virtuelle Avatare)
Auch zu anderen Ansätzen lassen sich Verbindungen herstellen. Rolf Arnold spricht
in seinem Ansatz der Ermöglichungsdidaktik von der Inszenierung von Erfahrungsräumen, die sich an den Lerner anpassen und es ihm erlauben, sich selbstorganisiert zu bewegen. Damit schließt sich auch der Kreis zur aktuellen Diskussion zur
Kompetenzentwicklung. Werner Sauter spricht hier von mehreren Stufen: der Praxis-, Coaching- und der Trainingsstufe. Alle lassen sich heut mit vertretbarem Aufwand abbilden und realisieren. Fragen Sie sich bitte bei einer Realisierung immer,
was wäre ist die Alter- native? Sie werden in vielen Fällen dann tatsächlich bei VR
landen.
Leibniz-Preisträger Onur Güntürkün drückte es auf der Learntec 2016 wie folgt aus:
“Das menschliche Gehirn lernt nicht nur Inhalte, es lernt Situationen!”. In der Situation vereinen sich das kognitive Wissen und die Gefühle mit unbewusst wahrgenommen Erlebnissen zu einer Erfahrung. Also mit einer gut gemachten Learning
Experience in einer virtuellen Welt, kann dies geleistet werden.
Daraus ergeben sich für das Lernen neue Möglichkeiten und neue Szenarien. Die
Handlungsorientierung und die Wahrnehmung des Erlebten ermöglichen eine Steigerung des Lernerfolgs und der Lernerfahrung. Die dazu in Konkurrenz stehenden
WBTs oder Lernvideos stellen eher passive Lernangebote dar – meist ohne vielInteraktionsmöglichkeiten und natürlich fehlender Immersion für den Lerner. Selbst
eine 3D-Lernwelt am PC/Notebook kann auf keinen Fall die wahrgenommene Immersion in er VR erreichen.

2.1 Vorteile einer virtuellen Lernwelt
Der Vorteil von virtuellen (virtual), vermischten (mixed) und erweiterten (augmented) Lernumgebungen: Sie sprechen alle Sinne an.
 Sie erhöhen die Motivation und das Engagement des Lerners.
 Sie unterstützen das selbstgesteuerte Lernen.
 Sie fördern die Zusammenarbeit.
 Sie verbessern die Lernleistung und die Verankerung im Langzeitgedächtnis.
 Sie machen räumliche Strukturen nachvollziehbar.
Dies sind nur einige Vorteile die genannt werden können, es gäbe noch sehr viel
mehr. Ich will drei weitere besonders hervorheben und anhand von Beispielen verdeutlichen:

Blended Reality - Virtual-/Augmented Reality (VR/AR) im Corporate Learning35

 Lernen durch Perspektivenwechsel
Stellen Sie sich vor, Sie stehen in einer Chemieanlage und wollen das Verfahren
verstehen. In Rohren fließen Flüssigkeiten, deren Zusammensetzung Sie gerne
kennen würden. In der virtuellen Welt kein Problem. Sie gehen mit auf- gesetzter
VR-Brille einfach durch die Rohrummantelung in die Rohrleitung, Sie sehen die
Flüssigkeit fließen, und die ersten Informationen werden eingeblendet. Durch eineeinfache Kopfbewegung fordern Sie ein noch genaueres Bild und sind plötzlich auf
Molekularebene. Sie stehen direkt neben den Bausteinen der Flüssigkeit und erhalten ein genaues Bild von deren chemischer Zusammensetzung. Dies ist entdeckendes Lernen, oder?
Ein vergleichbares Beispiel ist auch das Eintauchen in den menschlichen Blutkreislauf, mit der Möglichkeit, die Blutplasma-Teilchen virtuell anfassen zu können undeine Erklärung des gesamten Kreislaufsystems zu erhalten.
Auch die Problematik der Produktion von Plastik könnte anschaulich und als Erlebnis gestaltetet werden: von der Entstehung, über die Nutzung, hin zur Entsorgung
im Meer, wo die kleinen Plastikpartikel in die Mägen von Fischen gelangen, diedann wiederum von Vögeln gefressen werden.
 Lernen durch Rollenwechsel
Sie können in der virtuellen Realität andere Rollen einnehmen, wobei Sie nicht, wie
bei einem Video, die Situation von außen betrachten, sondern Sie erleben die Situation aus der Sicht der angenommenen Rolle. Dies schafft Empathie für die erlebte
Rolle und sorgt für ein Verständnis, das sonst nicht gegeben wäre.
Die Möglichkeiten für weitere Anwendungen sind unbegrenzt. Verkaufs- oder Führungsgespräche können in jeder Konstellation und jeder Rolle erfahrbar gemacht
werden, die Welt kann aus Sicht eines Kindes mit den entsprechenden räumlichen
Verhältnissen und Abmessungen gezeigt und erlebt werden oder aus Sicht eines
Menschen mit Behinderung oder einer anderen Hautfarbe.
 Lernen durch Bewegung – Motorisches Lernen
Das Lernen einer Bewegung, eines Handgriffs, einer Abfolge von Bewegungsabläufen oder einfach nur die Bedienung eines technischen Geräts steht beim motorischen Lernen im Vordergrund. Anders als in einem WBT geschieht dies nicht mit
der Maus oder an Mobile Devices durch Touchgesten, sondern durch genau die
Bewegungen, die auch im realen Arbeitsprozess gefordert werden. Die Vorteile
liegen auf der Hand: Bei Sicherheitstrainings kann auch mal was schiefgehen, bei
dem Mixen von Chemikalien auch, und ebenso beim Bedienen von Maschinen. In
der virtuellen Welt ereignen sich diese Unglücke gleichfalls, aber sie sind nicht real.
Da fällt keine echte Produktion aus, und es kommt auch niemand zu Schaden. Hier

36

Fell, T.

kann es nach einer Feedback-Runde gleich weitergehen und alles noch einmal
geübt werden.
Ein schönes Beispiel ist das virtuelle Jonglieren, bei dem der Lerner einfach die
Erdanziehungskraft verringern kann, um den Bewegungsablauf zu verlang- samen,
und so leichter üben kann. Nach und nach kann dann eine Anpassung an die reale
Geschwindigkeit vorgenommen werden. Auch das frustrierende Aufheben der Bälle
vom Boden erledigt sich durch einen Klick am Controller, mit dem wieder alle Bälle
auf dem Tisch liegen.
Auch in der Medizin können so neue Operationsverfahren erlernt und erprobt werden und das ohne Tierversuche. Das Handhaben von Instrumenten und Werkzeugen in einer OP kann so in einer realitätsnahen Umgebung erlernt werden, wenn es
gut gemacht ist in einem höheren Level mit einem Problem des Patienten, bei der
ich richtig reagieren muss und im Stress bin.

2.2 Neue Rahmenbedingungen im Lernen mit und in VR
Die oben geschilderten Beispiele führen zu neuen Herausforderungen im Umfeld
Learning. Neue Skills zur Begleitung sind notwendig, neue Rahmenbedingungen(VR-Learning-Lab) und Prozesse (Anbindung an LMS) unabdingbar. Auch wennheute noch einige technische Rahmenbedingungen nicht ideal sind, hier ist z.B. bei
einer VR-Brille noch das Kabel zum PC zu nennen oder eine bestimmte Betriebssystemversion, wenn es um AR geht. Diese Punkte werden aber in den nächsten
Wochen und Monate schnell der Vergangenheit angehören. Wenn es einigen Menschen noch schlecht wird und die Motion Sickness sie packt, dies wird durch immer
wieder bessere Darstellungsmöglichkeiten und Rechengeschwindigkeit in Zukunft
der Vergangenheit angehören.
Eine neue Lernmethode Virtual Reality (VR) / Augmented Reality (AR) ist im Repertoire von Blended Learning, Video Learning, Social Learning, Mobile Learning usw.
dazugekommen. Sie bedarf neuer Lernkonzepte und Rahmenbedingungen. Ich
empfehle jedem Unternehmen hier schnell eigene Erfahrungen zu sammeln undsich aktiv zu informieren, was der Einsatz in der eigenen Organisation bedeuten
könnte.
Alle aktuellen Trendreports enthalten das Thema VR/AR als eines der zukünftigen
Themen. Es ist an uns diese Lernmethode sinnvolle und gezielt einzusetzen. Ob in
der Schule, bei der die Praxis in das Klassenzimmer Einzug hält oder im Unternehmen bei der realen Simulation von Arbeits- und Teamprozessen.
Probieren Sie selber die Unterschiedlichen Umsetzungsarten von VR/AR aus und
diskutieren Sie dann die Möglichkeiten und Grenzen für Ihr Unternehmen und Ihre
Zielgruppe.

Blended Reality - Virtual-/Augmented Reality (VR/AR) im Corporate Learning37

2.3 Praxisbeispiele aus unterschiedlichen Bereichen
Wartungs- und Supportprozesse in der IndustrieIn der Industrie sind weitgehende Anwendungsszenarien für Virtual Reality und 360
Grad vorstellbar. Bei der MR-Technologie sind vor allem Wartungs- und Supportprozesse interessant. Erste Beispiele zeigen auch, dass die Integration von Mixed
Reality in Kundengespräche einen Mehrwert bieten kann. Da die Industrie zumeistüber 3D- Modelle ihrer Geräte und Anlagen verfügt, ist eine Übernahme in die Virtual Reality relativ einfach zu bewerkstelligen. Die Mitarbeitenden können so an“echten” virtuellen Abbildungen ihrer Geräte und Anlagen oder Maschinen in dervirtuellen Welt lernen und Arbeitsprozesse kennen- und Zusammenhänge verstehen lernen. Neue Perspektiven geben ein neues Verständnis für komplexe Abläufe.
Alle Anbieter von Landwirtschaftsmaschinen, Baufahrzeugen, Logistik-Fahrzeugen
und Sonderanlagenbau sollten sich schnell die Möglichkeiten der unterschiedlichen
Macharten von Virtual Reality ansehen. Selbst im Produkt-Design werden bereits
VR-Lösungen eingesetzt.
Sicherheitsunterweisungen in der Chemie-Branche
Neben Themenfeldern in der Ausbildung – angefangen bei Grundlagenwissen vonder Zusammensetzung von Molekülen oder der Simulation von Laboren, in deneninteraktiv chemische Elemente zusammen gemixt werden können – sind meist
Sicherheitsunterweisungen und das Abbilden von kritischen Situationen ein Thema.
Weiterhin werden Anwendungsverfahren und Anlagen simuliert und hier insbesondere Kernprozesse, wie der Betrieb, der Service oder die Wartung, interaktiv dargestellt. Hierbei sind die Anlagen virtuell begehbar, und der Mitarbeitende kann interaktiv die Anlage bedienen und bekommt, wenn gewünscht, direkt Feedback. Unterschiedliche Szenarien erlauben, für unterschiedliche Themenfelder und Rollen an
der “virtuellen” Anlage zu trainieren. Und das alles ohne wirkliche Gefahr.
Anders sieht es beim Einsatz von Mixed Reality aus. Hier können in den Anlagenechte Service-/Supportprozesse durchgeführt werden. Experten können sich standortüber- greifend, z. B. per Skype-Session, hinzuschalten und bei Störungen vonAnlagen helfen. Über MR kann auch virtuelle Anlagenplanung durchgeführt werden,
und es können so schnell neue Werke begehbar und optimiert werden.
Logistik-Branche
Im Umfeld der Logistik geht es um die Fahrzeuge und deren Bedienung, bis hin zu
deren richtigen Be- und Entladung. Auch können Wartungs- oder Konfigurationsprozesse geübt werden. Insbesondere, wo große Maschinen im Einsatz sind, bietet
VR einen klaren Vorteil: Auf kleinstem Raum kann die Bedienung großer Maschinen simuliert und damit geschult werden, ohne dass diese Maschine physisch vor
Ort vorhanden sein müssen. Mit Mixed Reality ist eine Unterstützung von Serviceund Supportprozessen in einer modernen, vernetzen Welt möglich. Auch kann die

38Fell, T.

Leistungsfähigkeit von Pickingsystemen mit AR-Unterstützung deutlich gesteigert
werden.

2.4 Wie sieht die Zukunft im VR Lernen aus?
Einige Unternehmen haben bereits erste Learning Experience in virtuellen Welten
um- gesetzt und sammeln Erfahrungen diese für Ihre Zielgruppen zu gestalten.
Themen gibt es erfahrungsmäßig in den Unternehmen mehr als genug. Auch stehen die Kosten und der Nutzen meist im Einklang. Die Entwicklung von VR und AR
Learning Content wird in Zukunft über Autorenwerkzeuge weiter unterstützt. Heutewird dies punktuell bereits ermöglicht. Z.B. bei der Erstellung von 360GradLearning-Apps, diese sind mit Hilfe von Autorensystem in wenigen Stunden realisierbar.
Um ansprechende und interaktive Lernsetting zu erstellen, bedarf es heute nocheinigen Aufwand bei der Optimierung der meist vorhandenen CAD/CAM 3DModellen. Dies wird in Zukunft einfacher und automatisiert erfolgen können. Das
wird die Kosten erheblich verringern.

3

Arbeitsprozesse mit und in VR und AR/MR

3.1 Arbeitswelt 4.0
Neben den aufgezeigten Veränderungen im Lernumfeld, integrieren zunehmend
Organisationen, meist im Zusammenhang mit Ihren Digital Transformation – Strategie - die neuen Technologien im Umfeld VR/AR/MR. Hier wird die gesamte Bandbreite von Einsatzszenarien als Leuchtturmprojekte genutzt.
Angefangen von Planungsprozessen bei neuen Anlagen, Produkten oder Prozessen, bis zur gemeinsamen kreativen Prozessen in der Produktentwicklung oder im
Verkaufs- und Beratungsprozess. Auch in der Produktion direkt werden AR/MRTechnologien eingesetzt. Im Moment entstehen an vielen Orten erste Umsetzungen, wie VR/AR in einer neuen NewWork-Welt integriert werden kann. Auch werden erste räumliche Anpassungen für den Einsatz mit und in VR/AR realisiert. Interne VR-Labs entstehen und bieten den Beteiligten die Möglichkeit sich in dervirtuellen Umgebung zu bewegen und einzutauchen. AR und MR ziehen in den
Arbeitsprozessen ein und unterstützen konkrete Handlungen und Abläufe.
Wir müssen also, wenn wir über eine neue Arbeitswelt 4.0 und Industrie 4.0 nachdenken, die Einsatzvarianten von Virtual Reality (VR) und Augmented Reality (AR)mit in die Überlegungen einbeziehen. Insbesondere auch deshalb, weil die Technologie sich weiter entwickeln werden: permanente Verbesserungen der Qualität,
noch mehr Funktionen, leichtere und kleinere Lösungen. Nicht zuletzt haben die

Blended Reality - Virtual-/Augmented Reality (VR/AR) im Corporate Learning

39

Ankündigungen einer Hololens 2 von Mircosoft hier aufgezeigt in welche Richtung
es gehen kann.
Organisationen, die sich bereits jetzt mit VR/AR-Einsatzszenarien und VR/ARLösungen beschäftigen, haben in Zukunft einen klaren Wissensvorsprung. In derIndustrie 4.0 sind Beratungs- und Verkaufsprozesse direkt mit der Produktion verbunden. Wartung und Service-/Support werden sich grundlegend ändern. Predictive
Data und intelligente Vernetzung im Umfeld IoT spielen hier die zentralen Rollen.
Das “Dazuschalten” eines Experten erleichtert es jedem Service-Techniker – egal
an welchem Standort der Welt, schnell und kompetent Probleme beim Kunden zu
lösen. So können z.B. die Bearbeitungszeiten im Servicebereich und die Qualität
der Fehlersuche nachweislich verbessert werden.

3.2 Beispiele und Anwendungsszenarien
Die folgenden Beispiele sollen die Bandbreite der Einsatzszenarien aufzeigen undbieten Anknüpfungspunkte für die eigene Organisation.
Anlagenplanung
Die Arbeit mit der virtuellen Realität gehört in Zukunft zum Alltag. Teams erstellen
digitale Abbilder von Anlagen; diese virtuellen Maschinen werden dann programmiert. Funktioniert alles wie gewünscht, wird die Software auf die echte Anlageübertragen. Das spart Zeit und Geld, zudem können Kunden durch komplexe, inder Realität nicht einsehbare Produktionszellen spazieren und ihre Anlage in allen
Details bei der Arbeit betrachten.
So können Kunden mit der VR-Brille ihr zukünftiges Lagerhaus oder Produktionshalle erkunden, sich ansehen, wie Mitarbeiter mit den Maschinen interagieren odertesten, wie Zugangswege und Leitungen optimal positioniert werden können.
Auch können Sicherheitstraining direkt schon in der VR durchgeführt werden, bevor
der erste Stein in der Realität steht.
Ein schönes Beispiel bildet im Moment ein Projekt, bei dem der Hamburger Hafen
abgebildet und neue Teile simuliert werden. Hier werden sowohl bestehende Teile
digitalisiert und mit echten Daten in einer VR/MR-Anwendung dargestellt, wie auchanstehende neue Projekte virtuell integriert und damit simuliert.
Ein weiteres Beispiel kommt aus dem Chemie-Umfeld. Hier werden neue Anlagenkonzipiert und Verfahrenstechniken simuliert. Die Ausbildung der Betriebsfeuerwehr
gleich mit realisiert.
Einsatz von Material, Prozesswege von Material und Produkten und Sicherheitskonzepte können in Lebensgröße begehbar abgebildet und optimiert werden. Diesermöglicht in der Planung schon einige Vorteile. Die Daten die hier entstehen können aber später in anderen Einsatzszenarien eingesetzt und zur Realisierung vonweiteren VR-/AR-Experience verwendet werden.

40

Fell, T.

Produktion
In der Produktion werden handfreie Systeme, wie die Mircosoft Hololens oder die
Google Class 2 immer mehr zum Einsatz kommen. Bessere Objekterkennung und
Scanning der Umgebung werden weitere Einsatzfelder schaffen. In Qualitätsmanagementprozessen und beim Einsatz von “nicht“ Fachleuten kann dies sehr gut
eingesetzt werden. Das abarbeiten von Checklisten und Abläufe, gepaart mit der
gleichzeitigen Dokumentation der Arbeitsschritte – durch eingebaute Kamerasysteme – bietet hier neue Möglichkeiten in komplexen Umfeldern.
In der Luftfahrtindustrie können so Wartungsprozesse unterstützt und dokumentiert
werden. Die Bedingung von Anlagen kann Fehlerfrei bzw. Fehlerminimiert stattfinden. Das Durchführen von Arbeitsprozessen durch fehlende Fachkräfte wäre denkbar. Sollten Fragen entstehen, könnten die Personen die zentralen Fachkräfte per
Skype kontaktieren und die Probleme interaktiv gemeinsam lösen. Die eingebauten
Kameras übertragen die “echte“ Umgebung und der Experte kann interaktive diesemit virtuellen Objekten ergänzen, die wiederum die andere Person eingeblendet
bekommt.
In der Chemieindustrie wird so komplexe Verfahrenstechnik interaktiv unterstützt.
Ganze Anlagen stehen virtuell zur Verfügung und in Echtzeit können Ventile geschlossen werden oder Messwerte abgelesen werden. Dabei steht der Mitarbeitervielleicht tausende Kilometer entfernt von der Anlage und sieht diese Lebensgroßvor sich stehen.
Die Automobileindustrie setzt MR bereits für die holografische Abbildung von Robotern ein, die es erlauben diese virtuell zu programmieren und dann dem Digitalen
Zwilling zu übertragen oder in Echtzeit diesen zu steuern.
Die Vernetzung in ERP, CRM und anderen Systemen spielt genauso eine Rolle wie
die Kommunikation über IoT und MES. Das Mensch-Maschine-Interface (MMI)
steht hierbei im Mittelpunkt. Durch AR/MR rückt diese immer näher an den Körper
des Menschen und bezieht die unterschiedlichen Sinne mit in die Experience ein.
Nicht zuletzt hat Mircosoft mit Sharepoint.Space klargemacht, dass alle Dokumente
und zukünftigen Inhalte auch VR/AR fähig sein werden.
LogistikSchon heute werden in der Logistik einige Systeme zur Optimierung von Prozessen
eingesetzt und stellen sicher, die Anzahl der benötigten Arbeitsmaterialien für den
nächsten Prozessschritt zusammengestellt zu haben (Pick-and-Place). Das “Leiten“
auf dem kürzesten Weg zu den passenden Gegenständen und damit Weg und
Zeitoptimierung wird in Zukunft immer mehr mit AR/MR-Systemen durchgeführt
werden.
Erste Beispiele zeigen auch, dass Bepacken von LKWs oder Containern wird mit
MR unterstützt, damit Sichergestellt, dass dem Paket nichts passiert und es Dokumentiert ist, wo es sich gerade auf dem Weg befindet.

Blended Reality - Virtual-/Augmented Reality (VR/AR) im Corporate Learning

41

Die sogenannte Inhouse-Navigation kann hier mit Markern mit AR unterstützt undvereinfacht werden.
Wartungs-/Serviceprozesse
Erste AR/MR-Projekte laufen mit dem Ziel der digitalen Unterstützung für Servicetechniker und Fernwartung. Über Brillen wie der Microsoft Hololens sehen Nutzer
3D-Projizierungen in ihrer realen Umgebung, wie zum Beispiel zusätzliche Informationen zu Produkten oder Simulationen. Hier sieht die Industrie große Vorteile. Wasaber sehr schnell vergessen wird, ist der Einbezug von Echtdaten aus den Systemen und die Möglichkeit mit Objekten zu interagieren. Dies ist in vielen Umgebungen noch gar nicht realisierbar.
Verkaufs-/Beratungsprozesse
In Produktverkaufs- und Beratungsprozessen wird über AR/MR vermehr die Produkte und Dienstleistungen erlebbar einem potentiellen Kunden dargestellt. Dies ist
insbesondere dann interessant, wenn die Produkte nicht mit zum Kunden genommen wer- den können, z.B. wenn diese einfach zu groß sind oder nicht alle Varianten mitgenommen werden können. Auch können die Produkte erlebbar gemacht
werden.
Von der Rolltür, einer Schraubenverbindung, über Autos oder Fenster – es ist alles
denkbar. Die Objekte können z.B. über ein Smartphone einfach auf den Tisch beim
Kunden gestellt werden, oder Lebensgroß in den Raum platziert werden. Interaktion
ermöglicht die Funktionsweise des Produktes zu erläutern und den Mehrwert dem
Kunden deutlicher zu machen. Auch VR-Lösungen sind denkbar. Z.B. wenn es um
Anlagenbau geht, hier könnte mit dem Kunden gemeinsam die Anlage in der virtuellen Welt verändert und angepasst werden und dies in Lebensgröße.
Selbst im Privatumfeld halten diese Technologien schon Einzug. Ein großes Einrichtungshaus nutzte AR als Assistenten, über den Kunden das virtuelle Sofa testweise in ihrem Wohnzimmer platzieren konnten. Oder wenn Sie Wandfliesen oder
Bademöbel schon einmal in das eigene Bad platzieren wollen.
Im Beratungs- und Verkaufsumfeld sind fast keine Grenzen denkbar. Hier könnte
eine intelligente Vernetzung mit der Produktion in einen wirklichen Mehrwert fürKunden und für die Produktionskosten münden. Biege- und Schweißroboter, diedirekt nach dem gemeinsamen Erstellen des Produktes im Verkaufsprozess produziert werden könnten. Dies Materialschonend und schnell.
Die Einsatzszenarien zeigen, dass weder nur bestimmte Branchen noch Unternehmensgrößen betroffen sind, sondern alle in den nächsten Jahren mit dem Thema in
Kontakt kommen werden.

42

4Fell, T.

Auf den Punkt gebracht...

“Die Welt wird immer komplexer. Virtual Reality (VR) und Augmented Reality (AR)können durch neue Visualisierungen Themen begreiflicher machen und den Zugang vereinfachen”, sagt der Autor Torsten Fell, Vorstandsmitglied des Ersten
Deutschen Fachverbands für Virtual Reality.
Die Möglichkeiten sind vielfältig: “Ich kann Daten mit den Händen greifen und bearbeiten und so das Thema Big Data erfahrbar machen oder digitale Zwillinge vonMaschinen bewegen.” Auch wenn es noch dauern wird, bis die Technologie in voller Breite Anwendung findet.
Der Zugang zur Hardware und die Leistungsfähigkeit wird schnell einfacher sein
und um das Vielfache wachsen. Durch Geräte wie das iPhoneX oder die neuen
Mixed Reality (MR)-Brillen z.B. Magic Leap oder Microsoft Hololens 2 wird es für
ein breite Ziel- gruppe möglich sein, neue Settings und Szenarien zu erleben.
Insbesondere die Integration und das direkte Vernetzen im Industrieumfeld wird in2019 erheblich an Fahrt aufnehmen. Roboter die bereits heute mit einer VR-Brillevon einem anderen Standort gesteuert werden können, werden komplett virtualisiert
und erlebbar werden. Holografische Abbildungen von ganzen Industrieanlagen sindmachbar und werden ansatzweise umgesetzt werden. Das Training wird immer
realitätsnaher standfinden, durch bessere Grafik und zusätzliche Eingabegerätebzw. einfache Handsteuerungen und Gestenerkennung.
“Firmen, die jetzt schon Erfahrungen damit sammeln, werden später im Vorteil sein,
weil sie die Technologie kennen.”, Torsten Fell
Wer also die neue Technologie versteht und sinnvoll und zielführend in die Prozesse integrieren kann und die technischen und organisatorischen Rahmenbedingungen schafft, hat einen Vorsprung. Starten Sie noch heute damit.

43

Alles rund um die Maschine - Begehbare
virtuelle Schulung an Werkzeugmaschinen
Hirt, C.1, Spahni, M.1, Kompis, Y.1, Jetter, D.1, Kunz, A.1
1

ETH Zürich, Institut für Werkzeugmaschinen und Fertigung

Abstract
An in-depth training of new personnel on machine tools is crucial in order to avoid
faulty parts or even machine damage due to faulty operation of the machine tool.
However, machine-hours are costly and during the training, the machine cannot be
used for regular production purposes. Here, virtual real-size models could offer asolution by providing certain basic operation principles that should be taught to new
personnel. While this possibility has existed for several years, it is yet unknown
whether a virtual teaching is similar to a real teaching scenario regarding the learning efficiency. This paper thus gives insights in a study that compares a virtual training session on a machine tool with a real-life counterpart and addresses the question whether the virtually achieved knowledge can be successfully applied to realworld settings. It turned out that the virtually taught group slightly outperformed thegroup that was taught on the real machine tool in a real control task regarding thenumber of errors and the completion time.

Zusammenfassung
Das sorgfältige Anlernen der Bediener an Werkzeugmaschinen ist ein wichtiger
Vorgang, um später Ausschussteile oder gar Maschinenschäden zu vermeiden, die
auf eine fehlerhafte Maschinenbedienung zurückzuführen sind. Maschinenstundensind jedoch teuer, und während der Ausbildung steht die Maschine nicht für den
regulären Produktionsprozess zur Verfügung. Hierfür können virtuelle Maschinenmodelle Abhilfe schaffen, indem sie grundlegende Bedienoperationen zur Verfügung stellen, die von neuen Bedienern erlernt werden müssen. Obwohl solche
Möglichkeiten schon seit einiger Zeit existieren, ist bislang noch unklar, ob solche
virtuellen Trainings einen vergleichbar guten Lerneffekt erzeugen können wie eine
reale Schulung. Dieses Paper stellt daher die Ergebnisse einer Studie vor, in welcher eine virtuelle Trainingsumgebung mit einer realen verglichen wird hinsichtlichder Frage, ob ein virtuell erlerntes Wissen in gleichem Masse in einer realen Maschinenumgebung angewendet werden kann. Es zeigt sich, dass im Vergleich zu

44

Hirt et al.

einer realen Schulung die virtuell geschulte Gruppe in einer späteren realen Kontrollaufgabe weniger Fehler gemacht hat und eine leicht geringere Zeit zur Erledigung der Gesamtaufgabe benötigte.

1

Einleitung

Es ist eines der wichtigsten Ziele der Virtuellen Realität (VR), komplexe Geometrien
oder Zusammenhänge visuell darzustellen, um hiermit dem Anwender ein besseres
Gesamtverständnis zu vermitteln. Anfänglich waren es aber die begrenzten grafischen Darstellungsmöglichkeiten und die komplexe Bedienung der für die VR notwendigen Infrastruktur, welche den Einsatz sehr stark einschränkten. Hinzu kamen
unzulängliche Ausgabetechniken, welche nicht ohne weiteres in laufende Arbeitsprozesse integriert werden konnten. So bedeutete der Einsatz der VR immer ein
Bruch im Arbeitsablauf oder gar einen zusätzlichen Mehraufwand, falls Daten speziell für die Darstellung in der VR aufbereitet werden mussten, um diese anschließend in einigen wenigen technischen Installationen darstellen zu können.
Die komplexe Bedienung der technischen Systeme wie beispielsweise einer CAVE
[3] erforderte zudem geschultes Bedienpersonal, weshalb der eigentlich Anwender
die VR nur passiv erleben konnte, d.h. er wurde an die entsprechenden Stellen
geführt. Ein selbstständiges exploratorisches Verhalten oder gar eine Modifikation
der VR war nicht möglich. Dies hatte natürlich Konsequenzen für das “Gefühl der
Einbezogenheit” (SoP, Sense of Presence), welches trotz hohen Technikaufwandes
sehr limitiert war. Spätere Erweiterungen der technischen Systeme erlaubten danneine Navigation in der VR durch sprunghaftes Bewegen an eine andere Stelle (“Teleportation”), was jedoch ebenfalls eine geringe Natürlichkeit aufweist. So ist es
nicht verwunderlich, dass anfänglich die VR nicht nutzbringend für eine virtuelle
Ausbildung verwendet werden konnte, obgleich diese Vision von Beginn an bestand. Erst in jüngerer Zeit hat die Technik der VR einen Stand erreicht, der einensinnvollen Einsatz für Ausbildungszwecke erlaubt. Dies betrifft nicht nur die Qualität
der visuellen Darstellung und einen Wechsel von Projektionssystemen hin zu Datenhelmen (HMD, Head-mounted Displays), sondern auch die Möglichkeit, wie derAnwender selbst mit der virtuellen Welt interagieren kann, somit also von einem
passiven hin zu einem explorativen Verhalten wechselt. Es sind damit die Voraussetzungen gegeben, VR als Ausbildungsmöglichkeit für das Erlernen komplexer
Handhabungsvorgänge einzusetzen, wie beispielsweise das Bedienen einer Werkzeugmaschine (WZM).
Eine virtuelle Ausbildung bietet gegenüber einer herkömmlichen Ausbildung nennenswerte Vorteile. Dies sind vorderhand die eingesparten Maschinenstunden, diebis anhin für die Ausbildung eingesetzt werden mussten. Hinzukommen aber aucheingesparte Werkzeug- und Materialkosten, die während einer herkömmlichen

Alles rund um die Maschine - Begehbare virtuelle Schulung an Werkzeugmaschinen

45

Ausbildung anfallen würden. Zusätzlich entfällt auch die Gefahr eines realen Personen- oder Maschinenschadens, welcher durch eine falsche Handhabung entstehen
könnte. Weitere Vorteile einer virtuellen Ausbildung liegen aber auch in der Möglichkeit, dass Ausbildungssequenzen mehrfach unter exakt gleichen Bedingungenwiederholt werden können, die Ausbildung an jeder beliebigen Stelle zu unterbrechen ist, oder dass der Schwierigkeitsgrad der Ausbildung automatisch an den
Lernfortschritt angepasst werden kann.
Es stellt sich somit die Frage, ob heutige VR in der Lage ist, die traditionelle Ausbildung in der Handhabung einer WZM bereits zu ersetzen, und ob das in VR angeeignete Wissen später auch nutzbringend in der realen Bedienung einer WZM verwendet werden kann. Hierzu gliedert sich der vorliegende Beitrag wie folgt: Nacheinem Überblick über bestehende Forschung wird der Aufbau der VR beschrieben,
sowie die Struktur der durchgeführten Anwenderstudie, welche die virtuelle und die
reale Ausbildung gegenüberstellen soll. In einem nächsten Kapitel werden erste
Ergebnisse dargestellt, gefolgt von einer Zusammenfassung und einem Ausblick.

2

Bestehende ForschungBereits vor der Einführung hochimmersiver VR Systeme wurde untersucht, wie
traditionelle Lernmethoden mit virtuellen Methoden unterstützt oder durch sie ersetzt werden können. Existierende Forschung lässt sich dabei in nicht-immersive
und immersive VR unterteilen.
Nicht-immersive Lernumgebungen (Desktop VR) können bereits in bestimmten
Fällen den traditionellen Lernumgebungen ebenbürtig sein, beispielsweise beim
Erlernen einer Wegstrecke oder auch bei komplexeren Wartungsaufgaben an einer
WZM [6]. In beiden Fällen konnte zwischen der Versuchs- und Vergleichsgruppe
kein Leistungsunterschied festgestellt werden.
Immersive VR kann im Vergleich zu Desktop-basierten Lernumgebungen nicht nur
zu einem schnelleren Wissenserwerb [15], sondern auch zu einem besseren Erinnerungsvermögen bei einem Wiederholungstest nach mehreren Wochen führen [1],[13]. Dies deutet darauf hin, dass eine höhere Immersion und SoP zu besserem
Lernen führt.
Die höhere Immersion betrifft insbesondere die visuelle Wahrnehmung. So wurde
beispielsweise gezeigt, dass in einem CAVE System ein eingeschränktes Sichtfeld(FoV, Field of View) und ein eingeschränkter Bereich der Betrachtung (FoR, Field ofRegard) zu Leistungseinbußen führt [14]. Verbunden mit einer Positionserfassung
des Anwenders (Tracking) bieten aktuelle HMDs ein vollumfängliches FoR und
besitzen ein FoV, welches beinahe das gesamte Sichtfeld abdeckt. Zudem erlaubt
das Tracking eine Interaktion, die in älteren Systemen wie CAVEs nicht auf diese46

Hirt et al.

natürliche Weise vorhanden sind, beispielsweise ein tatsächliches Laufen in einer
virtuellen Umgebung.
VR Systeme sind besonders geeignet zum Erlernen sequentieller Abläufe [10].
Solche Abläufe erfordern kein Erlernen motorischer Fertigkeiten und können sehrgut in eine interaktive virtuelle Lernumgebung integriert werden. Es wurde in mehreren Studien gezeigt, dass sequentielle Abläufe wie die Montage eines Werkstückes
[2], [9], der Aufbau und die Instandhaltung einer Maschine [6], [16], oder das Erlernen eines medizinischen Verfahrens [15], in einer virtuellen Umgebung gleich gut
oder besser virtuell erlernt werden können im Vergleich zu traditionellen Lernmethoden. Zudem wurde in verschiedenen Studien gezeigt, dass in VR erlerntes Wissen auf die reale Welt übertragen werden kann [1], [2], [7], [6], [16].
Bei der Implementation einer virtuellen Ausbildung sind gewisse negative Effekte zu
beachten, die durch eine schlechte Optimierung der Lernumgebung auftreten können. Bei komplizierten Aufgaben kann die virtuelle Umgebung zu mehr Stress undzu schlechteren Resultaten führen [12]. In der dort durchgeführten Studie hatten die
Teilnehmer keine intuitive Möglichkeit mit der virtuellen Lernumgebung zu interagieren, da die Software primär für Desktop-Systeme entwickelt wurde. Dies hatte negative Auswirkungen auf die Resultate.
Abgesehen von diesen implementationsbedingten Nachteilen bieten virtuelle Lernumgebungen viele Vorteile. Eine virtuelle Ausbildung erlaubt es, das räumliche
Bewusstsein zu steigern und in einer gefährlichen oder unzugänglichen Umgebungzu üben, ohne dabei wichtige Ressourcen in Form von WZM oder Personal in Anspruch zu nehmen [4]. Die Schulung auf einer virtuellen WZM eignet sich daher, um
den Wissenserwerb und die Übertragung der erlernten Fähigkeiten auf die echte
WZM zu überprüfen.

3

EvaluationsmethodeIn der nachfolgend beschriebenen Evaluationsmethode soll insbesondere untersucht werden, ob die virtuelle Lernmethode den gleichen Lerneffekt aufweist wie ein
Lernen in der realen Welt. Somit soll also insbesondere das Langzeitgedächtnis
des Anwenders angesprochen werden, welches eine Wiedergabe aufgrund vonEinprägung ermöglicht. Im Vergleich zu dem Kurzzeitgedächtnis, welches eher
akustisch orientiert ist, beruht das Lernen im Langzeitgedächtnis mehr auf einersinnorientierten Wahrnehmung, d.h. aus dem korrekten Zusammenspiel zwischen
allen menschlichen Wahrnehmungsentitäten wie sehen, fühlen, hören, etc. Somit ist
ein Beispiel für das Training zu wählen, welches auch diese sinnhafte Wahrnehmung ansprechen kann und darauf aufbauend den Lerneffekt erzeugt.

Alles rund um die Maschine - Begehbare virtuelle Schulung an Werkzeugmaschinen

47

Um einen objektiven Vergleich zwischen einer virtuellen und einer realen Lernumgebung durchführen zu können, werden zwei Testgruppen eingerichtet, von deneneine virtuell und die andere in einer realen Umgebung trainiert wird (Bild 1).

Bild 1: Struktur der Studie

Beide Gruppen haben unmittelbar nach dem Training die Möglichkeit, das Gelernte
zu repetieren, aber auch hier jeweils wieder in der entsprechenden Lernumgebung.
Nach einer Zeitdauer von einer Woche erfolgt eine Überprüfung des angeeigneten
Wissens in einer Kontrollaufgabe, welche - dem späteren Anwendungsfall geschuldet - an einer realen Aufgabe durchgeführt wird. Wie aus Bild 1 ersichtlich, werden
zudem von beiden Gruppen sowohl vor als auch nach dem Training Fragebögen
ausgefüllt, welche neben den demographischen Daten auch Fragen über das Lernverhalten und die empfundene mentale Auslastung beinhalten.

4Technischer Aufbau

Die Gerätschaft für die VR-Schulung besteht aus einem HTC Vive Pro, bestehend
aus einem HMD, zwei Controllern, und vier kaskadierten Leuchttürmen, welcheeine freie Bewegungsfläche von ca. 6x8 m erlauben. Damit ist natürliches Gehen
rund um die WZM möglich und der Einsatz von Teleportation entfällt. Zusammengeführt wird das System auf einem zentralen Rechner, welcher von den Anwendern ineinem Rucksack mitgetragen wird. Bei dem Rechner, welcher auch das Rendering
der virtuellen Umgebung übernimmt, handelt es sich um einen XMG U507 mit ein-

48

Hirt et al.

gebauter NVIDIA GeForce GTX 1070, einem i7-6700 Prozessor (@3.4GHz) und mit
16GB RAM. Neben realistischen Darstellung der WZM wurden auch die dazugehörigen Geräusche realistisch hinterlegt und über Kopfhörer als 3D-Geräusch ausgegeben. Zudem wurde auch eine gesprochene und zu der sichtbaren Aktion synchronisierte Instruktion ausgegeben.

5Versuchsübersicht

Als Schulungsumgebung wird eine fünfachsige Werkzeugschleifmaschine“GrindSmart 528XW” von der Firma Rollomatic verwendet. Sie wird zur Herstellung
von rotierenden Schneidwerkzeugen, wie z.B. Fräser und Bohrer, verwendet. Aufgrund der hohen Komplexität der Werkstücke ist auch die Bedienung des UserInterfaces anspruchsvoll. Die WZM bietet ein sehr breites Spektrum von möglichen
Aufgaben. Weil es in der Studie in erster Linie um die Analyse verschiedener Schulungsarten und nicht um die Maschinenbedienung selber geht, müssen einfacheTasks definiert werden, welche sequentiell ausgeführt werden können. Die Interaktionen sollen in einer logischen Abfolge behandelt werden und mit einfachen Interaktionen wie zum Beispiel einen Schalter umlegen oder einen Knopf drücken zu
bewältigen sein. Dadurch können nicht nur die Interaktionen einfacher implementiert werden, sondern auch der Fokus der Lernapplikation auf das Erinnerungsvermögen der Sequenz gelegt werden anstelle des Erlernen der Interaktion selber. Auf“handwerklich” anspruchsvollere Aufgaben, wie zum Beispiel die Montage derSchleifscheibe auf dem Flansch, wurde bewusst verzichtet, weil diese in VR aufgrund des begrenzten haptischen Feedbacks nur schwer umsetzbar sind. Entsprechend der genannten Einschränkungen wurden allerdings folgende vier Kernaufgaben ausgewählt, welche auch ein ungelernter Maschinenbediener schnell erlernen
und ausführen kann: Aufstarten der WZM Ausführung einer Referenzfahrt Wechseln der Schleifscheibe Abschalten der WZM
Entsprechend der beiden zuvor erwähnten Gruppen werden die Schulungen entweder an der realen oder an der virtuellen WZM durchgeführt (Bild 2).

Alles rund um die Maschine - Begehbare virtuelle Schulung an Werkzeugmaschinen

49

Bild 2: Gegenüberstellung der realen und virtuellen WZMDie Instruktionen an der virtuellen WZM werden durch sogenannte “fliegende Hände” beschrieben, welche anschaulich jeden einzelnen Handgriff darstellen, derspäter auch an der realen WZM durchzuführen ist (Bild 3).

Bild 3: Erläuterungen an der virtuellen WZM durch visualisierte Handhabungsgesten

Während der Veranschaulichung wird jeder Schritt via Audio erklärt und begründet.
Diese Phase kann als interaktives Video angesehen werden, welches den Benutzer
mittels Eigenbewegung in die Thematik einbindet, während sonstige aktive Interaktionen unterbunden werden. Im Folgenden werden die einzelnen Trainingsaufgaben
näher beschrieben.

50Hirt et al.

5.1 Aufstarten der Werkzeugmaschine
In diesem Schritt muss die Druckluftversorgung für die WZM aktiviert werden, welche benötigt wird, um die Achsen zu bewegen. Der Hahn für die Druckluftversorgung befindet sich hinter der WZM (siehe Bild 4). Die Anleitung weist darauf hin,dass das Druckventil langsam zu öffnen ist, um stoßartige Belastungen in den
Druckluftleitungen der WZM zu vermeiden.

Bild 4: Realer Druckluftabsperrhahn und virtuelle Bedienungsinstruktion

Nach dem Öffnen der Druckluft ist die Stromversorgung einzuschalten, für welche
sich der Hauptschalter auf der Rückseite der WZM befindet (Bild 5).

Bild 5: Maschinenhauptschalter und virtuelle Bedienungsinstruktion

Alles rund um die Maschine - Begehbare virtuelle Schulung an Werkzeugmaschinen

51

Nach Ausführung dieser beiden Schritte wird an dem Bedienfeld der WZM der Aufstartprozeß fortgesetzt. Hierfür muss zunächst der Computer eingeschaltet werden.
Der Hauptschalter hierfür befindet sich an der Unterseite des vertikalen Bedienfeldes (Bild 6).

Bild 6: Computer-Hauptschalter und virtuelle Bedienungsinstruktion

Der Anwender wird nun instruiert, zu warten, bis der Bootprozess der Maschinensteuerung abgeschlossen ist. Erst jetzt zeigt die Instruktion an, dass die WZM
selbst durch Drücken des grünen “ON”-Tasters zu starten ist (Bild 7). Das erfolgreiche Aufstarten der WZM wird anschließend durch das Aufleuchten des grünen“ON”-Tasters und der Beleuchtung des Maschineninneren dargestellt.

Bild 7: Computer-Hauptschalter und virtuelle Bedienungsinstruktion

52

Hirt et al.

Um den Aufstartvorgang der WZM vollends abzuschließen, muss abschließend
noch die Steuerungssoftware der WZM durch einen Doppelklick mit dem Finger auf
den Touchscreen des Bedienpults gestartet werden (Bild 8). Hiernach ist der Aufstartprozeß der WZM abgeschlossen und der nächste Arbeitsschritt kann instruiert
werden.

Bild 8: Start der Steuerungssoftware und virtuelle Bedieninstruktion

5.2 Ausführung einer Referenzfahrt
Zur Selbstkalibration der WZM muss nach jedem Neustart eine Referenzfahrt
durchgeführt werden. Da diese Referenzfahrt typischerweise mit offenen Maschinentüren durchgeführt wird, muss sichergestellt sein, dass beide Hände an derMaschinensteuerung sind, um Verletzungen zu vermeiden. Dies geschieht einerseits durch Drücken eines Tasters im Haltegriff der Maschinensteuerung, und durch
gleichzeitiges Drücken des gelben Tasters auf der Maschinensteuerung (Bild 9).

Alles rund um die Maschine - Begehbare virtuelle Schulung an Werkzeugmaschinen

53

Bild 9: Initiieren der Kalibrationsfahrt und virtuelle Bedieninstruktion

5.3 Wechseln der Schleifscheibe
Der Wechsel der Schleifscheibe mit dem automatischen Werkzeugwechsler wird
mit geschlossenen Türen durchgeführt. Daher zeigt die virtuelle Instruktion zunächst das Schließen der Maschinentüren an (Bild 10).

Bild 10: Instruktion zum Schließen der Maschinentür

54

Hirt et al.

Die Instruktion zeigt danach, dass die Türen zusätzlich am Bedienpult zu verriegeln
sind, indem dort ein Schlüssel in die Position “Locked” zu drehen (Bild 11). Nachdem die Schleifscheibe ausgewechselt wurde, werden die Türen durch erneutes
Drehen des Schlüssels auf “UNLOCK” wieder freigegeben.

Bild 11: Zusätzliches Verriegeln der Türen am Bedienfeld der WZM

5.4 Abschalten der Werkzeugmaschine
Das Abschalten der WZM erfolgt in umgekehrter Reihenfolge wie der Einschaltvorgang, so dass ebenfalls die virtuelle Anleitung in umgekehrter Reihenfolge dargestellt wird.

5.5 Klassische Maschineninstruktion
Die oben beschriebenen Schritte zu Maschinenbedienung wurden auch in der klassischen Maschineninstruktion vermittelt. Ähnlich wie bei der virtuellen Instruktion
wurde auch hier eine schrittweise Erklärung an eine Kleingruppe von 2-3 Personen
gegeben und an der realen WZM vorgeführt. Während der Einführung hatten die
Teilnehmer keine Möglichkeit, mit der WZM zu interagieren, sondern konnten nur
den Erläuterungen des Instruktors folgen.

6

Repetition

Beide Ausbildungsgruppen hatten unmittelbar nach der Instruktion die Möglichkeit,
das Erlernte selbst auszuprobieren. Dieses eigenständige Ausprobieren erfolgte in
der gleichen Umgebung, in der auch das Wissen vermittelt wurde, d.h. die virtuellausgebildeten Personen erprobten das Wissen ebenfalls an der virtuellen WZM,
während die andere Gruppe an der realen WZM arbeitete.

Alles rund um die Maschine - Begehbare virtuelle Schulung an Werkzeugmaschinen

755

Evaluation

Eine Woche nach der virtuellen oder realen Ausbildung mussten die Probanden das
Erlernte erneut rekapitulieren. Im Gegensatz zu der Repetition wurde diesmal für
beide Gruppen die reale WZM verwendet, weil dies besser der realen späteren
Anwendung entspricht. Die Anwender wurden vorher informiert, dass sie genau die
gleichen Arbeitsschritte zu wiederholen haben, die sie eine Woche zuvor erlernt
hatten. Um eine Gefährdung der Teilnehmer oder einen möglichen Schaden an der
WZM durch Fehlbedienung zu verhindern, mussten die Personen vor der eigentlichen Durchführung einer Tätigkeit dies immer zunächst dem Instruktor nennen.
In einer Anwenderstudie wurden insgesamt 19 Teilnehmer entweder virtuell (9)oder an der realen WZM (10) geschult. Die Schulungszeit war in beiden Schulungsarten annähernd identisch, um eventuelle Verfälschungen durch ein intensiveres Training auszuschließen. Hingegen war die unmittelbar an die Ausbildung folgende eigenständige Wiederholung des Erlernten an der realen WZM etwas länger
(9 Minuten gegenüber 8 Minuten). Dieser Sachverhalt trat auch während der Evaluation auf, die eine Woche später stattfand. Bemerkenswert ist aber die Tatsache,dass die virtuell geschulte Gruppe gegenüber der an der realen WZM geschulten
Gruppe weniger Fehler in der Bedienung machen, obwohl sie erstmals die reale
WZM bedienten.

8

Diskussion der Ergebnisse

Die realistische Modellierung der WZM, das Hinterlegen von realistischen Geräuschen, aber vor allen Dingen die Möglichkeit, sich durch tatsächliches Laufen um
die WZM herum bewegen zu können (z.B. zum Öffnen des Druckluftventils) führten
zu einer insgesamt hohen Akzeptanz der virtuellen Schulung. Dieses wurde durch
die entsprechenden Fragebögen (“Task Load Index” - TLX [8] und “Simulator Sickness Questionnaire” - SSQ [11]) nachgewiesen. Dies ist die grundlegende Voraussetzung dafür, dass eine virtuelle Umgebung überhaupt für eine Schulung eingesetzt werden kann.
Bemerkenswert ist vor allen Dingen das Resultat, dass die virtuell geschulte Gruppe an der realen WZM weniger Fehler machte als die traditionell geschulte Vergleichsgruppe. Dies zeigt, dass es durch die VR möglich ist, Wissen in das kognitive Langzeitgedächtnis zu vermitteln. Auch dies ist sicherlich zurückzuführen auf die
realistische Bedienung und das Ansprechen der natürlichen visuellen, akustischen
und haptischen Wahrnehmungsentitäten. Hiermit lässt sich aber noch nicht erklären, warum die virtuell geschulte Gruppe in der späteren realen Anwendung weniger Fehler machte. Eine Begründung hierfür könnte darin liegen, dass eine Schulung in VR deutlich weniger Ablenkung hat, als eine reale Umgebung: (i) die virtuel-56

Hirt et al.

le WZM war isoliert in einer Maschinenhalle aufgestellt, so dass beim Training keine
anderen visuellen Ablenkungen existierten; (ii) das Training konnte als Einzelperson
durchgeführt werden, so dass keine Ablenkung durch andere Teilnehmer entstand;(iii) die zu erlernenden Sachverhalte waren für den Teilnehmer in der VR deutlicher
zu erkennen, weil weder der Instruktor noch andere Teilnehmer die Sicht verdecken
können; (iv) die Egoperspektive begünstigt die Wissensaufnahme [5].
Zusammenfassend zeigen also die Ergebnisse, dass es heute mit einem vertretbaren Aufwand möglich ist, die grundlegenden Bedienoperationen von WZM virtuell
zu vermitteln. Neben einer besseren Wissensvermittlung durch den individualisierten Charakter der VR können die realen Maschinenstunden sowie die Kosten fürden Instruktor eingespart werden. Dieser kann dann für mehr spezialisierte Bedienaufgaben der WZM zur Verfügung stehen, welche heute noch nicht durch die VR
abgebildet werden können.

9

Zusammenfassung

In diesem Paper wurde eine neuartige Applikation diskutiert, welche eine simplifizierte, selbständige Schulung an einer Werkzeugschleifmaschine ermöglichen soll.
Die Schulung wurde so konzipiert, dass ein Einzelanwender vier einfache Schritte
von Maschinenstart, Referenzfahrt, Werkzeugwechsel bis zur Maschinenabschaltung sequentiell erlernen kann. Die Schulung wurde dazu in zwei separate Phasen
aufgeteilt. In der ersten Phase kann der Anwender einem interaktiven Video folgen
und sich dabei nach Belieben bewegen und die Kamera mittels Kopfbewegung
führen. In dieser Lernphase werden die Einzelschritte gezeigt und außerdem mit
Audio erklärt. In der darauffolgenden zweiten Phase kann der Anwender die in derLernphase erklärten Schritte ausführen. Dabei stehen ihm keinerlei Hilfsmittel zur
Verfügung. Um sicherzustellen, dass der Benutzer sich nicht verlieren kann, galt es,
exploratives Lernen zu verhindern und die Einzelschritte konnten nur exakt in der
gleichen Reihenfolge wie in der Lernphase angewendet werden. Die in einer anschließenden Anwenderstudie ermittelten Ergebnisse zeigen, dass VR mit sehr
gutem Erfolg zur Grundlagenschulung an WZM eingesetzt werden kann.

10 Ausblick
Weiterführende Arbeiten sollen aufzeigen, welchen Einfluss der gerätetechnische
Aufwand für die VR auf den Lernerfolg hat. In der vorliegenden Arbeit wurde einhochimmersives System verwendet, jedoch könnte der Inhalt auch auf einfacheren
Medien erfolgenden, beispielsweise auf Smartphones. Weiterhin soll in weiterführenden Arbeiten untersucht werden, inwieweit das Lernen in Gruppen an der WZM

Alles rund um die Maschine - Begehbare virtuelle Schulung an Werkzeugmaschinen

57

einen möglichen negativen Einfluss haben könnte, obgleich dies bislang als favorisiertes Lernmodell galt.

Literaturangaben[1]Babu, s.; Krishna, S.; Unnikrishnan, R.; Bhavani, R.: Virtual Reality Learning
Environments for Vocational Education: A Comparison Study with Conventional Instructional Media on Knowledge Retention. In: 2018 IEEE 18th International Conference on Advanced Learning Technologies (ICALT), 385-389,
2018, doi: 10.1109/ICALT.2018.00094[2]

Brough J.; Schwartz, M.; Gupta, S.; Anand, D.; Kavetsky, R.; Pettersen, R.:
Towards the Development of a Virtual Environment-based Training System for
Mechanical Assembly Operations. In: Virtual Reality 11(4), 189-206, 2007,
doi: 10.1007/s10055-007-0076-4[3]

Cruz-Neira, C.; Sandin, D.; DeFanti, T.; Kenyon, R.; Hart, J.: The CAVE: Audio Visual Experience Automatic Virtual Environment. In: Communications
ACM. Band 35, Nr. 6. ACM, Juni 1992, ISSN 0001-0782, 64-72,
doi:10.1145/129888.129892[4]

Dalgarno, B.; Lee, M.: What are the learning affordances of 3-D Virtual environments? In: British Journal of Educational Technology, vol. 41, 10-32, 2010,
doi: 10.1111/j.1467-8535.2009.01038.x[5]

Fiorella, L.; van Gog, T.; Hoogerheide, V.; Mayer, R.: It’s All a Matter of Perspective: Viewing First-Person Video Modeling Examples Promotes Learningof an Assembly Task. In: Journal of Educational Psychology 109(5), 653-665,
doi: 10.1037/edu0000161[6]

Ganier, F.; Hoareau, C.; Tisseau, J.: Evaluation of procedural learning transferfrom a virtual environment to a real situation: A case study on tank maintenance training. In: Ergonomics 57(6), 828-843, 2013, doi:
10.1080/00140139.2014.899628[7]

Gavish, N.; Gutiérrez, T.; Webel, S.; Rodríguez, J.; Peveri, M.; Bockholt, U.;
Tecchia, F.: Evaluating virtual reality and augmented reality training for industrial maintenance and assembly tasks. In: Interactive Learning Environments
23(6), 778-798, 2015, doi: 10.1080/10494820.2013.815221[8]

Hart, S.; Staveland, L.: Development of NASA-TLX (Task Load Index): Results of Empirical and Theoretical Research. Hancock, P.; Meshkati, N. (Eds.):
Advances in Psychology 52: 139-183, 1998, doi: 10.1016/S01664115(08)62386-9

58

Hirt et al.

[9]Hirt, C.; Holzwarth, V.; Gisler. J.; Schneider, J.; Kunz, A.: Virtual Learning
Environment for an Industrial Assembly Task. In: International Conference on
Consumer Electronics 2019, 2019[10] Jensen, L.; Konradsen, F.: A review of the use of virtual reality head-mounted
displays in education and training. Journal of Education and Information
Technologies 23(4), 1515-1529, 2018, doi: 10.1007/s10639-017-9676-0[11] Kennedy, R.; Lane, N.; Berbaum, K.; Lilienthal, M.: Simulator Sickness Questionnaire: An Enhanced Method for Quantifying Simulator Sickness. In: The
International Journal of Aviation Psychology 3(3): 203-220, 1993, doi:
10.1207/s15327108ijap0303_3[12] Makransky, G.; Terkildsen, T.; Mayer, R.: Adding Immersive Virtual Reality toa Science Lab Simulation Causes More Presence But Less Learning. In:
Learning and Instruction, Vol. 60, 225-236, 2019, doi:
10.1016/j.learninstruc.2017.12.007[13] Passig, D.; Tzuriel, D.; Eshel-Kedmi, G.: Improving Children's Cognitive Modifiability by Dynamic Assessment in 3D Immersive Virtual Reality Environments. In: Computers & Education, Vol. 95, 296-308, 2016, doi:
10.1016/j.compedu.2016.01.009[14] Ragan, E.: The Effects of Higher Levels of Immersion on Procedure Memorization Performance and Implications for Educational Virtual Environments. In:
Presence 19(6), 527-543, 2010, doi: 10.1162/pres_a_00016[15] Sowndararajan, A.; Wang, R.; Bowman, D.: Quantifying the Benefits of Immersion for Procedural Training. In: Proceedings of the 2008 Workshop on
Immersive Projection Technologies/Emerging Display Technologies, 2.1-2.4,
2008, doi: 10.1145/1394669.1394672[16] Sportillo, D.; Avveduto, G.; Tecchia, F.; Carrozzino, M.: Training in VR: A
Preliminary Study on Learning Assembly/Disassembly Sequences. In: Augmented and Virtual Reality, 332-343, 2018

59

Presence in VR – der Schlüssel zu
Akzeptanz und Übertragbarkeit?!
Brade, J.1; Kögel, A. 1
1

TU Chemnitz, Professur Werkzeugmaschinenkonstruktion und Umformtechnik

Abstract
Die Vorteile von Virtual Reality wie Kostenersparnis und steigende Benutzersicherheit durch Arbeiten an virtuellen statt realen Objekten oder ungetesteten Prototypen
begünstigen die Verbreitung dieser Technologien sowohl im industriellen Umfeld als
auch in Bereichen wie Ausbildung, Training und Produktrepräsentationen. Obwohl
der Mehrwert von virtuellen Anwendungen durchaus greifbar und nachvollziehbar
ist, schwankt die Akzeptanz unter den Benutzern dieser Technologien vergleichsweise stark. Um die Akzeptanz zu erhöhen, muss zunächst untersucht werden,
welche Faktoren die Ausprägung der Akzeptanz beeinflussen und welche Maßnahmen ergriffen werden können, um Virtual Reality auch für kritische Nutzer attraktiver zu gestalten. Ein wesentlicher Ansatzpunkt zu Steigerung der Nutzerakzeptanz von Virtual Reality-Szenarien ist die Steigerung des Presence-Empfindens
innerhalb der virtuellen Welt − dem Gefühl des Eintauchens in die virtuelle Welt,
dessen Erhöhung auch eine Verbesserung der Übertragbarkeit von dem in derVirtual Reality Gelerntem nach sich ziehen kann. Im vorliegenden Artikel werden
die Presence determinierenden Faktoren analysiert und auf ihren Einfluss auf das
Benutzerempfinden und die Akzeptanz untersucht. Es werden erste Ergebnisse desForschungsvorhabens Innoteam Presence dargestellt und das weitere Vorgehen im
laufenden Projekt zur Entwicklung von Maßnahmen erläutert, welche die Erhöhung
der Presence als Schlüssel zur Steigerung von Akzeptanz und Übertragbarkeit zum
Ziel haben.

1

Einführung

Virtuelle Technologien erschließen aufgrund günstiger werdender Hardware undergonomisch verbesserter Systeme fortwährend neue Anwendungsbereiche und
Benutzergruppen. Außerhalb der Entertainmentbranche konnte sich Virtual Reality(VR) bereits vor allem im Trainings- und Ausbildungsbereich, etwa bei der Schulung
von Chirurgen [1] und in der Luftfahrt [2] erfolgreich etablieren. Trotz der Vorteile

60

Brade, J.; Kögel, A.

von virtuellen Szenarien wie Kostenersparnis durch virtuelles Training, gesteigerter
Benutzersicherheit, beispielsweise bei der Erprobung von Störfällen oder der stetigen Reduktion negativer Begleiteffekte dieser Technologie, wie Motion Sickness
variiert die Akzeptanz von virtuellen Technologien stark. Akzeptanz wird hierbei
durch verschiedene Faktoren wie den Einsatzbereich, dem dargestellten Szenario
und auch personenbezogene Eigenschaften wie dem Grad der Technikaffinität desBenutzers bedingt. Um VR auch in bisher nur mäßig erschlossenen Handlungsfeldern weiter zu etablieren, stellt sich die Frage, wie die Akzeptanz der Benutzer
gesteigert werden kann. Ein wesentlicher Aspekt, der dabei betrachtet werdenmuss, ist die sogenannte Presence – das subjektive Gefühl, in die virtuelle Welt
einzutauchen. Gerade im Schulungs- und Ausbildungsbereich ist es notwendig, dieÜbertragbarkeit der virtuellen Handlungen in die Realität zu verbessern, indem einemöglichst hohe Presence erzielt wird. Je besser dies gelingt, desto wahrscheinlicher ist der vermehrte Einsatz von virtuellen Technologien in diesem Bereich. Es
wird davon ausgegangen, dass zum Erreichen einer hohen Presence eine detailgetreue, realistische, multimodale Umgebung erforderlich ist [3]. Diese Annahme gilt
es jedoch noch empirisch zu belegen. Neben dem Einfluss der Realitätsnähe auf
die Presence steht ebenso die Frage, welche Auswirkung eine Steigerung vonRealitätsnähe und Presence-Empfinden auf die Nutzerakzeptanz zeigen. Diesen
Fragen widmet sich das durch die Sächsische Aufbaubank geförderte Projekt Innoteam Presence. Auf Basis gemeinsam definierter Use Cases untersucht ein Verbund aus Industrie- und Forschungspartnern dabei den Einfluss von Visualisierungs- und Interaktionstechniken sowie die Einbindung weiterer Sinnesmodalitäten
auf die empfundene Presence und die Akzeptanz hinsichtlich des Szenarios. Zudem erfolgt im Projekt eine Analyse personenbezogener Einflussfaktoren mit dem
Ziel, einen Methodenkatalog zu erstellen, welcher konkrete Handlungsempfehlungen in Bezug auf virtuelle Szenarien für verschiedene Personas, Anwendungsbereiche und Techniken enthält. Da ein adäquates Kosten-Nutzen-Verhältnis maßgeblich für den breiten Einsatz von virtuellen Technologien im industriellen Umfeld
ist, steht das Verhältnis des Aufwands bei der Erstellung entsprechender virtueller
Szenen im Vergleich zur erzielten Erhöhung der Presence und damit zu potentiell
gesteigerter Akzeptanz als zentrale Fragestellung im Fokus.

2Stand der Technik

VR ermöglicht es, in eine computergenerierte Welt einzutauchen und eröffnet neue
Möglichkeiten der Visualisierung und Interaktion. Um das Gefühl des Eintauchensin diese virtuellen Welten zu beschreiben, wird zwischen Immersion und Presence
unterschieden [4]. Immersion bezeichnet dabei aus technischer Perspektive inwie-

Presence in VR – der Schlüssel zu Akzeptanz und Übertragbarkeit?

61

weit die Technologie dazu fähig ist, dem Benutzer eine umfassende, umgebende
und lebendige Illusion der Realität zu ermöglichen [4]. Presence hingehen stellt die
psychologische Sichtweise dar und beschreibt den „sense of being in the virtualenvironment“ [4]. Dabei bedingt das Level der Immersion den Grad der Presence invirtuellen Welten [5]. Während Immersion durch die technologischen Komponenten
der virtuellen Szene bestimmt ist, wird das Presence-Empfinden zusätzlich vonbenutzerspezifischen Faktoren und Eigenschaften des Szenarios beeinflusst. Weisset al. [6] teilt die Presence beeinflussenden Faktoren in drei Kategorien ein (siehe
Bild 1).

Bild 1 Faktoren, die das Presence-Empfinden in virtuellen Umgebungen beeinflussen nach Weiss etal. [6]Es liegen bereits Studien und Metaanalysen vor, die sich dem Einfluss dieser Faktoren auf das Presence-Empfinden widmen und erste Erkenntnisse über die Gewichtung der einzelnen Faktoren lieferten. Cummings und Bailenson [7] fanden
heraus, dass die Bild- und Tonqualität im Gegensatz zu Eigenschaften wie dem
Field of View, Stereoskopie und dem Tracking-Level einen untergeordneten Einfluss auf das Presence-Empfinden haben. Zimmons und Panter [8] belegten, dasseine Erhöhung des Fotorealismus des Szenarios nicht gleichzeitig zu einer erhöhten Presence-Bewertung führt. Andere Studien [9,10] zeigen, dass menschenähnliche Avatare schlechtere Virtual-Body-Ownership-Werte als roboter- oder cartoonähnliche Avatare aufweisen können. Des Weiteren wurde nachgewiesen, dass die
Steigerung der strukturellen Genauigkeit einer virtuellen Szene nicht zwingend eine
Steigerung des Presence-Gefühls nach sich zieht [8]. Trotz dieser und anderer
Erkenntnisse besteht weiter die Annahme, virtuelle Szenarien möglichst realitätsnah zu gestalten. Gleichzeitig müssen jedoch der Aufwand und die Kosten bei derErstellung eines virtuellen Szenarios beachtet werden. Eine umfassende Beschrei-

62

Brade, J.; Kögel, A.

bung, welche Faktoren sich in welchem Maße auf die Presence-Bewertung auswirken und welche Rolle hierbei die Multimodalität spielt, ist derzeit nicht verfügbar.
Obwohl Presence für den Erfolg einer virtuellen Anwendung einen wesentlichen
Faktor darstellt, ergibt sich die Frage, durch welche Ansatzpunkte die Akzeptanz
des Benutzers maximiert werden kann. Mütterlein und Hess [11] identifizierten
anhand einer Metanalyse und durch eigene Befragung Faktoren, welche die Akzeptanz einer virtuellen Anwendung beeinflussen. Dabei benennen sie neben dem
Gefühl der Presence weitere Faktoren, die gleichzeitig in Beziehung zu Akzeptanz
und Presence stehen, etwa Immersion, Enjoyment und Handhabung. Es ist also
anzunehmen, dass Presence und Akzeptanz eine enge Verbindung zueinander
aufweisen. Offen bleiben jedoch die Forschungsfragen, in welchem Maße welche
Faktoren das Presence-Erlebnis signifikant beeinflussen und ob sich diese Beeinflussung ebenso in einer Korrelation zur Akzeptanz nachweisen lässt. Diese Erkenntnisse sind dann in dem zu erstellenden Methodenkatalog, in welchen konkrete
Handlungsempfehlungen zur Maximierung des Presence-Empfindens für spezielle
Personen und Use Cases niedergelegt sein sollen, zu übertragen.

3

Methodischer Ansatz

Um die Forschungsfragen zu untersuchen wurden verschiedene Use Cases konzipiert, die repräsentativ für mögliche Einsatzbereiche von VR stehen. Dabei fokussiert ein Use Case ein industrielles Szenario wie es beispielsweise zur Schulungbzw. zum Training Anwendung finden könnte. Ein weiterer Use Case bildet eine
Alltagssituation ab, die auf eine größere Personengruppe angewendet werden
kann. Beide Szenarien ermöglichen durch die Einbeziehung von Haptik und 3DAudio ein multimodales virtuelles Erlebnis und bieten gleichzeitig auch die Möglichkeit, einzelne oder mehrere Modalitäten auszublenden, um den Einfluss auf die zu
erhebenden Faktoren – Presence und Akzeptanz – zu untersuchen. Tabelle 1 gibt
einen Überblick über die zu variierenden Faktoren und Methoden.

Presence in VR – der Schlüssel zu Akzeptanz und Übertragbarkeit?

63

Tabelle 1: Übersicht der zu variierenden Einzelmodalitäten für die beiden Szenarien.
Montageszenario

Visualisierung

Interaktion

HaptikAkustik

Benutzereigenschaften

Avatardarstellung

Objektfarbe und Schattenwurf

Virtuelle Fahrradfahrt

Art des VR Systems – projektiv vs.
Head-Mounted-Display



Field-of-View /Auflösung



Variation der ControllerartenInteraktion über FlystickEinbindung realer Objekte(z. B. Akkuschrauber)Interaktion über Tritt- undLenkbewegungenFeedback über VR-Controller

Feedback über Haptik-Bänder



Fahrradlenker anfassenKein Haptik-Feedback

Taktile Wahrnehmung wind



3D-Sound ambient + gerichtet



3D-Sound gerichtet



3D-Sound ambientKein 3D-SoundErfahrungTechnikaffinitätGeschlecht



Alter

3.1 Use Case Montageszenario
Das Montageszenario (siehe Bild 2) wurde für ein Head-Mounted-Display konzipiertund ermöglicht zum einen, einfache Montagetätigkeiten zu trainieren und zum anderen, die zu Grunde liegenden geplanten Arbeitsschritte von einem Planer auf ihre
Eignung hin zu überprüfen. Dabei ist es dem Planer möglich, durch Perzentil- undGeschlechtsauswahl die Sicht bestimmter Bearbeitergruppen einzunehmen, um
anschließend aus dieser Sicht die Arbeitsschritte und Erreichbarkeiten zu überprüfen. Zudem können entsprechende Greifräume visualisiert werden, um Schwachstellen des Arbeitsplatzes zu identifizieren. Neben der planerischen Sicht auf das
Szenario können die Arbeitsschritte direkt erprobt werden. Hierzu wurden typische
Grundmontagetätigkeiten wie beispielsweise das Aufstecken und Eindrehen vonSchrauben oder das Bearbeiten und Fügen von Bauteilen umgesetzt. Um die Projektzielstellung – die Erhöhung der Presence – untersuchen zu können, verfügt das
Szenario zudem über haptische und akustische Ausgabemodalitäten. Bezüglich derHaptik werden zwei Konzepte verfolgt: zum einen wird haptisches Feedback überdie zur Eingabe verwendeten VR-Handcontroller wiedergegeben. Zum anderenwerden durch die Projektpartner WESOM Textil GmbH und die Professur Arbeits-

64

Brade, J.; Kögel, A.

wissenschaft und Innovationsmanagement der Technischen Universität Chemnitz
tragbare Haptik-Aktuatoren für den Körper und die Gliedmaßen entwickelt, welche
Reize mittels Vibrationsmotoren an multiple Körperstellen des Nutzers übermitteln.
Diese Aktuator-Bänder ermöglichen zum einen Rückmeldungen in Bezug auf Systemzustände wie die Aufnahme der virtuellen Objekte (z. B. Werkstück, persönliche
Schutzausrüstung, Schraubendreher, etc.) und zum anderen die Nachbildung realer
haptischer Ereignisse wie die Vibrationen beim Bohren, Gegendruck beim Zusammenstecken eines Werkstückes oder Vibrationen bei der Höhenverstellung desWerkzeugtisches.

Bild 2: Virtuelle Szene des Use Case Montageszenario

Für die realitätsnahe akustische Gestaltung des Szenarios wurden zunächst
Schallquellen definiert, die bei der realen Arbeit an einem Montagetisch aufgenommen wurden. Diese Schallquellen beziehen sich auf die Einstellungen des Montagetisches (Höhenverstellung, Einstellen der Schwenkarme) und die Tätigkeiten, dieam Tisch vorgenommen werden. Darüber hinaus wurden verschiedene Umgebungsgeräusche definiert. Die Wiedergabe erfolgt mittels Kopfhörer.

3.2 Use Case Virtuelle Fahrradfahrt
Während das Montageszenario für den industriellen Anwendungsbereich und die
entsprechenden Nutzer entwickelt wurde, greift das zweite Szenario eine Alltagssi-

Presence in VR – der Schlüssel zu Akzeptanz und Übertragbarkeit?

65

tuation auf – die Fahrt auf einem Fahrrad. So wurde eine virtuelle Rundfahrt auf
dem Campus der Technischen Universität Chemnitz konzipiert, welche den Probanden über eine vordefinierte Route an verschiedenen Events entlangführt. Um
die Interaktionen so real wie möglich zu gestalten, sitzt der Proband auf einem
realen Fahrrad und steuert über Lenk- und Trittbewegungen die Navigation im virtuellen Szenario. Das Fahrrad steht dabei in der am Virtual Reality Center Production Engineering installierten 5-Seiten CAVE (siehe Bild 3). Der Nutzer kann soseinen eigenen Körper und das reale Fahrrad im virtuellen Szenario wahrnehmen.

Bild 3: Aufbau Fahrraddemonstrator in der 5-Seiten CAVE

Zur realistischen Ausgestaltung des Szenarios wurden besondere Ereignisse undGegebenheiten der realen Strecke übernommen und mögliche Aufgaben wie Anfahren und Anhalten, Bedienung einer Schranke oder das Beachten kreuzenderPassanten etc. definiert. Auch dieses Szenario wurde multimodal konzipiert, sodass
der Einfluss des Ansprechens verschiedener Sinnesmodalitäten untersucht werden
kann. Für die akustische Gestaltung wurde zusammen mit der Professur für Haptik
und Akustik der Technischen Universität Dresden ein Akustikkonzept mit entsprechenden Anbindungen an das Szenario entworfen. Die Verortung der Schallquellen
erfolgt mittels Schallprojektion, indem ein hinter dem Nutzer, außerhalb der CAVE
platziertes Lautsprecherarray den Schall gezielt über Reflexionswege an den Wän-

66

Brade, J.; Kögel, A.

den der CAVE auf die Nutzerposition im Szenario leitet und somit virtuelle Lautsprecher um den Nutzer aufbaut. Über ein Panning zwischen diesen virtuellen
Lautsprechern erhält der Nutzer ein 3D-Sounderlebnis, ohne Kopfhörer tragen zu
müssen und ohne, dass die Projektionswege der Bilddarstellung in der CAVE vonphysischen Lautsprechern verstellt werden.
Für die Einbindung der haptischen Wahrnehmung spielen zwei Komponenten einewesentliche Rolle: das haptische Feedback beim Steuern und Pedalieren des realen Fahrrades und das sensorische Feedback, welches durch eine Windsimulation
erreicht wird. Die Windsimulation erfolgt durch einen Spezialventilator, welcher vor
dem Rad positioniert wird. Sowohl Wind- und Pedalwiderstandsimulation greifen auf
die entsprechenden Variablen im virtuellen Szenario wie Geschwindigkeit, Oberflächennormale des Bodens im Kontaktpunkt mit dem Schwerpunkt des Rades zurück
und errechnen daraus die Windgeschwindigkeit und den Pedalwiederstand bzw.
den benötigten Fremdantrieb zur Simulation von Bergabfahrten. Mittels Bluetooth
bzw. ATN+ Protokoll werden die angeschlossenen haptischen Feedbackgeräteangesteuert und erzeugen ein realistisches Fahrgefühl.

4

Erste Untersuchungen und Ergebnisse

In einer ersten Studie wurde die Wirkung von verschiedenen Avatarrepräsentationen in einer within-subject-Studie untersucht. Dabei wurden den Probanden in
randomisierter Reihenfolge drei verschiedene Avatare – zwei vollständige Avatare,deren Farb- und Formgestaltung variierte und ein Modell, welches nur zwei schwebende Hände darstellte – aus der First-Person-Perspektive dargeboten. 32 Probanden (21 Frauen und 11 Männer) mit einem Altersdurchschnitt von 24,43 (SD=3,72)
absolvierten das virtuelle Montageszenario, in welchem sie ein Spielzeugauto montieren mussten. Hierzu bohrten sie zunächst mittels einer Standbohrmaschine jeweils ein Loch in vier Räder und steckten diese anschließend an das Gestell desSpielzeugautos. Danach entnahmen sie einem Vorratsbehälter Schrauben, die sie
einzeln auf die montierten Räder aufsteckten und mittels eines Akkuschraubers
eindrehten. Abschließend clipsten sie die Ladefläche auf das Fahrzeug. Diese Prozedur wiederholten die Probanden für jede Avatarvisualisierung in randomisierter
Reihenfolge und bewerteten jeweils anschließend in standardisierten Fragebögen
ihre Presence und Akzeptanz. Das Presence-Empfinden wurde mittels des ITCSOPI [12] und die Akzeptanz mittels der Akzeptanzskala [13] abgefragt. Der ITCSOPI beinhaltet vier Faktoren, die in 12 Items auf einer 5-stufigen Likert-Skalaerhoben wurden. Der Faktor Sense of Physical Space gibt “a sense of physicalplacement in the mediated environment, and interaction with and control over partsof the mediated environment” [12] an. Der zweite Faktor Engagement beinhaltet“user’s involvement and interest in the content of the displayed environment, andPresence in VR – der Schlüssel zu Akzeptanz und Übertragbarkeit?

67

their general enjoyment of the media experience” [12]. Der Faktor Ecological validity
zeigt die Glaubwürdigkeit und den Realismus des Inhaltes und auch die Natürlichkeit der Szene auf. [12]. Der vierte Faktor Negative effects umfasst alle negative
physiologischen Reaktionen [14] wie Motion Sickness oder Schwindel. Die Akzeptanz wurde mittels neun Items in einem 5-stufigen semantischen Differential gemessen und teilt sich in die Faktoren Nutzen und Zufriedenheit auf.

4.1 Einfluss der Avatarvisualisierung
Insgesamt erzielten alle drei Visualisierungslösungen sehr hohe Presence-Werte
und gute Ergebnisse auf der Akzeptanzskala. Die Analyse der Erhebung ergab
mittels Shapiro-Wilk Test keine normalverteilten Daten, weshalb ein Friedman-Test
für gepaarte Stichproben auf einem Signifikanzlevel von 5% für die Analyse verwendet wurde. Die Ergebnisse ergaben keine signifikanten Unterschiede bezüglich
der Presence und der Akzeptanz-Werte zwischen den verschiedenen Visualisierungsarten. Dieses Resultat zeigt auf, dass die wahrgenommenen Unterschiede
zwischen den Avataren minimal sind und sich nicht in den Bewertungen der
Presence und der Akzeptanz widerspiegeln. Die Resultate können auf verschiedene Faktoren zurückgeführt werden: Alle drei Avatare wurden in ihrer Gestaltung aneine realistische Visualisierung angelehnt und ähnelten sich somit grundlegend.
Des Weiteren ist zu vermuten, dass die Probanden die Unterschiede in der Visualisierung der Avatare nicht direkt wahrnahmen, da sie sich auf die Montagetätigkeiten, also auf die Sicht auf Hände und Unterarme fokussierten und sich somit die
Unterschiede auf diesen Ausschnitt der Avatare beschränkte. Damit lässt sich annehmen, dass bei Szenarien, in denen nicht der gesamte Körper im Fokus der
Betrachtungen steht, sondern das Hauptaugenmerk nur auf Teilen des Avatars liegt
wie z. B. bei Montagetätigkeiten, die Visualisierung simpel gehalten werden kann.
Somit gibt es auch keine Notwenigkeit des Trackings von Rumpf und Beinen.
Um den Zusammenhang der Presence-Bewertung und der Akzeptanz zu untersuchen, wurden Pearsons Korrelationen für alle drei Visualisierungslösungen errechnet. Die Ergebnisse sind in Tabelle 2 dargestellt. Die Werte zeigen signifikante
Korrelationen zwischen den Presence-Faktoren Sense of Physical Space und Ecological Validiy mit beiden Faktoren der Akzeptanzskala für alle drei Visualisierungsarten. Diese Ergebnisse deuten einen klaren Zusammenhang der Glaubwürdigkeit
und des Realismus des Szenarios (Ecological Validity) und der Akzeptanz der Nutzer und weiterhin eine Verlinkung des Gefühls Teils der virtuellen Welt zu sein und
mit dieser zu interagieren und diese zu kontrollieren (Sense of Physical Space) mit
der Akzeptanz der Nutzer an. Für die Faktoren Engagement und Negative Effects
konnten keine durchgängigen Korrelationen festgestellt werden. Dies deutet darauf
hin, dass sich die negativen Effekte der virtuellen Umgebung nicht maßgeblich auf
die Akzeptanz der Benutzer auswirken. Bezüglich des Zusammenhangs der Involvierung und der generellen Freude beim Erleben der virtuellen Welt (Engagement)

68

Brade, J.; Kögel, A.

und der Akzeptanzbewertung zeigt sich derzeit keine klare Tendenz. Daher besteht
nach wie vor die Frage, ob die Akzeptanz abhängig von der empfundenen Freude
ist oder ob auch bei Personen, deren Freude an VR geringer ist, dennoch die Akzeptanz hoch ausfallen kann.
Tabelle 2: Pearson Korrelationen der Presence-Faktoren mit den Faktoren der Akzeptanzskala inallen drei Versuchsbedingungen. Signifikante Korrelation auf 0.01-Niveau; Signifikante Korrelation auf 0.05 Niveau

Akzeptanzskala
NutzenSense of Physical Space

ITC-SOPI

Engagement

Ecological
Validity

Negative
Effects

Zufriedenheit

Nur Hände

.658

.615

Ganzkörperavatar_1

.541

.440

Ganzkörperavatar_2

.582

.468

Nur Hände

.350

.236

Ganzkörperavatar_1

.227

.581

Ganzkörperavatar_2

.451

.495

Nur Hände

.506

.495

Ganzkörperavatar_1

.453

.539

Ganzkörperavatar_2

.596

.515

Nur Hände

-.243

-.417

Ganzkörperavatar_1

-.084

-.426

Ganzkörperavatar_2

-.046

-.207

4.2 Einfluss von Geschlecht, Alter und Erfahrung
Zusätzlich wurde begonnen, den Einfluss personenbezogener Eigenschaften zu
untersuchen. Zur Analyse des geschlechtsspezifischen Einflusses auf die Presence- und Akzeptanzergebnisse wurden erneut Friedman-Tests für gepaarte Stichproben und Pearson Korrelation errechnet. Dabei ist jedoch anzumerken, dass die
Ergebnisse aufgrund der geringen Stichprobengröße in der Männergruppe nur
unter Vorbehalt betrachtet werden können. Eine Überprüfung der Ergebnisse durch

Presence in VR – der Schlüssel zu Akzeptanz und Übertragbarkeit?

69

weitere Erhebungen wird angestrebt. Bei der Überprüfung auf Signifikanzunterschiede ergab sich, dass die weibliche Probandengruppe ähnlich der Gesamtstichprobe, keine signifikanten Unterschiede bezüglich der Presence und Akzeptanzwerte zwischen den verschiedenen Avatar-Visualisierungen aufzeigte. Bei der männlichen Probandengruppe konnte jedoch ein signifikanter Unterschied bezügliches
des Presence Faktors Sense of Physical Space für die verschiedenen Avatare
ermittelt werden (p=.025). Des Weiteren wurde die Beziehung zwischen den
Presence- und Akzeptanz-Faktoren ebenfalls nach Geschlechtern getrennt analysiert und ergab deutliche Unterschiede: Die Ergebnisse der Frauengruppe sind mit
den Ergebnissen der Gesamterhebung vergleichbar, allerdings zeigt die Analyseder Männergruppe hier deutliche Unterschiede, da lediglich der Faktor Engagement
mit der Nützlichkeit in der Gesamtkörperavatar_2-Erhebung korreliert.
Beide Ergebnisse könnten auf geschlechtsspezifische Unterschiede bezüglich der
Presence- und Akzeptanzbewertung hinweisen. Aufgrund der geringen Stichprobengröße ist jedoch von einer endgültigen Aussage abzusehen und stattdessen
müssen die erhaltenen Ergebnisse mit den später folgenden Studien verglichen
werden.
Bezüglich der Erfahrung wurde keine signifikanten Korrelationen mit den Presence
und Akzeptanzfaktoren ermittelt. Bei der Betrachtung altersbedingter Einflüsse
zeigte sich jedoch, dass das Alter mit dem Negative Effects Faktor in zwei Versuchsreihen signifikant korreliert. Dabei ist jedoch zu beachten, dass in der vorliegenden Studie nur Personen zwischen 20 und 35 Jahren einbezogen wurden.

5

Zusammenfassung und Ausblick

Die Studienergebnisse zeigen einen deutlichen Zusammenhang der PresenceFaktoren Sense of Physical Space und Ecological Validity und der Akzeptanz derProbanden. Es konnten weitere Anhaltspunkte dafür gefunden werden, dass einehohe Presence sich ebenso in hohen Akzeptanzwerten wiederspiegelt. Die Studie
zeigt jedoch auch, dass die Frage, welche Methoden zu hohen PresenceBewertungen führen, nach wie vor nicht beantwortet ist. Hinsichtlich der Avatargestaltung widerlegen die Untersuchungsergebnisse die eingangs getroffene Annahme, dass eine möglichst realistische Szenerie zu höheren Presence-Werten führt.
Obwohl die Annahme bestand, dass ein Ganzkörper-Avatar, aufgrund seiner im
Vergleich zu schwebenden Händen deutlich gesteigerten Nähe zur Realität derWahrnehmung unseres eigenen Körpers, eine höhere Presence bewirkt, indizieren
die Ergebnisse, dass solche Unterschiede in der Visualisierung nicht ausschlaggebend für die Presence-Bewertung sind. Des Weiteren deuteten sich zwar ge-

70

Brade, J.; Kögel, A.

schlechtsspezifische Unterschiede in den Ergebnissen an, diese können jedoch
nicht ohne weitere Studien als zutreffend angenommen werden.
Um die Auswirkungen von Szenario-, Methoden- und Benutzerspezifischer Faktoren auf die Presence- und die Akzeptanzbewertung zu untersuchen, werden die in
Kapitel 3 beschriebenen Variationen der Methoden und Faktoren in weiteren Studien untersucht, ebenso wie die Auswirkung einer gesteigerten Presence auf dieÜbertragbarkeit von Lerninhalten aus VR-Anwendungen in die Realität. Ausgehendvon den Gesamtergebnissen erfolgt im weiteren Verlauf des Projektes die Erstellung eines Methodenkataloges, in denen der Einfluss der Methoden und Faktoren
beschrieben wird. Dieser Katalog dient als Wegweiser und Hilfestellung für die
Erstellung zukünftiger virtueller Szenarien, um abschätzen zu können, welche Methoden notwendig und sinnvoll sind, wenn für eine bestimmte Personengruppe das
Erreichen eines bestimmten Presence-Levels gesichert werden soll.

Literaturangaben[1]

Palter, V.N.,Grantcharov, T.P., Individualized deliberate practice on a
virtual reality simulator improves technical performance of surgical novices
in the operating room: a randomized controlled trial, Annals of surgery 259(3) 2014 443-448[2]Vora, J., Nair, S., Gramopadhye, A.K., Duchowski, A.T., Melloy, B.J.,
Kanki, B., Using virtual reality technology for aircraft visual inspection
training: presence and comparison studies, Applied ergonomics 33 (6)2002 559-570[3]Rau, V., Niemöller, D., Berkemeier, L., Ist weniger mehr? –Designprinzipien für Virtual Reality Training aus kognitionspsychologischer
Sicht, HMD Praxis der Wirtschaftsinformatik 56 (4) 2019 809-822[4]Slater, M.,Wilbur, S., A Framework for Immersive Virtual Environments(FIVE): Speculations on the Role of Presence in Virtual Environments,
Presence: Teleoperators and Virtual Environments 6 (6)1997 603-616[5]Slater, M., Measuring presence: A response to the Witmer and Singer
presence questionnaire, Presence 8 (5) 1999 560-565[6]

Weiss, P.L., Kizony, R., Feintuch, U., Katz, N., Virtual reality inneurorehabilitation, Textbook of neural repair and rehabilitation 51 (8)2006 182-97[7]

Cummings, J.J.,Bailenson, J.N., How immersive is enough? A metaanalysis of the effect of immersive technology on user presence, Media
Psychology 19 (2) 2016 272-309

Presence in VR – der Schlüssel zu Akzeptanz und Übertragbarkeit?

71

[8]

Zimmons, P.,Panter, A. The influence of rendering quality on presence andtask performance in a virtual environment, IEEE Virtual Reality, 2003.
Proceedings., (2003)[9]

Mori, M., MacDorman, K.F., Kageki, N., The uncanny valley [from thefield], IEEE Robotics & Automation Magazine 19 (2) 2012 98-100[10]Lugrin, J.-L., Latt, J., Latoschik, M.E. Avatar anthropomorphism andillusion of body ownership in VR, 2015 IEEE Virtual Reality (VR), (2015)[11]

Mütterlein, J.,Hess, T., Immersion, presence, interactivity: towards a joint
understanding of factors influencing virtual reality acceptance and use,
2017

[12]

Lessister, J., Freeman, J., Keogh, E., Davidoff, J., A Cross-Media
Presence Questionnaire: The ITC-Sense of Presence Inventory, Presence:
Teleoperators and Virtual Environments 10 (3) 2001 282-297[13]

Van Der Laan, J.D., Heino, A., De Waard, D., A simple procedure for theassessment of acceptance of advanced transport telematics,
Transportation Research Part C: Emerging Technologies 5 (1) 1997 1-10

[14]

Mania, K.,Chalmers, A., The Effects of Levels of Immersion on Memory
and Presence in Virtual Environments: A Reality Centered Approach,
CyberPsychology & Behavior 4 (2) 2004 247-364

73

Explorative Studie zur computergestützten
Analyse im Bereich Fahrsimulationen
Ritter, M.1; Vodel, M.2; Roschke, C.3; Vogel, R.1; Heinzig, M.1
1

Hochschule Mittweida, Professur Medieninformatik

2

Hochschule Mittweida, Professur Softwareentwicklung für Medien und
Anwendungssysteme

3

Hochschule Mittweida, Fakultät Medien

Abstract
Im Bereich der praxisorientierten Hochschulausbildung offeriert das vorgestellte
innovative und explorative Lehrformat eine Möglichkeit für einen signifikanten Wissenszuwachs für Studierenden durch geführte Erschließung der ihnen unbekannten
und interdisziplinären Anwendungsdomäne von Fahrsimulatoren. Durch die Bündelung multipler Kompetenzen des Lehrpersonals, der beteiligten PromovendenInnen
und Experten und die kompakte Durchführung in einem dreitägigen BlockWorkshop konnten die Lernprozesse deutlich intensiver und nachhaltiger gestaltet
werden, wobei sich der Beitrag nicht mit der eigentlichen Bewertung, sondern mit
der Darstellung der erzielten Ergebnisse befasst, die anschließend der Hochschulöffentlichkeit gemeinsam mit allen Beteiligten vorgestellt wurden.

1

Motivation

E-Sports entwickelt sich zu einer tragenden Säule in der Medienlandschaft. Künstliche Intelligenz und Maschinelle Lernverfahren sind in den aktuellen technischen
Entwicklungen im MINT-Bereich essenziell verankert und müssen auch in der Lehre
verstärkt thematisiert werden. Am Beispiel des hochschuleigenen Fahrsimulators,
welcher aus Forschungs- und Investivmittel finanziert wurde, wurden Immersionslevel, Stressfaktoren und Fahrverhalten bei studentischen Probanden innerhalb desinnovativen Lehrformats eines explorativen Workshops untersucht, welches in den
nachfolgenden Abschnitten detailliert beschrieben steht.
Das durchgängige Lehrkonzept Digital Skills and Products (vgl. Ritter et al. (2019)[1]) der Bachelor- und Masterstudiengänge Medieninformatik & Interaktives Entertainment der Hochschule Mittweida verfolgt das Ziel, Studenten zu befähigen, ihre
digitalen Fähig- und Fertigkeiten kontinuierlich über den Studienverlauf auszubilden

74

Ritter et al.

und Schlüsselkompetenzen zu erwerben, um interaktive Produkte oder Lernsimulationen auf interdisziplinärem Terrain zu erstellen. Hierzu ist es wichtig, einen geführten Perspektivenwechsel vom Lernenden hinweg zur Rolle des Wissensvermittlers
oder Lehrenden vorzunehmen. Dieses Vorhaben ordnet sich nahtlos in das Konzept ein und fokussiert auf den Zeitraum des 2. Mastersemesters (M2) mit dem Ziel,
Studenten zu befähigen, sich in großen Datenmengen in fremden Anwendungsdomänen zurechtzufinden und Schlüsselkomponenten explorativ aber angeleitet zu
identifizieren, zu verarbeiten, darzustellen und geeignete Hypothesen abzuleiten
und anteilig verifizieren zu können.

2

Methoden & DurchführungIm konkreten Fall ist das nachfolgend beschriebene explorative Lehrformat im Modul „Interaction Science mit Künstlicher Intelligenz“ im 2. Mastersemester im Umfang von 5 ECTS verortet. In den Bereich des Maschinellen Lernens wird zuvorüber sieben Doppeleinheiten à vier Unterrichtsstunden (180 Minuten mit variierendem Vorlesungs- und Praxisteil) eingeführt, wobei sich der Lehrstoff von den Ursprüngen des Fachgebiets der Künstlichen Intelligenz über Definition und Anwendung von Maschinellen Lernverfahren als KI-Agenten oder für Bewegungsanalysen
bis hin zum Einsatz neuronaler Faltungsnetzwerke mit Standardframeworks wie
Theano und Lasagne [2], Keras [3] und Tensorflow [4] in Nicht-StandardAnwendungsdomänen und in fortgeschrittenen Verfahren zum bildbasierten StyleTransfer mit Hilfe neuronaler Faltungsnetzwerke [5] erstreckt.

2.1 Definition Lernszenario sowie Lehr- und Lernziele
Ausgangspunkt für die Studie war ein dreitägiger Workshop mit Studierenden sowie
mehreren Dozenten. Abweichend von klassischen Lehrformaten und Lehrveranstaltungen sollten die Kursteilnehmer hier den gesamten Datenverarbeitungsprozess,beginnend bei der Datenerfassung, über die Vorverarbeitung, Strukturierung, Visualisierung, Interpretation bis hin zur Überführung in semi-automatisierten Analyseverfahren selbstständig durchlaufen und die zahlreichen Problemstellungen realer
Anwendungsszenarien meistern.
Der Workshop wurde hierzu wie folgt in drei Tageseinheiten zu je 8 Arbeitsstunden
pro Tag gegliedert:Tag 1: Experimentaldesign und Datenaufnahme
Tag 2: Domänenexploration in Gruppen
Tag 3: Auswertung & Präsentationsausarbeitung
Ein wichtiges und spezielles Lernziel stellt die Erschließung bisher unbekannter
Datenlagen in fremden Anwendungsdomänen dar, in die sich mit Hilfe von Fachex-Explorative Studie zur computergestützten Analyse im Bereich Fahrsimulationen

75

perten und entsprechenden Softwarewerkzeugen eingearbeitet werden muss. Das
in der Lehrveranstaltung und im Projekt erlernte Breitenwissen sowie die hierfür
notwendigen individuellen und team-basierten Softskills lassen sich im Nachhinein
auf andere Themenbereiche und Aufgabenstellungen anwenden und stützen eine
industrienahe MINT-Ausbildung an der Hochschule Mittweida.
Die Arbeit auf selbst generierten, „eigenen“ Daten stellt für das vorgestellte Lernformat einen wesentlichen Motivationsparameter dar. Die enge Betreuung erfolgt
mit einem Team aus verhältnismäßig vielen Dozenten und PromovendInnen aus
unterschiedlichen Bereichen der Kerninformatik und informatik-naher Fachbereichen und erstreckt sich vom Algorithmen- und Softwareentwickler über KI- undVisualisierungsspezialisten bis hin zu Projektmanager mit mediatorischer Hintergrundausbildung. Durch die kombinierte und auf stark unterschiedlichen Wissensschwerpunkten bestehende Expertise wird das Lernerlebnis in seiner kompakten
Form überhaupt erst vermittelbar und gleichzeitig mitigierend zielgerichtet optimiert.
In der hier vorgestellten Studie sollte ein Fahrsimulator als Versuchsträger zum
Einsatz kommen. Die durch die Teilnehmer generierten Telemetriedaten aus dem
virtuellen Fahrzeug dienen als Datenbasis für die Erprobung maschineller Lernverfahren, welche sich auf die Klassifikation von Fahrerprofilen konzentrieren. Zusätzlich sollen die KI-Verfahren die Wiedererkennung spezifischer Streckenabschnitte
ermöglichen. Dabei sollen keine konkreten Geoinformation (GPS, Distanzangaben,etc.) genutzt werden, sondern ausschließlich die gefahrenen Telemetriedaten derjeweiligen Fahrer Verwendung finden. Um die Robustheit und die Güte der Klassifikatoren zu erhöhen, werden in einem weiteren Schritt Methoden der Zeitreihenanalysen vorgestellt & durchgeführt. Die qualitativen Auswirkungen auf die Prädiktionsergebnisse können somit direkt analysiert und diskutiert werden.

2.2 Experimentalsetup und erfasste Daten
Zur Aufnahme der konkreten Messreihen musste jeder Kursteilnehmer mehrere
virtuelle Runden im Fahrsimulator auf der Grand Prix-Strecke Suzuka (Japan) absolvieren. Die dabei genutzte Simulationssoftware zeichnete die gesamten Telemetriedaten des virtuellen Fahrzeugs auf. Pro Fahrer entstanden so über drei gefahrene runden ca. 40 MB an Rohdaten, welche eine detaillierte und zeitlich synchronisierte Analyse des Fahrverhaltens ermöglichte. Mit einer Sampling-Rate von
60 Hz wurden pro Datensatz über 300 Parameter aufgezeichnet, wozu beispielsweise Gas- und Bremspedal-Stellung, Geschwindigkeit, Lenkeinschlag, Gangwahl,
Motordrehzahlen, Raddrehzahl, Feder- und Dämpferweg, Kraftstoffverbrauch undzahlreiche andere gehörten. Zusätzlich stehen für Kontrollzwecke auch Geoinformationen zur Verfügung, die die Distanz seit Start- und Ziellinie kodieren und welche aber nur für die visuelle Telemetriedatenanalyse abseits des Klassifikationsproblems genutzt werden.

76

Ritter et al.

Abbildung 1: Beispielhafte Messdatenvisualisierung der Fahrzeugtelemetriedaten mittels MoTeC i2
Pro Software aus dem professionellen Motorsport.

In der gesamten Explorativ-Studie entstanden so in weniger als drei Stunden Rennzeit mehr als 200 Millionen Datenwerte von insgesamt 13 Testpiloten in knapp
800 MB an Daten im CSV-Format. Dies entspricht etwas 650.000 Datenmessungenmit jeweils 300 Attributen pro Datenpunkt bei einer Messfrequenz von 60 Hz. Die
Daten wurde anschließend zunächst individuell ausgewertet und klassifiziert. In
einem nächsten Schritt konnten unterschiedliche Datensätze mehrerer Fahrerübereinandergelegt und hinsichtlich Gemeinsamkeiten und Unterschieden verglichen werden. Abbildung 2 zeigt hierbei die Messdatenvisualisierung.
Auf den bereitgestellten Daten sollten mehrere Teams unterschiedliche wissenschaftliche Fragenstellungen bearbeiten. Die Aufteilung umfasste dabei folgende
Themen:

Gruppe 1 sollte grundlegende Informationen über die zugrundeliegende
Anwendungsdomäne eruieren und hierzu elementare statistische Analysen heranziehen.

Gruppe 2 befasste sich mit Maschinellen Lernverfahren und versuchte den
aktuellen Streckenpunkt aufgrund der zur Verfügung stehenden Merkmalsattribute der Telemetriedaten zu erfassen, ohne dabei auf die GPSKoordinaten zurückzugreifen.

Gruppe 3 befasste sich mit der spezifischen Identifizierung von archetypischen Auffälligkeiten der Probanden (Persona).

Auf die Ergebnisse und Rückschlüsse der drei Gruppen soll im nachfolgenden
näher eingegangen werden.

Explorative Studie zur computergestützten Analyse im Bereich Fahrsimulationen

77

Abbildung 2: Motion Simulator im Testbetrieb (links unten). Virtuelle Unfallschwerpunkte (rechts) undFahrertypisierung (Persona) auf Basis der individuellen Telemetriedaten auf dem Rundkurs Suzuka(Japan) (oben). (aus: [6])2.3 Statistische Datenanalysen und Persona
Auf diesen Datenmengen lassen sich zunächst einfache statische Analysen durchführen. Die Analyse von Rundenzeiten erscheint intuitiv greifbar und aussagekräftig. Ein Mittelwert der Probanden von 2 Minuten 54 Sekunden liegt etwa 70 Sekunden unter der regulären Leistung eines Profi-Rennfahrers bei gleicher Fahr. Diese
reduzieren sich durch die Bestwerte der erfahreneren Probanden bei 2 Minuten und
18 Sekunden deutlich. Darüber hinaus lassen sich auch weitere Trivia an Fahreigenschaften nachweisen: Beispielsweise fahren Personen mit Führerschein augenscheinlich schneller als ohne, wobei die Unfallraten ohne Führerschein fast doppelt
so hoch zu verzeichnen waren wie mit Führerschein, obgleich die Probanden ungleich verteilt waren.
Ferner wurde untersucht, ob sich Unfälle und Fahrverhalten typisieren oder aufeinander abbilden lassen (siehe Abbildung 2). Dazu konnten augenscheinlich drei
verschiedene Persona identifiziert werden: (i) vorsichtige, (ii) souveräne und (iii)aggressive Fahrer, deren Fahrverhalten exemplarisch in der Haarnadelkurve verglichen wird, in welcher offensichtlich auch vorsichtige Fahrer (gelb) Probleme haben

78

Ritter et al.

oder bei welcher auch souveräne Fahrer (blau) gelegentlich auszubrechen scheinen. Auffällig ist, dass aggressiveres Verhalten (rot) die meisten Kollisionen auf
zahlreichen kurvigen Streckenabschnitten aufzeigt, wobei diese auch häufiger undwesentlich staccato-artiger Gas und Bremse zu betätigen scheinen.

2.4 Datenaufbereitung und Datenanalyse mittels Methoden
Maschineller Lernverfahren
Ein Teil der Studierenden beschäftigte sich mit der Analyse und Aufbereitung derdurch das verwendete Experimentalsetup entstandenen Daten. Das Lernziel derGruppe bestand darin, ein Verständnis für die Eigenheiten der Rohdaten zu erhalten, diese handhabbar zu machen und mittels zugänglicher Software erste praktische Erfahrungen im Feld des maschinellen Lernens in unbekannten Anwendungsfeldern zu gewinnen. Konkret bestand das Aufgabenfeld aus vier Kernkomponenten:
1.

Sichtung und Aufbereitung der Rohdaten

2.

Definition von potenziellen Analysezielen

3.

Anreicherung der Rohdaten mit zusätzlichen Informationen

4.

Anwendung und Evaluation Maschineller Lernverfahren inklusive erster
Optionen zur Steigerung der Leistungsfähigkeit

Während des gesamten Prozesses wurden die Studierenden sowohl beratend als
auch bei der Umsetzung der Ideen durch die Betreuer begleitet. Dadurch war esmöglich, sowohl innerhalb des gesteckten Zeitrahmens die technische Umsetzung
zu gewährleisten als auch mögliche Fallstricke zu vermeiden. Die Studierenden
konnten sich damit auf die eigentlichen Kernideen und notwendigen Schritte fokussieren, ohne sich in aufwändigen Problemen der Umsetzung zu verlieren. Folgend
werden Details und Ergebnisse der einzelnen Etappen näher beleuchtet.
2.4.1 Sichtung und Aufbereitung der Rohdaten
Die Daten lagen in ihrer Ursprungsform als eine Ansammlung einzelner Dateien im
CSV-Format (Comma Separated Values; RFC 4180 [7]) vor. Dabei handelt es sichum ein typisches Dateiformat zum Austausch tabellarischer Informationen. Das
Format ist in der täglichen Praxis innerhalb der Domäne des Maschinellen Lernens
häufig anzutreffen. Die Studierenden erhalten somit die Möglichkeit, sich mit dem
Format tiefer vertraut zu machen und den effektiven Umgang zu lernen.
Die einzelnen Dateien lagen in einem spezifischen Namenschema vor, welches indem Muster „{Name}_Lap{X}.csv“ folgte. Dabei beschreibt {Name} den Platzhalterfür den jeweiligen Fahrer, dessen Daten sich in der Datei befinden und {X} den
Platzhalter für die jeweils gefahrene Rundennummer. Konkret würde der NameExplorative Studie zur computergestützten Analyse im Bereich Fahrsimulationen

79„Lisa_Lap2.csv“ die Fahr-/Telemetriedaten von Lisa in Runde 2 enthalten. Die Studierenden standen an dieser Stelle vor drei konkreten Aufgaben:
1.

Die Daten müssen für eine sinnvolle Verarbeitung zusammengefasst werden. Konkret müssen die Dateien also in eine einzelne, zusammenfassende CSV-Datei überführt werden, wobei die Informationen über die jeweilige
Ursprungsquelle erhalten bleiben muss.

2.

Einige der Daten mussten gefiltert werden. Beispielsweise befand sich das
Fahrzeug regelmäßig in der Boxengasse, bevor es die eigentliche Strecke
erreicht.

3.

Für einige Auswertungsschritte sind diese in den Dateinamen vorhandenen Informationen essenziell. Die Dateinamen müssen also zerlegt undder entstehende Datensatz mit den zugehörigen Informationen angereichert werden.

Für die Realisation galt es ein Skript zu entwerfen, welches die CSV-Daten sowohl
einlesen als auch erweitern und speichern konnte. Hierfür kam die Programmiersprache Python [8] zusammen mit der interaktiven Entwicklungsumgebung Jupyter
Notebook [9] zum Einsatz. Jupyter Notebooks erlauben durch ein webbasiertes
Interface den interaktiven Umgang mit der jeweiligen sich im Einsatz befindlichen
Programmiersprache. Da sich Notebook-basierte Umgebungen in der wissenschaftlichen Community besonders im Bereich Rapid Prototyping und Lehre etablieren,bieten sie sich im Rahmen des Projektes im besonderen Maße an. Für das Einlesen und dem Verarbeiten der Daten kam die Bibliothek Pandas [10] zum Einsatz.
Mithilfe der Bibliothek lassen sich verschiedene Datenquellen und Datenformate
einlesen, verarbeiten und schreiben. Praktische Erfahrung dieser spezifischen
Tools erweisen sich in verwandten Lehrveranstaltungen als Vorteilhaft und sinddurch ihre hohe Verbreitung überaus relevant beim industriellen Einsatz nach Abschluss des Masterstudiums.
Als Ergebnis des ersten Schrittes lag ein Datensatz bestehend aus 374.146 Datenpunkten und jeweils 285 Attributen vor. Die Attribute setzen sich aus jeweils 283
reell-wertigen Telemetriedaten aus der Rohdatenanalyse, als auch eines kategorischen Attributs für den jeweiligen Fahrernamens und eines Attributs für die jeweilige Rundenzahl im Bereich [1, ..., 4] zusammen. Der Datensatz erfasst insgesamt
Daten von 13 Teilnehmern. Da das virtuelle Fahrzeug bei Unfällen fahrunfähig
werden konnte, sind die Rundenzahlen ungleich verteilt. Tatsächlich erreichte nur
ein einziger Teilnehmer Runde 4, was lediglich 9.320 Datenpunkten (0,025 %)entspricht.
2.4.2 Definition potenzieller Analyseziele
Da der Workshop in seiner Natur offen gestalten war, gab es keine zwingenden
Zielvorgaben seitens der anleitenden Personen. Aufgabe der Gruppe war es also,

80

Ritter et al.

mögliche Ziele für eine prädiktive Analyse zu ersinnen. Dieser Schritt schärft das
Verständnis der Domäne des maschinellen Lernens. Die Studierenden mussten
sich der vorhandenen Datenlage und der daraus resultierenden Möglichkeiten bewusstwerden. Dabei fiel die Wahl auf folgende zwei Fragestellungen:
A. Kann auf Basis der gewonnen Telemetriedaten festgestellt werden, ob sichdas Fahrzeug in einer Kurvenlage oder auf einem graden Streckenabschnitt befindet?
B. Kann weiterhin festgestellt werden, auf welchem definierten Streckenabschnitt sich der oder die jeweilige Fahrer/-in befindet?
Die zwei Probleme liegen von ihrer Schwierigkeit im Sinne der Prädiktion auseinander. Problem A resultiert in einem Zweiklassenproblem („Fahrzeug befindet sich in
Kurvenlage“ / „Fahrzeug befindet sich auf Gerade“). Problem B hingegen ist ungleich schwieriger: Die verwendete Strecke Suzuka Grand Prix gliedert sich (ohneBoxengasse) nach offiziellen Einteilungen in 24 verschiedene Streckenabschnitte.
2.4.3 Anreicherung der Rohdaten mit zusätzlichen Informationen
Die Studierenden mussten feststellen, dass sich die gesetzten Ziele auf alleiniger
Grundlage der erhobenen Rohdaten nicht realisieren lassen. Es fehlen die eigentlichen Prädiktionsziele: Der Typ der Strecke, der dem jeweiligen Datenpunkt zuzuordnen ist (Gerade / Kurve) und analog der jeweilige Streckenabschnitt im Bereich[1, ..., 24]. Der Datenbestand musste also aufbereitet und erweitert werden.
Durch Analyse der bereits vorhandenen Attribute konnten Studierende und Dozenten gemeinsam feststellen, dass die jeweilige Streckendistanz in Metern in den
Daten vorlag. Auf Basis dieser Grundlage ließ sich eine Kartierung von Distanzen
zu Streckenabschnitten erfolgen. Dafür musste intellektuell auf Basis der Streckenbeschreibung die jeweilige Zuordnung erfolgen. Händisch wurde dafür im ersten
Schritt eine Tabelle erzeugt, welche ein jeweiliges Distanzintervall auf den Streckenabschnitt (und Typ) abbildet. In einem zweiten Schritt wurde die Tabelle in das
zu diesem Zeitpunkt bekannte CSV-Format exportiert. Die Daten konnten nun in die
bereits vorhandene Jupyter Notebook-Umgebung eingelesen werden. Der Programmcode wurde dann so erweitert, dass die Datenreihen basierend auf der Zuordnung angereichert werden konnten. Der final resultierende Code für die Aufbereitung der Daten umfasste insgesamt circa 100 Codezeilen.
Der Prozess der Datenaufbereitung beanspruchte einen Großteil der eigentlichen
Bearbeitungszeit. Das ist für die Studierenden eine entscheidende Beobachtung.
Tatsächlich ist der Prozess der Datenakquise- und Aufbereitung auch im gelebten
Berufsalltag ein sehr zeitaufwändiger Vorgang. Laut dem Data Scientist Report von
Crowdflower verbringen Datenwissenschaftler über 50% ihrer Zeit mit dem Sammeln, Labeln, Bereinigen und Organisieren von Daten, welche gleichzeitig zu den
unbeliebtesten Tätigkeiten des Jobs zählen [11].

Explorative Studie zur computergestützten Analyse im Bereich Fahrsimulationen

81

Abbildung 3: Genauigkeit der Lokalisation des virtuellen Fahrzeugs mit Hilfe von Deep LearningVerfahren und neun Attributwerten auf dem Suzuka-Rundkurs für 2-Klassen-Problem (Gerade vs.
Strecke; links) und für 24-Streckenabschnitte (rechts) mit und ohne Einbezug eines Zeitfenster einer
drittel Sekunde.

2.4.4 Anwendung und Evaluation Maschineller Lernverfahren inklusive erster
Optionen zur Performance-Steigerung
Final konnten die generierten Daten nun für prädiktive Analysen verwendet werden.
Um die Einstiegshürden so gering wie möglich zu halten, wurde dafür auf die Data
Science Plattform RapidMiner [12] zurückgegriffen. Insbesondere kam die Funktion
AutoModel des Tools zum Einsatz. Mit der Funktionalität können auf einfache Art
Daten importiert, selektiert und auf verschiedene Machine Learning-Modellen trainiert und ausgewertet werden. RapidMiner führt dabei selbst eine einfache Parametersuche durch und unterteilt die Daten selbständig in jeder Iteration in Trainingsund Testdaten. Durch diese Unterstützung müssen die Studierenden derartige
Funktionalitäten nicht selbst implementieren, was wertvolle Zeit spart und realistische Ergebnisse liefert, die auch in langwierigen eigenen Implementierungen erwartbar sind. Dabei konnten die Studierenden Eigenheiten der einzelnen Modellebeobachten. So unterscheiden diese sich sowohl in der tatsächlich erreichten prädiktiven Güte als auch in ihren Laufzeiten. Eine tiefere Aufarbeitung der Funktionsweise der einzelnen Modelle kann daraufhin gegebenenfalls in verwandten Lehrveranstaltungen oder Unterrichtseinheiten behandelt werden.
Für die eigentliche Analyse wurde nur ein kleiner Teil der vorhandenen Attributeausgewählt. Dies sollte einer Überparametrisierung der Modelle entgegenwirken
und gleichzeitig den rechnerischen Aufwand reduzieren. Die Studierenden standen
damit vor der konkreten Aufgabe, eine möglichst kleine Anzahl an Messwerten zu
finden, die mutmaßlich als informationsträchtig im Sinne der Vorhersage der vorher
definierten Ziele erscheinen. Dabei wählten sie lediglich neun der zur Verfügung
stehenden 285 Attribute aus. In einem ersten Versuch konnte eine Genauigkeit(Precision) von bis zu 80% für das Zweiklassenproblem (Gerade / Kurve) erreicht
werden. Das 24-Klassenproblem zur Bestimmung der Position des Fahrzeugs auf

82

Ritter et al.

einem konkreten Streckenabschnitt schnitt erwartungsgemäß deutlich schlechterab, was initiale Hypothesen der Studierenden bestätigte.
Die Analyse erfolgte auf Basis der Rohdaten, die mit 60 Hertz erhoben wurden. Ein
offensichtlicher Schwachpunkt der Datendarstellung wurde schnell identifiziert: Eine
Momentaufnahme der Telemetriedaten hat nur eine sehr begrenzte Aussagekraftüber die tatsächlichen Gegebenheiten. Mit dieser gewonnenen Einsicht konnte mit
der Zeitreihenanalyse eine offensichtliche Verbesserungsmöglichkeit identifiziert
werden. Unter Zuhilfenahme von RapidMiner konnte der Datensatz auf einfache
Weise zu einem Zeitreihenformat erweitert werden. Bei dem Vorgang konnten die
Studierenden die Verwendung einiger manueller RapidMiner-Module kennen lernen. Ein Datenpunkt bestand nun aus zusammengesetzten Daten, die 0,33 Sekunden Fahrzeit entsprechen.
Final konnten die Studierenden nun die Genauigkeit für Problem A von 88% auf
95% und Problem B von anfänglich 73% auf 92% steigern, was in Abbildung X
nochmal farblich dargestellt wird. Diese positive Entwicklung schärft das Verständnis der Wichtigkeit der Datenrepräsentation.

3

Zusammenfassung und Lessons learned

Aus der vorgestellten Studie können mehrere Thesen abgeleitet bzw. unterlegt
werden. Im Bereich der praxisorientierten Hochschulausbildung bietet das vorgestellte innovative Lehrformat einen signifikanten Wissenszuwachs für die Studierenden. Durch die Bündelung mehrerer Kompetenzen und die kompakte Durchführung in einem mehrtägigen Block-Workshop konnten die Lernprozesse deutlich
intensiver und nachhaltiger gestaltet werden. Die zusätzliche interdisziplinäre Wissensvermittlung in mehreren ingenieurstechnischen sowie naturwissenschaftlichen
Themenbereichen stellt eine besondere Komponente in der praxisnahen Hochschulausbildung dar und stellt einen erheblichen Mehrwert gegenüber klassischen
Lehrformaten dar.
Innerhalb des Kurses haben die Studierenden einen großen Teil der Datenverarbeitungskette praktisch erfahren. Dabei haben sie am Beispiel mit verschiedenen Industrietypischen Softwarewerkzeugen wie Python, Jupyter Notebook und dem
Analysetool RapidMiner und deren Zusammenspiel in durchgängigen Werkzeugketten arbeiten können. Es konnte das Verständnis für notwendige Arbeitsschritte undAbläufe geschärft und die Wichtigkeit und die Komplexität der Datenaufbereitung
verstanden werden. Stolpersteine bei Realisierung konnten sowohl durch die verwendeten Werkzeuge als auch durch Unterstützung der anwesenden Betreuer
abgefangen werden. Damit war es möglich, die Vielzahl an Arbeitsschritten undÜberlegungen zu bewältigen und schlussendlich tatsächlich in kürzester Zeit valide
Ergebnisse zu erzielen.

Explorative Studie zur computergestützten Analyse im Bereich Fahrsimulationen

83

Danksagung
Die Autoren bedanken sich bei allen Studierenden des Masterstudiengangs Medieninformatik & Interaktives Entertainment des Jahrgangs 2018 und den ungenannt
verbliebenen Dozenten, die dieses innovative Experiment erst ermöglicht haben.

Literatur[1]

Ritter, M., Roschke, C., & Tolkmitt, V.: Die digitale Lernsimulation Finanzmars
im Kosmos von Blended Learning. In: Nadig, L. (Hrsg.): Konferenzband Control-ling.Accounting.Risiko.Finanzen., CARF Luzern, S.327-344, 2019,
Best-Paper-Award im Bereich Lehre[2]

Theano Development Team. Theano: A Python framework for fast computation of mathematical expressions. arXiv:1605.02688, 2016.

[3]

Chollet, François. Deep Learning mit Python und Keras: Das PraxisHandbuch vom Entwickler der Keras-Bibliothek. MITP, 447 Seiten, 2018

[4]

ABADI, Martín, et al. Tensorflow: A system for large-scale machine learning.
In: 12th USENIX Symposium on Operating Systems Design and Implementation. S.265-283, 2016

[5]

Gatys, L. A., Ecker, A. S., & Bethge, M. Image style transfer using convolutional neural networks. In Proceedings of the IEEE conference on computer
vision and pattern recognition, S.2414-2423, 2016

[6]

Ritter, M. Interdisziplinarität im Spannungsfeld moderner Medieninformatik. In:
Kusche et al. (Hrsg.) Festschrift, Hochschule Mittweida, 2020.

[7]

Y. Shafranovich, Common Format and MIME Type for Comma-Separated
Values (CSV) Files, 2005, URL: https://tools.ietf.org/html/rfc4180 [13.11.2019][8]

G. van Rossum, Python tutorial, Technical Report CS-R9526, Centrum voor
Wiskunde en Informatica (CWI), Amsterdam, May 1995.

[9]

Thomas Kluyver et al., Jupyter Notebooks – a publishing format for reproducible computational workflows. In Proc 20th Int. Conf. on Elec. Pub., 87-90,2016[10] Wes McKinney: Data Structures for Statistical Computing in Python, Proceedthings of the 9 Python in Science Conference, 2010, S.51-56[11] CrowdFlower: Data Scientists Report, 2017, URL: https://visit.figureeight.com/rs/416-ZBE-142/images/CrowdFlower_DataScienceReport.pdf[14.11.2019][12] Dwivedi, Shraddha; Kasliwal, Paridhi; Soni, Suryakant. Comprehensive studyof data analytics tools (RapidMiner, Weka, R tool, Knime). In: 2016 Symposium on Colossal Data Analysis and Networking (CDAN). IEEE, 2016. S. 1-8

Lernen, Training und Therapie
mit virtuellen Techniken

87

VR und 360° Medien als interaktive
Schulungsmittel in der Automobillogistik
Dudczig, M.1; Winkler-Dudczig, Chr. 1
1

VRENDEX GmbH, Königshain-Wiederau

Abstract
Schulungen im industriellen Kontext werden durch digitale Medien bereichert. Gerade wo umfassende Situationen mit verdecken Gefahrenquellen lauern und dieseim realen Arbeitsalltag schnell wahrgenommen und vermieden werden müssen,bieten neue Medien großes Potential. Technologien wie Virtuelle Realität (VR) oder360° Anwendungen geben eine umfassendere Sicht als Bilder, Videos, Texte undverbale Belehrungen. Im vorliegenden Beitrag wird ein industrielles Schulungsprojekt von Staplerfahrern im Kontext der Intralogistik beschrieben welches neben
Einsatz einer VR-Anwendung durch eine mobile Version mittels 360° Technologie
realisiert wurde. Herausforderungen bei der Realisierung wie Echtzeitanforderungen in VR, Motion Sickness und der virtuellen Nutzerführung werden ebenso erläutert wie die medienbezogene Didaktik, die zum Einsatz kam. Abschließend wird ein
Ausblick auf den Einsatz der Schulung gegeben.

1

Motivation

Schulungen und Weiterbildungen finden oft genug noch in herkömmlichen Formaten wie dem verbalen Frontalunterricht oder einer bebilderten textbasierten Unterweisung statt. Gerade jedoch für Mitarbeiterschulungen, in denen der gesamte
Situationskontext beachtet werden muss, sind virtuelle Vermittlungsformate durch
etwa Virtuelle Realität (VR) oder auch 360° Medien eine wertvolle Möglichkeit visuell ganzheitlich und interaktiv Situationen zu erleben und daraufhin Verhaltensweisen zu vermitteln und Reaktionszeiten zu verkürzen.
Dass dieser Ansatz nicht neu ist und in einigen Bereichen schon Anwendung findet,
zeigen u.a. unterschiedliche Beispiele aus der Wissensvermittlung und industrieller
Schulungen von geschichtlicher Wissensvermittlung [1] über studentischer Ausbildung im Ingenieurwesen [2] bis hin zu potentiellen Gefahrenschulungen im Bergbauwesen für Fachkräfte [3]. Ebenso haben die Entwicklungen der letzten Jahreüber digitale Bildungsmedien wie Online-Kurse oder auch die stärkere Verbreitungvon 360° Technologien und VR im Konsumerbereich z.B. auch über die technische

88Dudczig, M.; Winkler-Dudczig, Chr.

Unterstützung durch soziale Plattformen für 360° Medien ihren Anteil daran, dassdiese Medien auch im industriellen Schulungskontext stärker erwägt und genutzt
werden. Beim Einsatz dieser Medien ist jedoch stets darauf zu achten, dass derInhalt der Trainings- und Lernprozesse durch das Medium sinnvoll unterstützt undnicht durch eine zu starke Fokussierung auf die rein technischen Möglichkeiten den
Fokus verliert vgl. [4]Die VRENDEX GmbH nutzt Virtuelle Technologien, um speziell für Produktentwicklungsprozesse, Schulungsanwendungen und Marketing interaktive und didaktischfundierte Lösungen anzubieten. Durch Nutzung der Technologien VR, Augmented
Reality (AR) und 360° Medien (real fotografiert, virtuell gerendert oder hybrid fusioniert) wird damit in konzeptioneller Betrachtung auf Basis der Kommunikationsbotschaft des Kunden mehrwertbringende Software- und Hardwarelösung je nach
Anforderungsprofil erstellt.
Für diesen Beitrag dient ein Fallbeispiel aus dem industriellen Kontext der Automobil-Logistik die Basis. Die Rhenus Automotive u.a. als Dienstleister für Transportund Lagerlogistik betreibt an über 600 Standorten weltweit Logistikdienstleistungenund schult in diesem Zusammenhang ihre Mitarbeiter regelmäßig, um sichere und
effiziente Prozesse zu gewährleisten. Einen beachtlichen Teil der Mitarbeiterschaft
stellen die Staplerfahrer dar, die unterjährig unterwiesen werden. Typischerweise
durch verbale, schriftliche oder bebilderte (Gefährdungs-)situationen, die es schnell
und sicher zu erkennen und zu vermeiden gilt.

2

Projektanforderungen und Ziele

Hauptziel des Projektes ist es Schulungsinhalte für die Intralogistik (Staplereinsatz)
so weiter zu entwickeln, dass durch gezielte Ergänzung neuer Medienformate gerade selten auftretende, schwer zu erkennende aber kritische Situationen hinsichtlich der Wahrnehmung und Auswirkung konkreter abgebildet werden können. Dabei
waren folgende Projektanforderungen als Rahmen gesteckt:
keine Beeinträchtigung der operativ genutzten Logistikflächen



umfassende Situationsabbildung (z.B. alle notwendigen Sichtachsen)

physikalisch nachvollziehbare Abbildung der Fahrphysik und Gefahrensituationen

detaillierte grafische Darstellung zur Wiedererkennung unterschiedlicher
Funktionsbereiche (Markierungen, Spiegel, usw.)

schnell zu erlernende Bedienung und Nutzung des Systems



Nutzung des Mediums einzeln oder in kleinen Gruppen bis 5 Personen

Höhere Immersion, stärkere Ursache-Wirkungs-Wahrnehmung und emotionalere Auseinandersetzung mit den SchulungsinhaltenRealisierung des Schulungsmediums als stationäre und als mobile Version

VR und 360° Medien als interaktive Schulungsmittel in der Automobillogistik

89

Damit standen zur Entwicklung geeigneter Formate und Inhalte für eine stationäre
und mobile Trainingslösung die Rahmenbedingungen. In Abstimmung der konkret
zu vermittelnden Gefahrensituationen mit dem Kunden und deren spezifischen
Anforderungen (z.B. erkennbare visuelle Hinweise, Timing, Fahrphysik, Ursache –Wirkungsprinzipien) wurden potentielle Lösungsoptionen ermittelt. Durch Benchmarking potentiell verfügbarer Technologien und aktuell verfügbarer Ausgabegeräte
wurden zwei Konzepte für die Realisierung der virtuellen Schulung wie in Abbildung
1 zu sehen favorisiert:
Stationäre Version: als Echtzeit-VR Anwendung mit Head-MountedDisplay (HMD) (HTC Vive / Oculus Rift S) in Verbindung von Pedalen und
Lenkrad mit Drehknauf

Mobile Version: als 360° Applikation für Tablets mit Gyrosensor und
Touch-Funktionen in Form von 360° Video-Zusammenfassung der Schulungssituationen und durch 360° Multiple-Choice Version zu Lernzwecken
Die Stärken der eher stationär einzusetzenden VR-Lösung liegt klar im Bereich derausgeprägten Interaktionen, hohen Immersion und der umfassenden Abbildungeines dynamisch reagierenden Kontexts der Trainingssituationen. Die 360° Anwendung auf einem Tablet ist jedoch hinsichtlich des mobilen Einsatzes, der geringen
Investkosten in notwendige Hardware sowie eine höhere grafische Qualität stärker.
Bei geringerem Datenaufbereitungsaufwand der Initialszene hinsichtlich Geometrie
und Texturoptimierung sind aufgrund des vorgelagerten Renderings keine harten
echtzeitfähigen Kriterien zu erfüllen. Der Aufwand liegt bei diesem Medium eher bei
der Animation und im Video-Postprocessing der Szenen.

Bild 1: VR-Applikation (HTC Vive) mit vorausfahrendem Stapler-Avatar

90

3

Dudczig, M.; Winkler-Dudczig, Chr.

Projektrealisierung

Auf Basis verfügbarer Informationen (2D-Ansichten) wurden die Halleninfrastruktur,
die Funktionsbereiche, Ladungsträger, Stapler, Menschmodelle und Details modelliert bzw. aus verfügbaren Modellen echtzeitfähig optimiert. Herausforderung indiesen Prozess war die Balance zwischen grafischen Details und die notwendige
Echtzeitfähigkeit (>90 Bilder pro Sekunde) für die VR-Version der Schulung. Zur
Abbildung der schulungsrelevanten Situationen wurden Animationen, Physik und
Events so erstellt und zusammengefügt, dass sowohl Ursache-Wirkungsprinzipien
als auch Timing den typischen Gefahrenquellen entsprachen. Hier erfolgte eineenge Abstimmung mit dem Kunden, der sein explizites Wissen mit in den Gestaltungsprozess einbrachte, um typische (bereits vorgekommene) als auch seltene,
potentielle Gefahrenquellen adäquat abzubilden.

3.1 Medienbezogene Schulungsdidaktik
Die Gestaltung der Schulungsdidaktik wurde medienbezogen unterschiedlich entwickelt, da in einer echtzeiterstellten (6 Freiheitsgrade) Umgebung (VR) anders agiert
und reagiert werden kann, als in einem 360° Medien (3 Freiheitsgrad – Rotation der
Kamera), welches nur einen Teil an Interaktionen zulässt.

Bild 2: Screenshot der VR-Applikation (HTC Vive) mit vorausfahrendem Stapler-Avatar

Um die Mitarbeiter in potentiell gefährliche Arbeitssituationen zu bringen um deren
Wahrnehmung, Reaktionszeit und Weitsicht zu schulen, wurde in der VRUmgebung (Bild 2) eine Art Hologramm-Avatar (virtueller Stapler) genutzt, der eineVR und 360° Medien als interaktive Schulungsmittel in der Automobillogistik

91

zu fahrende Strecke im Lager dynamisch vorgab und verfolgt werden musste. Dabei bestand stets die Möglichkeit, vom Avatar gemachte Fehler selbst zu korrigieren
bzw. auf während der Fahrt eintretende Störungen (kreuzender Stapler, Personen,
veränderte Fahrphysik durch Ladungsänderung) Rücksicht zu nehmen. Durch die
Möglichkeit der externen Betrachtung des Staplerfahrers (mit VR-Brille) über einen
Monitor / TV werden so in kleinen Schulungsgruppen gemeinsam mit dem Trainer
Situationen erlebt und damit Ursachen und die angemessene Reaktion darauf gemeinsam erörtert und zusammengefasst.

Bild 3: 360° Applikation (Tablet) mit Multiple-Choice Fragestellung nach abgespielten Situationsclip

In der mobilen Version (Bild 3) der Schulung als 360° App auf einem Tablet wurden
neben der Zusammenfassung als 360° Videos aller Schulungssituationen mit Audiofeedback zu den Verhaltensregeln eine didaktische Version erstellt, die es aucheinzelnen Schulungsteilnehmer ermöglicht, eigenständig zu üben und zu lernen.
Dabei werden vorher definierte 360° Videoclips aus Cockpitsicht des Staplerfahrers
angespielt und vor oder nach Gefahrenquelle und deren Auswirkung durch MultipleChoice Abfragen direkt im 360° Bild oder als Bildschirm-Overlay abgefragt. Durch
die Möglichkeit des Touchgesten-gesteuerten Zooms und der SichtachsenManipulation als auch die Möglichkeit die Gyro-Funktionen des Tablets z.B. in Verbindung mit einem drehbaren Stuhl zu nutzen, hat der Nutzer stets die Möglichkeit,
die aus seiner Sicht wichtigste Sichtachse während den dynamischen Fahrtclips
einzunehmen. Damit kann bei inkorrekten Antworten auf die Fragen die Situationen
erneut erlebt und der Wahrnehmungsfokus auf die (oft nicht direkt sichtbare) Gefahrenquelle verschoben werden.

92

Dudczig, M.; Winkler-Dudczig, Chr.

3.2 Wichtige Erfahrungswerte
Bedingt durch die starke Fahrdynamik eines realen Staplers im Bereich der Intralogistik sowohl aufgrund enger Wenderadien, schmaler Gassen als auch hoher unddetailgeprägter Ladungsträger entlang der Fahrtgassen, ist bei der Realisierung der
VR-Version in Verbindung mit Pedalen und einem Lenkrad mit Drehknauf die Gefahr von Motion-Sickness teilweise gegeben. Motion-Sickness entsteht vor allem
bei der Diskrepanz unterschiedlicher Sinneswahrnehmungen und kann durch gezielten Einsatz von Maßnahmen der höheren Bildwiederholrate, besseren grafischen Qualität und teilweise unterbrochenen Bewegungsabläufen (z.B. durch Teleportieren) eingeschränkt werden [5]. Gerade durch die Diskrepanz einer stark dynamischen und visuell erzeugten Bewegung im Rahmen der Staplerfahrt im HMD,
die real nicht auf den Schulenden durch seine vestibuläre Wahrnehmung wirkt, sind
gerade stark rotationsbedingte Fahrabläufe (wie enges und schnelles Rangieren)zu vermeiden oder zu entkräften. Zur Optimierung des echtzeit-gerenderten Szenarios sind folgende Optimierungsschritte erfolgreich genutzt wurden:4

Geeignete Entkopplung der VR-Kamera vom Stapler (im realen durch
Kompensation einer Art Oberkörperbewegung beim Bremsen, Beschleunigen und starken Einlenken in Kurven)

Detail- und Kontrastverringerung an nahen Objekten, welche beim Vorbeifahren visuell stark dynamisch wirken



Optimierung der Wegstrecken, um die Anzahl enger Kurven einzuschränken



Stärkere Sichtfokussierung durch Vignettierung bei Kurvenfahrt und Nutzung von Fokusobjekten (z.B. virtuelle Fahrtspur zur Orientierung)Fazit und Ausblick

Auch wenn der regelmäßige und verbreitete Einsatz der beschriebenen Schulungsmedien sich noch in der Einführung beim Kunden befindet, deuten die ersten
Tests, Erfahrungen und Reaktionen sowie Präsentationen bei Trainern auf ein vielversprechendes Potential, die gesteckten Ziele zu erreichen. Die konkreten Auswirkungen im Vergleich zur bisherigen Schulungsmethodik ist bislang noch nicht quantifizierbar. Jedoch stieß die Nutzung der neuen Medien (VR und 360°) in bereits
durchgeführten Tests stets auf großes Interesse und eine höhere emotionale Beteiligung bei den Trainingssituationen. Gerade die Möglichkeit mit dem virtuellen Stapler Dinge bis an die physikalischen Grenzen zu testen, die in einer realen Infrastruktur nicht möglich sind bzw. Ursache-Wirkungen deutlicher zu visualisieren, sind
große Mehrwerte. Ebenfalls zeichnet sich der Mehrwert einer weit umfänglicheren
Situationsdarstellung klar ab, da im Vergleich zu Bildern, Texten und verbalen
Schulungsformen das 360° Eintauchen in die Situationen, klar nachvollziehbar sind.
Die Nichtbeeinflussung der operativen Infrastruktur sowie die Realisierung als stati-VR und 360° Medien als interaktive Schulungsmittel in der Automobillogistik

93

onäre (VR-Version) und mobile Version (360° App) sind per Design der Anwendungen erreicht.
Für die weitere Reduktion und bestenfalls weitgehende Unterbindung der Ursachen
Motion-Sickness werden weitere Lösungsansätze geprüft (ggf. eine Einbindung
einer Motion-Platform für die VR-Version). Außerdem bleibt es spannend, wie sichder Einsatz neuer HMDs auf die Wahrnehmung der der virtuellen Situationen auswirkt, indem größer Sichtbereiche (derzeit lediglich 110°) oder höhere Auflösungen(derzeit 2160x1200 Pixel). Des Weiteren bleibt die Frage spannend welches vonbeiden Medien mit seinen spezifischen Stärken und Schwächen einen stärkeren
Einsatz finden wird. Ist es die hochimmersive, aber ressourcenintensivere VRVersion oder die schnell einzusetzende, mobile aber hinsichtlich der möglichen
Interaktionen reduzierte 360° Applikation. Oder führen beide Schulungsmedien
Hand-in-Hand zu einem optimalen Schulungserfolg bei der Wissensvermittlung in
der Intralogistik?

5

Danksagung

Ein großer Dank gilt dem Team der Rhenus Automotive Gruppe, mit denen in enger
Zusammenarbeit die beschriebenen Schulungsmedien entwickelt wurden. Dank derintensiven Workshops, spezifischen Anforderungen und Feedbacks sowie die Testphasen konnte eine praxisnahe Anwendung virtueller Technologien für einen breiten Einsatz erstellt werden.
Zudem gilt ein weiterer Dank der Sächsischen Aufbaubank (SAB) und unseren
Fördermittelgebern für die Unterstützung während der Gründungsphase in derdieses Projekt zum Teil mit entwickelt wurde.

94

Dudczig, M.; Winkler-Dudczig, Chr.

Literaturangaben[1]

Argyriou, L., Economou, D., & Bouki, V. (2017, July). 360-degree interactive
video application for Cultural Heritage Education. In 3rd Annual International
Conference of the Immersive Learning Research Network. Verlag der Technischen Universität Graz.

[2]

Violante, M. G., Vezzetti, E., & Piazzolla, P. (2019). Interactive virtual technologies in engineering education: Why not 360° videos?. International Journal
on Interactive Design and Manufacturing (IJIDeM), 13(2), 729-742.

[3]

Pedram, S., Perez, P., Palmisano, S., & Farrelly, M. (2017, July). Evaluating
360-Virtual Reality for Mining Industry’s Safety Training. In International Conference on Human-Computer Interaction (pp. 555-561). Springer, Cham.

[4]

Hebbel-Seeger, A. (2018). 360-Video in Trainings-und Lernprozessen. In
Hochschule der Zukunft (pp. 265-290). Springer VS, Wiesbaden. p. 265f.

[5]

Richards, J. (2017). Infrastructures for immersive media in the classroom. In
Virtual, Augmented, and Mixed Realities in Education (pp. 89-104). Springer,
Singapore, p. 101.

95

Lernen & Extended Reality am Beispiel
Neotrie VR
Sitter, R.1
1

TU Chemnitz, Professur Grundschuldidaktik Mathematik

Abstract
Mit Extended Reality (XR) gibt es eine Konvergenz von Augmented Reality (AR),
Mixed Reality (MR) und Virtual Reality (VR) zu einem neuen Medium, das die Möglichkeiten der Vorgänger auch im Bereich des Lernens verbindet.
XR-Brillen sollen einen flexiblen Wechsel zwischen allen drei Varianten in naher
Zukunft ermöglichen sollen. Es ist daher naheliegend, die Erkenntnisse der Untersuchungen zu AR, MR und VR zu sammeln und auf die neuen Möglichkeiten durch
die kombinierten Eigenschaften bei XR zu übertragen.
Studien zu AR, MR und VR haben bereits positive Lerneffekte in verschiedenen
Bereichen gezeigt. Erste theoretische Konzepte zur Erklärung der kognitiven Effekte wurden aufgestellt. Weitere Forschung ist notwendig, um ein besseres Verständnis dafür gewinnen, wie diese digitale Medien neue Lernvorteile schaffen und damit
neue Erkenntnisse wie verschiedene praktische Arbeiten kombiniert werden können, damit erfolgreiche Lernumgebungen geschaffen werden können.
Bisherige klassische dynamische 3D-Geometrie-Lernumgebungen konnten bereits
die Entwicklung des räumlichen Verständnisses und die Fähigkeit fördern, kognitive
mathematische Modelle von realen Objekten zu entwickeln. NeoTrie VR ist eine
Virtual Reality-Lernumgebung für Geometrie, die an der Universität in Almeria mit
mehreren europäischen Partnern entwickelt wird.
NeoTrie VR hat sich bereits als nützliches Werkzeug für den Unterricht von 2D- und
3D-Geometrie erwiesen. Es hilft Lernern, geometrisches Wissen zu organisieren,räumliche Vorstellungskraft und Kreativität zu steigern.
Weitere Forschung ist notwendig, um eine Methode zu entwickeln, die den Einfluss
von NeoTrie auf die Verbesserung der räumlichen Vorstellungskraft und der geometrischen Fähigkeiten wissenschaftliche bewerten kann, um damit validierte didaktische Inhalte zu erhalten. Die weitere technische Entwicklung zu einer XRLernumgebung erfordert darüber hinaus eine begleitende Forschung und weiterführende Konzepte.

96

Sitter, R.

Lernen & Extended Reality am Beispiel Neotrie VR

97

98

Sitter, R.

Lernen & Extended Reality am Beispiel Neotrie VR

99

100

Sitter, R.

Lernen & Extended Reality am Beispiel Neotrie VR

101

102

Sitter, R.

Lernen & Extended Reality am Beispiel Neotrie VR

103

104

Sitter, R.

Lernen & Extended Reality am Beispiel Neotrie VR

105

106

Sitter, R.

Lernen & Extended Reality am Beispiel Neotrie VR

107

109

Mensch-Technik-Interaktion in hybriden
Gesellschaften
Jahn, G.1; Klimant, P.2
1

TU Chemnitz, Professur Angewandte Gerontopsychologie und Kognition

2

TU Chemnitz, Institut für Werkzeugmaschinen und Produktionsprozesse

Abstract
Mit zunehmend autonom agierenden, verkörperten technischen Agenten ergebensich Szenarien der Mensch-Technik-Interaktion, die der Koordination zwischen
Menschen und der Koordination zwischen Mensch und Tier ähneln, aber auch
Szenarien zwischen menschlichen und technischen Agenten mit geteilter Steuerung künstlicher Körper. Für die Interaktionsszenarien in hybriden Gesellschaften
sind VR/AR-Technologien vielversprechend zur Unterstützung von Koordination
zwischen Agenten, zur Unterstützung von Teleoperation und zur Simulation für
Entwicklung und Evaluation.

1

Hybride Gesellschaften

1.1 Beispiel autonomes Fahren
In ersten Pilotprojekten wird derzeit autonomes Fahren im Stadtverkehr erprobt. Die
Hochbahn Hamburg möchte ab 2020 einen fahrerlosen Bus testweise zwischen
wenigen Haltestellen in der Hafencity betreiben, der zur Sicherheit und für autonom
durch die Fahrzeugtechnologie nicht zu lösende Situationen einen Fahrer an Bord1
hat . Wirklich fahrerlos sind autonome Transportfahrzeuge. Weit verbreitet sinddiese autonomen Transportfahrzeuge im industriellen Einsatz, meist zum Materialtransport. Dabei sind die Transportfahrzeuge jedoch überwiegend an feste Wege
2
gebunden (bspw. mittels Induktionsschleifen). Anders bei dem im Projekt FollowMe
entwickelten Fahrerlosen Transportsystem welches im Folgemodus dem Kommissioniermitarbeiter frei folgen kann und mit ihm mittels Display am Fahrzeug und
1

URL: www.hochbahn.de/hochbahn/hamburg/de/Home/Naechster_Halt/Ausbau_und_Projekte/
projekt_heat [15.11.2019]2

FOLLOWme, im Rahmen der Allianz 3Dsensation durch das Bundesministerium für Bildung und
Forschung gefördertes Verbundprojekt110Jahn, G; Klimant, P.

SmartWatch interagiert. Neben dem Einsatz in industriellen Umgebungen sind dieautonomen Transportfahrzeuge auch in öffentlichen Gebäuden wie Krankenhäusern im Einsatz und treten hier jedoch in Interaktion mit nicht besonders ausgebildeten oder instruierten Menschen.

Bild 1: Verschiedene Arten autonomer Fahrzeuge; links: Bus aus dem Projekt HEAT der Hamburger
3
Hochbahn , rechts: Fahrerloses Transportfahrzeug aus dem Projekt FOLLOWme

Autonome Fahrzeuge im Straßenverkehr verfolgen Ziele, halten sich an Regeln,
nehmen Rechte wahr und treffen Entscheidungen. Mischverkehr aus autonomen
Fahrzeugen, aus von Menschen gesteuerten Fahrzeugen und Fußgängern ist ein
Beispielszenario einer hybriden Gesellschaft [1, 2], in dem die technischen Agenten
und die natürlichen, biologischen, menschlichen Agenten gut auseinanderzuhalten
wären. Hier das autonome Fahrzeug, dort menschliche Verkehrsteilnehmer mit undohne Fahrzeug. So sauber ist die Trennung allerdings nicht, denn schon im Verhalten der einzelnen Verkehrsteilnehmer können technische Systeme und natürliche
Agenten zusammenwirken. Menschliche Fahrer können die Regelung von Geschwindigkeit und Abstand zeitweise an Assistenzsysteme abgeben. Assistenzsysteme unterstützen zudem beim Spurhalten und dem Erkennen von Gefahren, bei
Navigationsentscheidungen und mit augmentierten Kamerabildern beim Lenken in
Parkvorgängen.
Die autonomen Busse in der Hafencity Hamburg sind auch kein rein technisches
System. Die Sicherheitsfahrer der autonomen Busse wirken als überwachende
Agenten und geben im Testbetrieb nur zeitweise die Fahrzeugsteuerung an das
technische System ab. Der nächste Schritt zu weitergehender Autonomie wäre dieÜberwachung aus der Ferne und nötigenfalls die Übernahme der Steuerung aus
einer Zentrale.
Diese Steuerung aus der Ferne ist ein Telepräsenzszenario [3] und für den Menschen, der die Steuerung aus der Ferne übernimmt, ein Operieren in einer technisch vermittelten, synthetischen Realität. Schon das Beispiel autonome Fahrzeuge
3

https://www.hochbahn.de/hochbahn/hamburg/de/Home/Naechster_Halt/Ausbau_und_Projekte/
projekt_heat; abgerufen am 19.11.2019

Mensch-Technik-Interaktion in hybriden Gesellschaften

111

zeigt also, dass für Mensch-Technik-Interaktion in hybriden Gesellschaften nicht nur
rein technische und rein menschliche Agenten zu betrachten sind. Bereits die einzelnen Agenten in einem Interaktionsszenario sind oft als hybrid zu beschreiben.
Das Ziel dieses Beitrags ist, Szenarien der Mensch-Technik-Interaktion in hybriden
Gesellschaften und die daraus resultierenden Herausforderungen darzustellen. Essoll deutlich werden, dass VR/AR-Technologien unter verschiedenen Blickwinkeln
für Mensch-Technik-Interaktion in hybriden Gesellschaften von großer Relevanzsind. Sie sind ein Medium der Kommunikation und Koordination von technischen
Agenten mit menschlichen Agenten, sie sind die Grundlage für Telepräsenz undTeleoperation und sie ermöglichen die Simulation im Entwicklungs- und Evaluationsprozess sowie das Training von Interaktionsszenarien.

1.2 Agenten und Körper
In hybriden Gesellschaften können Menschen bewegten künstlichen Körpern begegnen. Künstliche Körper wie Fahrzeuge, Roboter, Drohnen und mehr oder weniger humanoide Figuren in virtueller Realität können als digitale Agenten autonom
agieren, sie können aber auch von menschlichen Agenten gesteuert sein.
Mensch-Technik-Interaktion kann dabei betrachtet werden mit dem Fokus auf dem
Menschen, der einem künstlichen Körper begegnet, oder mit dem Fokus auf dem
Menschen, der einen künstlichen Körper steuert. Die Begegnung eines Menschen
mit einem künstlichen Körper wirft dabei die vergleichsweise neueren Themen der
Mensch-Technik-Interaktion auf, weil künstliche, sich fortbewegende und nicht
direkt von Menschen gesteuerte Körper ein jüngeres Phänomen sind als von Menschen gesteuerte künstliche Körper. Begegnungen mit natürlichen Körpern sindallerdings ein altes Phänomen und dies ist zu beachten für die Interaktion in hybriden Begegnungen.
Menschen sind evolutionär angepasst für Begegnungen mit autonomen Agenten innatürlichen Körpern, mit Tieren als potentielle Gefahr und potentielle Beute undinsbesondere für zwischenmenschliche Interaktion und Kooperation. Zu dieser
Anpassung zählen die ausgeprägten Fähigkeiten, aus Beobachtungen und Erfahrungen Erwartungen über das Verhalten anderer Agenten in bestimmten Situationen zu erlernen und die Intentionen dieser Agenten zu erschließen. Aufgrund dieser
Fähigkeiten gelingt üblicherweise die mühelose und schnelle Koordination mit beiderseitigen aktiven Beiträgen sowohl bei Begegnungen auf engem Raum wie dem
Ausweichen auf einem belebten Fußweg wie auch bei koordinierten Handlungen an
Gegenständen wie Anheben und Übergeben oder abwechselnder Manipulation aneinem Gegenstand [4].
Bewegungsmuster von aus eigener Kraft bewegten Körpern werden von Menschen
unmittelbar hinsichtlich der vermutlichen Intention des Agenten interpretiert [5]. Diesgeschieht auch, wenn die Bewegung nur scheinbar autonom gesteuert wird, wie

112

Jahn, G; Klimant, P.

zum Beispiel einfach im Schatten- und im Puppenspiel zu demonstrieren ist. Dazu
müssen die beobachteten Körper nicht menschenähnlich sein, bekannte Formen
und Bewegungen sind jedoch leichter zu interpretieren.
Von diesen menschlichen Fähigkeiten, Situationen zu interpretieren und Intentionen
zu erschließen, um Bewegungen anderer Agenten für effiziente Koordination vorherzusagen, sind digitale Agenten weit entfernt. Der fahrerlose Bus der Hochbahn
Hamburg ist auf die Geduld und das freundliche Entgegenkommen aller menschlichen Verkehrsteilnehmer angewiesen und benötigt nötigenfalls die menschliche
Steuerung. Das soziotechnische System im Testlauf baut hier also auf die menschliche Intelligenz und Anpassungsfähigkeit und reicht an menschenähnliche Autonomie nicht heran. Dies gilt ebenso für Mensch-Roboter-Interaktion. Doch obwohl
die digitalen Agenten nicht und vermutlich lange nicht menschenähnlich autonom
agieren werden, sind in der Gestaltung der Interaktion von Begegnungen mit Menschen deren evolvierte und erlernte Fähigkeiten zur zwischenmenschlichen Koordination und die sie unterstützenden Voraussetzungen zu berücksichtigen.

2

Koordination zwischen verkörperten Agenten

Koordination wird dann nötig, wenn Abhängigkeiten zwischen den Aktivitäten vonAgenten bestehen [6]. Dies ist gegeben, wenn Agenten einer gemeinsamen Aktivität nachgehen, beispielsweise wenn Roboter und Menschen als Teams im Arbeitskontext zusammenarbeiten oder wenn Menschen mit persönlichen Assistenzrobotern ihre Ziele verfolgen. In diesen Fällen sind die Menschen üblicherweise mit den
Aufgaben, den Fähigkeiten und zu erwartenden Reaktionen der technischen Agenten vertraut und es besteht die Möglichkeit zu spezifischem Training und zu für die
Situation und den einzelnen Menschen optimierter technischer Unterstützung derKoordination. Beispielsweise kann der Mensch Sensoren, Bedienelemente und
Displays am Körper tragen.

Bild 2: Beispiele für körpergetragene Displays mit Interaktionsmöglichkeit: (links) Microsoft Hololens, (rechts) Smartwatch als Kommissionierunterstützung (Screenshot aus VR-Szenario)

Mensch-Technik-Interaktion in hybriden Gesellschaften

113

Abhängigkeiten, die Koordination nötig werden lassen, bestehen aber auch zwischen Aktivitäten von Agenten, die verschiedenen Zielen nachgehen und dabei
zwangsweise interagieren, und zwischen Aktivitäten von Agenten, die ohne Geschichte und Vorbereitung für eine gemeinsame Aktivität interagieren wollen. Wieder kann der Mischverkehr aus autonomen und von Menschen gelenkten Fahrzeugen als ein Beispiel dienen. Ein zweites wäre ein Assistenzroboter für Kunden im
Einzelhandel. Die Notwendigkeit für diese Art von weniger planbarer und dadurch
weniger gut vorbereiteter Koordination kennzeichnet hybride Gesellschaften.
Human-robot teaming ist das Teilgebiet der Forschung zu Mensch-TechnikInteraktion, das sich mit der Koordination zwischen technischen und menschlichen
Agenten für gemeinsame Aktivitäten beschäftigt. Ein erfolgreiches Rahmenmodell
und Analysewerkzeug für die Gestaltung der Koordination in hybriden Teams ist
Coactive Design [7]. Die Kernkonzepte in diesem Rahmenmodell verdeutlichen
auch die Anforderungen der Koordination bei wenig vorbereiteten Begegnungen in
hybriden Gesellschaften.

2.1 Beobachtbarkeit, Vorhersagbarkeit, Beeinflussbarkeit
Als eine Voraussetzung für gelingende Koordination wird im Rahmenmodell desCoactive Design Beobachtbarkeit identifiziert. Beobachtbarkeit bezeichnet einerseits die Anforderung, dass jeder Agent wichtige Aspekte seines Zustands undauch sein Wissen über die anderen Agenten, die Aufgabe und die Situation für die
jeweils anderen Agenten wahrnehmbar signalisieren muss. Auf der Seite der wahrnehmenden Agenten beinhaltet Beobachtbarkeit die Fähigkeit, wichtige Signale
wahrzunehmen und zu interpretieren. Für die Koordination zwischen Menschen im
innerstädtischen Straßenverkehr ist beispielsweise immens wichtig, die Aufmerksamkeitsausrichtung des jeweils anderen aus Körperhaltung, Blickrichtung und erfolgenden oder ausbleibenden - Reaktionen erschließen zu können. Ein fahrerloser Bus ist dagegen ein recht ausdrucksloser Körper.
Eine weitere im Coactive Design identifizierte Voraussetzung ist Vorhersagbarkeit.
Die Handlungen eines Agenten sollen für die jeweils anderen vorhersehbar genug
sein, dass sie sich für ihre eigenen Handlungen darauf verlassen können. Vorhersagbarkeit beinhaltet zudem, dass jeder Agent die vorhersehbaren Handlungen deranderen für das eigene Handeln berücksichtigt. Hierin besteht die größte Herausforderung für autonome technische Agenten außerhalb definierter Aufgabenszenarien. Im Straßenverkehr hilft das geltende Regelsystem, allerdings werden die Regeln nicht verlässlich befolgt – absichtlich oder unabsichtlich - und es können ungeregelte Szenarien auftreten.
Die dritte identifizierte Voraussetzung für gelingende Koordination ist Beeinflussbarkeit. Beeinflussbarkeit bezeichnet einerseits die Fähigkeit und die Möglichkeiten
von Agenten, auf die Handlungen der anderen Agenten Einfluss zu nehmen, und114

Jahn, G; Klimant, P.

andererseits die Fähigkeit und Möglichkeiten im eigenen Handeln beeinflusst zu
werden. Hiermit sind nicht nur explizite Anweisungen gemeint, sondern auch subtilere Einflussnahmen wie Anleitungen, Vorschläge, Hinweise und Warnungen.
Für geplante Kooperation in definierten Aufgabenszenarien werden im Coactive
Design auf der Grundlage dieser drei Voraussetzungen und der Fähigkeiten dertechnischen und menschlichen Agenten die Koordination gemeinsamer Aktivitäten
und die technische Unterstützung für die Teamkoordination gestaltet.

2.2 VR/AR-Technologien für effiziente Koordination
Um die Koordination zwischen Agenten in hybriden Gesellschaften zu optimieren,haben VR/AR-Technologien großes Potential für mindestens drei grundsätzliche
Anwendungen. Sie bieten erstens Möglichkeiten, Beobachtbarkeit, Vorhersagbarkeit und Beeinflussbarkeit zu gewährleisten, sie sind zweitens eine Grundlage fürTeleoperation und sie ermöglichen drittens Simulation als Unterstützung für Entwicklung und Evaluation.
Bereits jetzt ist ein bewährtes Einsatzgebiet von AR-Technologie die Visualisierungvon Zuständen technischer Systeme und geplanter Aktionen. Dieser Einsatz für
Beobachtbarkeit und Vorhersagbarkeit ist für einige Szenarien auch in der Interaktion von Menschen und autonom agierenden technischen Agenten möglich. Voraussetzung ist, dass ein geeignetes Display, Rechenkapazität und eine stabile Datenverbindung verfügbar sind.

Bild 3: Monitoring einer Werkzeugmaschine mittels Augmented Reality und Anbindung der realen
MaschinensteuerungMensch-Technik-Interaktion in hybriden Gesellschaften

115

Zudem müssen die Interaktionsszenarien ausreichend definierbar sein. Eher ist
dies für umgrenzte Aufgabenszenarien und feste, hybride Teams erfüllt. In einer
Anwendung von Coactive Design wurden beispielsweise die von einem Roboter
erkannten Gegenstände mit ihrer räumlichen Unschärfe sowie geplante Trajektorienin virtueller Realität für die menschlichen Teampartner visualisiert [7]. Je ungeplanter jedoch die Begegnung und Koordination, umso weniger wahrscheinlich wird die
AR-Unterstützung gelingen.
Beobachtbarkeit des Menschen für technische Agenten kann verbessert werden
durch dieselbe Sensorik, über die menschliche Handlungen in VR/AR übertragenwerden. Auch dies eignet sich eher für feste Aufgabenszenarien und weniger fürungeplante Koordination.
Wie erläutert ist dauerhafte, menschenähnliche Autonomie für technische Agenten
ein fern liegendes Ziel. Daher wird eine bedarfsweise Übernahme der Steuerung
durch Menschen eine häufige Anforderung sein. Auch wenn diese Anforderung in
Situationen auftritt, in denen der Mensch physisch anwesend ist, kann VR/ARUnterstützung wertvoll sein, um Orientierung zu geben und schnell das nötige Situationsbewusstsein zu gewährleisten. Anderweitig beschäftigte Fahrer, die plötzlich
von ihrem Fahrzeug zur Übernahme der Steuerung aufgefordert werden, profitieren
sicher von VR/AR-Unterstützung zur räumlichen und situativen Orientierung.
Wenn die Anforderung zur Übernahme der Steuerung eines künstlichen Körpers aneinen Menschen erfolgt, der in der betreffenden Situation nicht physisch anwesend
ist, besteht ein Szenario der Teleoperation. Hierin besteht effiziente Unterstützung –neben der Unterstützung der räumlichen und situativen Orientierung - in einer präsenzförderlichen technischen Vermittlung der Situation und der Steuerhandlungen
mit ihren Effekten als synthetische Realität [3]. Hierfür sind bekanntlich VR/ARTechnologien unmittelbar einschlägig. Dies ist die zweite erwartbar bedeutsame
Anwendung von VR/AR-Technologien für Mensch-Technik-Interaktion in hybriden
Gesellschaften. Idealerweise können Teleoperateure mit ihrem eigenen Körper so
agieren, als wären Sie selbst vor Ort, und erhalten ohne merkliche Verzögerung die
erwartete sensorische Rückmeldung.
Eine dritte bedeutsame Anwendung von VR/AR-Technologien im Kontext hybrider
Gesellschaften ist die Simulation von Gestaltungsvarianten künstlicher Körper einschließlich Ihrer Bewegungsmuster und von Gestaltungsvarianten für die Interaktion
von Menschen mit autonom oder von Menschen gesteuert bewegten künstlichen
Körpern [8]. Solche Simulationen helfen beim Entwurf und der Entwicklung, bei der
Evaluation und beim Training.
Mittels solcher Simulationen kann das Erscheinungsbild der Verkörperung eines
technischen Agenten nach seiner Wirkung auf unterschiedliche Gruppen vonmenschlichen Interaktionspartnern untersucht werden. Welche Fähigkeiten, Verhaltenstendenzen und Intentionen werden dem Agenten allein aufgrund seines Aussehens in einer bestimmten Situation spontan unterstellt? Wie wirken diesbezüglich116

Jahn, G; Klimant, P.

verschiedene Bewegungsmuster? Welche Verhaltensweisen werden aufgrund von
Aussehen und vorangegangenen Bewegungen und Verhaltensweisen erwartet?
Wie wird spontan versucht, mit dem technischen Agenten zu interagieren? Wie gut
sind Instruktionen für die Interaktion umzusetzen und wie schnell wird effiziente
Interaktion von verschiedenen Gruppen menschlicher Interaktionspartner erlernt?
Es lassen sich verschiedene Interaktionsvarianten (Körperhaltungen, Bewegungsmuster, Mimik, Gesten, Laute, Sprache, andere visuelle und akustische Signale)hinsichtlich dieser Fragen vergleichen und dies auch für technische Agenten, dienoch gar nicht zu realisieren sind. Die vorausgreifende Simulation betrifft dabei
nicht nur das Aussehen und die Verhaltensweisen eines verkörperten technischen
Agenten, sondern auch seine Fähigkeiten, das Verhalten seiner menschlichen
Interaktionspartner zu registrieren, zu interpretieren und darauf zu reagieren.

3

Fazit

In hybriden Gesellschaften ist mit besser und mit weniger gut planbaren und vorzubereitenden Interaktionsszenarien zu rechnen. Simulation unterstützt die Gestaltung und Evaluation von Interaktionslösungen generell. In planbaren Interaktionen
innerhalb definierter Aufgabenkontexte können VR/AR-Technologien zu effizienter
Koordination beitragen, indem sie Beobachtbarkeit, Vorhersagbarkeit und Beeinflussbarkeit verbessern. Die in weniger planbaren Interaktionen sicher nötige Übergabe der Steuerung künstlicher Körper von technischen Agenten an Menschen, dienicht vor Ort sind, führt regelmäßig zu Teleoperation. Telepräsenz und Teleoperation zu optimieren ist ein drittes bedeutsames Anwendungsgebiet von VR/ARTechnologien für gelingende Mensch-Technik-Interaktion in hybriden Gesellschaften.

Literaturangaben[1]

Hamann, H.; Khaluf, Y.; Botev, J.; Divband Soorati, M.; Ferrante, E.; Kosak,O.; Montanier, J. M.; Mostaghim, S.; Redpath, R.; Timmis, J.; Veenstra, F.;
Wahby, M.; Zamuda, A.: Hybrid societies: Challenges and perspectives in thedesign of collective behavior in self-organizing systems. In: Frontiers in Robotics and AI, 2016, 3:14. doi:10.3389/frobt.2016.00014[2]

Rahwan, I.; Cebrian, M.; Obradovich, N.; Bongard, J.; Bonnefon, J. F.;
Breazeal, C.; Crandall, J. W.; Christakis, N. A.; Couzin, I. D.; Jackson, M. O.;
Jennings, N. R.; Kamar, E.; Kloumann, I. M.; Larochelle, H.; Lazer, D.;
McElreath, R.; Mislove, A.; Parkes, D. C.; Pentland, A.; Roberts, M. E.; Shar-Mensch-Technik-Interaktion in hybriden Gesellschaften

117

iff, A.; Tenenbaum, J. B.; Wellman, M.: Machine behaviour. In: Nature, 2019,568(7753):477-486. doi:10.1038/s41586-019-1138-y[3]

Draper, J. V.; Kaber, D. B.; Usher, J. M.: Telepresence. In: Human Factors,
1998, 40(3):354–375. doi:10.1518/001872098779591386[4]

Sebanz, N.; Knoblich, G.: Prediction in joint action: What, when, and where.
in: Topics in Cognitive Science, 2009, 1(2):353-367. doi:10.1111/j.17568765.2009.01024.x[5]

Heider, F.; Simmel, M.: An experimental study of apparent behavior. In: The
American Journal of Psychology, 1944, 57(2):243-259.
URL:www.jstor.org/stable/1416950 [15.11.2019][6]

Malone, T. W.; Crowston, K.: The interdisciplinary study of coordination. In:
ACM Computing Surveys (CSUR), 1994, 26(1):87-119.
doi:10.1145/174666.174668[7]

Johnson, M.; Bradshaw, J. M.; Feltovich, P. J.; Jonker, C. M.; van Riemsdijk,
M. B.; Sierhuis, M.: Coactive design: Designing support for interdependence
in joint activity. In: Journal of Human-Robot Interaction, 2014, 3(1):43-69.
doi:10.5898/JHRI.3.1.Johnson[8]

Lewis, M.; Wang, J.; Hughes, S.: USARSim: Simulation for the study of human-robot interaction. In: Journal of Cognitive Engineering and Decision Making, 2007, 1(1):98-120. doi:10.1177/155534340700100105

119

Augmented Reality Einsatz in der
praktischen Ausbildung (ARES): Learnings
und Ausblick
Hofmann, J.1
1

Sächsische Bildungsgesellschaft für Umweltschutz und Chemieberufe
Dresden mbH (SBG Dresden), Projektmanager Augmented Reality

Abstract
Der Einsatz von Augmented Reality (AR) steckt, insbesondere im praktischen Teilder Berufsausbildung, noch in den Anfängen. Die Entwicklung, der Test und Evaluation lernhaltiger Szenarien, die mit AR angereichert sind, sind bisher wenig erprobt. In ARES wurden zwei Pilotanwendungen für Chemikanten und Lacklaboranten getestet. Dabei handelte es sich einerseits um ein expertenbasiertes Lernenbzw. sog. Remote Training in einer für Trainingszwecke errichteten, chemischen
Pilotanlage, andererseits wurde die Wirkung explorativen Lernens anhand der Visualisierung eines Extruders, erprobt. Beide Szenarien führten zu einer verstärkten
Reflexion des Lernenden, auch im Kontext verbesserter Möglichkeiten kollaborativen Lernens sowie einer besseren Kontrolle des Lernprozesses. Das integrative
Potential von AR, in bestehende Arbeits- und Lernprozesse, ist gegeben.

1

Einführung

Augmented Reality (AR) umfasst die „Vermischung … von Daten – Informationen,
Medien und selbst Liveinformationen – mit der realen Welt … um die Informationen
zu verbessern, die wir mit unseren Sinnen wahrnehmen“ [1]. Bei AR handelt es sichsomit um eine kontextbezogene, digitale Anreicherung der Realität. Einen Schritt
weiter gehen sogenannte Mixed Reality (MR) – Anwendungen, bei der ein 3D Scaneines Raums erfolgt. Dies ermöglicht eine dreidimensionale Verankerung virtueller
Informationen im Raum. Diese Informationen können anschließend in Echtzeit
manipuliert werden. MR inkludiert damit den Vorteil von Virtual Reality (VR). Der
Nutzer ist sich dabei aber der realen Umgebung immer bewusst. Dies ist wichtig
beim Einsatz in realen Arbeitsprozessen.
AR-Anwendungen kommen dabei auf unterschieden Geräten zum Einsatz. Dies
reicht von Smartphones, Tablets und Laptops bis hin zu AR/MR smart glasses (z.B.

120

Hofmann, J.

Microsoft HoloLens). Um die Integrierbarkeit in bestehende Arbeitsabläufe zu gewährleisten, bei der beide Hände frei sein müssen, bieten sich smart glasses an.
AR bietet sich bei risikoarmen Aufgaben an, wie Wartungs- und Montagearbeiten,
bei der der Lernende in der jeweiligen physischen Umgebung gleichzeitig auf Echtzeitinformationen, wie virtuelle Modelle und Anleitungen, zugreifen kann. Beispielesind u.a. aus der Luftfahrt [2] und aus dem technischen Service [3] [4] bekannt.
Diese Studien stellen folgende Hauptmerkmale in den Mittelpunkt: Bereitstellung einfacher Overlay-Informationen zur Erledigung von Aufgaben Bereitstellung konzeptioneller Informationen als interaktive Überlagerung derrealen Umgebung Bereitstellung komplexerer, interaktiver Mixed-Reality-Modelle, welche die reale Umgebung überlagern
 Bereitstellung einer kontextbezogenen Anleitung, die adaptiv sein kann, um
die Entwicklung von Fähigkeiten zu unterstützen sowie Aktivieren einer Remote-Interaktion, um z. B. einem räumlich entfernten Experten bzw. Trainer zu ermöglichen, zu sehen, was ein Lernender tut, um ihm
audiovisuelle Anleitungen und Feedback zu geben.
Weitere Analysen [2] [3] [5] [6] zeigen, dass AR/MR signifikante Vorteile gegenüber
Trainings ohne AR/MR-Einsatz bieten kann. Dies umfasst meist ein effektiveres undmotivierteres Lernen.
Der Einsatz von AR in der beruflichen Bildung zielt meist auf die Entwicklung beruflicher Handlungskompetenz ab. Dies bedeutet, dass ein Einsatz für ein offeneres
exploratives Lernen weniger offensichtlich ist.
In ARES wird der Einsatz von AR bei der Steuerung von Prozessen in einer chemischen Pilotanlage (Chemikant) sowie dem Betrieb eines Extruders (Lacklaborant)
untersucht.

2

Theorie

Augmented Reality/ Mixed Reality fördert eine experimentelles, reflektives undselbstgesteuertes Lernen. Besonderes Potential liegt dabei in der Förderung eines
handlungsorientierten und explorativen Lernens.
Theoretischer Bezugsrahmen für den Einsatz in der praktischen Ausbildung liefert
Schön‘s Ansatz, bei der Wissen in einem zyklischen Verhältnis zur Praxis steht [7][8]. Dieses Wissen wiederum beeinflusst das Handeln, was wieder zu neuem Wissen führt. Die Überführung von theoretischem Wissen in Handlungswissen bzw.
dessen Reflexion bei der Ausführung praktischer Tätigkeiten ist dabei kennzeichnend für das Lernen im Prozess der Arbeit. Schöns Modell ignoriert zwar die Be-

Augmented Reality Einsatz in der praktischen Ausbildung (ARES): Learnings und Ausblick121

deutung von bereits vorhandenem Wissen, es erklärt aber den akkumulativen während und den reflektiven Charakter nach der Ausführung von Praxisaufgaben.
Schön‘s Ansatz lässt sich für den Einsatz von AR/MR bei Auszubildenden des1. Lehrjahres (Chemikant) sowie bei Auszubildenden des 3. Lehrjahres (Lacklaborant) anwenden.

3

Die Szenarien

Der Einsatz von AR/MR in der praktischen Ausbildung resultiert, an der SBG Dresden (überbetriebliche Bildungseinrichtung mit Fokus auf den praktischen Teil der
Ausbildung) insbesondere aus der Novellierung des Berufsbildes Chemikant/-in, im
Jahr 2018, durch die Einführung der Wahlqualifikation „Digitalisierung und vernetzte
Produktion“. Dies inkludiert den Umgang mit Technologien wie AR, VR und vorausschauender Wartung in der Ausbildung für Auszubildende ab dem 3. Lehrjahr.
Aufgrund des Fehlens bestehender Erfahrungswerte beim Umgang mit AR, in der
praktischen Ausbildung, erfolgte die Pilotierung bei ausgewählten Arbeitsaufgaben
im zweiwöchigen „Verfahrenstechnischen Praktikum I“, für Auszubildende des 1.
Lehrjahres im Februar 2019. Hierbei kam das sog. Remote Training, für den Erwerb
von Handlungswissen (Szenario I), zum Einsatz. Das explorative und selbstgesteuerte Lernen stand bei Auszubildenden des 3. Lehrjahres Lacklaborant (Szenario II)
im Mittelpunkt.
Szenario I
Die ausgewählten vier Chemikanten sowie eine Chemikantin waren bereits drei
Tage in der chemischen Pilotanlage der SBG Dresden. Nach einer kurzen Einführung, im Umgang mit der AR/MR Brille (Microsoft HoloLens 1), sowie eine fragebogenbezogene Erfassung der Motivation und des bereits bestehenden, möglichen
Vorwissens, um festzustellen das die jeweilige Aufgabe nicht bereits vorher ausgeführt hatten, begann die AR/MR gestützte Umsetzung der Aufgaben (siehe Tabelle 1) Hierbei setzte der Auszubildende die HoloLens auf und öffnete die Remote
Training App („Remote Assist“), damit der Ausbilder diesen vom Laptop (mit Microsoft Teams App) aus anrufen konnte. Dies ermöglichte die Herstellung eines Videostreams in Echtzeit. So konnte der Ausbilder dem Auszubildenden audiovisuelle
Anweisungen geben. Er sah dadurch auf seinem Bildschirm, was der Auszubildende in Echtzeit wahrnahm und konnte gleichzeitig durch die Einbindung von einfachen Hologrammen (z.B. Pfeile), in das Sichtfeld des Lernenden, die Ausführung
der jeweiligen Arbeitsaufgabe steuern und sofort evaluieren.

122

Hofmann, J.

Tabelle 1: Übersicht durchgeführte Testsessions (Chemikant, 1. Lehrjahr) – Remote Training
Test

AufgabeNiveauDauer

1

Pumpen einer
Salzlösung vonBehälter B2 zu B4
Pumpen einer
Salzlösung vonBehälter B2 zu B4
und Wechsel Filter
sowie Pumpenschlauch
Probenahme derSalzlösung (Salzgehalt- und Dichtebestimmung mit
Aräometer)
Filtern einer Salzlösung: Wechsel
FilterFiltern einer Salzlösung: Wechsel
FilterAnfänger

7 min

Anfänger

2

3

4
5

Evaluation (multiple und aufeinanderfolgende
Arbeitsschritte)
Einfach durchzuführen

Ausbilder- oderAuszubildendenzentriertes
Szenario
Ausbilder - Auszubildender

27 minEinfach durchzuführen

Anfänger

16 minEinfach durchzuführen

Übergang von
Auszubildenden(aus Test 1) –Auszubildenden
zu AusbilderAuszubildender
Ausbilder - Auszubildender

Anfänger

5 min

Einfach durchzuführen

Ausbilder - Auszubildender

Anfänger

6 min

Einfach durchzuführen

Ausbilder - Auszubildender

Die durchgeführten Pilotierungen wurden vom Ausbilder, durch die jeweilige, nachträgliche Einschätzung mit einem kurzen Fragebogen, hinsichtlich der Operationalisierbarkeit von AR/MR in der praktischen Ausbildung, ausgewertet. Es zeigt sich,dass die gewählten mit AR/MR angereicherten Lehr- und Lernszenarien lernhaltig
sind. Dies stellte sich insbesondere in der effektiven Vermittlung von Handlungswissen sowie der besseren Reflektion der ausgeführten Tätigkeiten dar. Dies inkludiert alle Ausbilder- und auch das eine Auszubildendenzentrierte Szenario (Nr.2).
Darüber hinaus wurde im Auszubildenden-Auszubildenden Szenario eine besonders hohe Motivation der Lernenden festgestellt. Einerseits konnte der Reflexionsgrad des erworbenen Wissens beim instruierenden Auszubildenden erfasst werdensowie die Effektivität bei der Aufgabenausführung des instruierten Auszubildenden.
Durch die Tests wurde deutlich, dass AR/MR basiertes Remote Training, besonders
bei eher komplexen bzw. aufeinander aufbauenden Arbeitsschritten zum Einsatz
kommen sollte, bei dem der Erwerb von Handlungswissen im Mittelpunkt steht.
Dieses Szenario erfordert keinen Programmieraufwand für mögliche AR/MR Visualisierungen, da diese mittels der bereitgestellten App erzeugt werden.

Augmented Reality Einsatz in der praktischen Ausbildung (ARES): Learnings und Ausblick

123

Szenario II
Nicht nur echtzeitbasiertes und expertengestütztes Lernen ist lernhaltig, auch das
explorative, selbstgesteuerte Lernen mittelts AR/MR. Für Auszubildende des3. Lehrjahres Lacklaborant ist der Umgang mit dem technisch komplexen und dem
teureren Schneckenextruder wichtig.
Um den Lernprozess von Kleingruppen (2-3 Personen) effektiv zu gestalten, wurde
ein sog. digitaler Zwilling des Extruders entwickelt. Dieser unterstützt Auszubildende die Funktionsweise zu verstehen. Besonderer Unterstützungsbedarf besteht
dabei beim Start des Extruders. In acht, teilweise komplexen Einzelschritten, müssen Auszubildende die Maschine in Gang setzen und dabei besonders Parameter,
wie die Temperatur, richtig einstellen, damit das Material richtig erhitzt und in dergewünschten Temperatur ausgegeben wird. Der visualisierte Extruder wurde um
kurze Videoclips, für die Ausführung der acht Einzelschritte angereichert, um die
Effektivität des Transfers von Wissen in Handlungswissen zu unterstützen sowie
gleichzeitig die Reflexion des Gelernten zu fördern.
Insgesamt wurden drei Tests durchgeführt. Nach einer jeweiligen, kurzen Einführung zur Bedienung der Microsoft HoloLens 1, wiederholten die erfahrenen Auszubildenden Ihr Wissen durch den Umgang mit der Visualisierung (siehe Tabelle 2;
Tests 1 und 2). Dies bildete die Grundlage für die Unterstützung des, im Umgang
mit dem Extruder, unerfahrenen Auszubildenden. Nach einer Einführung in die
handgestenbasierte Steuerung der HoloLens bzw. der mit Videoclips angereichten
Extrudervisualisierung, führte der Auszubildende sukzessiv die acht Arbeitsschritteaus. Er schaute sich kurze die von „1“ bis „8“ gekennzeichneten Kurzclips (10- max.
20 s) in der richtigen Reihenfolge an.
Tabelle 2: Übersicht durchgeführte Testsessions (Lacklaborant, 3. Lehrjahr) – exploratives Lernen
Test

AufgabeNiveauDauer

1Start Extruder

11 min2

Start Extruder

3

Start Extruder

Fortgeschritten
Fortgeschritten
Anfänger

10 min23 minEvaluation(multiple undaufeinanderfolgende Arbeitsschritte)
Einfach durchzuführen
Einfach durchzuführen
Einfach durchzuführen

Ausbilder- oderAuszubildendenzentriertes
Szenario
Explorativ(Selbstlerner)
Explorativ(Selbstlerner)
Explorativ undpunktuelle Unterstützung zwei
fortgeschrittener
Auszubildender(Nr. 1. und 2.)

Nach jedem Video führte er die jeweiligen Arbeitsaufgaben aus. Hierbei wurde er,
bei Bedarf unterstützt von den zwei erfahrenen Auszubildenden. So führte die falsche Einstellung der Temperatur zu einem Warnsignal, welches er mit Unterstüt-

124

Hofmann, J.

zung der beiden Auszubildenden abschalten bzw. den Fehler korrigieren konnte.
Durch das Lernen mit der Extrudervisualisierung war es dem Auszubildenden möglich, überwiegend selbstständig, den Extruder zu starten.
Durch Vorabbefragungen mit einem kurzen Fragebogen konnte der Wissenstandder Auszubildenden ermittelt werden. Nach Abschluss des Umgangs mit der Extrudervisualisierung wurde die Effektivität von den Lernenden selbst eingeschätzt.

Bild 1: Visualisierung Schneckenextruder

Alle drei Tests wurden als sehr effektiv wahrgenommen. Die Auszubildenden bekamen so ein besseres Verständnis von der Funktionsweise der Maschine, unabhängig vom bereits vorhandenen Vorwissen. Durch die Übertragung des Gelernten
in die Praxis und der richtige Umgang mit Fehlern zeigt die Lernhaltigkeit des gewählten Szenarios, insbesondere bei der Reflexion des (gerade) erworbenen Wissens im Arbeitsprozess.

4

Diskussion

Der Einsatz von AR/MR in der praktischen Ausbildung führt zu einer geringfügigen
Verschiebung des didaktischen Ansatzes, im Kontext der Einwicklung berufspraktischer Kompetenzen.
Der Einsatz des Remote-Trainings (Szenario I) resultiert in einer besseren echtzeitbasierten Steuerung und Reflexion des Gelernten durch den Auszubildenden. Der
eher instruktionsbasierte Ansatz bietet sich für Aufgaben an, die aufeinander aufbauen und leicht beschreibbar sind. AR/MR basiertes Remote Trainings sind gut
bei Anlernprozessen anwendbar, wenn gleichzeitig ein Ausbilder bzw. Experte zurAugmented Reality Einsatz in der praktischen Ausbildung (ARES): Learnings und Ausblick

125

Verfügung steht. Diese Art ermöglicht eine schnelle Einbindung in bestehende
Lern- und Arbeitsprozesse bei Aufgaben, die sich besonders auf den sichtbaren
Teil einer Maschine bzw. Anlage beziehen. Der Fokus auf den Erwerb von Handlungswissens muss gerahmt werden durch den Erwerb von Fachwissen, zur Funktionsweise der augmentierten, technischen Anlagen und -teile.
Im zweiten Szenario steht der selbstgesteuerte Erwerb von Handlungswissen sowie
die Reflexion des Gelernten im Mittelpunkt. Die Erstellung eines mentalen Modellsder Maschine, durch den Lernenden, ist damit möglich. Die Black Box „Schneckenextruder“ ist durch den Umgang mit der Visualisierung verständlich bzw. erkundbar.
Im Gegensatz zum Remote-Training erforderte die Erstellung der Extrudervisualisierung einen mehrmonatigen Programmieraufwand. Der Einsatz bleibt darüber
hinaus nur auf den Extruder beschränkt, er fördert aber besonders das individuelle
Lernen.

5

Schlussfolgerungen

Der Einsatz von Augmented Reality/Mixed Reality in der praktischen Ausbildung,
für gewerbliche-technische Berufe, ist überwiegend Neuland. Dies spiegelt sichinsbesondere in der publizierten Literatur wider. Ein besonderer Bedarf besteht
dabei die Lernhaltigkeit von AR/MR sowohl in der Tiefe (z.B. komplexere Aufgabe,
weitere Kommunikations- und Kollaborationsszenarien) als auch Breite (weitere
Industrien) in Zukunft weiter zu erforschen.
Augmented Reality ist derzeit eine neuartige Technologie, mit immer leistungsfähiger und immer günstiger werdender Hard- und Software. Ein Engpass besteht imVorhandensein maßgeschneiderter Szenarien, die einen klaren didaktischen Mehrwert bieten und zu einem überschaubaren Programmieraufwand führen.
Die Vorteilhaftigkeit beim Erwerb von Handlungswissen und der Einsatz beim explorativen Lernen wurde, im Rahmen von ARES, erfolgreich getestet. Großes Potential bietet insbesondere das kollaborative Lernen. Durch den Einsatz von AR/MR
können einerseits standortbezogenes und -unabhängiges (Vorort vs. Remote) sowie synchrones und asynchrones Lernen (Echtzeit vs. Lernvideo) unterstützt werden.

126

Hofmann, J.

Literaturangaben[1]

Johnson, L., Witchey, H., Smith, R., Levine, A., and Haywood, K. (2010). The
Horizon Report: 2010 Museum Edition. Austin, TX: Marcus Institute for Digital
Education in the Arts, S.16

[2]

Rios, H., Hincapie, M., Caponio, A., Mercado, E., and Mendivil, E. (2011).
Augmented reality: an advantageous option for complex training and maintenance operations in aeronautic related processes. In R. Shumaker (Ed.), Virtual and Mixed Reality: Part 1 (pp. 87-96). Berlin, Germany: Springer[3]

Gavish, N., Guterriez, T., Webel, S., Rodriguez, J., and Tecchia, F. (2011).
Design guidelines for the development of virtual reality and augmented reality
training systems for maintenance and assembly tasks. In BIO Web of Conferences 1: The International Conference SKILLS 2011 (00029). EDP Sciences,
August 2019[4]

Gavish, N., Guterriez, T., Webel, S., Rodriguez, J., Peveri, M., Bockholt,
U.,and Tecchia, F. (2015). Evaluating virtual reality and augmented reality
training for industrial maintenance and assembly tasks. Interactive Learning
Environments, 23 (6), 778-798[5]Bacca, J., Baldiris, S., Fabregat, R., Graf, S., and Kinshuk (2014). Augmented
reality trends in education: a systematic review of research and applications.
Educational Technology and Society, 17 (4), 133-149[6]

Garzón, J., and Acevedo, J. (2019). Meta-analysis of the impact of augmented
reality on students’ learning gains. Educational Research Review, 27, 244-260[7]Schön, D. (1983). The Reflective Practitioner. Aldershot: Ashgate[8]

Schön, D. (1987) Educating the reflective practitioner. San Francisco: JosseyBass

127

Nutzung von Mixed Reality Szenarios für
Training und Service
Linde, M.1; Kiesel, M.1; Beisheim, B.1
1

Hochschule Albstadt-Sigmaringen

Abstract
Virtuelle Techniken lassen sich an vielen Stellen nicht mehr aus den heutigen Arbeitsprozessen wegdenken. So ist an eine mechanische Konstruktion ohne 3DCAD-Programm nicht mehr zu denken. Auch die Augmented und Virtual RealityTechnologien halten vermehrt Einzug in moderne Entwicklungsprozesse. So werden diese z. B. für die frühzeitige Evaluierung von digitalen Prototypen oder in dervirtuellen Inbetriebnahme eingesetzt. Jedoch können viele Anwendungsbereichenoch nicht erschlossen werden, da die verfügbare Hardware die tatsächlich umsetzbaren Anwendungsfälle stark einschränkt. Dies gilt insbesondere für die Augmented Reality Technologien.
Um diese Limitierungen beim Einsatz von Augmented Reality bereits jetzt zu umgehen, ist es für einige Anwendungsfällte ratsam, für den Virtual-Reality-Einsatz
gedachte Hardwarekomponenten um die notwendige Sensorik zu ergänzen, um mit
diesen einen Augmented-Reality-Anwendungsfall abdecken zu können. Die Hardwarekomponenten sind zumeist zwei oder mehr Kameras, welche die stereoskopische Sicht in der Virtual-Reality-Brille ermöglichen. Hierbei sind insbesondere die
Latenz und die zum Teil hohe Divergenz der Auflösung zwischen den realen undvirtuellen Inhalten eine zu meisternde Herausforderung.
Der beschriebene Aufbau kann durch gezielte Beeinflussung der aufgenommenen
Umgebung (z. B. durch Chroma-Key-Hintergründe oder dreidimensionaler Erfassung der Umgebung) Teile dieser bewusst okkludieren und durch virtuelle Inhalte
ersetzen. Das Resultat sind vollkommen opake Visualisierungen, welche weniger
empfindlich auf unzureichende Lichtverhältnisse reagieren. In Verbindung mit einem absoluten Tracking, wie es bei Virtual-Reality-Hardware üblich ist, können mit
einem solchen Aufbau robuste Anwendungen umgesetzt werden.
In dieser Arbeit werden unterschiedliche Varianten eines solchen Aufbaus miteinander verglichen und beispielhaft ein Anwendungsfall umgesetzt.

128

1

Linde, M.; Kiesel, M.; Beisheim, B.

Einleitung

Die meisten Experten sind sich darüber einig, dass Augmented Reality (kurz: AR)über sehr viel Potential verfügt. Insbesondere für den Einsatz im industriellen Umfeld z. B. in der Fertigung, Konstruktion, Marketing oder auch im Bereich Service
und Schulung bietet die Technologie neue Möglichkeiten. Jedoch haben die zwischenzeitliche Insolvenz des Herstellers der Meta-2 Augmented Reality-Brille, daslange Warten auf die Veröffentlichung der HoloLens 2 von Microsoft oder auch das
Scheitern des für den Massenmarkt konzipierten Google Glass zur Folge, dass inletzter Zeit keine signifikanten Fortschritte im Bereich der optischen See-ThroughAR Technologie zu vermelden sind. Viele potentielle Anwendungsbereiche warten
momentan auf verbesserte AR Hardware. Im Vergleich dazu scheint die Entwicklung von neuen Virtual Reality-Brillen schneller voranzugehen. Um bereits jetzt
stabile Augmented Reality Szenarien zu erstellen verwenden die Autoren dieses
Papers daher klassische Virtual Reality-Hardware und ergänzen diese teilweise mit
zusätzlicher Hardware, um Augmented Reality Szenarien zu erstellen. Als Anwendungsbeispiel wird eine Möglichkeit zur Verwendung von Video See-Through-AR
für Trainingszwecke dargestellt. Im Gegensatz zu Trainingssimulationen mit Virtual
Reality, bei denen man durch das Head-Mounted-Display (HMD) komplett von derrealen Umgebung abgeschnitten ist, bieten Mixed Reality Szenarien die Möglichkeit, mit der realen Umgebung zu interagieren. Dabei soll „die Sichtbarkeit der eigenen Arme durch Mixed-Reality, anstatt einer mit inverser Kinematik erzeugten virtuellen Repräsentation des eigenen Körpers, die Immersion steigern. Das Anfassen
der realen Eingabeelemente soll diese höhere Immersion gewährleisten und zugleich ein besseres haptisches Feedback geben.“ [1]1.1 Stand der Technik
Um Mixed Reality zu verstehen, muss man zunächst einmal die Augmented Reality
betrachten, denn gemäß Definition von Paul Milgram et al. (1995) ist die Augmented Reality ein Teil des Mixed Reality Kontinuums. Je nach Anteil des virtuellen
Inhalts spricht man entweder von Augmentierter Realität oder von Augmentierter
Virtualität. Der Übergang ist dabei fließend. In beiden Fällen kommen jedoch dieselben Technologien zum Einsatz. Diese werden im Folgenden kurz erläutert.
1.1.1 Arten von Augmented Reality Technologien
Aus der Literatur sind die folgenden Unterteilungen der Techniken für Augmented
Reality Anwendungen bekannt:
Optisches See-Through-AR
Beim optischen See-Through-AR nimmt der Betrachter seine Umgebung durch ein
Ausgabegerät mit semitransparentem Display direkt wahr. Dies ermöglicht zum

Nutzung von Mixed Reality Szenarios für Training und Service

129

einen die direkte Sicht auf die reale Umgebung und gleichzeitig dient es auch als
Projektionsfläche für die zusätzlichen virtuellen Inhalte. Das Sichtfeld des Nutzers
wird dabei kaum eingeschränkt. [1] Typische Vertreter dieser Technologie sind die
Meta-2, Microsoft HoloLens oder Magic Leap.
Video See-Through-AR
Im Gegensatz zum optischen See-Through-AR wird hier die reale Umgebung nicht
direkt wahrgenommen, sondern zunächst einmal mit einer Videokamera erfasst.
Dieses Videobild wird dann mit den virtuellen Inhalten perspektivisch korrekt überlagert. Anschließend werden die kombinierten Inhalte gemeinsam auf einem Ausgabegerät dargestellt. [1]Dieses gängige Verfahren kommt vor allem bei AR Anwendungen für Smartphones
und Tablets zum Einsatz.
Projektionsbasierte AR
Hierbei werden auf reale Gegenstände mittels Projektor virtuelle Inhalte projiziert.
Es ist kein Display oder HMD notwendig. Die Anwendung beschränkt sich daher auf„die Manipulation der Oberflächeneigenschaften (wie Farbe oder Struktur) und die
Darstellung zusätzlicher Informationen auf der Oberfläche (Erläuterungen, Hervorhebungen, Symbole, etc.).“ [1]1.1.2 Vor- und Nachteile
Die vorgestellten Technologien unterscheiden sich in deren Möglichkeiten zur Erweiterung der Realität und haben technologiebedingte Vor- und Nachteile in unterschiedlichen Anwendungsszenarien. Dabei ist die projektionsbasierte AR durch ihre
sehr eingeschränkten Möglichkeiten von keiner Relevanz für den hier vorgestellten
Anwendungsfall.
Der größte Nachteil der optischen See-Through-Technologie ist die Lichtdurchlässigkeit der virtuellen Objekte. Insbesondere bei der Darstellung von dunklen Inhalten auf einem hellen Hintergrund versagt die optische See-Through-Technologie
und die virtuellen Objekte erscheinen stark transparent. Die Immersion wird durch
diesen Effekt stark reduziert und führt daher oft zur Ablehnung der Technologie inder Praxis. Neben der visuellen Qualität der Darstellung ist auch die Projektionsfläche, welche für die virtuellen Inhalte nutzbar ist, stark begrenzt. Dies führt dazu,
dass größere Objekte nicht komplett dargestellt werden können und so innerhalb
des menschlichen Sichtfeldes abgeschnitten werden.
Umgekehrt ist dafür bei Video See-Through-AR das Problem, dass die Darstellung
der echten Welt der Aufnahmefähigkeit der verwendeten Kamera entspricht. Bei
geringer Auflösung führt dies dazu, dass die Umgebung gegebenenfalls merklichunscharf dargestellt wird. Wenn in diesem Szenario die virtuellen Objekte mit einer
hohen Auflösung gerendert werden, ergibt sich ein sehr hoher Kontrast zwischen

130

Linde, M.; Kiesel, M.; Beisheim, B.

der unscharfen realen Umgebung und dem zu scharfen virtuellen Inhalt. Eine weitere Herausforderung stellt die Latenz dar, mit welche die Kamerabilder in die Brilleübertragen werden. Von den Herstellern von Virtual-Reality-Brillen werden in derRegel 90 Hz als Bildrate als Optimum angegeben. Dies begrenzt jedoch derzeit
stark die verwendete Auflösung, wie aus Tabelle 2 hervorgeht.

1.2 Problemstellung
Die derzeitig bekannten und oben aufgeführten Nachteile der Augmented Reality
Technologien sind derzeit auch mit neuester AR Technologie nicht zu umgehen.
Ziel dieses Papers ist es daher, die bisherigen Limitierungen in der Zwischenzeit
mit Hardware aus dem Virtual Reality Bereich zu umgehen und diese als Video
See-Through-Geräte zu nutzen. Hierbei empfiehlt es sich, die bereits vorhandene
VR Hardware hinsichtlich Eignung zu untersuchen und gegebenenfalls durch externe Sensorik zu ergänzen. Dabei liegt der Schwerpunkt der Untersuchungen insbesondere auf der Umsetzung des Anwendungsfalls.

2

VR Hardware für Augmented Reality

2.1 Auswahl Virtual-Reality-Hardware
Für eine realistische Tiefendarstellung ist eine stereoskopische Darstellung unumgänglich. Auf dem Markt stehen derzeit unterschiedlichste Fabrikate an Virtual
Reality-Brillen zur Verfügung. Diese lassen sich insbesondere nach der Auflösung,des Preises und der Art des Trackings unterscheiden. Einige für die Untersuchungen mögliche Brillen sind anhand dieser Kriterien in Tabelle 1 dargestellt.
Tabelle 1: Vergleich unterschiedlichen Virtual Reality-Brillen
Name

Auflösung

Preis

Tracking

HTC Vive Pro

2880 x 1600

ca. 1400 €Room-Scale,

Valve Index

2880 x 1600

ca. 1079 €Room-Scale,Marker-Based Inside-Out
Marker-Based Inside-Out
Oculus Rift

2160 x 1200

ca. 699 €Front-Facing,

Pimax 5K XR5120 x 1440

ca. 1139 €Room-Scale,

HP Reverb VR

4320 x 2160

ca. 750 €Room-Scale,Marker-Based Outside-In
Marker-Based Inside-Out
Markerless Inside-OutNutzung von Mixed Reality Szenarios für Training und Service

131

Wie bereits erwähnt, ist die Auflösung des Videosignales auf Grund der hohen
Anforderungen an die Bildwiederholrate stark eingeschränkt, daher spielt auch die
Auflösung des Headsets eine untergeordnete Rolle. Einen höheren Stellenwert für
die Auswahl der Brille wird im vorliegenden Anwendungsfall der Genauigkeit desverwendeten Trackings beigemessen. Insbesondere diejenigen Brillen, welche dasLighthouse-Tracking-System (HTC Vive Pro, Valve Index, Pimax 5K XR) verwenden sind hierbei besonderes geeignet. Auf Grund der universelleren Eingabegräteder HTC Vive Pro wird diese für die weiteren Untersuchungen verwendet.

2.2 Vergleich HTC Vive Pro vs. ZED Mini
Die HTC Vive Pro verfügt bereits standardmäßig über zwei integrierte, nach vorne
gerichtete Kameras. Sie kann jedoch alternativ durch externe Sensorik ergänzt
werden. Hierfür sind insbesondere im Bereich des Tiefentrackings und der Latenz
die Kameras der Firma Stereolabs gegenwärtig auf einem sehr hohen Entwicklungsstand. Deren Produkt ZED Mini ist eigens für den Einsatz im Virtual Reality
Bereich entwickelt worden und wurde sowohl für die HTC Vive als auch für die
Oculus Rift konzipiert.
Im Folgenden werden die technischen Eigenschaften der Kameras von HTC Vive
Pro und ZED mini miteinander verglichen.
Tabelle 2: Vergleich der technischen Daten der HTC Vive Pro mit der ZED Mini [2]
HTC Vive Pro

ZED Mini

Befestigung

Integriert

aufgeklebt

Anschluss

Integriert

USB

Auflösung

480p

720p

Framerate

90 FPS (480p)

90 FPS (480p)
60 FPS (720p)
30 FPS (1080p)

LatenzØ 200ms

Ø 60msField of View

96° (H) 80° (V)

90° (H) 60° (V)Empfohlenen Grafikleistung

GTX 1070 / Quadro P500 oderhöher

GTX 1070 oder höher

Tiefentracking

bis max. 2,5m

bis max. 12m

Die ZED Mini verfügt mit 720p über eine höhere Auflösung gegenüber der HTC
Vive Pro mit nur 480p. Mit der ZED mini sind theoretisch auch reine Videos in
1080p und sogar 2K Auflösung möglich, allerdings zu Lasten der Framerate,
wodurch diese Auflösungen nicht unbedingt für das Video See-Through-AR verwendet werden sollten.

132

Linde, M.; Kiesel, M.; Beisheim, B.

Ein weiterer relevanter Unterschied der beiden Geräte ist auch, dass die HTC Vive
die virtuellen Objekte in der maximalen Auflösung von 2880x1600 rendert, aber die
Umwelt durch die beiden integrierten Kameras nur mit 480p wiedergeben kann.
Dahingegen wird vom Hersteller der ZED Mini eine Software zur Verfügung gestellt
welche das Bild sowohl für reale als auch virtuelle Objekte in derselben Auflösung
(z. B. 720p) rendert. Dadurch entsteht ein weniger kontrastreiches, einheitlicheres
Bild als bei der HTC.
Beim Vergleich des Sichtfelds fällt bei der ZED auf, dass das Bild oben und unten
durch schwarze Balken deutlich begrenzt ist. Laut Hersteller Stereolabs ist diesjedoch wissentlich zu Gunsten einer besseren Auflösung im zentralen bzw. relevanten Sichtbereich in Kauf genommen worden.

3

Anwendungsbeispiel für Trainings- oder
Schulungszwecke

Die Anwendung in der Fakultät Engineering der Hochschule Albstadt-Sigmaringenzeigt, wie ein möglicher Einsatz der vorgestellten Technologie als Trainings- oder
Schulungsszenario aussehen kann. Die Idee ist, dass Mitarbeiter oder Kunden an
einem realen Maschinenbedienpanel im Vordergrund geschult werden und gleichzeitig ist dahinter jedes beliebige, kompatible Maschinen-/ Anlagenmodell virtuell
einblendbar. Das virtuelle Modell ist dabei über eine OPC UA Schnittstelle an eine
reale SPS Steuerung mit realistischem Echtzeitverhalten angebunden.
Als Basis für das Trainingsszenario wurde die Game-Engine Unity 3D verwendet, inwelcher das virtuelle Modell erstellt und konfiguriert wird. Mit Hilfe des kostenpflichtigen Assets „Game4Automation“ steht die OPC UA Schnittstelle zu Unity 3D zur
1
Verfügung . Bei Game4Automation handelt es sich um ein auf Unity 3D basierendes Entwicklungsframework für Virtuelle Inbetriebnahme im Automationsumfeld. In
dem vorliegenden Fall findet die OPC UA Kommunikation mit einer Beckhoff
CX9020 Steuerung statt. Als Ausgabemedium für die Visualisierung wird die VirtualReality-Brille HTC Vive Pro verwendet, an welche die Kamera ZED mini angebracht
wurde. Bild 1 stellt den Versuchsaufbau schematisch dar.

1
„Die Abkürzung OPC UA steht für „Open Platform Communications Unified Architecture“ undbeschreibt eine Sammlung von Spezifikationen, die die Kommunikation im Umfeld der Industrieautomation und der M2M-Kommunikation standardisieren.“ [3]Nutzung von Mixed Reality Szenarios für Training und Service

133

Bild 1: Darstellung des Versuchsaufbaus.

Bild 2 zeigt die virtuelle Szene im realen Raum. Am linken Teil des Bildes ist die
verwendete SPS Steuerung erkennbar, welche nach Betätigen des realen Ein-/
Ausschalters die Szene startet. Das virtuelle Förderband beginnt daraufhin mit dem
Transport der Kisten, bis diese eine virtuelle Lichtschranke betätigen. Das Signal
dieser Lichtschranke geht wiederum von Unity 3D über die OPC/UA-Schnittstelle andie reale SPS, woraufhin diese ein Signal erzeugt und zurücksendet, damit das
virtuelle Förderband anhält.

Bild 2: Virtuelle Szene im realen Raum, gesteuert über eine SPS.

134

Linde, M.; Kiesel, M.; Beisheim, B.

Bei der Umsetzung des Versuchs wurden die folgenden Schwachstellen identifiziert:
 Das Mapping des Raumes erfolgt nicht so genau, wie es für eine reibungslose
Anwendung und Positionierung wünschenswert wäre und ist Abhängig vonder Beschaffenheit des Untergrunds. Insbesondere die Reflexionen der Deckenbeleuchtung auf dem glatten und hellen PVC Bodens des Labors sorgen
für große Probleme. Das Mapping erkennt diese Stellen als tiefe Täler,wodurch der Fußboden anstatt einer einheitlichen Ebene als eine zerklüftete
Berglandschaft erkannt wird. Durch Auslegen von Teppichboden konnte diesem Effekt etwas entgegengewirkt werden. Ein 100% ebener Fussboden
konnte dadurch dennoch nicht erreicht werden. Das Ergebnis ist eine virtuelle
Szene, die nicht ganz eben und parallel auf dem realen Fussboden aufliegt
und einige Zentimeter über dem Fußboden schwebt.
 Das Tracking durch Tiefenerkennung ist spürbar instabil. Bei starken Änderungen des Blickpunkts und Blickwinkels springt die virtuelle Szene etwas im
Raum und verändert leicht ihre Position.
 Die Depth Occlusion funktioniert insgesamt sehr gut. Jedoch werden beimÜberdecken des virtuellen Modells durch reale Gegenstände (z. B. die eigene
Hand) die virtuellen Inhalte sehr großflächig überdeckt. Hierdurch erscheint
eine sichtbare Grenze zwischen realer und virtueller Welt, da der reale Gegenstand wie durch eine Art Hülle umgeben wird.
Um die genannten Schwachstellen zu umgehen, wurden verschiedene Ansatzpunkte verfolgt. Da das Markerless Inside-Out Tracking der ZED mini nicht ohne weiteres für einen reibungslosen Ablauf der Anwendung verwendet werden kann, wurde
dies gegen das bereits vorhandene Tracking der HTC Vive Pro ausgetauscht. Diesermöglicht außerdem die Verwendung der Eingabegeräte der HTC Vive Pro.
Zusätzlich kam die Greenscreen Technologie zur Anwendung. Hierbei wird die
Umgebung durch einen Chroma Key Filter komplett ausgeschnitten und durch virtuellen Inhalt ersetzt. Einzig die realen Gegenstände, die sich vor dem Greenscreen
befinden (z. B. Bedienpanel, Steuerung, Bediener etc.) sind noch sichtbar. In [1]wurden bereits die Grundlagen für die Verwendung eines Chroma Key Filters inUnity vorgestellt. Ähnlich wurde das auch hier verwendet, allerdings steht für das
ZED mini bereits ein fertiger Shader zur Verfügung, worüber die Einstellungen für
das Feintuning getätigt werden können.
Bei dem nun vorliegendem hohen Grad der Virtualität und dem Vergleichsweise
kleineren Anteil an Realität, befindet man sich im Mixed Reality Kontinuum im Bereich der Augmentierten Virtualität (siehe Bild 3), welche sich in diesem Szenario
jedoch stufenlos variieren lässt.

Nutzung von Mixed Reality Szenarios für Training und Service

135

Bild 3: Mixed Reality Szene vor einem Greenscreen.

Zu erkennen ist im linken Bereich die reale Hand des Bedieners und rechts die
Steuerung mit Ein-/ Ausschalter. Der restliche Raum wurde durch einen
Greenscreen verdeckt und durch Unity 3D mit virtuellen Inhalten überlagert.
Da kein Mapping der Umgebung für eine genaue Positionierung im realen Raum
benötigt wird, verändert die virtuelle Szene ihre Position überhaupt nicht. Zudem ist
kein Tiefentracking notwendig. Die kleinen Sprünge der virtuellen Szene konnten
dadurch eliminiert werden. Ebenfalls funktioniert die Depth Occlusion vor dem
Greenscreen ideal, da die realen Gegenstände durch den Chroma Key formgenau
ausgeschnitten werden. Dadurch entfällt der einhüllende Effekt und es gibt keine
gefühlte Grenze zwischen den Darstellungen der realen und virtuellen Inhalte.
Wichtig ist hierbei eine ausreichende und vor allem gleichmäßige Beleuchtung desGreenscreens, um ein optimales Ergebnis durch Chroma-Key Filter zu erzielen.
Dadurch lassen sich qualitätsmindernde Einflüsse bei der Darstellung, wie z. B.
Schatten durch reale Gegenstände oder je nach Tageszeit und Wetter unterschiedlich eindringendes Tageslicht, größtenteils eliminieren.

4

Fazit

Um bereits heute die Vorteile von Mixed Reality in industriellen Anwendungsfällen
nutzen zu können, sind stabile Anwendungen gefragt. Mit dem in diesem Paper
beschriebene Ansatz konnte nachgewiesen werden, dass auf Basis aktuell verfügbarer Hardware eine belastbare Mixed Reality Anwendung geschaffen werden

136Linde, M.; Kiesel, M.; Beisheim, B.

kann. Insbesondere für räumlich begrenzte Trainingsszenarien, in welchen derAnteil der realen Geometrien stark begrenzt ist, kann eine solche Vorgehensweise
vorteilhaft sein. Dabei stellt die Ergänzung aktueller VR-Hardware mit der externen
Sensorik des ZED mini für stereoskopische Videoinhalte auf diesem Weg eineinteressante und vielversprechende Alternative dar. Die Kameraauflösung und
Latenz übertreffen hierbei auch die technischen Möglichkeiten der In-Built Kameras
der HTC Vive Pro. Die Verwendung von Greenscreen Technologie in Verbindung
mit Video See-Through-AR umgeht die derzeit noch bestehenden Probleme desMappings, Trackings und der ungenauen Depth Occlusion der ZED mini.

Literaturangaben[1]

Rehmann M. Urbaner Mixed-Reality Fahrsimulator (German). In: Kloos U,
editor. Wissenschaftliche Vertiefungskonferenz HuC - Design the Future : Informatik-Konferenz an der Hochschule Reutlingen, 22. November 2017. Reutlingen, Germany: Reutlingen University; 2017. p. 69-78.

[2]

Dörner, R.; Broll, W.; Grimm, P.; Jung, B.: Virtual und Augmented Reality(VR/AR), Springer Vieweg, Berlin Heidelberg, 2013[3]

Stereolabs Inc., stereolabs.com, URL: https://www.stereolabs.com/blog/vivepro-ar-zed-mini/ [06.09.2019][4]

Luber, S.: Was ist OPC UA? Vogel IT-Medien GmbH, Augsburg, 2018, URL:
https://www.bigdata-insider.de/was-ist-opc-ua-a-698144/

Wahrnehmung und Interaktion
in virtuellen Welten

139

VR-Simulation von Assistenzfunktionen in
der manuellen Montage – ein Ansatz fürarbeitsphysiologische Vergleiche nutzerbezogener Aspekte im Entwurfsprozess
Minow, A.1; Stüring, S.2; Böckelmann, I.1
1

Bereich Arbeitsmedizin, Medizinische Fakultät, Otto-von-Guericke-Universität
Magdeburg

2

LIVINGSOLIDS GmbH, Magdeburg

Abstract
In einem experimentellen User-Test haben 25 gesunde Probanden (⌀ 26,8 ± 8,93
Jahre; 13 Männer, 12 Frauen) Hydraulikventile und geometrische Figuren mithilfe
zweier Assistenzfunktionen (Augmented Reality (AR)-Konturen am Verbauort undPick-to-Light (PtL)) montiert. Mittels einer Virtual Reality (VR)-Brille (HTC Vive)wurden das Montageumfeld und die Assistenzfunktionen simuliert. Es erfolgte eine
vergleichende Auswertung der Assistenzfunktionen hinsichtlich nutzerbezogener
Aspekte u. a. im Kontext der stattgefundenen Beanspruchung. Die Ergebnisse
zeigten, dass die objektive Leistung, die Einschätzung der Gebrauchstauglichkeit
beider Funktionalitäten und die physiologische Beanspruchung zwischen den Assistenzfunktionen vergleichbar sind. Die subjektive Anstrengung wurde bei dem PtL
geringer eingeschätzt als bei den Konturen am Verbauort.

1

Hintergrund und Zielstellung

Arbeit 4.0 erhält Einzug in nahezu alle gesellschaftlichen und industriellen Bereiche.
Auch die Montage sieht sich Herausforderungen wie immer komplexeren und vielfältigeren – von den Kunden gewünschten – Produkten gegenüber. Diese Wünsche
können häufig nur mit einer teilautomatisierten oder manuellen Montage erfüllt
werden. Die große Variantenvielfalt stellt jedoch enorme Herausforderungen an die
kognitive Belastbarkeit der Mitarbeiter. Montageassistenten können die Mitarbeiterin diesem Zusammenhang bei der Zielerreichung unterstützen, indem sie zielgerichtet Informationen zur Aufgabenerledigung bereitstellen. Nutzerbezogene Forschungs- und Entwicklungsprojekte, die den Menschen in den Mittelpunkt rücken
sind in diesem Zusammenhang unverzichtbar, um einen beanspruchungsoptimalen

140

Minow, A.; Stüring, S.; Böckelmann, I.

und gesundheitsgerechten Umgang mit neuen digitalen Technologien im Produktionsbereich sicherzustellen. Der beschriebene User-Test fand im Rahmen desBMBF-geförderten Verbundvorhabens „3D-Montageassistent“ (FKZ: 03ZZ0441E)
statt. Im Projekt werden funktionelle Bausteine für die Realisierung von 3Dbasierten Montageassistenten zur technischen Unterstützung manueller Fertigungsprozesse erforscht und entwickelt. Die Arbeitsgruppe aus dem Bereich Arbeitsmedizin bearbeitet im Verbundvorhaben das Teilprojekt „Begleituntersuchungzur Erfassung von Belastungen und Beanspruchungen bei Montageassistenz“, indem arbeitsmedizinischen und arbeitsphysiologischen Fragestellungen nachgegangen wird. Ziele des User-Tests waren u. a. die vergleichende Beurteilung zweier
Assistenzfunktionen hinsichtlich nutzerbezogener Aspekte und die Erprobung desVersuchsaufbaus für weitere User-Tests und Feldstudien.

2

Versuchsbeschreibung und Methoden

Im Folgenden werden der Versuchsaufbau, die Messmethoden und Fragebögen
sowie der Versuchsablauf dargestellt.

2.1 Versuchsaufbau
Die Hardware zur Versuchsdurchführung umfasste eine HTC Vive VR-Brille (HMD)
mit zwei Basisstationen zur Positionierung und Orientierung der Brille im Raum. Um
relevante Nutzereingaben (z. B. Greifen und Bewegen von Bauteilen) zu erfassen,
wurde die VR-Brille mit einem Leap Motion Sensor zur Erkennung der Hände undHandstellung ausgestattet (Bild 1).

VR-Simulation von Assistenzfunktionen in der manuellen Montage

141

Bild 1: Virtuelle Hand mit Bauteil

Für den Versuch wurde eine reale Arbeitsumgebung mithilfe von 3D-Modellen derEinzelobjektive nachgebildet und alle notwendigen Behälter, Vorrichtungen und
Bauteile als 3D-Objekte in die Arbeitsumgebung integriert und soweit erforderlich
bedienbar gemacht. Die VR-Anwendung wurde mit Funktionen ausgestattet, die die
Versuchsdurchführung unterstützen (z. B. Konfiguration des Versuchsablaufs, Erfassung objektiver Leistungsparameter wie Montagedauer).

2.2 Messmethoden und Fragebögen
Dem User-Test liegt das Mehrebenenkonzept von Fahrenberg [1] zugrunde, nachdem in psychophysiologischen Untersuchungen angestrebt wird, die subjektiven
Erlebens- und Befindensdaten, die objektive physiologische Beanspruchung unddie objektiven Leistungsdaten gleichzeitig zu erfassen. Zusätzlich wird die Einschätzung der Gebrauchstauglichkeit der Assistenzfunktionen durch die Probanden
im Konzept ergänzt (Bild 2).

142

Minow, A.; Stüring, S.; Böckelmann, I.

Bild 2: Mehrebenenkonzept, modifiziert nach [1]Auf Ebene der objektiven Leistungsdaten werden Bearbeitungsdauer und Fehlerzahl bei der Montage der Hydraulikventile erfasst.
Die physiologische Reaktion wird mittels EKG registriert und durch die Herzfrequenzvariabilität (HRV) beschrieben. Die HRV beschreibt die Variabilität einer Zeitreihe von aufeinanderfolgenden Herzaktionen, die Erkenntnisse über die allgemeine Aktivierung des Organismus als Antwortreaktion auf die stattgefundene Belastung und damit die Beanspruchungslage des Probanden liefert. Eine Vielzahl mathematisch berechneter Parameter, „welche die Varianz, Rhythmik oder Komplexität einer Zeitreihe von aufeinander folgenden Herzaktionen – den sog. NNIntervallen – kennzeichnet“ [2], werden ermittelt. Die HRV-Parameter werden mithilfe der Software Kubios HRV Version 2.0 (Biosignal Analysis and Medical Imaging
Group, Universität Kuopio, Finnland) zeitbezogen ausgewertet. Das subjektive
psychische Befinden wird durch die Eigenzustandsskala (EZ-Skala) [3], die Rating
Scale for Mental Effort (RSME) [4, 5] und den Visual Fatigue Questionnaire (VFQ)[6] erfasst. Die beiden Ebenen liefern die Grundlage für die Einschätzung der Belastung im Sinne des Belastungs- Beanspruchungskonzepts [7]. Die Beanspruchungsdaten ermöglichen retrospektiv die stattgefundene Belastung einzuschätzen.
Zur Beschreibung der Usability beider Assistenzfunktionen werden die System
Usability Scale (SUS) [8], der ISONORM-Fragebogen [9] und Teilskalen des Technology Acceptance Model (TAM) [10] eingesetzt.
Die Erfassung und Auswertung der erhobenen Daten erfolgte mit IBM SPSS Statistics 26. Intervallskalierte Daten wurden mithilfe des Shapiro-Wilk-Tests auf Normalverteilung geprüft. Da die meisten Variablen keine Normalverteilung aufwiesen,
wurde auf den nicht-parametrischen Wilcoxon-Test für Mittelwertvergleiche und den
Mann-Whitney-U-Test zurückgegriffen. Im Folgenden werden Mittelwert und Standardabweichung (MW ± SD) und bei ordinalskalierten Variablen Median (MD), Mi-

VR-Simulation von Assistenzfunktionen in der manuellen Montage

143

nimalwert (Min) und Maximalwert (Max) dargestellt. Die Testentscheidungen basieren auf einem Signifikanzniveau von 5 %.

2.3 Versuchsablauf
Die User-Tests fanden von April bis Juni 2019 in den Räumen der LIVINGSOLIDS
GmbH statt. Zudem wurden zur Gewährleistung eines einheitlichen Versuchsablaufs eine Versuchsanweisung und ein Ablaufplan erstellt.
Zu Beginn eines Versuchs lasen die Probanden die Studieninformationen und unterzeichneten die Einwilligungserklärung. Es gab ausreichend Zeit, um auf Fragen
der Studienteilnehmer einzugehen. Um eine hinreichende Sehleistung der Probanden zu gewährleisten, wurde zu Beginn eine ophthalmologische Statusuntersuchung mit dem Rodatest 300/302 der Vistec AG durchgeführt. Getestet wurden
 Visus (Sehschärfe) für Nähe (55 und 40 cm) und Ferne (6 m),
 Phorie (Stellung der Augen bzw. Sehachsen), Stereopsis (räumliches Sehen), Farbensinn und Gesichtsfeld.
Fragebögen mit soziodemografischen Angaben und typischen Confoundern fürphysiologische Größen (wie Alter, Geschlecht, Rauchen, Alkoholkonsum, Erkrankungen, Medikamenteneinnahme) sowie bisherige Erfahrungen mit digitalen Assistenzsystemen und Erfahrungen mit VR-Brillen wurden von den Probanden ausgefüllt. Da es sich bei den Probanden nicht um gelernte Montagemitarbeiter handelte,bekam eine Hälfte der Probanden vor Beginn der Montageaufgaben ein Desktoptraining (drei Stufen, Dauer ca. 10 min.), um den Montageablauf des Hydraulikventils zu üben. Beim Desktoptraining wird die Montageaufgabe dem Lernenden in 4
Leveln mit ansteigendem Schwierigkeitsgrad vermittelt. Während im einfachsten
Level 1 nur auf ein farblich hervorgehobenes Bauteil je Arbeitsschritt zu klicken ist,muss sich der Lerner im Level 2 schon den Einbauort der Bauteile gemerkt haben.
Im Level 3 ist dann das zu verbauende Bauteil und das dazu zu verwendende
Werkzeug eigenständig auszuwählen. Abschließend in Level 4 muss die Aufgabe
ohne die Unterstützung einer verbalen Arbeitsanweisung Schritt-für-Schritt vollkommen eigenständig virtuell durchgeführt werden. Die Kontrollgruppe schaute sichjeweils dreimal ein ca. zweiminütiges Video zur Montage des Ventils an.
Ein Langzeit-EKG Rekorder medilog AR12plus der SCHILLER MedizintechnikGmbH wurde angelegt. Die Probanden erhielten mittels kurzer mündlicher PowerPoint-Präsentation durch den Versuchsleiter erste Infos zum Umgang mit der VRBrille (Typ HTC Vive). Nach dem Aufsetzen und Anpassen der VR-Brille haben sichdie Probanden in einem vom Hydraulikventil unabhängigen Szenario (Montage

144

Minow, A.; Stüring, S.; Böckelmann, I.

einer Turbine) mit der VR-Handhabung vertraut gemacht (z. B. Greifen und Bewegen von Teilen üben).
In der Studie, die als Cross-over-Studie konzipiert wurde, montierten die Probanden
in zwei randomisierten Durchgängen (Simulation einer AR-Brille mithilfe von eingeblendeten Konturlinien des zu verbauenden Bauteils und Simulation eines Pick-toLight-Systems) jeweils ein Hydraulikventil, drei geometrische Figuren und erneut
das gleiche Hydraulikventil. Jeder Proband nutzte beide Assistenzfunktionen. Von
den geometrischen Figuren existierten zwei Varianten mit jeweils drei Figuren, diein randomisierter Reihenfolge dargeboten wurden. Die Montage der geometrischen
Figuren erfolgte jedoch lediglich, damit die Probanden mehr Zeit hatten, die Assistenzfunktionalität kennenzulernen. Daher werden in diesem Zusammenhang keine
Leistungs- und Beanspruchungsdaten von der Montage der geometrischen Figuren
ausgewertet.
Die zwei Assistenzfunktionen waren: ein simuliertes Pick-to-Light-System (PtL), bei dem dem Probanden mithilfe
eines grün aufleuchtenden Lämpchen angezeigt wird, aus welcher Kiste dasnächste zu verbauende Teil gegriffen werden muss und simulierte AR-Konturlinien des jeweils zu verbauenden Bauteils am Verbauort.
Bei beiden Durchgängen lief im Hintergrund ein Display, auf welchem Videosequenzen (3D Animationen) des nächsten Montageschrittes gezeigt wurden. Bei derBauteilmontage gab es ein akustisches Signal, sobald ein Teil richtig verbaut wurde. Nach den Montagedurchgängen füllten die Probanden jeweils die Fragebögen
EZ-Skala, RSME, VFQ, SUS, ISONORM und TAM aus. Zum Abschluss des Versuchs wurden die Probanden nach ihrer Favoritenvariante gefragt.

3

Bisherige Ergebnisse

Das durchschnittliche Alter der 25 gesunden Probanden lag bei 26,8 ± 8,93 Jahren(21 – 59 Jahre). Die Frauen (n = 12 (48 %)) waren im Durchschnitt 25,9 ± 10,54
Jahre alt, die Männer 27,6 ± 7,49 Jahre alt. Die Probanden waren größtenteils Studierende bzw. Hochschulabsolventen. Die Ergebnisse der ophthalmologischen
Statusuntersuchung lagen bei allen Probanden im Normbereich, sodass alle zur
Teilnahme an der Studie zugelassen werden konnten. Die eine Hälfte der Probanden (52 %) hatte vor dem User-Test keinerlei Erfahrung mit VR-Brillen. Die andere
Hälfte (48 %) hatte geringe Erfahrung mit VR-Brillen (z. B. im Rahmen der Teilnahme als Proband an anderen Forschungsstudien oder im Gaming-Bereich).

VR-Simulation von Assistenzfunktionen in der manuellen Montage

145

3.1 Objektive Leistung
Aufgrund eines technischen Defekts, konnten die objektiven Leistungsdaten eines
Probanden nicht ausgewertet werden. Damit gilt für die Beschreibungen der Leistungsdaten die Anzahl der Teilnehmer n = 24.
Die Montagedauer des ersten Hydraulikventils mithilfe der AR-Konturen weicht
nicht signifikant von der Montagedauer des ersten Hydraulikventils mithilfe desPick-to-Light-Systems ab (AR-Konturen 185,3 ± 87,88 vs. Pick-to-Light-System
162,3 ± 64,27 s; pWilcoxon = 0,407). Auch die Fehlerzahlen unterscheiden sich imersten Durchlauf nicht zwischen den Varianten (AR-Konturen 1,5 ± 3,24 vs. das
Pick-to-Light-System 0,5 ± 1,32 s; pWilcoxon = 0,233). Differenzen können rein deskriptiv jedoch in den Maximalwerten der Dauer und der Fehlerzahl festgestellt
werden, wobei die Montage mithilfe der AR-Konturen einen deutlich höheren Maximalwert zeigt (AR-Konturen Fehlermax = 14; Pick-to-Light-System Fehlermax = 5)
(Tabelle 1).
Tabelle 1: Objektive Leistungsdaten (1. Hydraulikventil)
1. Hydraulikventil
mit AR-Konturen

1. Hydraulikventil
mit Pick-to-Light

MW ± SD(Min – Max)

Variable

pWilcoxon

Dauer [s]185,3 ± 87,88(81 – 473)

162,3 ± 64,27(94 – 298)

0,407

Fehlerzahl

1,5 ± 3,24
(0 – 14)0,5 ± 1,32
(0 – 5)

0,233

Auch beim zweiten Montieren des Hydraulikventils waren Unterschiede in den Varianten weder in der Bearbeitungszeit noch in der Fehlerzahl statistisch sicher zu
bestätigen.
Mithilfe des Mann-Whitney-U-Tests konnten zudem keine signifikanten Unterschiede in den objektiven Leistungsdaten zwischen der Desktoptraining-Gruppe und derKontrollfilm-Gruppe festgestellt werden.

3.2 Physiologische Reaktion
Es wurden zeitbezogene HRV-Parameter von 25 Probanden für die Montage derHydraulikventile ausgewertet und einander gegenübergestellt. Jedoch zeigen sichweder nach dem ersten (Tabelle 2) noch nach dem zweiten Hydraulikventil (Tabelle3) signifikante Unterschiede zwischen den Assistenzfunktionen Konturen bzw. Pickto-Light.

146

Minow, A.; Stüring, S.; Böckelmann, I.

Tabelle 2: Ergebnisse der HRV-Analyse (1. Hydraulikventil)
1. Hydraulikventil
mit AR-Konturen
Variable

1. Hydraulikventil
mit Pick-to-Light

MW ± SD

pWilcoxon

Mean RR [ms]753,8 ± 136,31
749,9 ± 118,9
0,819
SDNN [ms]45,4 ± 18,27
46,5 ± 18,13
0,767
Mean HR [1/min]
82,3 ± 14,19
82,3 ± 13,25
0,840
STD HR [1/min]
4,8 ± 1,93
5,0 ± 1,81
0,657
RMSSD [ms]31,5 ± 17,14
30,8 ± 17,22
0,628
NN 50 [count]
9,1 ± 9,22
8,9 ± 10,78
0,538
pNN 50 [%]12,7 ± 15,22
12,0 ± 15,53
0,466
Abkürzungen: Mean RR = mittlerer Abstand zwischen zwei R-Zacken, auch als NN bezeichnet;
SDNN = Standardabweichung der NN-Intervall; Mean HR = mittlere Herzfrequenz; STD HR = Standardabweichung der Herzfrequenz; RMSSD = Quadratwurzel des Mittelwertes der Summe aller
quadrierten Differenzen zwischen benachbarten NN-Intervallen; NN 50 = Anzahl der Paare benachbarter NN-Intervalle, die mehr als 50 ms voneinander abweichen; pNN 50 = Prozentsatz aufeinander
folgender NN-Intervalle, die mehr als 50 ms voneinander abweichen
Tabelle 3: Ergebnisse der HRV-Analyse (2. Hydraulikventil)
2. Hydraulikventil
mit AR-Konturen
Variable
Mean RR [ms]750,6 ± 118,74
SDNN [ms]45,2 ± 18,65
Mean HR [1/min]
82,2 ± 13,36
STD HR [1/min]
4,9 ± 2,25
RMSSD [ms]29,1 ± 14,88
NN 50 [count]
7,5 ± 9,11
pNN 50 [%]10,2 ± 13,43
Abkürzungen: wie Tabelle 2

2. Hydraulikventil
mit Pick-to-Light

MW ± SD
750,0 ± 118,52
44,3 ± 18,27
82,3 ± 13,40
4,7 ± 1,74
29,2 ± 16,10
7,7 ± 9,74
10,6 ± 14,78

pWilcoxon
0,875
0,977
0,886
0,954
0,284
0,775
0,985

3.3 Befinden
In der Motivations- und Beanspruchungslage, ermittelt durch die EZ-Skala, konnte
kein deutlicher Unterschied zwischen den Assistenzfunktionen ausgemacht werden.
Jedoch zeigte sich in der subjektiven Anstrengung, ermittelt durch die RSME, einsignifikant höherer Wert nach dem Durchlauf mit den AR-Konturen im Vergleich
zum Pick-to-Light-System (47,8 ± 37,11 vs. 37,9 ± 22,6 Punkten; pWilcoxon = 0,004).
Die Probanden schätzen die Beanspruchung bei der Montage mit den Konturen
damit höher ein als mit der Pick-to-Light-Variante. Der VFQ konnte keine signifikanten Veränderungen in der subjektiven visuellen Beanspruchung zwischen den Assistenzfunktionen ermitteln.

VR-Simulation von Assistenzfunktionen in der manuellen Montage

147

3.4 Usability
56 % der Probanden gaben an, dass sie zukünftig lieber mit dem Pick-to-LightSystem arbeiten würden. 20 % favorisierten die AR-Konturen und 24 % hatten
keine favorisierte Assistenzfunktion. Dieses Ergebnis spiegelt sich auch in den
Ergebnissen der SUS wider. Hier zeigt sich eine bessere Bewertung des Pick-toLight-Systems im Vergleich zu den AR-Konturen (Pick-to-Light 78,7 ± 11,99 Punkteund die AR-Konturen 74,6 ± 13,84 Punkte; pWilcoxon = 0,031).
Die Ergebnisse des ISONORM-Fragebogens können grundsätzlich positiv gewertet
werden, da beide Systeme gute Werte in den Grundsätzen der Dialoggestaltung
aufweisen (Bild 3).

Bild 3: Ergebnisse des ISONORM-Fragebogens (MW und SD)

Signifikante Unterschiede zwischen den Assistenzfunktionen werden jedoch im
ISONORM-Fragebogen und in den Teilskalen des TAM nicht deutlich.

4

Diskussion und Schlussfolgerungen

Die Ergebnisse zeigen im kurzfristigen Einsatz kaum Unterschiede zwischen den
zwei getesteten Assistenzfunktionalitäten. Subjektiv empfinden die Probanden die
Montage mit dem Pick-to-Light-System jedoch weniger anstrengend als mit den
AR-Konturen. Eine Ursache kann sein, dass die Probanden keine Erfahrung in derMontage von Hydraulikventilen mitbringen und insbesondere das Finden desnächsten zu montierenden Bauteils (verglichen mit der korrekten Position des Bauteils) eine Herausforderung darstellt. Zu bemerken ist an dieser Stelle, dass das
Finden des richtigen Bauteils jedoch nur ein erster Schritt ist und das Pick-to-LightSystem in der Regel nicht dabei hilft, den Verbauort zu finden.
VR-Simulationen bieten insgesamt den Vorteil, relativ schnell verschiedene Assistenzfunktionen und Arbeitsaufgaben modellieren zu können und hinsichtlich ihrer
Gebrauchstauglichkeit und Ergonomie zu bewerten. Damit bieten die Simulationen,

148

Minow, A.; Stüring, S.; Böckelmann, I.

auch in Hinblick der sich schnell weiterentwickelnden Technologien, eine gute Möglichkeit Auswirkungen auf zukünftige Nutzer zu untersuchen und Handlungsempfehlungen für den realen Einsatz an Montagearbeitsplätzen zu liefern. Die eingesetzten
psychophysiologischen Methoden und Fragebögen sind für Belastungs-/ Beanspruchungsuntersuchungen beim Einsatz digitaler Montageassistenten gut geeignet undkönnen auch in weiteren praktischen arbeitsphysiologischen Untersuchungen eingesetzt werden.

Literaturangaben[1]

Fahrenberg, J.: Die Bedeutung individueller Unterschiede für die Methodik der
Aktivierungsforschung. In: Schönpflug, W.: Methoden der Aktivierungsforschung, Huber, Bern. 1969, S. 95–122[2]

Sammito, S., Thielmann, B., Seibt, R., Klussmann, A., Weippert, M., Böckelmann, I.: Guideline for the application of heart rate variability in occupational
medicine and occupational sciences. ASU (International Edition), 2015, DOI:
10.17147/ASUI.2015-06-09-03[3]

Nitsch, J.R.: Die Eigenzustandsskala (EZ-Skala) - Ein Verfahren zur hierarchisch-mehrdimensionalen Befindlichkeitsskalierung. In: Nitsch, J.R., Udris, I.:
Beanspruchung im Sport. Beiträge zur psychologischen Analyse, LimpertVerlag, Bad Hamburg. 1976, S. 81-102[4]

Zijlstra, F.R.H., van Doorn, L.: The Construction of a Scale to Measure Perceived Effort, Delft University of Technology, Department of Philosophy andSocial Sciences, 1985

[5]

Zijlstra, F.R.H.: Efficiency in work behaviour. A design approach for modern
tools, Delft University of Technology, Department of Philosophy and Social
Sciences, 1993

[6]

Bangor, A.W.: Display Technology and Ambient Illumination Influences on
Visual Fatigue at VDT Workstations. Dissertation, Blacksburg, Virginia. 2000

[7]

Rohmert, W., Rutenfranz, J.: Praktische Arbeitsphysiologie, 3. Auflage,
Thieme, Stuttgart, New York, 1983

[8]

Brooke, J.: SUS: a "quick and dirty" usability scale. In: Jordan, P.W., Thomas,
B., Weerdmeester B.A., McClelland, A.L.: Usability Evaluation in Industry,
Taylor and Francis, London. 1986, S. 189-194[9]Prümper, J.: Der Benutzerfragebogen ISONORM 9241/10: Ergebnisse zur
Reliabilität und Validität. In: Liskowsky, R., Velichkovsky, B.M., Wünschmann,
W.: Software-Ergonomie '97 - Usability Engineering: Interaktion von MenschComputer-Interaktion und Software-Entwicklung, Teubner, Stuttgart. 1997, S.
253-262VR-Simulation von Assistenzfunktionen in der manuellen Montage

149[10] Davis, F.: A Technology Acceptance Model for Empirically Testing New EndUser Information Systems: Theory and Results. Dissertation. 1986

151

Aspekte der Interaktionsgestaltung in
mobilen AR/VR-Anwendungen im
EngineeringDammann, M.1; Steger, W.1; Stelzer, R.1; Bertelmann, K.2
1

Technische Universität Dresden, Professur für Konstruktionstechnik/CAD

2

FAB Bertelmann Technologie

Abstract
Der Beitrag beschreibt Teillösungen für die Realisierung und Gestaltung der Interaktion mit AR/VR-Anwendungen im Engineering auf mobilen Endgeräten. Zu den
behandelten Themenkomplexen zählen Verfahren und Untersuchungen im Bereich
der Kalibrierung einer Szene, der Selektion von Objekten, sowie der Gestaltung vonAnnotationen und automatisierten Reportfunktionen. Die beschriebenen Lösungenbefinden sich als Bestandteile eines Toolkits für die Konfiguration und Interaktion
mit AR/VR-Szenen im praktischen Einsatz.

1

Einleitung

Mobile AR/VR-Anwendungen rufen momentan großes Interesse hervor. Kostengünstige Displaybrillen, Tablets oder Smartphones erschließen neue Einsatzbereiche im Umfeld des Engineerings. Anwendungen für Schulung, Training, Inspektion
und Review erweitern bisher übliche Desktopanwendungen in der unmittelbaren
Produktentwicklung oder Fertigungsplanung. Aktuelle AR/VR-Anwendungen basieren überwiegend auf Spiele-Engines, die plattformübergreifend vielfältige Integrationsmodule für Controller und Anzeigegeräte bieten.
Insbesondere mobile AR/VR-Anwendungen unterliegen jedoch Beschränkungenbezüglich der verfügbaren Rechenleistung. Das bedeutet Limitierungen in der möglichen Detaillierung von Modellen oder der Größe der Anwendungen. Mobile
AR/VR-Hardware bietet im Vergleich zu Maus und Tastatur meist nur eingeschränkte Eingabemöglichkeiten. Entsprechende Anwendungen benötigen demzufolge
speziell angepasste Funktionen, die die Interaktion mit der Szene ermöglichen und
die Besonderheiten der mobilen AR/VR-Hardware berücksichtigen. Bei kollaborativen Anwendungen bedarf es zudem Kalibrierungsmöglichkeiten, um für alle Beteiligten eine konsistente Wahrnehmung zu ermöglichen. Die Microsoft HoloLens ist

152

Dammann, M.; Steger, W.; Stelzer, R.; Bertelmann, K.

ein AR-HMD auf das die beschriebenen Einschränkungen und Besonderheiten
zutreffen. Die Inhalte dieses Beitrages beziehen sich auf Anwendungen und Methoden, die hauptsächlich für dieses Gerät entwickelt wurden.

2

Verwandte Forschung

Die Kalibrierung einer Szene ist möglich, indem Objekte oder Marker optisch registriert werden und ein digitales Modell zur Realität ausgerichtet wird. Marker werdenan bekannten Positionen der realen Objekte angebracht. Markerbasierte Verfahren
werden von Lösungen wie Vuforia [1] eingesetzt. Die objektbasierte Registrierung
mittels Kantenerkennung wird unter anderem von VisionLib [2] genutzt.
Die Forschungen zum Annotationsprozess sind vielfältiger Natur und befassen sichneben Hilfsmitteln beim Design von Annotationssystemen [3] auch mit Workflowmodellen für die Annotationserstellung [4]. Camba et al. nutzen eine XML Datei, um
Annotationen zwischen verschiedener Software auszutauschen und zu verwalten,
mit dem Ziel Annotationen effizient zu filtern und das Verständnis der Annotationen
zu erleichtern [5].
In früherer Forschung wurde das Strukturmodell Erweiterter Szenegraph definiert,
welches als Basis für die Visualisierung von Produkten dient [6]. Die Struktur desErweiterten Szenegraphs sieht bereits die Möglichkeit vor, Annotationen zu integrieren.

3

Kalibrierung mittels QR-Code

Eine essentielle Funktion von AR-Anwendungen ist die Lokalisierung in der realen
Umgebung. Das ist Voraussetzung für die orts- und lagerichtige Ergänzung derrealen Umgebung mit digitalen Informationen und Modellen. Alle Objekte in dervirtuellen Umgebung richten sich an einem Koordinatensystem aus. In ARAnwendungen mit der Möglichkeit zur Kollaboration ist es notwendig, ein einheitliches Koordinatensystem für alle Beteiligten im Raum zu definieren.
Der Einsatz lizenzpflichtiger Techniken zur Registrierung von Markern (Vuforia) ist
für viele Einsatzgebiete aus Kostengründen nicht gewünscht. VisionLib, als Vertreter der Registrierung mittels Kantenerkennung, ist ebenfalls kostenpflichtig.
Um mit einem Marker zusätzliche Informationen abrufen zu können, wurde auf
einen angepassten Triangulations-Algorithmus mittels eines QR-Codes zurückgegriffen, siehe Bild 1.

Aspekte der Interaktionsgestaltung in mobilen AR/VR-Anwendungen im Engineering

153

Bild 1: Bestimmung von Weltkoordinaten durch Triangulierung eines Codes

Mit dem Farbbildsensor der HoloLens wird der QR-Code fotografiert. Bei der Aufnahme eines Bildes speichert die HoloLens Informationen über die Kameraposition
und die perspektivische Projektion der Kamera.
Im RGB-Bild lassen sich mit kostenfreien Softwarelösungen (ZXing) die Pixelkoordinaten der Quadrate, die an den Eckpunkten des Codes platziert sind, bestimmen[7]. Mithilfe der von der HoleLens bereitgestellten Transformationsmatrizen werden
aus der Brillenposition und den Pixelkoordinaten die dazugehörigen projizierten
Koordinaten berechnet. Aus diesen ergeben sich Projektionsgeraden (siehe Bild 1)[8]. Aus mindestens zwei Aufnahmen des Codes aus verschiedenen Perspektiven
werden so mittels Triangulierung die Geradenschnittpunkte (Bildkoordinaten) berechnet. Diese entsprechen mit kleinen Abweichungen den Weltkoordinaten undkönnen für die Platzierung eines Koordinatensystems genutzt werden (siehe Bild 2).

Bild 2: Platzierung eines Beispielobjektes auf einem QR-Code154

Dammann, M.; Steger, W.; Stelzer, R.; Bertelmann, K.

Aus den drei Koordinaten wird die Lage einer Ebene berechnet. Eine der Koordinaten wird als Zentrum des Koordinatensystems definiert. Mit einer zweiten Koordinate wird die Richtung einer Raumachse festgelegt, die Richtung der zweiten Raumachse entspricht dem Normalenvektor der Ebene. Aus dieser Definition ergibt sichautomatisch die Lage der dritten Raumachse.
Die Wiederholgenauigkeit des Verfahrens wurde untersucht. Die ermittelte mittlere
absolute Abweichung der Kalibrierung beträgt 10,28mm (1,0m Abstand), die mittlere Winkelabweichung des ermittelten Normalenvektors beträgt 3,98° (1,0m Abstand).
Abhängig vom Einsatzzweck ist das beschriebene Verfahren für virtuelle Szenen
mit weniger als ca. 2m Seitenlänge in der Regel hinreichend genau. Für höhere
Anforderungen an die Wiederholgenauigkeit oder größere Szenenabmessungensollte der Einsatz von mehreren Codes mit größtmöglichem Abstand erwogen werden.

4

Selektionsverfahren

In modernen Game Engines können 3D Objekte selektiert und in Position und Orientierung manipuliert werden, auch Kollisionen zwischen Objekten sind möglich. In
der Unity Engine bilden Collider die Grundlage für diese Funktionen [9].
Der Performanceeinfluss der Collider wurde auf der HoloLens untersucht, die folgenden Ausführungen konzentrieren sich dabei auf die FPS der Anwendung, die
benötigten Ladezeiten und die Speicherbelegung durch die Collider. Für die folgenden Ergebnisse wurde ein komplexes Geometriemodell einer Felge mit 619480
Dreiecken als Ausgangsnetz verwendet. In Voruntersuchungen wurde zunächst der
Einfluss der Dreiecksanzahl des Geometriemodells auf die Performance des HMD
ermittelt. Dazu wurden Modelle mit reduzierter Dreiecksanzahl generiert, siehe
Bild 3.

Bild 3: Geometriemodelle mit verschiedener Dreiecksanzahl

Aspekte der Interaktionsgestaltung in mobilen AR/VR-Anwendungen im Engineering

155

Das Ursprungsmodell kann von der HoloLens nicht dargestellt werden und führt
zum Absturz. Das reduzierte Modell mit 20% (123896 Dreiecke) der ursprünglichen
Dreiecksanzahl kann nur mit 39 FPS dargestellt werden. Die Modelle mit <1% derDreiecke werden mit 55 FPS gerendert. Da bei den Modellen mit <1% der Dreiecke
bereits ein deutlicher Verlust der Form der Felge zu beobachten ist, wird das Modell
mit 1% als Referenzmodell für die weiteren Untersuchungen gewählt. Im nächsten
Schritt werden die Ladezeiten verschieden detaillierter Collider und die korrespondierenden FPS-Verläufe betrachtet, siehe Bild 4 und 5. Die Anwendung enthält
dabei nur ein Geometriemodell, welches erst nach dem Start der Anwendung in die
Szene geladen und mit Collidern versehen wird.
Aus den FPS-Verläufen und den Ladezeiten für die Collider wird ersichtlich, dass
der Einfluss der Collider auf die FPS der Szene gering ist, sobald die Collider vollständig geladen wurden. Während des Ladevorganges kommt es allerdings zu
FPS-Einbrüchen, je komplexer der Collider ist, desto länger dauert der Ladevorgang. Bei der Verwendung eines Colliders, der der ursprünglichen Detaillierung desFelgenmodells entspricht, kommt es zum Absturz. Auch bei Collidernetzen mussalso beachtet werden, dass zu komplexe Netze die Hardware überfordern können,
obwohl diese nicht gerendert werden müssen. In Bild 5 ist außerdem erkennbar,
dass weniger komplexe Collider kürzere Ladezeiten ermöglichen. Allerdings ist zu
beachten, dass die Ladezeit deutlich abnimmt, wenn das selbe Mesh für das gerenderte Modell und Collider verwendet wird.
Collider belasten zusätzlich den Arbeitsspeicher. Der Collider des Ursprungsmodells belegt beispielsweise 20,2 MB, der Collider mit 0,1% der Dreiecke belegt
dahingegen nur 0,3 MB. Wenn ein anderes Mesh für den Collider verwendet wird
als für das Geometriemodell steigt wiederum der benötigte Speicherplatz auf einem
Speichermedium an.

156

Dammann, M.; Steger, W.; Stelzer, R.; Bertelmann, K.

Bild 4: FPS-Verlauf beim Laden verschieden detaillierter Collider

Bild 5: Ladezeiten verschieden detaillierter Collider (bei Geometrienetz mit 6194 Dreiecken)

Aspekte der Interaktionsgestaltung in mobilen AR/VR-Anwendungen im Engineering

157

In Anwendungsfällen, in denen Collider nur genutzt werden, um Objekte zu selektieren und die Position eines Pointers zu ermitteln, kann auf Collider verzichtet
werden. Es wurde ein alternatives Selektionsverfahren in der Unity Engine entwickelt. Die Grundlage für dieses Selektionsverfahren bildet das Z-Buffering.
In der Computergrafik wird das Z-Buffering verwendet, um Objektverdeckungen zu
berechnen [10]. Im Z-Buffer der GPU sind die Tiefeninformationen zu jedem Pixel in
einer 3D-Szene enthalten. Diese Information kann genutzt werden, um 3DPositionen zu ermitteln. In Unity wird für diesen Zweck eine zweite Kamera in der
Szene verwendet. Diese Kamera nutzt im Gegensatz zur Hauptkamera der Szene
eine orthografische Projektion, die wiederrum auf einer speziellen Textur gerendert
wird, siehe Bild 6. Aus dieser Textur kann die Tiefeninformation für jeden Pixel
extrahiert werden.

Bild 6: Ansichten der verschiedenen Kameras, ermittelter Index und Pointerposition

Um neben der Position des Pointers auch ermitteln zu können, welches Geometrieobjekt selektiert wurde, erhält jedes Geometrieobjekt eine ID und eine einzigartige
Farbe, welche wiederum in das Mesh des Objektes encodiert wird. Diese Farbekann von der Selektionskamera identifiziert werden. Auf diese Weise kann ermittelt
werden, welches Geometrieobjekt selektiert wurde.

5

Kommunikationswerkzeuge

Die dokumentierte Bewertung einer Konstruktion oder eines Konstruktionsentwurfes
ist das zentrale Merkmal des Design Reviews [11]. Es werden Hilfsmittel benötigt,
um eine solche Bewertung vornehmen zu können. Dabei sind Annotationen ein
verbreitetes Werkzeug. Annotationen bieten in der Regel die Möglichkeit, Objekteoder Bereiche innerhalb eines Dokumentes hervorzuheben und zu kommentieren.
In klassischen Desktopanwendungen erfolgt die Annotationserstellung mit Maus
und Tastatur. HMDs bieten diese gewohnten Eingabemethoden in der Regel nicht
und erfordern dementsprechend die Anpassung bestehender Konzepte an neue
Eingabemethoden und Geräte.

158

Dammann, M.; Steger, W.; Stelzer, R.; Bertelmann, K.

5.1 Annotationssystem
Die bestimmende Eingabemetapher an PCs und Touchgeräten ist die des Pointers.
Auch in AR und VR wird die Pointermetapher in angepasster Form eingesetzt, ein
Beispiel sind die Controller der HTC Vive, die in Verbindung mit einem in die 3DSzene projizierten Strahl als Ersatz für Maus und Toucheingaben fungieren können.
Auf der HoloLens wird die Pointermetapher mit einem Gazecursor und der Air TapGeste umgesetzt, die mit einer Hand im Sichtbereich der HoloLens ausgeführt
werden kann. Mit den nativ durch die HoloLens unterstützten Gesten kann eine
Vielzahl gängiger Mausgesten substituiert werden, siehe Bild 7.

Bild 7: Übersetzungsempfehlung für Mausgesten auf der HoloLens

Eingaben wie auf einer physischen Tastatur sind mit den Gesten der HoloLens
nicht ohne weitere Hilfsmittel möglich. Einige Anwendungen orientieren sich an der
Implementierung der Tastatur auf Touchgeräten, indem eine virtuelle Tastatur im
Sichtfeld des Nutzenden dargestellt wird, deren Tasten mit der Kombination aus
Gaze und Air Tap bedient werden können [12]. Diese Art der Umsetzung erfordert
eine hohe Anzahl an Kopfbewegungen und Air Tap-Gesten. Dementsprechend wirdviel Zeit benötigt, um einen Text zu erstellen und der Vorgang ist vergleichsweise
anstrengend und umständlich. Die Menügestaltung und auch die Art der Annotationen sollten aufgrund dieser Einschränkung nicht einfach aus einer Desktopanwendung übernommen, sondern angepasst werden. Da die Texteingabe ein essentielles Element der Annotationserstellung ist, müssen Möglichkeiten gefunden werden,
dieses Element durch andere Metaphern zu ersetzen bzw. die Eingabeanzahl zu
minimieren.
Visuelle Metaphern wie Icons stellen eine Lösungsmöglichkeit für das beschriebene
Problem dar. Eine andere Möglichkeit sind vorgefertigte Textbausteine, siehe Bild 8
a. In beiden Fällen ist es notwendig, typische Reviewsituationen im geplanten Einsatzumfeld zu analysieren, um auf diese Weise oft verwendete Anmerkungen zu
identifizieren. Werden mehrere Icons oder Textbausteine miteinander verknüpft,können auch komplexere Zusammenhänge ohne umfangreiche Texteingabe verdeutlicht werden, siehe Bild 8 b.

Aspekte der Interaktionsgestaltung in mobilen AR/VR-Anwendungen im Engineering

159

Bild 8: Beispiele für a) Icons und Textbausteine b) die Darstellung einer Texteingabe mit Hilfe vonIcons und Textbausteinen

5.2 Annotationsaustausch und Report-Tool
Die erzeugten Annotationen und die darin enthaltenen Informationen können in den
Entwicklungsprozess integriert werden, um auf deren Basis beispielsweise Änderungen an Bauteilen vorzunehmen. Hierzu muss es möglich sein, die Annotationen
in einem möglichst allgemeingültigen Austauschformat abzuspeichern.
In Anlehnung an Camba et al. wird eine XML-Struktur genutzt [4], um die Annotationen und alle spezifischen Informationen zu speichern. Die Struktur kann außerdem in den Erweiterten Szenegraph [6] integriert werden.
Die Struktur sieht Attribute vor, mit denen Daten zu Position, Informationsinhalt oder
Priorität der Annotation abgelegt werden können. Jede Annotation verfügt übereinen Verweis zu einem Bauteil oder einer Baugruppe aus der Baugruppenstruktur. Da die Baugruppenstruktur inklusive der Objektnamen und Eigenschaftenin Unity aus dem Erweiterten Szenegraph abgeleitet wurde, ist die Integrität dieser
Verweise auch außerhalb von Unity gegeben.
Es ist zweckmäßig, die gespeicherten Annotationen zusätzlich in einer Form darzustellen, die für alle am Entwicklungsprozess Beteiligten verständlich ist und auchohne spezialisierte Software angezeigt werden kann. Zu diesem Zweck wurde ein
Report-Tool entwickelt, welches PDFs aus den Annotationsdaten generiert. Als
Basis für das Tool dient die Open Source Version von PDFjet. Bei PDFjet handelt
es sich um eine Softwarebibliothek mit der PDFs auf verschiedenen Plattformen
erstellt werden können [13].
Im PDF Report können sämtliche Informationen zu den Annotationen abgebildet
werden. Dies beinhaltet unter anderem den Erstellzeitpunkt, Erstellende, Screenshots und enthaltene Informationen. Anhand der Annotationen kann die Gestalt desReports angepasst werden. So sind neben einem rein chronologischen Report auch
Reporte möglich, die sich nur auf spezifische Bauteile beziehen oder einzelne Bearbeitende adressieren. In Bild 9 ist ein Auszug aus einem Report dargestellt.

160

Dammann, M.; Steger, W.; Stelzer, R.; Bertelmann, K.

Bild 9: Auszug aus einem automatisch generierten Report

6

Zusammenfassung

Das vorgestellte Annotationssystem ermöglicht die Durchführung und Dokumentation von Reviews unter Beachtung der Eingabebeschränkungen des Gerätes. Die
Annotationen wurden in den Erweiterten Szenegraph integriert und können auf
diese Weise in den Entwicklungsprozess einbezogen werden. Mit dem vorgestellten
Triangulierungsverfahren ist es möglich, eine Szene für kollaborative Anwendungenzu kalibrieren. Mit den gewonnenen Erkenntnissen über den Performanceeinfluss
von Collidern und dem alternativen Selektionsverfahren kann die Performance vonmobilen Anwendungen verbessert werden.
Die vorgestellten Teillösungen sind Bestandteil des DyConcept-Toolkits(http://dyconcept.de). Das Toolkit wurde in Kooperation zwischen dem Lehrstuhl
Konstruktionstechnik/CAD der TU Dresden und der FAB Bertelmann Technologie
Dresden entwickelt und wird als Softwarelösung für HTC Vive, HoloLens, DesktopPC, Android- oder iOS- Tablet angeboten.
Einige der dargestellten Ergebnisse wurden im Rahmen der durch die AiF geförderten ZIM-Kooperationsprojekte ZF4123401LF5 und ZF4123404SS7 erarbeitet.

Aspekte der Interaktionsgestaltung in mobilen AR/VR-Anwendungen im Engineering

161

Literaturangaben[1]

Parametric Technology Corporation: The World’s Most Widely Deployed AR.
URL: https://www.vuforia.com/engine.html> [03.09.2019][2]

Fraunhofer Institute for Computer Graphics Research IGD: Seed round forVisometry – stable tracking for industrial AR solutions with VisionLib. URL:
https://www.igd.fraunhofer.de/sites/default/files/media/presse/igd20190115_seed_round_for_visometry.pdf [04.09.2019][3]

Pick, S.; Kuhlen, T.W.: A framework for developing flexible virtual-realitycentered annotation systems. In: 2015 IEEE 8th Workshop on Software Engineering and Architectures for Realtime Interactive Systems (SEARIS), NJ:
IEEE, 2017, S. 10-17, ISBN 978-1-4673-6881-0[4]Pick, S.; Weyers, B.; Hentschel, B.; Kuhlen, T.W.: Design and Evaluation of
Data Annotation Workflows for CAVE-like Virtual Environments. IEEE transactions on visualization and computer graphics, 2016, S. 1452-1461,
doi:10.1109/TVCG.2016.2518086[5]

Camba, J.; Contero, M.; Johnson, M.; Company, P.: Extended 3D annotations
as a new mechanism to explicitly communicate geometric design intent andincrease CAD model reusability. Computer-Aided Design, 2014, S. 61-73,
doi:10.1016/j.cad.2014.07.001[6]Gebert, M.; Steger, W.; Stelzer, R.: Fast and Flexible Visualization Using an
Enhanced Scene Graph. In Proc. ASME International Design Engineering
Technical Conferences and Computers and Information in Engineering Conference – 2018, 2018[7]

Owen, S.: ZXing Project, URL: https://github.com/zxing/zxing [04.09.2019][8]

Zeller, M.; Turner, A.; Bray, B.; Schonning, N.; Cowley, E.; Mcculloch, J.;
Wguyman; Grbury.: Locatable camera, 2019, URL:
https://docs.microsoft.com/en-us/windows/mixed-reality/locatable-camera[03.09.2019][9]Unity Technologies.: Unity - Manual: Colliders, 2019, URL:
https://docs.unity3d.com/Manual/CollidersOverview.html [02.09.2019]nd[10] Foley, J.D.: Computer graphics: principles and practice, 2Wesley, 1995, S. 668-672, ISBN: 0-201-84840-6

ed, Addison-[11] DIN EN 61160, Entwicklungsbewertung (engl. Titel Design Review), 2005[12] Turner, A.; Zeller, M.; Cowley, E.; Bray, B.: Keyboard input in Unity, Microsoft
Corporation, 2019, URL: https://docs.microsoft.com/en-us/windows/mixedreality/keyboard-input-in-unity [02.09.2019][13] Innovatics Inc.: PDFjet - The Mobile and Cloud PDF library for Java, .NET and
Swift, 2018, URL: http://pdfjet.com [29.08.2019]163

Effects of Presence and Immersion on
Emotions and Behavior Intentions
Zachmann, G.1
1

Universität Bremen, Computer Graphics and VR Lab

Abstract
We present a study investigating the question whether and how people’s intention
to change their environmental behavior depends on the degrees of immersion andfreedom of navigation when they experience a virtual coral reef. We built the virtual
reef on top of a biologically sound model of the ecology of coral reefs, which allows
us to simulate the realistic decay of reefs under adverse environmental factors.
During their experience, participants witness those changes while they can also
explore the virtual environment.
In a two-factorial study involving a large number of participants, we have investigated the effects of different degrees of immersion and freedom of navigation on emotions, the feeling of presence, and participants’ intention to change their environmental behavior. The results of our analyses show that immersion and navigation
have a significant effect on the participants’ emotions of sadness and the feeling of
helplessness. In addition, we found a significant effect, mediated by the participants’emotions, on the intention to change their behavior.
The most striking result is, perhaps, that the highest level of immersion combinedwith the highest level of navigation did not lead to the highest intentions to change
behavior. Overall, results show that it is possible to raise awareness of environmental threats using virtual reality; it also seems possible that people change their
behavior regarding these threats. But the VR experience must be carefully designed
so as to achieve these effects: combining all affordances offered by VR technology
might actually decrease the desired effects.

164

Zachmann, G.

Effects of Presence and Immersion on Emotions and Behavior Intentions

165

166

Zachmann, G.

Effects of Presence and Immersion on Emotions and Behavior Intentions

167

168

Zachmann, G.

Effects of Presence and Immersion on Emotions and Behavior Intentions

169

170

Zachmann, G.

Effects of Presence and Immersion on Emotions and Behavior Intentions

171

172

Zachmann, G.

Effects of Presence and Immersion on Emotions and Behavior Intentions

173

174

Zachmann, G.

Effects of Presence and Immersion on Emotions and Behavior Intentions

175

177

Arbeitswissenschaftliche Fragestellungenbeim Einsatz von Datenbrillen
Terhoeven, J.1; Wischniewski, S.1
1

Bundesanstalt für Arbeitsschutz und Arbeitsmedizin, Dortmund

Abstract
Prozesse in modernen Arbeitssystemen werden zunehmend digital. An der Schnittstelle zwischen Mensch und Arbeitssystem wird in Wissenschaft und Praxis zunehmend der Einsatz von mobilen Informations- und Kommunikationstechnologien
untersucht. Eine solche Technologie stellt die Datenbrille dar, welche in Bereichen,in denen Mobilität und eine freihändige Bedienung von Informationsanzeigesystemen Vorteile mit sich bringt, ein großes Potenzial aufweist. Allerdings kann die nochnicht vollständig erreichte Technologie-Reife sowie ein unzureichender Bekanntheitsgrad von Datenbrillen bei Beschäftigten zu Akzeptanzproblemen führen.
Im folgenden Beitrag sind u. a. auf Basis verschiedener Forschungsaktivitäten arbeitswissenschaftliche Anforderungen an den Einsatz von Datenbrillen als Arbeitsassistenz zusammengefasst. Weiterhin wird beschrieben, wie ebendiese Anforderungen im Rahmen des Forschungsprojekts Glass@Service umgesetzt wurden, um
das ergonomische Gestaltungspotenzial von Datenbrillen aufzuzeigen.

1

Einleitung

Vor dem Hintergrund der fortschreitenden Digitalisierung der Arbeit bedarf es moderner Schnittstellen zwischen Beschäftigten und Arbeitssystem, um der hohen
Komplexität gerecht zu werden [1]. Neue Formen kognitiver Arbeitsassistenz können dabei helfen, mit der zunehmenden Menge und Verfügbarkeit von Informationen umzugehen und Entscheidungsprozesse von Beschäftigten zu unterstützen.
Insbesondere auch unter Betrachtung der Vision von Augmented Reality können
Datenbrillen für diesen Zweck nützlich sein [2]. Aufgrund der noch nicht vollständig
erreichten Technologie-Reife von Datenbrillen ist die Berücksichtigung einer menschengerechten Arbeits- und Technikgestaltung bereits vor einem möglichen Einsatz der Technologie entscheidend. Dabei gilt es bereits bei der Planung neuer
Arbeitsassistenzsysteme den Nutzungskontext zu analysieren und den Grad derAufgaben-Technologie-Passung zu bestimmen [3]. Anschließend bedarf es einem

178

Terhoeven, J., Wischniewski, S.

Fokus auf eine gebrauchstaugliche Gestaltung der Mensch-System-Interaktion, um
ergonomische Aspekte bei der Technologienutzung zu berücksichtigen unddadurch auch Akzeptanz der Beschäftigten sicherzustellen [4].

2Datenbrillen als Arbeitsassistenz

Aktuell sind Datenbrillen als Arbeitsassistenz in der praktischen Anwendung nochnicht weit verbreitet. Der geringe Durchdringungsgrad der Technologie wird dabei
auch von der Vielzahl unterschiedlicher Varianten beeinflusst. So finden sich unterdem Begriff „Datenbrille“ monokulare als auch binokulare Varianten, welche wiederum unterteilt werden können in see-through- und non-see-through-Modelle. Hinzu
kommt die Einstufung in Augmented Reality-Datenbrillen, zumeist binokulare seethrough Datenbrillen, und Virtual Reality-Datenbrillen in Form von binokularen non
see-through Datenbrillen [3]. In der Forschung finden sich neben der Logistik, in derDatenbrillen auch schon praktisch angewendet werden [5], insbesondere auch
Untersuchungen zu potenziellen Anwendungsfällen u. a. im Bereich der Automobilindustrie, der Instandhaltung und des Gesundheitswesens [6-8].
Die Entscheidung, ob der Einsatz einer Datenbrille Sinn ergibt, hängt stark von den
Merkmalen der Arbeitsaufgabe ab. Eine sorgfältige Analyse des Nutzungskontexts
im Sinne des Task-Technology-Fit ist vor dem Einsatz der Technologie unabdingbar. Aufgabenmerkmale, welche klar für den Einsatz von Datenbrillen stehen, müssen gegenüber den Nachteilen, welche die noch nicht vollständig erreichte Technologie-Reife sowie der niedrige Bekanntheitsgrad bei den Beschäftigten mit sichbringen, überwiegen. In [3] sind auf Basis wissenschaftlicher Untersuchungen Indikatoren für und gegen den Einsatz von Datenbrillen zusammengestellt, welche als
Orientierung vor dem Technologieeinsatz dienen können. Indikatoren für den Einsatz von Datenbrillen sind z. B. die Notwendigkeit der freihändigen Bedienung unddie durch die Aufgabe bedingte Mobilität des Beschäftigten. Indikatoren gegeneinen Einsatz sind u. a. mögliche Gefährdungen des Beschäftigten bei Verdeckung
der Umgebung bzw. durch Einschränkung des Sichtfeldes. Auch Klinker et al. [9]haben eine Taxonomie für das Task-Technology-Fit aufgestellt, in der Einsatzkriterien von Datenbrillen aufgezeigt und gewichtet werden.

3

Arbeitswissenschaftliche Anforderungen an
den Einsatz von Datenbrillen

Die Integration moderner Informations- und Kommunikationstechnologien, wie z. B.
Datenbrillen, in die digitale Arbeitswelt hat bedeutende Auswirkungen auf die Anforderungen an Arbeitssysteme [10]. Hierbei ist aus Sicht der Arbeitswissenschaft

Arbeitswissenschaftliche Fragestellungen beim Einsatz von Datenbrillen

179

insbesondere eine menschengerechte Arbeits- und Technikgestaltung zu berücksichtigen, um den Nutzen und die Akzeptanz von Assistenztechnologien zu fördern
und die Beanspruchung der Beschäftigten zu optimieren. Im Folgenden sind beispielhaft einige Anforderungen an Datenbrillen kurz erläutert.

3.1 Gebrauchstauglichkeit
Die Gebrauchstauglichkeit spielt bei der Arbeits- und Technikgestaltung eine entscheidende Rolle [4]. Gemäß §3 der Betriebssicherheitsverordnung [11] sind Unternehmen bei Verwendung neuer Arbeitsmittel dazu verpflichtet, im Rahmen einer
Gefährdungsbeurteilung die „Gebrauchstauglichkeit einschließlich der ergonomischen, alters- und alternsgerechten Gestaltung“ zu berücksichtigen. Hierzu sind die
Anforderungen an die Gebrauchstauglichkeit für die Mensch-System-Interaktion(MSI) zum Beispiel in der DIN EN ISO 9241-11 [12] definiert. Dabei sind die folgenden sieben Dialogeigenschaften für die Gestaltung einer gebrauchstauglichen MSI
empfohlen [13]: Aufgabenangemessenheit, Selbstbeschreibungsfähigkeit, Steuerbarkeit, Erwartungskonformität, Fehlerrobustheit, Erlernbarkeit und Individualisierbarkeit. Eine Möglichkeit zur Bewertung der Gebrauchstauglichkeit aus AnwenderS
sicht stellt der Isometrics Fragebogen dar [14].

3.2 Nutzen und Akzeptanz
Im Rahmen der menschengerechten Arbeits- und Technikgestaltung spielt neben
der Analyse der Aufgaben-Technologie-Passung, welche eng mit dem Nutzen derTechnologie zusammenhängt, insbesondere auch das Schaffen von Akzeptanz auf
Seiten der Beschäftigten eine entscheidende Rolle. Eine hohe Akzeptanz durch dieBeschäftigten erhöht die Nutzungswahrscheinlichkeit sowie auch die Effizienz in der
Nutzung einer neuen Assistenztechnologie [15]. Dabei ist durchaus die subjektive
Wahrnehmung der Technologie durch die potenziellen Nutzer zu berücksichtigen,auch wenn bei der Technologiegestaltung Funktionsmerkmale im Vordergrund
stehen. Grauel et al. [16] haben in einer Untersuchung mithilfe der Repertory-GridTechnik akzeptanzrelevante Merkmale von Datenbrillen erhoben, welche potenziellen Nutzern wichtig sein können. Dabei zeigte sich, dass neben der AufgabenTechnologie-Passung insbesondere auch ergonomische Aspekte wie Tragekomfort
und individuelle Einstellmöglichkeiten, aber auch das Design der Datenbrille wichtig
sind. Eine Möglichkeit zur Einschätzung von Nutzen und Akzeptanz von Datenbrillen stellt z. B. das Technology Acceptance Model dar [17].

3.3 Beanspruchungsoptimierte Gestaltung
Als kopfgetragene Technologie stellen Datenbrillen insbesondere bei einem möglichen Einsatz in der Arbeitswelt hohe Anforderungen an die ergonomische Gestal-

180

Terhoeven, J., Wischniewski, S.

tung. Um eine muskuläre Beanspruchung von Beschäftigten zu vermeiden spielen
Aspekte wie das Gewicht sowie die Gewichtsverteilung der Technologie eine wesentliche Rolle. Gleichzeitig sind durch eine entsprechende Gestaltung die Bewegungsfreiheit der Nutzer zu gewährleisten und somit Zwangshaltungen zu vermeiden, welche u. a. zu einer erhöhten Beanspruchung der Nackenmuskulatur führen
können [18]. Neben der objektiven Beanspruchung, welche überwiegend durch die
Technologiegestaltung beeinflusst wird, ist auch die subjektive Beanspruchungbzw. das Beanspruchungsempfinden der Nutzer entscheidend. Ein hohes subjektives Beanspruchungsempfinden beeinflusst die Akzeptanz der Technologie negativ
und senkt somit auch die Effizienz einer möglichen Arbeitsassistenz [19]. Eine Einbindung von Beschäftigten bereits in Pilotierungsphasen sowie längere Eingewöhnungsphasen bei initialer Nutzung können möglichen negativen Ausprägungenentgegenwirken. Zur Bewertung bzw. Einschätzung der subjektiven Beanspruchungkönnen wissenschaftliche Erhebungswerkzeuge wie z. B. der NASA-TLX Fragebogen herangezogen werden.

3.4 Datenschutzrechtliche AnforderungenDatenbrillen als eine Form adaptiver Arbeitsassistenzsysteme sind i. d. R. mit Sensorik, wie z. B. einer Kamera, ausgestattet, die eine Erfassung und Speicherung
personenbezogener Daten zulässt. Insbesondere vor dem Hintergrund der im Mai
2018 in Kraft getretenen EU-Datenschutzgrundverordnung (EU-DSGVO) sind dementsprechend datenschutzrechtliche Anforderungen beim Einsatz solcher Systeme
zu berücksichtigen. Nach EU-DSGVO gilt u. a. der Grundsatz der Transparenz,
wodurch Arbeitgeber vor der Erhebung bzw. Verarbeitung personenbezogener
Daten die betroffenen Beschäftigten detailliert über Zweck, Art der Information,
Dauer der Speicherung, Löschung etc. in Kenntnis setzen müssen. Dabei ist die
Zweckbindung entscheidend und nur in Ausnahmefällen übertragbar. Eine Vorratsdatenspeicherung, z. B. im Kontext von Industrie 4.0-Anwendungen, scheint zunächst unzulässig. Für Arbeitsgeber gilt es Maßnahmen des technischen Datenschutzes zu prüfen, mit denen die Erhebung von Daten anonymisiert oder pseudonymisiert erfolgen kann. Aktuell können weiterhin Kollektivvereinbarungen als wesentliches Instrument genutzt werden, um mit der Erhebung personenbezogener
Daten im Arbeitskontext umzugehen [20]. Detaillierte Erkenntnisse aus der neuen
EU-DSGVO sowie eine Checkliste zur Berücksichtigung datenschutzrechtlicher
Anforderungen beim Einsatz adaptiver Arbeitsassistenzsysteme können [20] entnommen werden.

Arbeitswissenschaftliche Fragestellungen beim Einsatz von Datenbrillen

4181

Evaluationsergebnisse aus dem Verbundprojekt
Glass@Service zum Einsatz von Datenbrillen

Das Verbundprojekt Glass@Service beschäftigte sich u. a. mit der Entwicklung
einer Augmented Reality-Datenbrille, welche als Arbeitsassistenz Anforderungenwirtschaftlicher als auch gesundheitsorientierter Arbeit synergetisch anhand vonAnwendungsfällen aus der Elektronik-Fertigung untersuchte. Betrachtet wurde indiesem Zusammenhang das ergonomischen Gestaltungspotenzial, um beanspruchungsoptimale, sichere Lösungen moderner Arbeitsassistenz zu gewährleisten. Im
Rahmen der Evaluation wurden die in den vorherigen Abschnitten beschriebenen
Anforderungen an Datenbrillen sowohl in Form der Nutzererwartung als auch desNutzerempfindens erhoben und in Relation zueinander gesetzt. Zu diesem Zweck
wurde für die Evaluation der entwickelten Arbeitsassistenz ein Untersuchungsdesign ausgearbeitet, welches sich in drei Abschnitte aufgliederte. Im ersten Schritt
wurden in den zwei betrachteten Anwendungsfällen – Lagerlogistik und Rüsten von
SMD-Bestückungsautomaten – Erwartungen der Beschäftigten an ein datenbrillenbasiertes Assistenzsystem hinsichtlich der Gebrauchstauglichkeit, der Akzeptanz
und des Nutzens erhoben. Im zweiten Schritt erfolgte im ersten Anwendungsfall der
Vergleich von zwei Datenbrillen- sowie einer Tablet-PC-Assistenzlösung. An derersten Erhebung nahmen insgesamt N = 59 Beschäftigte teil, davon N = 17 Beschäftigte aus dem Anwendungsfall Lagerlogistik und N = 42 Beschäftigte aus dem
Anwendungsfall SMD-Rüsten. Die Erhebung erfolgte in Anlehnung an die FrageböS
gen Isometrics und Technology Acceptance Model. Dabei zeigte sich in der Betrachtung der Nutzererwartungen hinsichtlich der Gebrauchstauglichkeit und derAkzeptanz eine positivere Einstellung gegenüber der Technologie im zweiten Anwendungsfall gegenüber dem ersten Anwendungsfall [15].

4.1 Datenbrilleneinsatz in der Lagerlogistik
Im Rahmen der zweiten Untersuchung in der Lagerlogistik nahmen insgesamt
N = 12 Beschäftigte teil. Es wurden drei verschiedene Assistenzsysteme (TabletPC, monokulare Datenbrille, binokulare Datenbrille) eingesetzt und miteinander
sowie mit den zuvor erhobenen Erwartungen verglichen. Die Erhebung erfolgte inS
Anlehnung an die Fragebögen Isometrics zur Gebrauchstauglichkeit, Technology
Acceptance Model zu Nutzen und Akzeptanz sowie NASA-TLX zur subjektiv empfundenen Beanspruchung.

182

Terhoeven, J., Wischniewski, S.

Bild 1: Ergebnisse der Evaluationserhebung zu den Merkmalen Akzeptanz, Nutzen und Gebrauchstauglichkeit im Anwendungsfall Lagerlogistik [21]Im Ergebnis zeigten sich bei Gebrauchstauglichkeit, Nutzenempfinden und Akzeptanz Vorteile beim Tablet-PC gegenüber den beiden Datenbrillen (Bild 1). Weiterhin
waren die Merkmale hinsichtlich Akzeptanz, Benutzerfreundlichkeit und Nutzen bei
der monokularen Datenbrille (Google Glass) höher ausgeprägt war als bei der binokularen Datenbrille (Epson BT-300). Insgesamt konnte eine bessere Ausprägung
aller Merkmale gegenüber den zuvor erhobenen Erwartungen festgestellt werden.

Arbeitswissenschaftliche Fragestellungen beim Einsatz von Datenbrillen

183

Bild 2: Ergebnisse der Evaluationserhebung zur subjektiven Beanspruchung im Anwendungsfall
Lagerlogistik [21]Auch bei der subjektiv empfundenen Beanspruchung zeigten sich beim Tablet-PCüberwiegend bessere Ausprägungen bei den einzelnen Merkmalen als bei den
beiden Datenbrillen-Lösungen (Bild 2). Lediglich wurde der empfundene Zeitdruck
bei der Arbeit mit der Epson BT-300 niedriger bewertet als bei den Alternativtechnologien. Auffällig war hingegen eine sehr hohe Frustration bei Nutzung der binokularen Datenbrille. Im Bereich der körperlichen Anforderung sowie der Anstrengung
war die Beanspruchung bei Nutzung des Tablet-PCs deutlich niedriger ausgeprägt
als bei den beiden Datenbrillen. Dies kann dadurch beeinflusst sein, dass es gegenüber den Datenbrillen nicht dauerhaft am Körper getragen wird.

4.2 Datenbrilleneinsatz beim Rüsten von SMDBestückungsautomaten
An der dritten Untersuchung nahmen N = 21 Beschäftigte teil. Als Assistenzsystemwurde eine Kombination aus einer binokularen Datenbrille (Epson BT-300) und
einer Smartwatch produktiv beim Rüsten von SMD-Bestückungsautomaten eingesetzt. Neben Gebrauchstauglichkeit, Nutzen und Akzeptanz wurden zusätzlich die
individuelle Einstellung und Präferenz gegenüber der Technologie sowie akzeptanzrelevante Aspekte erhoben. In den Ergebnissen zeigte sich eine bessere Erlernbarkeit des Systems gegenüber der ursprünglichen Erwartung (Bild 3). Allerdings wurde die Aufgabenangemessenheit deutlich schlechter eingeschätzt als
zuvor angenommen. Dementsprechend waren der empfundene Nutzen und die
Akzeptanz der Technologie niedrig ausgeprägt.

184

Terhoeven, J., Wischniewski, S.

Bild 3: Ergebnisse der Evaluationserhebung zu den Merkmalen Akzeptanz, Nutzen und Gebrauchstauglichkeit im Anwendungsfall SMD-Rüsten [21]Die Ergebnisse zur individuellen Präferenz und Einstellung gegenüber der Technologie zeigten, dass zwei Drittel der Beschäftigten keine Arbeitserleichterung durch
das neue Assistenzsystem wahrnehmen konnten. Jedoch wurden der Smartwatch
von drei Vierteln der Beschäftigten ein grundlegendes Unterstützungspotenzial unddie Möglichkeit der Effizienzsteigerung bei der Arbeitsaufgabe zugesprochen, sofern die Technologiegestaltung optimiert wird.
Hinsichtlich möglicher akzeptanzrelevanter Kriterien beim Einsatz von Datenbrillenbasierten Assistenzlösungen kritisierten die Beschäftigten im betrachteten Anwendungsfall insbesondere, dass die Assistenzlösung aus mehr als nur einer Technologie bestand (Bild 4). Dementsprechend war die Handhabung des Systems nicht
intuitiv umgesetzt und eine längere Gewöhnungsphase war notwendig. Weiterhin
wurde die Datenbrille schwer und unbequem am Kopf bewertet, wodurch sich die
Bedeutung ergonomischer Aspekte für die Akzeptanz von Nutzern widerspiegelt.

Arbeitswissenschaftliche Fragestellungen beim Einsatz von Datenbrillen

185

Bild 4: Ergebnisse der Evaluationserhebung zu akzeptanzrelevanten Merkmalen der Assistenztechnologie im Anwendungsfall SMD-Rüsten [21]5

Fazit und Ausblick

Im Zuge der Digitalisierung von Arbeitssystemen weisen Datenbrillen ein Potenzial
an der Schnittstelle zwischen Mensch und Arbeitssystem auf. Allerdings kann die
noch nicht vollständig erreichte Technologie-Reife und der niedrige Bekanntheitsgrad zu Akzeptanzproblemen auf Seiten der Beschäftigten führen. Hierzu ist eine
ergonomische Arbeits- und Technikgestaltung notwendig, bei der arbeitswissenschaftliche als auch datenschutzrechtliche Anforderungen an adaptive Assistenzsysteme berücksichtigt werden. Vor dem Einsatz von Datenbrillen ist es entscheidend, die Aufgaben-Technologie-Passung zu analysieren und die relevanten Vorteile dieser Technologie im Rahmen der Aufgabengestaltung vollständig auszunutzen.
Im Forschungsprojekt Glass@Service konnte im Rahmen der Evaluation bestätigt
werden, dass für Beschäftigte in einem effizienzgetriebenen Produktionsumfeld
eine einfache Bedienung, Tragekomfort und der klar herausgestellte Nutzen wesentliche Erfolgskriterien für die Einführung einer neuen Assistenztechnologie darstellen. Dabei weist die Datenbrille als eine noch nicht durchgängig ausgereifteTechnologie aktuell noch deutliche Nachteile gegenüber den aus dem Alltag gängigeren Technologien wie Tablet-PC, Smartphone oder Smartwatch auf. Im Hinblick
auf die schnelle und fortschreitende Entwicklung im Bereich der Elektronik ist zu
erwarten, dass Datenbrillen bereits in naher Zukunft einen besseren Tragekomfort
und einfachere Bedienkonzepte aufweisen. Daher gilt es weiterhin, die Entwicklung
der Technologie zu begleiten, um das vorhandene Unterstützungspotenzial fürBeschäftigte herauszuarbeiten.

186

Terhoeven, J., Wischniewski, S.

Das genannte Forschungs- und Entwicklungsprojekt Glass@Service wurde im
Rahmen des Förderprogramms „Smart Service Welt I“ des Bundesministeriums fürWirtschaft und Energie (BMWi) unter dem Förderkennzeichen 01MD16008B gefördert und durch das Deutsche Zentrum für Luft- und Raumfahrt (DLR Projektträger)betreut. Für den Inhalt der Veröffentlichung sind allein die Autoren verantwortlich.

Literaturangaben[1]

Spath, D.; Ganschar, O.; Gerlach, S.; Hämmerle, M.; Krause, T.; Schlund, S.:
Produktionsarbeit der Zukunft - Industrie 4.0. Fraunhofer Verl., Stuttgart, 2013

[2]

Jost, J.; Kirks, T.; Mättig, B.; Sinsel, A.; Trapp, T.U.: Der Mensch in der Industrie – Innovative Unterstützung durch Augmented Reality. In: Vogel-Heuser, B.;
Bauernhansl, T.; Ten Hompel, M. (Hrsg.): Handbuch Industrie 4.0, Band 1.
Springer, Berlin Heidelberg, 2015, S. 153-174[3]Bundesanstalt für Arbeitsschutz und Arbeitsmedizin: Head-Mounted Displays– Arbeitshilfen der Zukunft. Bedingungen für den sicheren und ergonomischen
Einsatz monokularer Systeme. BAuA, Dortmund, 2016

[4]

Terhoeven, J.; Wischniewski, S.: How to evaluate the Usability of Smart Devices as Conceivable Work Assistance: A systematic review. In: Schlick, C.M.;
Duckwitz, S.; Flemisch, F.; Frenz, M.; Kuz, S.; Mertens, A.; Mütze-Niewöhner,
S. (Eds.): Advances in Ergonomic Design of Systems, Products and Processes. Proceedings of the Annual Meeting of GfA 2016. Springer, Berlin Heidelberg, 2017, p. 261-274[5]Günthner, W.A.; Blomeyer, N.; Reif, R.; Schedlbauer, M.: Pick-by-Vision:
Augmented Reality unterstützte Kommissionierung. Lehrstuhl für Fördertechnik, Materialfluss und Logistik, Garching, 2009

[6]

Tegtmeier, A.: Augmented Reality als Anwendungstechnologie in der Automobilindustrie. Dissertation. Otto-von-Guericke-Universität Magdeburg, 2006

[7]

Kirchhoff, B.M.: Örtlich getrennte Teamaufgaben und neue Technologien –Untersuchung von Passung, Akzeptanz und makrokognitiven Prozessen. Dissertation. BAuA, Dortmund/Berlin/Dresden, 2018[8]

Klinker, K.; Wiesche, M.; Krcmar, H.: Development of a Smart Glass Application for Wound Management. In: Bengisu, T.; Soussan, D.; Gondy, L. (Eds.):
Extending the Boundaries of Design Science Theory and Practice. Springer
International Publishing, 2019, p. 157-171[9]

Klinker, K.; Berkemeier, L.; Zobel, B.; Wüller, H.; Huck-Fries, V.; Wiesche, M.;
Remmers, H.; Thomas, O.; Krcmar, H.: Structure for innovations: A use casetaxonomy for smart glasses in service processes. Multikonferenz Wirtschaftsinformatik, Lüneburg, 2018

Arbeitswissenschaftliche Fragestellungen beim Einsatz von Datenbrillen

187[10] Bundesministerium für Arbeit und Soziales: Weißbuch Arbeiten 4.0. BMAS,
Berlin, 2017[11] Bundesministerium für Arbeit und Soziales: Verordnung über Sicherheit undGesundheitsschutz bei der Verwendung von Arbeitsmitteln (Betriebssicherheitsverordnung – BetrSichV). BMAS, Berlin, 2015[12] DIN, Deutsches Institut für Normung: Ergonomie der Mensch-System-Interaktion - Teil 11: Gebrauchstauglichkeit: Begriffe und Konzepte. EN ISO 9241-11,
2016[13] DIN, Deutsches Institut für Normung: Ergonomie der Mensch-System-Interaktion - Teil 110: Grundsätze der Dialoggestaltung. EN ISO 9241-110, 2006[14] Gediga, G.; Hamborg, K.-C.: IsoMetrics: Ein Verfahren zur Evaluation vonSoftware nach ISO 924/10. In: Holling, H.; Gediga, G. (Hrsg.): Evalutionsforschung. Hogrefe Verlag für Psychologie, Göttingen u. a., 1999, S. 195-234[15] Terhoeven, J.; Schiefelbein, F.-P.; Wischniewski, S.: User expectations on
smart glasses as work assistance in electronics manufacturing. In: Procedia
CIRP, Volume 72, 2018, p. 1028-1032[16] Grauel, B.M.; Terhoeven, J.N.; Wischnewski, S.; Kluge, A.: Erfassung akzeptanzrelevanter Merkmale von Datenbrillen mittels Repertory Grid Technik. In:
Zeitschrift für Arbeitswissenschaft, 2014, 68(4):250-256[17] Davis, F.D.: Perceived usefulness, perceived ease of use, and user acceptance of information technology. In: MIS Quarterly, 1989, 13(3):319-340[18] Theis, S.; Pfendler, C.; Alexander, T.; Mertens, A.; Brandl, C.; Schlick, C.M.:
Head-Mounted Displays – Bedingungen des sicheren und beanspruchungsoptimalen Einsatzes: Physische Beanspruchung beim Einsatz von HMDs.
Schriftenreihe der Bundesanstalt für Arbeitsschutz und Arbeitsmedizin: Forschungsbericht. BAuA, Dortmund, 2016[19] Wille, M.: Head-Mounted Displays – Bedingungen des sicheren und beanspruchungsoptimalen Einsatzes: Psychische Beanspruchung beim Einsatz
von HMDs. Schriftenreihe der Bundesanstalt für Arbeitsschutz und Arbeitsmedizin: Forschungsbericht. BAuA, Dortmund, 2016[20] Varadinek, B.; Indenhuck, M.; Surowiecki, E.: Rechtliche Anforderungen an
den Datenschutz bei adaptiven Arbeitsassistenzsystemen. Schriftenreihe derBundesanstalt für Arbeitsschutz und Arbeitsmedizin: Forschungsbericht.
BAuA, Dortmund, 2018[21] Interaktive personalisierte Visualisierung in Industrieprozessen, am Beispiel
der Digitalen Fabrik in der Elektronik-Fertigung. Abschlussbericht zum Verbundvorhaben Glass@Service (Förderkennzeichen 01MD16008A-G). In Veröffentlichung

189

Design Space für Selektionsmethoden in
Virtual Reality AnwendungenRothe, S.1
1

LMU München, Medieninformatik

Abstract
Interaktionsmethoden in Virtual Reality (VR) stellen besondere Herausforderungen
an die Anwendungsentwicklung. Mit der Benutzung eines Head-Mounted-Displays(HMDs) als Ein- und Ausgabegerät, steht eine sehr natürliche Interaktionsmöglichkeit zur Verfügung: genau wie in der realen Welt wird die Kopfbewegung genutzt,
um verschiedene Umgebungsbereiche wahrnehmen zu können. Es liegt nahe, auchfür andere Interaktionsmethoden möglichst nah an der realen Erfahrung anzuknüpfen. In diesem Beitrag werden verschiedene Interaktionsmöglichkeiten, die auf
Head- und Eyetracking beruhen, untersucht. Als spezieller Anwendungsfall wurdeninteraktive Cinematic VR (CVR) Anwendungen gewählt, bei denen der Nutzer ein
omnidirektionales Video durch ein HMD betrachtet. Die wichtigste Interaktion in
CVR ist die Selektion, auf die in diesem Artikel besonders eingegangen wird. Die
Ergebnisse, die auf einer Literaturrecherche und einer Nutzerstudie beruhen, werden in einem Design Space zusammengefasst.

1

Einleitung

Die Selektion von Objekten und Bereichen bildet die Grundlage vieler weiterer Interaktionstechniken. Ein solcher Selektionsvorgang kann vom Benutzer bewusst
oder unbewusst auf die unterschiedlichsten Arten initiiert werden. Selektionstechniken lassen sich in zwei Phasen unterteilen: die Adressierung und die Aktivierungvon Bereichen und Objekten (Targets). Es gibt eine Reihe von wissenschaftlichen
Artikeln, die sich mit Selektionsmethoden in VR beschäftigen. Einige der Technikenkonzentrieren sich auf schnelle Bearbeitungszeiten oder die Genauigkeit beim Adressieren kleiner Targets. Solche Attribute sind nicht für alle Anwendungen relevant. In CVR ist zum Beispiel eine schnelle Taskperformance weniger wichtig als
das ungestörte Nutzererlebnis. Um dafür geeignete Methoden zu finden, wurden
die in der Literatur beschriebenen Selektionsmethoden analysiert und darauf aufbauend eine Nutzerstudie für CVR-Anwendungen durchgeführt, in der vier ver-

190

Rothe, S.

schiedene Aktivierungsmethoden verglichen wurden: blickbasierte Kopfgesten [18],Verweilzeit, Blinzeln und Drücken einer Steuerungstaste.
Basierend auf den Ergebnissen der Literaturrecherche und der Nutzerstudie wird
ein Design Space für Selektionsmethoden in VR abgeleitet, der drei Dimensionen
aufweist: Target, Adressierung und Aktivierung. Für die Dimensionen und Subdimensionen wird detailliert beschrieben, welche Auswirkungen die unterschiedlichen
Werte auf die Nutzererfahrung haben. Der Design Space unterstützt die Entwicklung neuartiger Techniken und soll dabei helfen, die jeweils beste Selektionsmethode für interaktive VR-Anwendungen zu finden.

2

Hintergrund und relevante Literatur

2.1 Geräte
Ein- und Ausgabegeräte sind wichtige Komponenten für interaktive VRAnwendungen. Die Art der erforderlichen Interaktion beeinflusst die Wahl der Methode und des Gerätes. Eingabegeräte können in Geräte mit kontinuierlicher Eingabe (z. B. Tracking) und Geräte mit diskreter Eingabe (z. B. Drücken einer Taste)[1] eingeteilt werden. Kontinuierliche Eingabegeräte sind für Modulationen oder
Cursorbewegungen geeignet. Diskrete Eingabegeräte signalisieren ein Ereignis, um
beispielsweise eine Auswahl zu bestätigen. Die meisten Geräte kombinieren beides. Beispielsweise ist eine Mausbewegung kontinuierlich und das Drücken der
Maustaste diskret.
Augen- und Kopfbewegungen sind kontinuierliche Eingabemethoden, die zum Adressieren eines Targets geeignet sind. Zur Aktivierung wird ein diskretes Signal
benötigt. Der Kopf kann ein solches Signal durch Nicken oder Drehen indizieren,
die Augen beispielsweise durch Blinzeln. Auch wenn es sich bei diesen Methodenum Prozesse handelt, kann ein diskreter Moment definiert werden, der für das Senden des Signals verantwortlich ist. Gleiches gilt für die Verweilzeit: nachdem ein
Objekt eine definierte Zeit lang betrachtet wurde, wird das Ereignis ausgelöst. All
diese Ereignisse können jedoch auch versehentlich ausgelöst werden, z.B. wennein Betrachter einen Bereich längere Zeit inspizieren möchte oder aus Versehen in
einer bestimmten Weise blinzelt. Dies kann vermieden werden, indem blick- undkopfbasierte Methoden kombiniert werden oder durch eine Controlleraktivierungsmethode ergänzt werden.
In verschiedenen VR-Anwendungen ist es wünschenswert keine weiteren Eingabegeräte neben dem HMD zu verwenden. Mehrere neue Techniken adressieren das
Problem handfreier Interaktionsmethoden. Dabei wurden z.B. verschiedene Gesten
untersucht [2]–[4] oder Pusten als nonverbale Eingabemethode genutzt [5].

Design Space für Selektionsmethoden in Virtual Reality Anwendungen191

2.2 Selektionsmethoden in VR
Um die besten Kombinationen von Adressierungs- und Aktivierungstechniken zu
finden, wurden in den letzten Jahren verschiedene Forschungen durchgeführt.
Hansen et al. [6] verglichen zwei Aktivierungstechniken (Verweilzeit und Tastendruck) und drei Adressiermethoden (Kopf, Blick und Maus). Das Adressieren mit
der Maus erfolgte schneller als das Adressieren mit dem Blick und dem Kopf. Die
Aktivierung mittels Verweilzeit war schneller als das Benutzen der Taste. Die subjektiv empfundene körperliche Belastung fiel für das Adressieren durch den Blickgeringer aus als für die Adressierung mittels Kopfbewegung.
Nukarinen et al. [7] verglichen Raycasting (Verwendung eines vom Controller ausgehenden Strahles als Cursor) mit zwei blickbasierten Techniken zur Selektion vonObjekten in VR. In ihren Experimenten folgte der Strahl in der Raycasting Methodeder Controllerrichtung. Durch Drücken der Controllertaste wurde das Ereignis ausgelöst. Die beiden blickbasierten Methoden unterschieden sich in der Aktivierungstechnik: eine wurde durch die Controllertaste, die andere durch die Verweilzeit
ausgelöst. Der Strahl erzielte bessere Ergebnisse als die Blickmethoden und derBlick bessere als die Verweilzeit. Kallioniemi et al. [8] verglichen zwei Aktivierungsarten für Hotspots: Verweilzeit und Einblendung. Das Einblenden der nächsten
Szene wurde automatisch gestartet, wenn der Kopf in Richtung eines Hotspots
zeigte. In ihren Experimenten schnitt das Einblenden mit großen Symbolen am
besten ab. Qian et al. [9] verglichen blick- und kopfbasierte Techniken. Die kopfbasierte Selektion erzielte die besten Ergebnisse. Sie war schneller, genauer und boteine bessere Benutzererfahrung. Auch Choe et al. [10] nutzen in ihren Experimenten die Kopfrichtung zum Adressieren des Targets. Sie verglichen die Dwell- und
die Tastenaktivierung für unterschiedliche Verweilzeiten und unterschiedliche Targets.
Ein neuartiges Interaktionskonzept, FaceTouch, wurde von Gugenheimer et al. [11]entwickelt. Es verwendet die Vorderseite des HMD als Touchpad, um Bereicheauszuwählen und zu aktivieren. Dies hat den Vorteil, dass auch Elemente aktiviert
werden können, die nicht durch die Kopf- oder Blickrichtung ausgewählt sind. Eine
weitere neuartige Technik, die eine Adressiertechnik mit Handgesten kombiniert, istGaze+Pinch [12]. Beide Methoden liefern Eingaben ohne zusätzliche Controller undbieten ein neues Gefühl der Interaktion.

2.3 Blickbasierte Selektionstechniken
Im realen Leben verwenden die Menschen ihren Blick, um ein Objekt zu selektieren. Blickbasierte Selektionstechniken sind sehr natürlich. Es gibt verschiedene
Möglichkeiten, Augenbewegungen in der Mensch-Computer-Kommunikation zu
nutzen. Jacob [13], [14] untersuchte, blickbasierte Interaktionstechniken als Computereingabemedium. Er beschrieb die versehentliche unerwünschte Aktivierung mit-

192

Rothe, S.

tels Blickes als Midas Touch. Mehrere Studien befassen sich mit der Vermeidung
solcher versehentlich ausgelösten Aktionen [15], [16]. Mardanbegi et al. [17] führten
blickbasierte Kopfgesten ein und kombinierten Kopf und Blickbewegungen so, dass
der Blick des Benutzers den Fokus auf das Interaktionsobjekt behält. In ihren Experimenten verwendeten sie einen am Kopf montierten Eyetracker. Der Betrachterfixiert das Objekt und bewegt den Kopf auf und ab. Diese Methode wurde fürFlachbildschirme und Fahrzeugschnittstellen evaluiert [18]. Die Ergebnisse zeigen
die Anwendbarkeit dieser Methode für die Interaktion in diesen Bereichen. Schnelle
Kopfbewegungen gehen mit dem vestibulookulären Reflex (VOR) einher [19], bei
dem die Augen mit der gleichen Geschwindigkeit in die entgegengesetzte Richtung
bewegt werden, damit ein Objekt noch fixiert werden kann. Dieser Reflex unterstützt die Stabilisierung des Bildes auf der Netzhaut und wird für blickbasierte Kopfgesten ausgenutzt: Die Augen fixieren das Target und der Kopf bewegt sich.
Špakov et al. [20] verwendeten einen Remote-Eyetracker für ihre Experimente mit
blickbasierten Kopfgesten. Sie untersuchten fünf Kopfgesten: Nicken, Drehen nachlinks / rechts und Neigen nach links / rechts, wobei die Teilnehmer das Nicken als
beste Technik für Selektionsaufgaben empfanden. Das Drehen wurde als vielversprechende Methode für die Navigation und das Neigen für die Funktionsumschaltung bewertet.
Nicken und Kopfschütteln werden im täglichen Leben häufig verwendet, weshalb
blickbasierte Kopfgesten ein hohes Potenzial für natürliche Interaktionsmöglichkeiten in VR haben.
2.3.1

Verweilzeit (Dwellzeit)

Für kopf- und blickbasierte Techniken kann die Verweilzeit für den Aktivierungsteil
genutzt werden. Die Verweilzeit kann jedoch versehentlich eine Aktion auslösen,wenn der Betrachter Details für eine längere Zeit betrachtet. Die Verwendung kurzer Verweilzeiten kann einen Midas Touch verursachen und die Fehlerrate erhöhen. Zu lange Verweilzeiten verlangsamen die Taskperformance und können fürden Benutzer störend sein.
Majaranta et al. [21] untersuchten Feedback und Verweilzeit bezüglich der Geschwindigkeit und Genauigkeit der Eingabe. Sie zeigten, dass Feedback die Tippgeschwindigkeit, das Blickverhalten, die Genauigkeit und die subjektive Erfahrung
beeinflusst. Außerdem stellten sie fest, dass kurze Verweilzeiten ein kurzes Feedback erfordert.
Es gibt mehrere Studien über die Dauer der Dwellzeiten. Die Ergebnisse hängen
von der untersuchten Aufgabe und dem verwendeten Gerät ab. Choe et al. [10]untersuchten in ihren Studien mehrere Dwelllzeiten (1s, 1,5s, 2s) und empfahleneine Dwelllzeit von 1s für Selektionsaufgaben mittels HMD. Eine Dwelllzeit von 300
ms wird für einen erfahrenen Benutzer in einer Selektionsaufgabe als machbar
angesehen [6]. Kallioniemi et al. [22] verglichen interaktive VR Filmerlebnisse inDesign Space für Selektionsmethoden in Virtual Reality Anwendungen193

einem CAVE-System unter Verwendung eines HMD. In ihren Experimenten ermittelten sie eine Dwellzeit von 5s für das CAVE-System und 2s für die HMDAnwendung.
2.3.2

Targetgröße

Wenn ein Targetbereich zu klein ist, ist es schwierig, ihn zu adressieren. Ist er zu
groß, kann er einen Midas Touch verursachen. Hansen et al. [6] empfehlen, dass
der Targetbereich für die Blickmethode mindestens 3° betragen sollte. Targetgrößen unter 3° sind bei den meisten Eingabemethoden schwierig auszuwählen [9].
Choe et al. [10] verglichen zwei verschiedene Targetgrößen (1° 55 ′ und 3° 50 ′)und empfehlen eine Targetgröße von mehr als 3° 50 ′. In der Nutzerstudie werden
abhängig von den Motiven/Objekten unterschiedliche Größen verwendet, die alle
größer als 4° sind. Bei der Auswahl der Targetgröße muss die Genauigkeit desEyetrackers berücksichtigt werden. Bei Verwendung eines Eyetrackers mit geringerer Genauigkeit muss die Targetgröße größer sein.
2.3.3

Blickbasierte Selektionstechniken in VR

Um einen besseren Überblick über die in der Literatur beschriebenen Selektionsmethoden zu erhalten, wurden diese in Tabelle 1 zusammengefasst. Jede Methodeist in ihren Adressier - und Aktivierungsteil aufgeteilt.
Tabelle 1: Selektionsmethoden aus der Literatur geteilt in Adressier- und Aktivierungsmethode.
Zusätzlich werden die Ergebnisse der Studien aufgelistet.
Literatur

Adressier- Aktivierungsmethode methodeErgebnisQian and Teather, Auge
Klick
2017 [9]KopfAuge/Kopf

Best: Kopf

Nukarinen et al.,2018 [7]Controller
Auge

Klick
Dwell

Best: Controller- Klick besser als Dwell

Hansen et al.,2018 [6]

Kopf
Auge
Mause

Dwell (300ms)
Klick- Dwell schneller als Klick- Targetgröße sollte für die blickbasierte Methodemindestens 3°sein- Performance besser für kopfbasierte Methode- blickbasierte Methode weniger anstrengend

Choe et al., 2018
[10]

Kopf

Klick
Dwell

- Klick wird für allgemeine Aufgaben empfohlen- Targetgröße mehr als 3° 50’- Dwellzeit von1 s wird empfohlen

Pakkanen et al.,2017 [23]

Kopf

Klick
Geste

Probleme mit Gesten

Kallioniemi et al.,2018 [8]Kopf

Dwell (2s)Best: große Icons, zentrierte Ausrichtung
Prompt (fade-in)194

Rothe, S.

Mardanbegi et al., Auge2012 [17]Nicken (Kopf)

Neue Methode: blickbasierte Kopfgesten

Gugenheimer etal., 2016 [11]Kopf/Hand Touch

Neue Methode: FaceTouch

Pfeuffer et al.,2017 [12]AugeGestenNeue Methode: Gaze+Pinch

Zielasko et al.,2015 [5]Controller

PustenNeue Methode: BlowClick3

Nutzerstudie

Um herauszufinden, wie sich verschiedene Selektionsmethoden auf Simulator
Sickness, Workload, Nutzererfahrung und Presence in Cinematic VR auswirken,
wurde eine Benutzerstudie durchgeführt. Die Teilnehmer testeten vier verschiedene
Methoden: Drücken einer Taste auf einem Controller Doppelblinzeln
 Blickbasierte Kopfgesten
 Blickfokussierung eines Punktes für eine bestimmte Zeit (Dwell)
Dazu wurden vier interaktive Cinematic VR Videoerlebnisse produziert, die in Inhalt
und Länge ähnlich sind. Die CVR-Videoszenen zeigen verschiedene Orte in einem
keltischen Museumsdorf mit Darstellern als keltische Bewohner. Jede Erfahrung
besteht aus zwei Videoszenen. Der Betrachter kann durch Interaktion mit einem
Objekt (z. B. einer Tür) zur anderen Szene wechseln. Die Interaktionsbereiche
wurden mit Umrandungen versehen, um den Teilnehmern zu signalisieren, wo sie
interagieren können (Abbildung 1).
Es wurden zwei Aktionstypen untersucht: (1) der Wechsel zu einer anderen Szene
und (2) ein Popup-Fenster mit zusätzlichen Informationen. Die Videoszenen habeneine Länge von ca. 2 Minuten und werden erneut abgespielt, wenn der Benutzer die
Szene vor dem Ende des Videos nicht gewechselt hat. Jede Eröffnungsszene hat
zwei Interaktionsbereiche: einen für den Szenenwechsel (Abbildung 1) und einen,
der zusätzliche Informationen zur keltischen Geschichte vermittelt (Abbildung 2).
Die anderen Szenen haben fünf Interaktionsbereiche (einen Szenenwechsel undvier Informationsfenster). Jedes Videoerlebnis kann mit jeder Methode angeschautwerden.
Für die Studie wurden ein Fove HMD mit integriertem Eyetracker, und BoseKopfhörer mit aktiver Geräuschunterdrückung genutzt, für die Controllermethodezusätzlich ein einfacher Bluetooth-Controller von auvisio.

Design Space für Selektionsmethoden in Virtual Reality Anwendungen195

Die virtuelle Umgebung wurde unter Verwendung von Unity 2018.2.6f1 mit dem
entsprechenden FOVE-Plugin 2.1.2 entwickelt. Um die Sichtbarkeit der Regionen
und Cursor flexibel zu gestalten, wurden die folgenden Parameter so konzipiert,
dass sie leicht geändert werden können:Cursor-Mount (Kopf oder Blick)Cursor- Darstellung (sichtbar / unsichtbar, Größe, Farbe, Deckkraft) Interaktionsbereiche Darstellung (sichtbar / unsichtbar, Farbe, Deckkraft)
Auf diese Weise konnten in der Pilotstudie geeignete Parameter ermittelt werden
und das Projekt kann in Zukunft für die weitere Forschung genutzt werden.

Abbildung 1: Eine Umrandung zeigt die Tür als Targetbereich, dessen Aktivierung die nächste
Szene startet.

196

Rothe, S.

Abbildung 2: Durch die Selektion eines Bereiches können verschiedene Aktionen ausgelöst werden,z. B. die Anzeige zusätzlicher Informationen.

Teilnehmer und Ablauf
An der Studie nahmen 24 Teilnehmer (12 männlich, 12 weiblich, Durchschnittsalter
22,8 Jahre) teil. Jeder Teilnehmer schaute sich vier interaktive Filmerlebnisse an,jedes mit einer anderen Methode. Die Reihenfolge der Methoden und der Filmerlebnisse wurden permutiert. Nach jedem Video wurden Teile eines Fragebogens
beantwortet. Am Ende der Studie verglichen die Teilnehmer die vier Methoden undgaben ein allgemeines Feedback.
MethodenIn allen Testfällen wurden die Ränder der Interaktionstargets durch Farb- undDeckkraftänderung hervorgehoben, wenn der Blick des Benutzers in dem entsprechenden Bereich weilte. Der Cursor war in allen Methoden nicht sichtbar. Die Parameter und Schwellwerte der Methoden wurden in einer Pilotstudie ermittelt.
Blinzeln
Bei der Blinzelmethode muss der Betrachter zweimal blinzeln, um einen Bereich zu
aktivieren, ähnlich wie bei einem Doppelklick mit der Maus. Zwei aufeinanderfolgende Blinzelsignale wurden als Doppelblinzelsignale erkannt, wenn das Zeitintervall zwischen ihnen weniger als 500 ms betrug.
Controller
Um die Controllermethode zu nutzen, verwendeten die Teilnehmer einen kleinen inder Hand gehaltenen Bluetooth-Controller. Die Selektion erfolgte durch Schauen in
Richtung des Targets (Adressierung) und Drücken der Controllertaste (Aktivierung).
NickenBei der Nickmethode richtet der Betrachter den Blick auf das Target und neigt dabei
den Kopf, während die Fixierung mit den Augen beibehalten wird [18]. Das TagetDesign Space für Selektionsmethoden in Virtual Reality Anwendungen197

wird ausgewählt, wenn der Kopf mindestens 10 Grad nach unten und oben geneigt
wird, während das Target mit den Augen fixiert bleibt.
Dwell
Für die Aktivierung mittels Dwellzeit, wird das Target für ein bestimmtes Zeitintervall
fixiert. Der Nutzer kann Feedback darüber erhalten, wie lange das Target bereits
betrachtet wird und wie lange es noch betrachten werden muss, bis die Interaktion
ausgelöst wird. In unserem Fall war dieses Feedback ein Kreis, der beim Betrachten des Targets vervollständigt wurde. Basierend auf den Ergebnissen unserer
Pilotstudie und den Experimenten von Kallioniemi et al. [15] wurde eine Verweilzeit
von 2s verwendet.
Diskussion der Ergebnisse
Beim Vergleich der Methoden wurde die Controllermethode am besten bewertet.
Dies kann dadurch beeinflusst sein, dass für die meisten Menschen die Verwendung eines Controllers zur Interaktion eine Methode ist, mit der sie in anderen Szenarien vertraut sind. Sie sind an Controller wie die Computermaus, ein Gamepad,
eine TV-Fernbedienung usw. gewöhnt. Die Teilnehmer bewerteten die anderen
Methoden jedoch als kreativer und neuartiger.
Alle blick- und kopfbasierten Methoden hängen von den gewählten Parametern ab(Winkel für das Nicken, Dauer der Verweilzeit, Grenzwerte für das Blinzeln). Auch
wenn die Parameter in einem Pilotversuch sorgfältig ausgewählt und die Hinweisein der Literatur berücksichtigt wurden, funktionieren die Methoden nicht für jede
Person gleich. Darüber hinaus beeinflusst die Genauigkeit des Eyetrackers die
Wirksamkeit der Methoden. Die Controllermethode, für deren Aktivierung der Eyetracker nicht benötigt wird, funktionierte effizient. Einige Teilnehmer erwähnten
jedoch, dass der Controller die Presence beeinträchtigt. Dies entspricht nicht den
Ergebnissen des Presence-Fragebogens, deren Antworten keine signifikanten
Unterschiede im Vergleich zu den anderen Methoden aufwiesen. Es scheint, alswürde ein einfacher Ein-Knopf-Controller als verlängerter Daumen fungieren, undder Betrachter ist sich dessen während der Anwendung nicht wirklich bewusst.
Weitere Forschungen sind erforderlich, um diese Behauptung zu überprüfen.

4

Design Space

Aus der Analyse der Literatur und den Erfahrungen unserer eigenen Arbeit wurde
ein Design Space für Selektionstechniken entwickelt, welcher über drei Hauptdimensionen verfügt: Target, Adressierung und Aktivierung (Tabelle 2). Jede dieser
Dimensionen hat mehrere Subdimensionen, die anschließend detailliert beschrieben werden. Der Design Space beschreibt die wichtigsten Dimensionen ohne Anspruch auf Vollständigkeit.

198

Rothe, S.

Aktivierung

Adressierung

TargetTabelle 2: Der Design Space besteht aus drei Hauptdimensionen: dem zu aktivierenden Target, derAdressierungstechnik und dem Aktivierungsprozess. Jede dieser drei Dimensionen enthält mehrere
Unterdimensionen. Drei Punkte (…) in der letzten Spalte beziehen sich auf weitere im Text beschriebene Optionen.
Subdimension

Option 1

Option 2

Option 3

Art

Bereich/Objekt

Hotspot

Menu

Größe

klein

mittelgroß

Verfügbarkeit

permanentbeschränkt

sequentiell

Feedforward

Hervorhebung

Zeichenkeiner

Cursor

Kopf

Blick

Controller

Sichtbarkeit

subtildeutlich

unsichtbar

FormStrahlKegel

3D - Objekt

Feedback
Instrument
Auslösemechanismus
Feedback
AktionCursoraussehen
Kopf
NickenDwellzeit
visuell
Positionsänderung

Targetaussehen
Blick
Dwellzeit
Blinzelnauditiv
Einbettung

Sound
Controller
Taste

4.1.1

haptisch
Navigation

Option 4

Hand ...

haptisch…
Hand ...
Geste
Prompt ...
keinerTargetTargets des Interaktionsprozesses in VR sind häufig Objekte in der VR-Welt. Auch
Hotspots und Menüs zur Navigation sind denkbar [14].
Die Berücksichtigung der Targetgröße ist wichtig für die Gestaltung einer interaktiven VR-Anwendung, denn sie ist entscheidend für den Grad der Schwierigkeit, ein
Target zu adressieren. Obwohl große Targets leichter auszuwählen sind, kann bei
einigen Aktivierungsmethoden leicht ein Midas Touch passieren. Kleine Targets
sind schwerer zu adressieren. Targetgrößen von weniger als 3° sollten vermieden
werden. Die Definitionen für klein, mittel und groß hängen von den verwendeten
Techniken ab und sollten im Designprozess getestet werden.
Targets können permanent aktiv oder für einen begrenzten Zeitraum verfügbar
sein. In einigen Fällen ist es auch denkbar, eine Reihenfolge zu definieren, in derder Betrachter die Bereiche aktivieren muss.
Ein Feedforward (ein vorab angedeutetes Verhalten) kann eingesetzt werden, um
anzuzeigen wo Interaktivitätsmöglichkeiten bestehen. Dies ist zum Beispiel durch
Umrandungen (Abbildung 1) oder zusätzliche Zeichen, wie Hotspot-Indikatoren,
realisierbar.

Design Space für Selektionsmethoden in Virtual Reality Anwendungen

4.1.2

199

Adressierung

Zum Adressieren (Pointing) eines Targets ist ein Cursor (sichtbar oder unsichtbar)
erforderlich. Dieser Cursor kann z.B. mit der Kopfrichtung, dem Blick oder einem
Controller verbunden sein. Auch indirektes Adressieren ist möglich. In solchen
Fällen wird das Target nicht direkt ausgewählt, sondern basierend auf Listen oderinterpretierten Daten, z.B. Schwellwerten von Sensordaten. Je nach Anwendungkann der Cursor gut sichtbar, unauffällig oder sogar völlig unsichtbar sein. In einer
VR-Umgebung ist die Blickrichtung basierend auf Eye- oder Headtracking die natürlichste Art der Adressierung.
In der Literatur können verschiedene Cursorformen für VR-Anwendungen gefunden
werden: ein Strahl, ein Kegel [8, 31], 3D-Objekte, wie z.B. eine virtuelle Hand [3].
Ein Strahl ist präziser als ein Kegel, aber für kleine Objekte schwieriger zu verwenden. Bei einigen VR-Anwendungen sollte der Cursor unsichtbar sein, um das Seherlebnis nicht zu beeinträchtigen, bei anderen deutlich sichtbar, um die Ausführung einer Aufgabe zu unterstützen.
Um den Nutzern Feedback bei der Adressierung eines Targets zu geben, kann der
Cursor sein Aussehen (Farbe, Größe, Sichtbarkeit) in diesen Bereichen ändern.
Alternativ ändert die Region selbst ihr Aussehen (z. B. Farbe, Helligkeit, Umrandung). Auch Geräusche oder Vibrationen sind denkbare Feedbacks, falls der Cursor auf ein Target trifft.
4.1.3

Aktivierung

Sobald der Benutzer ein Target adressiert und es aktivieren möchte, wird eineTechnik mit diskreter Eingabe benötigt. Analog zum Adressieren kann dieses Instrument der Kopf, das Auge, ein Controller oder eine Geste sein. Auch andereGeräte (z. B. Sprache) sind möglich. Sogar Sensordaten (z. B. Puls) können zum
Auslösen eines Ereignisses verwendet werden.
Je nach genutztem Instrument, sind unterschiedliche Auslösemechanismen anwendbar. Für den Kopf können Nick- oder andere Kopfbewegungen verwendet
werden. Bei Anwendung der Verweilzeit wird das Target aktiviert, wenn die Kopfrichtung des Benutzers für ein bestimmtes Zeitintervall das Target adressiert. Dies
ist auch für die Augen praktikabel. Eine blickbasierte Aktivierungsmethode ist das
Blinzeln, was in unserer Benutzerstudie gut funktioniert hat, aber auf Dauer ermüdend sein kann, wenn es häufig und lange verwendet wird. Die beste Aktivierungsmethode in unserer Studie war die Controllertaste, auch wenn wir damit gerechnet
hatten, dass der Controller in einer Cinematic VR Anwendung als störend empfunden wird. Die Ergebnisse zeigen aber, dass die Nutzer daran gewöhnt sind undeinfache Controller nutzen können, ohne sich ständig darüber bewusst zu sein.
Darüber hinaus kann das Ereignis per Handbewegung oder sogar automatisch

200

Rothe, S.

(sofort) ausgelöst werden, sobald sich der Cursor auf dem Target befindet, ohne
dass zusätzliche Aktionen notwendig sind.
Es hängt von der Anwendung ab, ob die Aktivierung zusätzliches Feedback erfordert. Meist ist das Ergebnis der Aktivierung ein ausreichendes visuelles Feedback.
Der Betrachter bemerkt, dass eine neue Szene startet oder ein Popup-Fenster
geöffnet wird. Neben visuellen Feedbacks sind auch akustische (Piepton) und haptische (Vibration) Feedbacks anwendbar. In manchen Anwendungen ist dies in die
VR-Welt integrierbar, zum Beispiel das Geräusch einer knarrenden Tür.
Die Aktivierung kann verschiedene Aktionen auslösen. Eine der wichtigsten in Cinematic VR ist der Szenenwechsel, bei dem der Nutzer den Ort in der VR-Weltändert. Auch das Einbetten von Texten oder Bildern, wie in unserer Studie, kann ineine Anwendung integriert werden. Alle genannten Techniken können auch zum
Navigieren im Film verwendet werden (z. B. Anhalten, Stoppen, Fortfahren).

5

Fazit

In diesem Artikel wurden Selektionstechniken für VR-Anwendungen untersucht undein Design Space vorgestellt. Der Design Space beschreibt die Dimensionen von
Selektionsmethoden und unterteilt den Selektionsprozess in zwei Komponenten:
Adressieren und Aktivieren. Als dritte Dimension wird das Target betrachtet.
In vielen Anwendungen werden Adressierung und Aktivierung in einem Gerät kombiniert. Auch kopf- oder blickbasierte Techniken können beide Teile abdecken.
Dabei muss beachtet werden, dass ein Midas Touch vermieden wird.
In unserer Nutzerstudie erzielte eine blickbasierte Adressiertechnik in Kombination
mit einer Controllertaste zur Aktivierung das beste Ergebnis.

Literaturangaben
[1]

[2]

[3]

[4]

D. A. Bowman, E. Kruijff, J. J. LaViola, and I. Poupyrev, “An Introduction to
3-D User Interface Design,” Presence Teleoperators Virtual Environ., vol.
10, no. 1, pp. 96–108, Feb. 2001.
A. Choumane, G. Casiez, and L. Grisoni, “Buttonless clicking: Intuitive
select and pick-release through gesture analysis,” in 2010 IEEE Virtual
Reality Conference (VR), 2010, pp. 67–70.
C. Yu, Y. Gu, Z. Yang, X. Yi, H. Luo, and Y. Shi, “Tap, Dwell or Gesture?:
Exploring Head --Based Text Entry Techniques for HMDs,” in Proceedingsof the 2017 CHI Conference on Human Factors in Computing Systems CHI ’17, 2017, pp. 4479–4488.
F. Argelaguet and C. Andujar, “A survey of 3D object selection techniquesDesign Space für Selektionsmethoden in Virtual Reality Anwendungen

[5]

[6]

[7]

[8]

[9]
[10]

[11]

[12]

[13]

[14]

[15]

[16]

201

for virtual environments,” Comput. Graph., vol. 37, no. 3, pp. 121–136, May
2013.
D. Zielasko, S. Freitag, D. Rausch, Y. C. Law, B. Weyers, and T. W.
Kuhlen, “BlowClick:A Non-Verbal Vocal Input Metaphor for Clicking,” inProceedings of the 3rd ACM Symposium on Spatial User Interaction - SUI’15, 2015, pp. 20–23.
J. P. Hansen, V. Rajanna, I. S. MacKenzie, and P. Bækgaard, “A Fitts’ law
study of click and dwell interaction by gaze, head and mouse with a headmounted display,” in Proceedings of the Workshop on Communication by
Gaze Interaction - COGAIN ’18, 2018.
T. Nukarinen, J. Kangas, J. Rantala, O. Koskinen, and R. Raisamo,“Evaluating ray casting and two gaze-based pointing techniques for object
selection in virtual reality,” in Proceedings of the 24th ACM Symposium on
Virtual Reality Software and Technology - VRST ’18, 2018, pp. 1–2.
P. Kallioniemi et al., “Hotspot Interaction in Omnidirectional Videos Using
Head-Mounted Displays,” in Proceedings of the 22nd International
Academic Mindtrek Conference on - Mindtrek ’18, 2018, pp. 126–134.
Y. Y. Qian and R. J. Teather, “The eyes don’t have it,” in Proceedings of the
5th Symposium on Spatial User Interaction - SUI ’17, 2017, pp. 91–98.
M. Choe, Y. Choi, J. Park, and H. K. Kim, “Comparison of Gaze Cursor
Input Methods for Virtual Reality Devices,” Int. J. Human–Computer
Interact., Jun. 2018.
J. Gugenheimer, D. Dobbelstein, C. Winkler, G. Haas, and E. Rukzio,“FaceTouch: Enabling Touch Interaction in Display Fixed UIs for Mobile
Virtual Reality,” in Proceedings of the 29th Annual Symposium on User
Interface Software and Technology - UIST ’16, 2016, pp. 49–60.
K. Pfeuffer, B. Mayer, D. Mardanbegi, and H. Gellersen, “Gaze + pinchinteraction in virtual reality,” in Proceedings of the 5th Symposium on
Spatial User Interaction - SUI ’17, 2017, pp. 99–108.
R. J. K. Jacob and R. J. K., “The use of eye movements in human-computerinteraction techniques: what you look at is what you get,” ACM Trans. Inf.
Syst., vol. 9, no. 2, pp. 152–169, Apr. 1991.
R. J. K. Jacob and R. J. K., “What you look at is what you get: eyemovement-based interaction techniques,” in Proceedings of the SIGCHI
conference on Human factors in computing systems Empowering people CHI ’90, 1990, pp. 11–18.
P. Mohan, W. B. Goh, C.-W. Fu, and S.-K. Yeung, “DualGaze: Addressing
the Midas Touch Problem in Gaze Mediated VR Interaction,” in 2018 IEEE
International Symposium on Mixed and Augmented Reality Adjunct(ISMAR-Adjunct), 2018, pp. 79–84.
B. Velichkovsky, A. Sprenger, and P. Unema, “Towards gaze-mediatedinteraction: Collecting solutions of the ‘Midas touch problem,’” in HumanComputer Interaction INTERACT ’97, Boston, MA: Springer US, 1997, pp.

203

Neue Interaktions-Paradigmen für den
einfachen Zugang zu wissenschaftlichen
Erkenntnissen durch Virtual Reality
Deckers (geb. Dücker), J.1; Fritz, S.1; Jaenicke, M.1; Ovtcharova, J.2
1

FZI Forschungszentrum Informatik, Process and Data Management in Engineering

2

KIT, Institut für Informationsmanagement in Ingenieurwesen

Abstract
Im Rahmen dieser Veröffentlichung wird ein Konzept zur Einstufung der Interaktionsmöglichkeiten in Virtual-Reality-Anwendungen vorgestellt, welches den Grad an
Interaktion in VR-Anwendungen in drei Stufen einteilt: Beobachtung, Erfahren und
Erleben. Es wird das Virtual HoLL, eine interaktive VR-Umgebung des FZI House of
Living Labs (HoLL) vorgestellt, welche die reale Forschungsumgebung des FZIForschungszentrum Informatik in VR erlebbar macht. Anhand dieser VR-Umgebung
werden anschließend die drei "Erlebnis"-Stufen anhand von Forschungsdemonstratoren, welche im Virtual Holl implementiert wurden, beschrieben und voneinander
abgegrenzt. Abschließend werden einige weitere Anknüpfungspunkte der beschriebenen Ergebnisse aufgezeigt.

1

Einleitung

Forschen ist nicht nur die systematische Suche nach einer Lösung. Ein wesentlicher Aspekt ist die nachhaltige Verwertung von wissenschaftlichen Ergebnissen in
Form von Dokumentation und Aufbereitung für eine breite Zielgruppe. Insbesondere
kleine und mittlere Unternehmen (KMU) benötigen einen niedrigschwelligen undeinfachen Zugang, der sich von theoretischen und hoch-wissenschaftlichen Texten
abhebt, um durch Anwendungsbeispiele oder anschauliche Demonstration einen
Transfer in andere Domänen zu ermöglichen.
Aus diesem Grund existieren eine Reihe von Forschungsumgebungen und Testlaboren, die als eine Art Spielwiese zum Erproben von Forschungsansätzen für die
Industrie zur Verfügung stehen. Ein Beispiel dafür findet sich am FZI Forschungszentrum Informatik in Karlsruhe in Form des FZI House of Living Labs (HoLL). Die
breitgefächerte Forschungsumgebung bietet der Forschung, Gesellschaft und Wirt-

204

Deckers, J.; Fritz, S.; Jaenicke, M.; Ovtcharova, J.

schaft eine anwendungsnahe Umgebung, um neue Konzepte zu entwickeln, zu
testen und öffentlich zugänglich zu machen.
Aufgrund der lokalen Gebundenheit dieser Einrichtung wird das Angebot dieser
Zentren meist nur von der naheliegenden Region genutzt. Insbesondere der Erstkontakt mit Forschung, ohne genaue Vorstellungen davon zu haben, welche Übertragungsmöglichkeiten existieren, rechtfertig selten eine lange Reise. Somit besteht
die Notwendigkeit, anschauliche und interaktive Zugänge zu Forschungsergebnissen zu schaffen, die nicht an einen bestimmten Standort gebunden sind.

2Stand der Technik und Wissenschaft

Die technologische Entwicklung schreitet stark voran und ermöglicht den vielfältigen
Einsatz von Virtual Reality. Nachfolgend werden konkrete Einsatzmöglichkeiten in
und für die Forschung aufgezeigt.

2.1 Zeitliche Entwicklung der Interaktionsmöglichkeiten
in Virtual Reality
Durch den technologischen Fortschritt der letzten Jahre steigt der Einsatz von VRNeuentwicklungen und dafür optimierter Hardware. Der Zugang zu diesen Technologien und entsprechenden Anwendungen hat sich stark verbessert, was zu einem
Einzug der Technologie in die Wohnzimmer führte [1]. Zudem ist eine Akzeptanzsteigerung von VR im Berufsalltag bereits seit einigen Jahren zu beobachten. Die
zeitliche Veränderung ist durch einen Vergleich zweier Studien – 2003 vom Fraunhofer IPT und 2015 vom KIT – deutlich ersichtlich. Es zeigte sich, dass die damals
größte Hürde der Akzeptanz bei Mitarbeitern Jahre später nur noch vereinzelt
wahrgenommen wurde [2]. Dies ist unter anderem auf die verbesserte Handhabbarkeit der Interaktionstechnologien zurückzuführen. Wurden früher zur Interaktion
in virtuellen Welten noch sperrige Skelette oder Handschuhe angelegt, bedienen
sich heutige VR-Anlagen ergonomischer Controller aus der Spielebranche oderkontaktloser Interaktionsmethoden.
Im Rahmen der Konferenz EuroVR 2014 in Bremen wurde bereits ein Modell zur
Klassifikation von VR-Interaktionstechnologien veröffentlicht [3]. Durch ein tabellarisches Schema können „Nicht-VR-Experten“ Anforderungen an VR-InteraktionsHardware stellen und damit Technologien bewerten. Es bewertet unter anderem
das Ziel von Interaktionen und unterteilt diese in: Verwalten, Zusammenfügen undKreatives Design. Das Schema ist auf das Engineering ausgerichtet und erfasst
den notwendigen Grad der Manipulation. Auch Bougaa et.al. [4] verwenden diese
Verhaltensprimitiven für die Bewertung von 3D-Interaktionen in virtuellen Welten im

Neue Interaktions-Paradigmen für den einfachen Zugang zu wiss. Erkenntnissen durch VR

205

Bereich des System Engineering. Somit ist festzuhalten, dass sich die InteraktionsHardware stark verbessert hat, aber die Ziele der Interaktion gleichgeblieben sind.

2.2 Relevanz von Virtual Reality in der Wissenschaft
VR-Anwendungen bieten dank heutiger Visualisierungstechnologien, die Möglichkeit die Realität in der Form zu erweitern, dass der Anwender in die Lage versetzt
wird, bestimmte Szenarien zu durchleben, welche in der Realität nicht möglich
wären.
Insbesondere im Bereich der Schulung und Weiterbildung wird VR verstärkt eingesetzt, um Lernprozesse zu vereinfachen und auf die einzelnen Individuen abzustimmen. Eine frühe Analyse von empirischen Studien, mit dem Ziel traditionelle
und virtuelle Lernmethoden zu vergleichen, zeigte auf, dass fast 90 Prozent derStudien gleiche oder bessere Ergebnisse mit virtuellem Training erreichten [5].
Insbesondere gilt dies für den Bereich der Medizin. Auch Schuir et. al. [6] widmetensich diesem Fachbereich und teilen die durch die Nutzung von VR generierten
Chancen in die Bereiche soziokulturell, technologisch und wirtschaftlich ein. Hierbei
verweisen sie auf Veröffentlichungen und Interviews, die u. a. die Steigerung derLerneffektivität und -effizienz sowie Ortsunabhängigkeit und erhöhte Flexibilität
anführen [6]. Eben diese Vorteile lassen sich auch auf den allgemeinen Transfer
von Forschungsergebnissen überführen.
Insbesondere Simulationen werden zur besseren Anschaulichkeit und zur Beurteilung der Weiterentwicklung vermehrt in VR präsentiert, um einem heterogenen
Experten-Team als Diskussionsgrundlage zu dienen. Die Art der Simulation ist in
VR nicht beschränkt. Forschungsergebnisse aus dem klassischen Maschinenbau,
wie eine Material-Abtragsimulation [7], oder schwer visualisierbare Themenkomplexe, wie die intelligente Darstellung von Service-Prototypen [8], können mit Hilfe
dieser Technologie erlebbar gemacht werden.
Unabhängig von dem Einsatz der VR-Technologien existieren Bestrebungen die
Ergebnisse von Forschungsprojekten nachhaltig zu verwerten. Beispielsweise wurde im Rahmen der Smart-Data-Begleitforschung, gefördert vom Bundesministerium
für Wirtschaft und Energie, die digitale Demonstrator-Plattform aDEPT entwickelt,
welche zahlreiche innovative webbasierte Forschungs-Prototypen beinhaltet. Ziel ist
es der breiten Öffentlichkeit ein „Schaufenster“ zu bieten, um Einblicke in die aktuel1
le Entwicklung webbasierter Prototypen zu gewähren.

1

Meldung unter https://www.digitale-technologien.de/DT/Redaktion/DE/Kurzmeldungen/Aktuelles/
2017/20170927_smartdata_aDept-Demonstratorplattform.html, 27.09.2017

206

Deckers, J.; Fritz, S.; Jaenicke, M.; Ovtcharova, J.

3Vorgehen für einen niedrigschwelligen Transfer
von wissenschaftlichen Erkenntnissen

Im Folgenden werden die verschiedenen Stufen für einen niedrigschwelligen Transfer von Forschungsergebnissen erläutert und anschließend anhand einer Umsetzung in verschiedenen Projekten verdeutlicht.

3.1 Paradigmenwechsel durch neue
Interaktionsmöglichkeiten in VR
Durch die Implementierung von intuitiven Interaktionen in VR ergeben sich drei
„Erlebnis“-Stufen. Je nach gewünschtem Effekt des Transfers kann dadurch ein
höheres Verständnis des Nutzers erreicht werden. In Fehler! Verweisquelle konnte nicht gefunden werden. werden die Interaktionsstufen in Abhängigkeit ihrer
Komplexität und spezifische Interaktionsbeispiele dargestellt.

Bild 1: Stufen der Interaktionsmöglichkeiten in Virtual Reality [eigene Darstellung]

Die erste Stufe bietet einem Nutzer die Möglichkeit der einfachen „Beobachtung“.
Hierbei werden die zu visualisierenden Inhalte z.B. 3D-Geometrien, Bilder, Videos
etc. ohne die Möglichkeit zur Interaktion in der virtuellen Umgebung eingebettet.
Durch die visuelle Aufbereitung sowie der Möglichkeit das Objekt aus verschiedenen Perspektiven zu betrachten, setzt sich der Nutzer stärker mit dem Sachverhalt
auseinander – zum Beispiel im Vergleich zum reinen Lesen eines Druckflyers.
Durch die räumliche Perspektive bieten sich dem Nutzer neue Eindrücke im Ver-Neue Interaktions-Paradigmen für den einfachen Zugang zu wiss. Erkenntnissen durch VR

207

gleich zu Printmedien und regen so seine Kreativität zur Übertragung der Forschungsinhalte auf seine Problemstellungen an.
Sind die zu präsentierenden Inhalte komplexer, kann durch die 2. „Erlebnis“-Stufe„Erfahren“ die virtuelle Umgebung durch einfache Interaktionsmöglichkeiten erweitert werden. Unter einfachen Interaktionen werden hier das Auslösen von Animationen zur Verdeutlichung von Funktionsabläufen sowie die Darstellung von Echtzeitinformationen z.B. Sensordaten verstanden. Jede dieser Interaktionen versteht
sich jedoch als deterministische Aktion und bietet keine umfangreicheren Möglichkeiten zur Modifikation oder Konfiguration der virtuellen Umgebung,
Die höchste Stufe der Interaktionsmöglichkeiten umfasst das „Erleben“ von Forschungsergebnissen. Der Nutzer ist in diesem Fall ein wesentlicher Bestandteil dervirtuellen Welt und kann diese manipulieren. Eine Voraussetzung dafür ist, dass die
VR-Szene eine Semantik bzw. Intelligenz beinhaltet. Die Interaktionsmöglichkeiten
des Nutzers sollten im besten Fall kaum bis gar nicht eingeschränkt sein, sodass
das Verhalten der Objekte in der virtuellen Welt eine Simulation der echten Welt
darstellt. Da derartige Anwendungen jedoch technisch schwer zu realisieren sind,muss der Aufwand zur Realisierung der Komplexität der virtuellen Szene fallspezifisch abgewogen werden. Oft ist eine Umsetzung der Stufe 1 oder 2 ausreichend.

3.2 Forschung hautnah erleben
Das FZI House of Living Labs (HoLL) verfolgt den Gedanken der Open Innovation,
also des innovationsfördernden Transfers von Wissen zwischen Unternehmen und
den Forschungsergebnissen des FZI Forschungszentrum Informatik in Karlsruhe.
Das HoLL ist eine über 2000 m² große Forschungsumgebung, welche insbesondere für kleine und mittlere Unternehmen geschaffen wurde, um branchen- und anwendungsfeldübergreifend für Forschung und Entwicklung zur Verfügung zu stehen.
Um den Wissenstransfer für interessierte Parteien weiter auszubauen und das
Problem der Ortsgebundenheit in Karlsruhe zu lösen, wurde gemäß dem OpenInnovation-Ansatz im Projekt OpenHoLL – gefördert durch das Ministerium für Wirtschaft, Arbeit und Wohnungsbau Baden-Württemberg – die reale Labor-Umgebungdes HoLL virtualisiert (siehe Bild 2Fehler! Verweisquelle konnte nicht gefunden
werden.).

208

Deckers, J.; Fritz, S.; Jaenicke, M.; Ovtcharova, J.

Bild 2: Virtuelles Abbild des House of Living Labs (HoLL)

Mittels Virtual-Reality-Technologie ist die Begehung der Räumlichkeiten des HoLL
und die Auseinandersetzung mit innovativen Ansätzen möglich. Durch virtualisiertes
Infomaterial, wie Flyer und Videos, sowie durch interaktive Demonstratoren, wird
der Besucher über den aktuellen Stand der Forschung informiert. Dank des spielerischen Ansatzes des Virtual HoLL wird es auch Fachfremden ermöglicht sich möglichst niederschwellig mit der Funktionsweise von wissenschaftlichen Konzepten
auseinander zu setzen. Darüber hinaus kann ein tieferes Verständnis der Forschungsarbeiten im Vergleich zu einer realen Besichtigung erreicht werden, da das
Szenario virtuell durch weitere Informationen oder Animationen augmentiert werden
kann. Im Folgenden wird zu jeder „Erlebnis“-Stufe ein Beispiel aus dem virtuellen
HoLL gegeben.
3.2.1 Beobachten: IT-Sicherheit in der Hausautomation
Ein Beispiel für einen Demonstrator in der „Erlebnis“-Stufe „Beobachten“ stellt der in
Bild 3Fehler! Verweisquelle konnte nicht gefunden werden. dargestellte ITSicherheits-Demonstrator dar. [9] Dieser Demonstrator zeigt wie mit Hilfe eines
modernen Spielzeuges mit dazugehöriger App, ebendieses Kuscheltier gehackt
und dazu missbraucht werden kann, um die eigentlich sichere Sprachassistenz für
Hausautomation mit Hilfe des eingebauten Sprachmoduls des Spielzeugs zu manipulieren. Durch den Sprachbefehl „Öffne die Türe“ wird der Hausassistent dazu
gebracht, dass mit ihm verbundene Smart-Device an der Türe anzusteuern und die
Türe zu öffnen. Dieses Beispiel zeigt äußerst eindringlich die Risiken, welche mit
IT-Sicherheitslücken einhergehen können.

Neue Interaktions-Paradigmen für den einfachen Zugang zu wiss. Erkenntnissen durch VR

209

Bild 3: IT-Sicherheits-Demonstrator im FZI HoLL (links in Real, rechts in VR)

Um diesen Demonstrator ebenfalls in VR beobachten zu können, wurde dieses
Szenario im Rahmen eines studentischen Praktikums nachgebildet und in VR umgesetzt. [10]3.2.2 Erfahren: Energiewende im Eigenheim
Ein Beispiel für die „Erlebnis“-Stufe „Erfahren“ stellt die Umsetzung der Forschungsergebnisse im Bereich der Energiewende aus dem strategischem FZI Projekt HoLL-Therm dar. Im FZI bietet eine Laborumgebung in Form einer Wohnung
die Möglichkeit, die Auswirkungen der Energiewende, insbesondere im Hinblick auf
die thermische Flexibilität, zu untersuchen. Bisher konnten über das intelligente
Energiemanagementsystem die verschiedenen Hauskomponenten, wie PV-Anlage,
Wärmepumpe oder Klimaanlage, überwacht und gesteuert werden. Dabei entstehen eine Vielzahl von schwer zu visualisierenden Datensätzen, deren Aufbereitungin erster Linie für Experten mit Hintergrundwissen ausgelegt ist. In der VRUmgebung hingegen, lassen sich Wärmeverteilungen oder Energieflüsse einfach
visualisieren, was es dem Besucher ermöglicht, die Vorteile eines agilen Energiemanagements zu erleben. Dazu werden über das Nachrichtenprotokoll MQTT
Sensordaten, wie Temperatur, Luftfeuchtigkeit oder Verbrauchsdaten, in Echtzeit
an die virtuelle Umgebung übermittelt. In dem größeren Kontext – der Energiewende – spiegelt es sich in der Abkehr von einer verbrauchsorientierten EnergieErzeugung hin zu einem erzeugungsorientierten Verbrauch wider. Die Rolle vonHausbesitzern ändert sich, was wiederum zu einem neuen Markt und der Notwendigkeit von innovativen Produkten sowie Dienstleistungen führt. Durch die intuitive
Umsetzung kann der Nutzer diese Veränderung virtuell „erfahren“.

210

Deckers, J.; Fritz, S.; Jaenicke, M.; Ovtcharova, J.

Bild 4: Holl-Therm Demonstrator innerhalb des Virtual Holl

3.2.3 Erleben: Sehbehinderung im Alltag
Die dritte Stufe der „Erlebnis“-Stufen stellt das „Erleben“ dar. Dies wird im Virtual
Holl Demonstrator am Beispiel des Forschungsdemonstrators LiDARsee demonstriert. [11] Ziel dieses Systems ist, blinde Personen mit Hilfe eines Sensor-Huts undeinem Feedback-System, welches am Gürtel befestigt ist, das Laufen ohne Blindenstock zu ermöglichen. Der Sensorhut ist hierzu mit Lidar-Sensoren ausgestattet,
welche den vor der Person liegenden Raum scannt und mögliche Hindernisse erkennt (siehe Bild 4). Durch das Feedback-System erhält der Tragende dann zur
Laufzeit, Informationen über diese Gegenstände und kann ihnen ausweichen. Im
Gegensatz zu einem Blindenstock ist es außerdem in der Lage auch höhergelegene Objekte zu erkennen, welche mit Hilfe eines Blindenstocks nicht erkannt hätten
werden können.

Neue Interaktions-Paradigmen für den einfachen Zugang zu wiss. Erkenntnissen durch VR

211

Bild 5: Funktionsprinzip des LiDARsee-Demonstrators zur Unterstützung von Sehbehinderten [11]Um dies auch in VR erlebbar zu machen, wurde eine 3D-Szene aufgebaut, welcheeinen begehbaren Raum vorsieht mit darin befindlichen Gegenständen. Der Besucher erhält zu Beginn des Szenarios die Aufgabe einen bestimmten Punkt anhand
des Tons zu erreichen. Für den ersten Versuch erhält der Besucher volle Sicht undkann somit das Ziel problemlos erreichen, ohne mit einem der im 3D-Raum befindlichen Gegenstände zu kollidieren. Anschließend wird dem Besucher 50% der Sicht
genommen, indem das Bild unscharf und dunkler gemacht wird. Wenn auch dieseHürde gemeistert wurde, wird das Bild komplett entfernt und lediglich der Ton unddie beiden Handkontroller bleiben dem Besucher nun übrig. Die Handcontrollerübernehmen an dieser Stelle nun die Funktion des LIDARsee-Feedback-Systems
und geleiten den Besucher mit Hilfe von Vibrationen, welche den Besucher vor
herannahenden Objekten warnen, durch den Raum hin zum Ziel. Durch dieses
Zusammenspiel aller Sinne, lässt sich die Problemstellung und das Ziel des LIDARsee Systems auch für sehende Menschen erlebbar machen, wodurch ein nachdrücklicher Eindruck hinterlassen wird.
Die Übertragung dieser Interaktionsparadigmen auf das Konzept der OpenInnovation schaffte einen niedrigschwelligen Zugang zu aktuellen Forschungsergebnissen, welcher zudem nicht länger papier- und ortsgebunden ist. Diese Vorteile
nutzt das Virtual HoLL, um auch andere Demonstratoren und deren Funktionsweisemöglichst intuitiv und einfach begreifbar zu machen. Durch die offene Darstellungkann der Innovationsprozess jedes einzelnen Unternehmens nachhaltig verstärkt
werden.

212

4

Deckers, J.; Fritz, S.; Jaenicke, M.; Ovtcharova, J.

Zusammenfassung und AusblickEs wurde ein Konzept zur Einstufung der Interaktionsmöglichkeiten in VirtualReality-Anwendungen vorgestellt, welches den Grad an Interaktion in VRAnwendungen in drei Stufen einteilt: Beobachten, Erfahren und Erleben. Des Weiteren wurde das Virtual Holl, eine interaktive VR-Umgebung, welche das FZI Houseof Living Labs (HoLL) virtualisiert, detailliert erläutert. In dieser virtuellen Umgebung
sind die verschiedenen „Erlebnis“-Stufen in unterschiedlichen Demonstratoren
implementiert. Auf verschiedenen Messen und Veranstaltungen trug der Demonstrator zu einem niedrigschwelligen Forschungstransfer bei. Dabei ist anzumerken,
dass die Nutzer diese Art der Auseinandersetzung sehr anschaulich und informativ
empfanden. Ebenso ist es nicht notwendig, dass Experten der verschiedenen
Fachbereiche den Demonstrator betreuen. Erste Synergien und Transfergedanken
entstehen bereits bei dieser Art der Auseinandersetzung.
Geplant ist es, das Virtual HoLL als offene webfähige Plattform zu gestalten, auf derForschungsdemonstratoren von Industrie und öffentlichen Einrichtungen für ein
immersives Erlebnis zur Verfügung stehen. Neben der Entwicklung von virtuellen
Führungen soll vermehrt die Interaktion von unterschiedlichen Besuchern im Vordergrund stehen. So kann die Öffnung des Innovationsprozesses einer Organisation durch die strategische Nutzung der Außenwelt bereits virtuell geschehen.

5Danksagung

Der Aufbau des virtuellen HoLLs wurde gefördert durch das Ministerium für Wirtschaft, Arbeit und Wohnungsbau Baden-Württemberg im Rahmen des Projektes
OpenHoLL. Mit dem Projekt wird die Open-Innovation-Kultur zwischen Forschungund Industrie gestärkt. Des Weiteren werden im Rahmen weiterer Forschungsvorhaben, die virtuelle Umgebung genutzt, um an Visualisierungsmethoden im Bereichdes Energiemanagements zu erforschen und prototypisch umzusetzen.

6

Literatur[1]

Häfner, P.; Dücker, J.; Ovtcharova, J.: Virtual Reality für den Mittelstand. In:
Tagungsband Digitales Engineering zum Planen, Testen und Betreiben technischer Systeme, Fraunhofer IFF, Magdeburg, 2015

[2]

Dücker, J.; Häfner, P.; Ovtcharova, J.: Virtual Reality im Alltag - Erfahrungswerte von VR-Industrieanwender in Bezug auf Einsatz, Probleme und Wirtschaftlichkeit. In: INNTERACT CONFERENCE. 3D Sensation, TU Chemnitz,
Chemnitz, 2016

Neue Interaktions-Paradigmen für den einfachen Zugang zu wiss. Erkenntnissen durch VR

213

[3]

Weidig, C.; Mestre, D. R.; Israel, J. H.; Noel, F.; Perrot, V.; Aurich, J.C.: Classification of VR Interaction Techniques, Based on User Intention. In: Eurographics Digital Library, 2014

[4]

Bougaa, M., Bornhofen, S., Kadima, H., & Rivière, A.: 3D interaction in virtualenvironments for systems engineering. In: International Journal of Computer
Theory and Engineering, 2016, S. 458-464[5]

Brinson, J.: Learning outcome achievement in non-traditional (virtual andremote) versus traditional (hands-on) laboratories: A review of the empiricalresearch, In: Elsevier Computers & Education, 2015, S. 218-237[6]Schuir, J., Behne, A.; Teuteberg, F.: Chancen und Herausforderungen vonVirtual Reality in der Aus- und Weiterbildung im Gesundheitswesen. In: David,
K., Geihs, K., Lange, M. & Stumme, G. (Hrsg.), INFORMATIK 2019: 50 Jahre
Gesellschaft für Informatik – Informatik für Gesellschaft. Bonn, 2019 S. 671684[7]

Schuck, H.; Haj Stifi, A.; Ovtcharova, J; Gentes, S.: Methoden des Virtual
Engineering für den Qualifizierungsprozess eines neuartigen Dekontaminationsverfahren von Rohrleitungen. In: KONTEC 2015 - 12. Internationales
Symposium „Konditionierung radioaktiver Betriebs- und Stilllegungsabfälle“,
2015

[8]

Elstermann, M.; van Husen, C.; Häfner, P.: dimenSion concept – approaching
service prototyping from a multi-aspect description perspective. In: QUIS15 International Research Symposium on Service Excellence in Management, Porto, 2017

[9]

Jochen Rill FZI: Experiment des Kompetenzzentrums IT-Sicherheit: 2016,
online verfügbar unter: https://www.youtube.com/watch?v=_M0iMg52XwU[10] IMI Institut für Informationsmanagement im Ingenieurwesen: Virtual Reality
Practical Course - Winter Term 2018/19 - Virtual Holl at FZI, 2019, online verfügbar unter: https://www.youtube.com/watch?v=r_Sp3 LdsAvY&t=4s[11] Johannes Schneider FZI: Das Forschungsprojekt LIDARSEE, 2017, online
verfügbar unter: https://www.fzi.de/aktuelles/news/detail/artikel/projektlidarsee-am-122017-gestartet/Anwendungen in der Produktionstechnik

217

Partizipative Gestaltung von Menüstrukturen in der Virtual Reality am Beispiel
einer Applikation zur Prototypenevaluation
Trezl, J.; Bernhagen, M.; Dittrich, F.
TU Chemnitz, Professur Arbeitswissenschaft und Innovationsmanagement

Abstract
Die große Anzahl an Funktionalitäten von Virtual-Reality(VR)-Applikationen stellenneue Herausforderungen an die Gestaltung von virtuellen Bedienschnittstellen. Die
Verwendung von Menüs kann ebenfalls wie bei zweidimensionalen DesktopApplikationen Komplexität reduzieren und die Gebrauchstauglichkeit verbessern. Im
Beitrag werden Ansätze zur Gestaltung von gebrauchstauglichen Menüstrukturen
von VR-Applikationen vorgestellt. Diese wurden am Beispiel der Entwicklung einer
VR-Applikation zur Prototypenevaluation umgesetzt. Um die Aufgabenangemessenheit der Menügestaltung sicherzustellen, erfolgte die Gestaltung unter
Einbezug von Anwendern. Es werden die Ergebnisse einer Fokusgruppendiskussion mit sieben Teilnehmern vorgestellt. Es zeigte sich, dass mit dieser
Vorgehensweise verschiedene Funktionen der Applikation für den Arbeitsprozess
aufgabenangemessen geordnet und platziert werden konnten.

1

Einleitung

Zur Auswahl und Steuerung von Softwarefunktionen der Virtual Reality (VR)werden ebenso wie bei zweidimensionalen Desktop-Applikationen Menüstrukturen
verwendet. Diese Menüstrukturen werden durch die grafische Benutzeroberfläche
visuell dargestellt. Mit Hilfe verschiedener Eingabegeräte kann der Benutzer die
Menüs verwenden und beispielsweise Softwarefunktionen auswählen und steuern.
Im Gegensatz zu Desktop-Applikationen bieten VR-Applikationen jedoch einen
dreidimensionalen Gestaltungs- und Interaktionsraum. Diese Erweiterung im
Vergleich zur zweidimensionalen Desktopdarstellung muss bezüglich derInteraktions- als auch Menügestaltung berücksichtigt werden, sonst können
Benutzungs-, Verdeckungs- bzw. Erreichbarkeitsprobleme daraus resultieren [1].
Zudem ist die Verteilung der Softwarefunktionen in Bezug auf diese Menüstrukturen

218

Trezl, J.; Bernhagen, M.; Dittrich, F.

elementar, um eine intuitive und gebrauchstaugliche Benutzung zu gewährleisten,ohne dass der Benutzer eine benötigte Softwarefunktion umständlich suchen muss.
Im vorliegenden Beitrag wird am Beispiel der Entwicklung einer VR-Applikation zur
Prototypenevaluation die Gestaltung einer gebrauchstauglichen Menüstruktur undPlatzierung von Menüs in der VR vorgestellt. Es wird zudem eine Methodik zur
partizipativen Gestaltung beschrieben, die mittels einer Fokusgruppendiskussion
eine aufgabenangemessene Zuordnung der Funktionen erreicht.

2

Gestaltung von Menüstrukturen in der VR

Die Steuerung einer VR-Applikation ist gekennzeichnet von direkten und indirektenInteraktionen. Bowman et al. beschreiben die Steuerung als Vorgang, um
spezifische Softwarefunktionen auszuführen, den Interaktionsmodus zu wechseln
oder den Systemzustand zu ändern [2]. Direkte Interaktionsarten stellen
beispielsweise die Navigation, Selektion als auch Manipulation dar. IndirekteInteraktionen werden mit Hilfe von Menüstrukturen durchgeführt, welche
verschiedene Bedienelementen, wie etwa Dialoge, Regler oder Knöpfe, beinhalten.
Menüs können als eine listenförmige Sammlung von Einträgen zur Steuerung einer
Software-Applikation verstanden werden. So können Arbeitsprozesse durchgeführt
werden, welche über eine direkte Interaktion nur schwer umsetzbar sind. Hierzu
zählt beispielsweise die gezielte Auswahl eines Werkzeugs aus einer Vielzahl
weiterer Werkzeuge [3, 4].
Bei der Gestaltung von Menüstrukturen ist es wichtig, die Benutzerfreundlichkeit derSoftware zu gewährleisten und so die Akzeptanz der Benutzer zu unterstützen. Um
eine intuitive Benutzeroberfläche zu schaffen, sollten besonders bei neuen bzw.
innovativen Anwendungen, zu denen VR-Anwendungen derzeit zählen, möglichst
bekannte Interaktionsmuster aus bekannten Benutzeroberflächen, insbesondere
WIMP-Schnittstellen, verwendet werden [5]. Beispielsweise können so für VRApplikationen auch Menüstruktur in Form von desktopüblichen Schaltflächen
dargestellt werden [6].
Aufgrund der Vielzahl von notwendigen Funktionen, können entsprechende
Darstellungen leicht unübersichtlich werden. Bei der Platzierung der interagierbaren
Bedienelemente und Menüstrukturen der Benutzeroberfläche können alle
Komponenten der VR verwendet werden. Hierbei kann unterschieden werden
hinsichtlich einer controller-, objekt- oder raumbezogenen Platzierung. Bei einer
controllerbezogenen Platzierung werden entsprechende Menüs direkt am Controller
des Anwenderns befestigt. Eine Auswahl kann beispielsweise über die
Tastennavigation erfolgen. Dies hat den Vorteil, dass eine Interaktion immer
ortsunabhängig möglich ist. Am Objekt oder an der Umgebung, beispielsweise aneiner virtuellen Wand, befestigte Menüs können mittels direkter Berührung oderPartizipative Gestaltung von Menüstrukturen in der Virtual Reality219

einem virtuellen Zeigen bedient werden. Diese sind nur ortsabhängig nutzbar,
ermöglichen es aber, dass die jeweilige Funktionalität einem konreten Kontext
zugeordnet wird.

3

Partizipative Menüstrukturgestaltung einer VRApplikation zur Prototypenbewertung

Die VR eignet sich durch die immersive Darstellung von 3D-Objekten und Umgebungen Prototypen im frühen Reifegrad der Produktentwicklung erlebbar zu machen. So können bereits früh im Entwicklungsprozess sogenannte Prototypenevaluationen mit dem Ziel durchgeführt werden, Gestaltungsentwürfe zu bewerten undzu verbessern [7]. Zur Durchführung einer Prototypenevaluation in der VR
benötigen die Benutzer verschiedene Sotwarefunktionen, wie etwa die Möglichkeit
Markierungen vorzunehmen, Längen zu messen, Bilder aufzuzeichnen oder den
Prototyp zu manipulieren. Die Bereitstellung dieser Softwarefunktionen muss überunterschiedliche Menüstrukturen als Bestandteil der grafischen Benutzeroberfläche
gewährleistet werden. Dazu müssen Menüstrukturen zwei funktionale Aspekte
unterstützen. Einer davon ist die Umsetzung und Unterstützung des Workflows im
Anwendungsbreich der virtuellen Prototypenevaluation durch die Bereitstellung vonzwingend notwendigen Funktionen, wie beispielsweise Checklisten oder
Dokumentationsmöglichkeiten. Der andere Aspekt ist die Bereitstellung individueller
Tools, wie etwa einen Markierungsmarker oder die Möglichkeit Annotationen zu
hinterlassen.
Die Vielzahl dieser Funktionen sowie die Notwendigkeit sich in der VR zur
Prototypenbewertung zu bewegen stellen besondere Herausforderungen an eine
gebrauchstaugliche Gestaltung und Platzierung der Menüs. Für die Konzeption derMenüstruktur wurden deshalb spätere Anwender für eine aufgabenangemessene
Gestaltung einbezogen. Hierzu wurde ein Fokusgruppenworkshop zur partizipativen
Entwicklung von Ideen durchgeführt [8]. Dadurch konnten qualitative Daten
gesammelt werden, um die Bedürfnisse der Anwender zu erheben und zu
verstehen. Die Methode der Fokusgruppe wurde aufgrund ihres explorativen
Charakters und ihrer aufwandsarmen Durchführung ausgewählt [9].
Insgesamt nahmen sieben Experten auf dem Gebiet der Prototypenevaluation teil.
Alle Teilnehmer haben bereits durchschnittlich 5,35 Jahre Berufserfahrung
gesammelt. Die Teilnehmer mussten grundlegende Funktionen für eine virtuelle
Prototypenevaluation den drei Menüstrukturen zuordnen. Die Ergebnisse sind inTabelle 1 dargestellt.

220Trezl, J.; Bernhagen, M.; Dittrich, F.

Tabelle 1: Menüs und zugeordnete Softwarefunktionen
controllerbezogenes Menü

objektbezogenes Menü

raumbezogenes Menühäufig verwendete Funktionen

z. B. Selektion, Bild- und Sprachaufzeichnung, Annotationen



Funktionen zur Objektmanipulation

z. B. Rotation, Translation, Skalierung, Materialwechsel



Funktionen zur Regelung des Workflows

z. B. Checklisten, gespeicherte Medien, Arbeitsfortschritt, Einstellungen in Bezug auf die weiteren Evaluationsteilnehmer

Der Konsens der Teilnehmer war, dass die am häufigsten verwendeten Funktionen
den Controllern zugeordnet werden sollen. Infolgedessen sollte der Wirkungsgrad
aufgrund der kurzen Wege und der schnellen Auswahl dieser Merkmale hoch sein.
workflow-bezogene Menüs sind nicht geeignet, da die Sichtbarkeit für jeden Teilnehmer nicht gewährleistet werden kann. Icons und Features zur Manipulation desvirtuellen Evaluationsobjektes sollten am Objekt haften und können dauerhaft oderper Klick angezeigt werden. Die Nähe des Menüs zum zugehörigen Objekt reduziert mögliche Verwechslungen. Auch kleinere workflow-bezogene Menüs sindgeeignet, können aber die Benutzer ablenken, wenn sie dauerhaft angezeigt werden. Hier sind Objekttransformation und Annotationen von Elementen von Interesse. Schließlich wird das raumbezogene Menü für Funktionen zur Unterstützung desgesamten Workflows der kollaborativen Aufgabe vordefiniert. Durch die mögliche
Nutzung eines großen Bereichs, der die Nutzer nicht ablenkt, können Informationen
dauerhaft angezeigt werden. Dadurch hat jeder Teilnehmer einen schnellen Zugriff
auf das Gesamtziel und den aktuellen Fortschritt, was die Zusammenarbeit bereichert. Im Bild 1 ist ein visueller Entwurf des Gestaltungsergebnisses am Beispiel
der Platzierung der verschiedenen Menüs dargestellt.

Partizipative Gestaltung von Menüstrukturen in der Virtual Reality

221

Bild 1: VR-Graphical-User-Interface (Links: controllerbezogen, Mitte: raumbezogen, Rechts: objektbezogen)

4

Zusammenfassung & Ausblick

Zur Auswahl und Steuerung von Softwarefunktionen in der VR werden
Menüstrukturen verwendet. Diese Menüstrukturen werden durch die grafische
Benutzeroberfläche visuell dargestellt. Im Gegensatz zu zweidimensionalen Desktop-Applikationen muss die Gestaltung von Menüstrukturen im Bereich der VR die
räumlichen Eigenschaften dieses Mediums berücksichtigen. Ansonsten drohen
Benutzungsprobleme und ein stark eingeschränktes Potenzial der VR-Technologie.
Dies ist vor allem bei einer hohen Anzahl an zur Verfügung stehenden Softwarefunktionen zu berücksichtigen. Die Auswahl der Softwarefunktionen wird über Menüstrukturen realisiert, welche die Funktionen in Form von listenförmigen Einträgen
zusammenfassen. Diesbezüglich ist die Zuordnung der Softwarefunktionen zu denverschiedenen Menüstrukturen zu beachten, sodass der Anwender intuitiv undschnell die benötigten Funktionen finden, auswählen und steuern kann.
Innerhalb dieses Beitrages wurde eine Menüstruktur mit unterschiedlichen Softwarefunktionen durch die Anwendung einer Fokusgruppe konzipiert. Dabei kamen
objekt-, controller- und raumbezogene Menüs zum Einsatz. Diesen Menüs wurden
jeweils, durch die Fokusgruppenteilnehmer, spezifische Funktionen zugeordnet.
Das objektbezogene Menü beinhaltet hierbei alle Funktionen zur Objektmanipulation. Das controllerbezogene Menü beinhaltet alle häufig genutzten Funktionen unddas raumbezogene Menü dient zur Steuerung des gesamten Workflows. Durchdiese Aufteilung ist der Anwender in der Lage alle benötigten Funktionen schnell zu
erfassen und auszuwählen. Infolgedessen sollte die Effizienz der Funktionsauswahlhoch sein.

222

Trezl, J.; Bernhagen, M.; Dittrich, F.

Die entstandene Menüstruktur ist das Ergebnis einer ersten Fokusgruppe und benötigt eine weiterführende Validierung. Nach der Gestaltung des Menükonzepts
muss die wahrgenommene Verwendbarkeit des Konzepts in Bezug auf reale Anwendungsfälle untersucht werden.

Literaturverzeichnis[1]

LaViola J.J., Kruijff, E., McMahan, R.P., Bowman, D., Poupyrev, I.P. (2017).
3D User Inter-faces: Theory and Practice, 2nd Edition. Boston: AddisonWesley Professional.

[2]

Bowman, D. A., Coquillart, S., Froehlich, B., Hirose, M., Kitamura, Y., Kiyokawa, K., & Stuerzlinger, W. (2008). 3d user interfaces: New directions and perspectives. IEEE computer graphics and applications, 28(6), 20-36.

[3]Mine, M. R. (1995). Virtual environment interaction techniques. UNC Chapel
Hill CS Dept.

[4]

Dressler, A. (2007). Benutzergerechte Menügestaltung für Virtuelle Umgebungen im Expertenkontext (Doctoral dissertation).

[5]Blackler, A. L., & Hurtienne, J. (2007). Towards a unified view of intuitive
interaction: definitions, models and tools across the world. MMI-interaktiv,
13(2007), pp. 36-54.

[6]Conner, B. D., Snibbe, S. S., Herndon, K. P., Robbins, D. C., Zeleznik, R. C.,& Van Dam, A. (1992, June). Three-dimensional widgets. In Proceedings ofthe 1992 symposium on Interactive 3D graphics (pp. 183-188). ACM.

[7]

Salwasser, M., Dittrich, F., Melzer, A. & Müller, S. (2019). Virtuelle Technologien für das User-Centered-Design (VR for UCD). Einsatzmöglichkeiten vonVirtual Reality bei der nutzerzentrierten Entwicklung. Tagungsband Mensch
und Computer 2019 - Usability Professionals. 08.09.2019 bis 11.09.2019,
Hamburg, S. 262-269.

[8]Möslein, K. M., Haller, J. B., & Bullinger, A. C. (2010). Open Evaluation: It für
das Innovationsmanagement. Wirtschaftsinformatik und Management, 2(5),pp. 24-33.

[9]

Langford, J., & McDonagh, D. (2003). Focus Groups: Supporting effective
product development, London: Taylor & Francis.

223

Digitale Assistenz bei der Wartung vonOffshore-Windparks durch AR-Technologie
Eggert, M.1; Flügge, W.2
1

Fraunhofer-Einrichtung für Großstrukturen in der Produktionstechnik IGP

2

Universität Rostock, Lehrstuhl Fertigungstechnik

Abstract
Raue Umweltbedingungen, Zeitdruck durch eng kalkulierte Wartungsfenster, komplexe technische Systeme und hohe Qualitätsansprüche bestimmen die Arbeitswelt
der Wartung und Instandhaltung von Offshore-Windparks. Trotz guter Qualifikation
und vielseitigen Trainings sind Wartungstechniker bei der Ausführung ihrer Aufgaben auf Informationen aus Handbüchern und Checklisten angewiesen und müssen
ihre Arbeitsergebnisse in Protokollen dokumentieren. Sowohl die Informationsversorgung als auch die Datenerfassung weisen dabei eine Vielzahl von Medienbrüchen auf, durch welche die Prozesse vor Ort und in der Nachbereitung unsicher
und langsam ausgeführt werden. Das vorgestellte Assistenzsystem soll zu einem
durchgängig digitalen Informationsfluss beitragen und dabei die Techniker aufgabenspezifisch unterstützen. Augmented Reality (AR) bietet hierfür eine Möglichkeit
der Informationsdarstellung und Interaktion mit dem Assistenzsystem während derArbeitsausführung. Am Beispiel der Wartung von vielfältig in Offshore-Windparks
eingesetzten Krananlagen wird in diesem Beitrag gezeigt, welche Potenziale durch
digitale Assistenzsysteme und AR-Anwendungen erschlossen werden können.

1Einleitung

Für die Wirtschaftlichkeit von Offshore-Windenergieanlagen ist ein störungsfreier
Betrieb entscheidend. Um dies zu gewährleisten, benötigen die Betreiber komplexe
Service- und Wartungskonzepte, zumal die Anforderungen an die Wartung Offshore
deutlich höher sind als bei Onshore-Anlagen. Der Hauptgrund dafür ist die eingeschränkte Erreichbarkeit der Anlagen bei schlechten Wetterbedingungen und die
damit verbundene gefährliche Ausführung der Wartungsarbeiten vor Ort. [1] Diesesind immer noch notwendig, da auch Condition Monitoring Systeme keine hundertprozentige Überwachung der Anlagen bieten, insbesondere für die nichtelektronischen oder produktionsbezogenen Bereiche der Anlagen. Das Bundesamt
für Seeschifffahrt und Hydrographie (BSH) schreibt deshalb ausdrücklich regelmä-

224

Eggert, M.; Flügge; W.

ßige Sichtwartungen vor Ort vor. [2] Die hierfür notwendigen, vielfältigen Arbeiten
werden anhand von Langzeit-Wetterprognosen in Kampagnen geplant und das
Personal entsprechend ausgewählt und trainiert. Dennoch sind Mitarbeiter vor Ort
auf Unterlagen wie Handbücher oder Checklisten angewiesen, mit deren Hilfe die
Systeme inspiziert und gewartet werden können. Dabei müssen die ausgeführten
Arbeiten zum Teil sehr feingliedrig dokumentiert werden. Durch die papiergebundenen Dokumente kommt es allerdings oft zu Lücken in der Informationsversorgung oder fehlerhaften bzw. unleserlichen Prüfprotokollen, was im
schlimmsten Fall bis zum Entzug der Betriebserlaubnis für Teile der Windparks
führen kann. [3] Im Rahmen des durch das BMBF geförderten Wachtumskerns„OWS M-V: Offshore Wind Solutions Mecklenburg-Vorpommern“ [4] wurde deshalb
eine für den Offshore-Bereich ausgelegte Methodik zur anwendungsspezifischen
Konfiguration digitaler Assistenzsysteme zur Unterstützung der Wartungstechniker
als Informationsquelle und Dokumentationswerkzeug entwickelt. Ziel dabei war,eine durchgängie Digitalisierung von der Kampagnenplanung über die Wartungsdurchführung bis zur Auswertung und Abrechnung der Arbeiten zu gewährleisten.
Die daraus abgeleiteten Assistenzsysteme können die Mitarbeiter durch
implementierte AR-Darstellungen und -Interaktionen dazu befähigen, ihre Arbeiten
durchzuführen, sich gleichzeitig mit Informationen zu versorgen und ihrer
Dokumentationspflicht nachzukommen.

2

Grundlagen und Stand der Technik

Die Betriebsphase eines Offshore-Windparks ist Gegenstand eines breiten Spektrums an Entscheidungen und damit Möglichkeiten, seine Effizienz noch im Betrieb
zu erhöhen. Die Optimierung der Betriebs- und Wartungsprozesse beinhaltet hierbei auch, Lösungen für erst in dieser Lebensphase entstehende Probleme zu entwickeln und für die Konzeption anderer Parks als lessons learned zu verwenden. [5]Hieraus resultieren verschiedene Strategien zur Wartung der Windparks. Je nach
Entfernung und installierter Ausrüstung werden die Wartungstechniker dann per
Schiff oder Helikopter in die Windparks gebracht und bleiben während derKampagne auf See oder kehren täglich in den nächst gelegenen Hafen zurück. [6]Der Einsatz der Serviceteams vor Ort ist damit außerdem abhängig von den
aktuellen Wetterbedingungen. Stürme, hoher Wellengang, schlechtes Wetter und
die Entfernung zur Küste erfordern besondere Vorgehensweisen sowohl bei der
Logistik wie auch bei den eingesetzten Technologien und Materialien. [7] Schonallein aufgrund der harten Umweltbedingungen werden Wartungskampagnen mit
großem Aufwand in den Schönwetterphasen des Jahres terminiert. Hierfür kommen
die klassischen Methoden der Produktionsplanung (Programm-, Ablauf- und
Ressourcenplanung, Kapazitätsabgleich, Ablaufterminierung) zum Einsatz, die auf
die Planung der Kampagneninhalte adaptiert werden. [8] Mit Festlegung derDigitale Assistenz bei der Wartung von Offshore-Windparks durch AR-Technologie

225

kampagnenspezifischen Arbeitsinhalte werden im Anschluss die Unterlagen zur
Durchführung der anstehenden Arbeitsaufträge erstellt. Diese umfassen i.d.R. die
technische Dokumentation der Systeme, Wartungshandbücher, Checklisten undPrüfprotokolle. Zwar setzen Unternehmen hierfür derzeit im besten Fall CMMS
(Computerized Maintenance Management Systems) ein, jedoch werden die
Dokumente für die Offshore-Kampagne immer noch papiergebunden auf See
mitgenommen und dort manuell ausgefüllt. Zurück an Land werden die Unterlagendann im Back-Office aufbereitet und dem Windparkbetreiber als Prüfbericht zur
Verfügung gestellt. [3]Dabei existiert bereits eine Vielzahl digitaler Assistenzsysteme zum Zweck derInformationsassistenz und Dokumentation im Bereich Wartung und Instandhaltung[9, 10], zum Teil bieten diese sogar eine Informationsdarstellung durch Augmented
Reality an [11]. Diese Assistenzsysteme erfüllen, ob mit oder ohne Augmented
Reality, den Zweck, Zusatzinformationen auf Bedarf hin bereitzustellen und dadurch
schwierige Aufgaben leichter, sicherer und qualitativ hochwertiger zu erfüllen. Auchderzeitige Forschungsprojekte (StahlAssist, MARI, CyProAssist) nähern sich der
Problematik im Produktionsbereich durch konfigurierbare Systeme oder die
Anbindung an Sensordaten als Basis für predictive maintenance Strategien an. Ein
ganzheitlicher Ansatz zum aufgabenspezifischen Einsatz von digitalen
Assistenzsystemen unter rauen Umweltbedingungen wurde dennoch bisher nicht
entwickelt bzw. ist am Markt nicht verfügbar.

3

Konzept und Umsetzung

Das Ziel, Offshore-Wartungsprozesse informationstechnisch digital mit mobilen
Assistenzsystemen zu ermöglichen, setzte Kenntnisse der Prozessanforderungen
und Informationsbedarfe der Mitarbeiter sowie der Umgebungsbedingungen zum
Einsatz derartiger Systeme voraus. Aus diesem Grund basierte die Konzeptbildung
und Umsetzung auf einer ausführlichen Analyse der aktuellen Situation in Wartungskampagnen von Offshore-Windparks und der Ableitung eines Anforderungskatalogs hinsichtlich der Konfiguration der Systemhardware, Informationsflüsse undInteraktionsmöglichkeiten. Zur Weiterverwendung der Analyseergebnisse wurden
Referenzszenarien gebildet, durch die die Analyseergebnisse in breit gefächerter
Variation exemplarisch dargestellt werden können. Ein Beispiel hierfür bildet die
Inspektion und Wartung maritimer Krananlagen, wie sie an vielen Stellen in Offshore-Windparks vorkommen und für den Materialtransport genutzt werden.
Die Konfiguration der Informationsflüsse und des damit verbundenen Datenaustauschs wurde unter Beachtung der Offshore-Umgebung bedarfsorientiert ausgelegt. Die Möglichkeit eines online-Betriebs des Assistenzsystems ist in OffshoreWindparks nicht dauerhaft gegeben. Die Regel ist eher das Nichtvorhandensein

226

Eggert, M.; Flügge; W.

einer dauerhaften Internetverbindung. Dies erschwert die Realisierung digitaler
Informationsflüsse dahingehend, dass eine serverseitige online-Datenverarbeitung
selten möglich ist und deshalb erhobene Daten und angeforderte Informationen
asynchron zum eigentlichen Zeitpunkt der Durchführung der Wartungsmaßnahme
fließen. Es kann realistisch allerdings davon ausgegangen werden, dass während
einer Wartungskampagne zumindest einmal täglich eine Internetverbindung hergestellt werden kann, die für die Synchronisierung der Daten genügt. Durch Einsatz
eines Datenaustauschmoduls konnte so die Verwendung des Assistenzsystems
sowohl im online- als auch offline-Modus konzipiert und realisiert werden. Dabei
wird im offline-Modus einfach die online-Verarbeitungsmethodik auf einem lokalen
Datenbankserver für die Bereitstellung und Verarbeitung der Daten eingesetzt.

Bild 1: Konzept eines bedarfsorientierten Informationsflusses im Assistenzsystem

Die bedarfsgerechte Informationsversorgung basiert auf den szenariospezifischen
Anforderungen und Umgebungseinflüssen. Hierbei werden anhand eines morphologischen Kastens Umgebungsbedingungen und Steuerungsmöglichkeiten, sowie
die verschiedenen Möglichkeiten der Gestaltung von Nutzerschnittstellen miteinander kombiniert, um eine den tatsächlichen Nutzeranforderungen (z.B. hands-freeBedienbarkeit, Nutzung in beengten Räumen) entsprechende Konfiguration desAssistenzsystems zu ermöglichen. Das bedeutet, dass das Assistenzsystem jenach Interaktionsmöglichkeit der Wartungstechniker eine für das Einsatzszenario
optimale Informationsaufbereitung vornimmt.

Digitale Assistenz bei der Wartung von Offshore-Windparks durch AR-Technologie

227

Bild 2: morphologischer Kasten zur Konfiguration der Informationsaufbereitung

Hardwareseitig ergab sich die Anforderung, dass potenzielle Endgeräte einfach indie ohnehin vielfältige, mehrteilige Ausrüstung der Wartungstechniker integriert
werden können müssen. Aufgrund der zum Teil sehr spezifischen Arbeitsanforderungen ergab sich jedoch kein universell einsetzbarer Endgerätetyp, sodass zur
Bestimmung eines für den Einsatz optimalen Endgeräts eine Konfigurationsmethodik entwickelt wurde, in die die jeweiligen Ergebnisse der Methoden zu bedarfsorientierten Informationsflüssen und der dabei stattfindenden Informationsaufbereitung
einfließen. Hierbei werden die Bedarfe der Informationsdarstellung und Interkation
mit dem Assistenzsystem sowie die Spezifika der durch das Szenario vorgegebenen Umgebungseinflüsse schrittweise in eine geeignete Hardwareauswahl überführt. Als Ergebnis kann anhand der Beschreibung des Einsatzszenarios und derBedarfe hinsichtlich einer potenziellen Informationsversorgung eine Empfehlung
bezüglich des Einsatzes eines bestimmten Endgerätetypen als Basis des Assistenzsystems generiert werden.
Somit liegt ein modularer Baukasten vor, aus dem die Eigenschaften des Assistenzsystems je nach szenariospezifischen Anforderungen bedarfsgerecht zusammengesetzt werden können. Hierbei sind Funktionen zum Datenaustausch mit derInformationsplattform, die Informationsaufbereitung, Hardwareauswahl und derDatenaufbereitung für verschiedene Nutzerschnittstellen in einzelnen Modulen
zusammengefasst, die bedarfsgerecht miteinander kombiniert werden können.

228

Eggert, M.; Flügge; W.

Bild 3: Module des digitalen mobilen Assistenzsystems

Auf diese Weise lässt sich das Assistenzsystem zur informationstechnischen Unterstützung bei Wartungsprozessen in Offshore-Windparks in verschiedenen Konfigurationen einsetzen. Dies schließt ebenfalls die Möglichkeit ein, Informationen inverschiedenen Detaillierungsgraden zur Verfügung zu stellen. Dies reicht von einfachen Checklisten bis hin zu komplexen 3D-Modellen. Gemeinsam mit der geeigneten Hardware ist dabei auch die Informationsaufbereitung zur Begleitung von Wartungsmaßnahmen mittels Augmented Reality möglich.

4

Einsatz von Augmented Reality bei derInspektion maritimer Krananlagen

Am Beispiel der Inspektion maritimer Krananlagen konnte gezeigt werden, dasseine Assistenz im Sinne der methodisch aufbereiteten Darstellung von Instruktionen
und eine gezielte Führung der Wartungstechniker in der Maßnahme selbst durch
das Assistenzsystem möglich sind. Da Krananlagen in Offshore-Windparks im Bereich von Relingen aufgestellt sind, ist bei ihrer Inspektion eine hands-free Bedienung des Assistenzsystems Voraussetzung, damit sich die Wartungstechniker mit
einer Hand an der Struktur absichern oder stützen können, um mit der anderen
freien Hand die Inspektion auszuführen. Aus diesem Grund ergab sich für die
Kranwartung eine mögliche Konfiguration des Assistenzsystems mit Datenbrillen

Digitale Assistenz bei der Wartung von Offshore-Windparks durch AR-Technologie

229

und der damit verbundenen Gestensteuerung als Interaktionsmöglichkeit. Es bot
sich deshalb an, das Assistenzsystem um die Möglichkeit der Aufbereitung und
Darstellung der Informationen mittels Augmented Reality inklusive der damit verbundenen Interaktionsmöglichkeiten zu erweitern. Um hierbei eine immersive Interaktion mit dem Assistenzsystem zu ermöglichen und gleichzeitig dem bedarfsorientierten Ansatz zur Informationsversorgung nachzukommen, wurde eine Methodik
entwickelt, die auf Basis der Blickrichtung des Nutzers eine Überlagerung der Realität mit zusätzlichen Informationen realisieren kann. Im Fall der Kraninspektion
konnte so erreicht werden, dass über den Betrachtungswinkel des Nutzers einzelne
Systeme am Kran identifiziert werden können und die hierfür notwendigen Teilchecklisten als AR-Hologramme im Blickfeld und in direkter Nähe zum auf diese
Weise ausgewählten System eingeblendet werden. Basis dieser Methode ist dievorherige Skalierung eines virtuellen 3D-Modells und seine Überlagerung mit derphysischen Anlage. Hierfür wird einmalig ein Target direkt an der Anlage benötigt,
anhand dessen die Skalierung und Überlagerung ausgeführt werden kann. Das
ohnehin vorhandene Typenschild des Krans kann zu diesem Zweck genutzt werden, wodurch das Anbringen und die Verwendung eines zusätzlichen Targets entfallen. Der Wartungstechniker dann hat die Möglichkeit, über die Gestensteuerung
mit den dargestellten Inhalten zu interagieren und dennoch beide Hände für die
eigentliche Inspektion zu nutzen. Dabei wird er mittels Farbcodes durch die Inspektion geleitet und auf Lücken im laufenden Inspektionsprozess hingewiesen.

Bild 4: AR-Interaktion bei der Inspektion maritimer Krananlagen

230

Eggert, M.; Flügge; W.

Nach dem Ende der Inspektion werden die erhobenen Daten nach interner Verarbeitung im Assistenzsystem an die angeschlossene Informationsplattform weitergeleitet. Die Entwicklung und der Test des AR-Moduls des Assistenzsystems erfolgte
an einem eigens per 3D-Druck hergestellten Modell einer Krananlage, die auf den
Offshore-Windenergieanlagen zum Transport von Materialien beim Übersetzen auf
die Anlage durch die Wartungstechniker eingesetzt wird.

5

Zusammenfassung und AusblickMit dem entwickelten System liegt eine Methode vor, mittels derer sich Informationsflüsse für die Ausführung der Wartung von Offshore-Windparks medienbruchfrei
digital gestalten lassen. Die Methode wurde als Funktionsmuster eines konfigurierbaren Assistenzsystems exemplarisch für einige Wartungsszenarien umgesetzt,
welches derzeit weiteren Evaluierungen unterzogen wird. Diese umfassen Tests
sowohl im Laborbetrieb als auch in tatsächlichen Offshore-Wartungskampagnen.
Die Funktionen und die Struktur der Methode für die anwendungsspezifische Konfiguration von Assistenzsystemen für den mobilen Einsatz in der Wartung von Offshore-Strukturen erlauben es, komplexe Wartungs- und Inspektionsprozesse digitalzu begleiten und so eine lückenlose, medienbruchfreie Dokumentation zu kreieren.
Wartungstechniker vor Ort werden mit optimal für ihre Bedarfe und anhand derUmgebungsbedingungen aufbereiteten Informationen versorgt und durch digitale
Anweisungen durch die Maßnahme begleitet. Das System fungiert hier als Assistent des Mitarbeiters und unterstützt den Prozess mit dem benötigten Funktionsumfang. Dabei können die notwendigen Informationen bedarfsgerecht in verschiedenen Detaillierungsgraden aufbereitet werden, was von der einfach dargestellten
Checkliste bis hin zur grafisch komplexen AR-Anwendung reicht.
Die Ergebnisse der Methodik können vom Offshore-Wind-Sektor auch auf andere
Industriebranchen, wie bspw. den industriellen Anlagenbau oder konstruktiven
Hochbau übertragen werden. Die Methodik liefert hierfür die geeignete Basis, um
nicht nur Wartungs- und Instandhaltungsarbeiten, sondern auch Prozesse in anderen Lebenszyklusphasen digital abzubilden und Mitarbeiter in der Ausführung ihrer
Arbeit unter industriell geprägten Umweltbedingungen informationstechnisch durch
mobile Assistenzsysteme zu unterstützen und Workflows zu beschleunigen. Die
durch die gesammelten Rückmeldungen im Assistenzsystem gewonnenen Daten
lassen sich außerdem auswerten und für weitere Maßnahmen nutzen. Im Produktionsumfeld der Unikat- und Kleinserienfertigung eingesetzt, können derartige Systeme eine wesentliche Grundlage zum Aufbau von Wissensdatenbanken und derPlanung und Steuerung von Prozessen bilden. Deshalb müssen in weiteren Entwicklungsschritten die Mensch-Technik-Interaktion und die Hardwareeignung fürden industriellen Einsatz weiter vorangetrieben werden.

Digitale Assistenz bei der Wartung von Offshore-Windparks durch AR-Technologie

231

Literaturverzeichnis[1]

P. Svoboda, „Betriebskosten als Werttreiber von Windenergieanlagen aktueller Stand und Entwicklungen,“ Energiewirtschaftliche Tagesfragen,63(5) 34-38, 2013.

[2]

Bundesministerium für Wirtschaft und Energie, „Informationsportal
Erneuerbare Energien - Wartung,“ [Online]. Available: https://www.erneuerbare-energien.de/EE/Navigation/DE/ Technologien/Windenergie-aufSee/Technik/Wartung/wartung.html. [28.08.2019][3]

O. Wunderlich, A. Petersohn und M. Eggert, Durchgängige Digitalisierung vonBetrieb und Wartung von Offshore-Windparks, Rostock: Vortrag auf der
Zukunftskonferenz Wind & Maritim, Rostock, 2017.

[4]

MCC Maritimes Consulting Center GmbH, „Offshore Wind Solutions
Mecklenburg-Vorpommern,“ [Online]. Available: http://www.ows-mv.de/.
[28.08.2019].

[5]

I. B. Sperstad, F. D. McAuliffe, M. Kolstad und S. Sjømark, „Investigating key
desicion problems to optimize the operation and maintenance strategy ofoffshore wind farms,“ in 13th Deep Sea Offshore Wind R&D Conference,
EERA DeepWind'2016, Trondheim, Norwegen, 2016.

[6]

A. Dewan und M. Asgarpour, Reference O&M Concepts for Near and Far
Offshore Wind Farms, Petten, Niederlande: ECN, 2016.

[7]

Stiftung OFFSHORE-WINDENERGIE, „Offshore-Windenergie - Sauberer
Strom vom Meer,“ Stiftung der deutschen Wirtschaft für die Nutzung und
Erforschung der Windenergie auf See, [Online]. Available:
https://www.offshore-stiftung.de/offshore-windenergie. [28.08.2019].

[8]

M. Lasse und O. Wunderlich, „Vorausschauende Kampagnenplanung. Basisfür eine effiziente Wartung von Offshore-Windparks,“ in Zukunftskonferenz
Wind&Maritim 2018, Rostock, 2018.

[9]

instandhaltung.de, „Forschungsprojekt ADIMA - Intelligente Instandhaltung
industrieller Maschinen,“ 11. Januar 2017. [Online]. Available:
https://www.instandhaltung.de/news/intelligente-instandhaltung-industriellermaschinen-290.html. [10.09.2019].

[10] Fraunhofer IFF, „ArdiAS,“ Fraunhofer IAO, 2017. [Online]. Available:
https://www.transwork.de/index.php/foerderschwerpunkt/schwerpunktgruppen/assistenzsysteme-und-kompetenzentwicklung/ardias/. [10.09.2019].
[11] F. Titov, A. Friedewald und H. Lödding, „Augmented Reality zur
kundenintegrierten Variantenplanung,“ Industrie, pp. 297-316, 2014.

233

User Experience / User Interface-Design für
VR/AR-AnwendungenNguyen, T.B.M.1; Marczinzik, C.1
1

A.MUSE – Interactive Design Studio

Abstract
Von dem Moment an, in dem der Mensch geboren wird, lernt er, die Welt aufgrund
biologischer Eigenschaften dreidimensional wahrzunehmen, was ihn dazu bringt,
räumlich zu denken. Im Gegensatz zu herkömmlichen, flachen 2D-Interfaces hat
Mixed Reality das Potential, die menschliche und natürliche Interaktion in dreidimensionalen, virtuellen Räumen revolutionär zu erleichtern. Im letzten Jahrzehnt
sind Virtual Reality und Augmented Reality (Mixed Reality) technologisch so weit
vorangeschritten, dass neue Medienerlebnis-Formate entstehen, deren Möglichkeiten noch nicht vollständig ausgereizt und erforscht wurden. Bisher war es wie im“Wilden Westen”, doch nun findet zum Beispiel “Mobile AR” immer mehr Anschluss
an den Mainstream. Mit neuen technologischen Veröffentlichungen wie Google AR
Core, SparkAR, ARKit 3 und Reality Composer von Apple können nun mehr als 100
Million mobile Endgeräte bespielt werden. Hinzu ist die VR-Industrie auf verschiedenen Wegen seit 2016 enorm gewachsen. Zunehmend werden dadurch zahlreiche Tools entwickelt, die das Gestalten, Prototypen und Entwickeln von Mixed
Reality Anwendungen einfacher machen.
Deshalb gilt es nun, gemeinsam mit gebündelter Fachkompetenz Richtlinien für
UX/UI-Design zu erarbeiten und stetig zu erweitern, um Nutzern dieser neuen Medienformate bestmögliche und bereichernde Erlebnisse zu bieten. In diesem Vortrag werden Parameter für intuitives und immersives User Experience & User Interface Design von Mixed Reality-Räumen beleuchtet, hilfreiche “Best Practises” ausdem Berufsalltag weitergegeben und aufschlussreich, verheißungsvolle Referenzbeispiele aus der Praxis dem Fachpublikum präsentiert.
Seit 2009 experimentieren und beschäftigen sich die Multimedia/VR-Designerinnen
Christin Marczinzik und Thi Binh Minh Nguyen intensiv damit, wie man informative,
unterhaltsame und begeisternde Anwendungen mit Cutting-Edge-Technologien
entwickelt, die Menschen glücklich machen. Mit ihren interaktiven Erlebnissen gewannen sie zahlreiche Awards, internationale Aufmerksamkeit und sind Silicon
Valley erfahren. 2019 wurde ihr Start-Up A.MUSE – Interactive Design Studio von234

Nguyen, T.B.M.; Marczinzik, C.

der Bundesregierung als eines der kreativsten und innovativsten Unternehmen
Deutschlands mit dem Titel „Kultur- und Kreativpilot“ ausgezeichnet.

User Experience / User Interface-Design für VR/AR-Anwendungen

235

236

Nguyen, T.B.M.; Marczinzik, C.

User Experience / User Interface-Design für VR/AR-Anwendungen

237

238

Nguyen, T.B.M.; Marczinzik, C.

User Experience / User Interface-Design für VR/AR-Anwendungen

239

240

Nguyen, T.B.M.; Marczinzik, C.

User Experience / User Interface-Design für VR/AR-Anwendungen

241

242

Nguyen, T.B.M.; Marczinzik, C.

User Experience / User Interface-Design für VR/AR-Anwendungen

243

244

Nguyen, T.B.M.; Marczinzik, C.

User Experience / User Interface-Design für VR/AR-Anwendungen

245

246

Nguyen, T.B.M.; Marczinzik, C.

User Experience / User Interface-Design für VR/AR-Anwendungen

247

249

Datenbrille mit Indoor-Navigation zur ARgestützten Kommissionierung
Herold, R.1; Kämpf, M.2
1

WSH Zwickau – Fakultät Elektrotechnik

2

iFD GmbH Chemnitz

Abstract
Im Vortrag werden zuerst die Anforderungen an eine industrietaugliche Datenbrille
im Bereich der Logistik erläutert und verschiedene Systemarchitekturen vorgestellt.
Basierend auf diesen Anforderungen werden technische Datenbrillenlösungengezeigt. Im Bereich der Logistik werden Anforderungen Hardware und Software
definiert. Anschließend werden verschiedenen Use Cases zum Einsatz von Datenbrillen in der Logistik basierend auf Pilotprojekten präsentiert. Ein Schwerpunkt ist
die visuelle Navigation im Lager durch eine Datenbrille mit Indoor-Navigation, um
einen Mitarbeiter optimal auf kurze Wege durch den Kommissionierprozess zu
führen. Abschließend wird ein Ausblick gegeben, welche Hardware- und Softwarefeatures im Bereich der Logistik zukünftig zur Verfügung stehen werden.

250

Herold, R.; Kämpf, M.

Datenbrille mit Indoor-Navigation zur AR-gestützten Kommissionierung

251

252

Herold, R.; Kämpf, M.

Datenbrille mit Indoor-Navigation zur AR-gestützten Kommissionierung

253

254

Herold, R.; Kämpf, M.

Datenbrille mit Indoor-Navigation zur AR-gestützten Kommissionierung

255

256

Herold, R.; Kämpf, M.

Datenbrille mit Indoor-Navigation zur AR-gestützten Kommissionierung

257

258

Herold, R.; Kämpf, M.

Datenbrille mit Indoor-Navigation zur AR-gestützten Kommissionierung

259

260

Herold, R.; Kämpf, M.

Datenbrille mit Indoor-Navigation zur AR-gestützten Kommissionierung

261

262

Herold, R.; Kämpf, M.

Datenbrille mit Indoor-Navigation zur AR-gestützten Kommissionierung

263

264

Herold, R.; Kämpf, M.

265

Reproduzierbare Analyse von VR-Sessions
Dr.-Ing. Ulrich HäfnerIMSYS GmbH & Co. KG, 71229 Leonberg

Abstract
Die vielfältigen Möglichkeiten der VR sind unbestritten und werden zunehmend inEngineering und Vertriebs-Prozessen eingesetzt. Die Herausforderung ist, aus den
VR-Sessions reproduzierbare und dokumentierte Ergebnisse zu erhalten, ausdenen sich wiederum objektive und nachhaltige Ergebnisse für den Produktionsoder Vertriebsprozess ableiten lassen. Diese objektiven Ergebnisse stellen einensignifikanten Mehrwert für die Nutzung der VR-Technologie dar, da sie objektive,
vergleichbare und reproduzierbare Ergebnisse darstellen. Die VR-Session ist
dokumentiert und lässt sich über den Prozess der Produktentwicklung oder desVertriebs wiederholbar nachvollziehen und fortschreiben.

1

Einleitung

1.1 Motivation und Zielsetzung
Bei immersiven Umgebungen stellt das Eintauchen in die künstliche Welt den
Mehrwert für den individuellen Anwender dar. Spiele werden sehr realitätsnah erlebt, Konstruktionen und komplexe geometrische Zusammenhänge werden für den
Laien verständlich. Die Gesetzte der Schwerkraft sind aufgehoben und tonnenschwere Bauteile lassen sich auf einfache Weise bewegen und verändern.
Die aktuellen Technologien ermöglichen das Zusehen und Mitarbeiten über das
Netzwerk hinweg; virtuelle Meetings sind möglich und finden durch den Einsatz vonHead Mounted Displays (HMD) zunehmend Anwendungen im industriellen Umfeld.
Vergleichbar mit den klassischen Methoden der Konferenzgestaltung und Ergebnisdokumentation steigt der Bedarf und die Notwendigkeit Ergebnisse aus einem
virtuellen Meeting oder einer virtuellen Begutachtung reproduzieren zu können. Derfür den Individualisten erkennbare Mehrwert muss objektivierbar werden und fürunbeteiligte nachvollziehbar werden. Dies ersetzt nicht das individuelle Training,
sondern ergänzt das subjektive Training durch vorab aufgezeichnet Abläufe auf derBasis bereits erarbeiteter Erkenntnisse.

266

Dr.-Ing. Ulrich Häfner

Ein Schwerpunkt bei den Überlegungen für dieses Projekt lag in der Nutzung möglichst unabhängiger Werkzeuge um flexibel auf mögliche Anforderungen aus derPraxis reagieren zu können. Nach Möglichkeit sollte auf die Programmierung vonSoftwarewerkzeugen verzichtet werden.

1.2 Vorstellung der Firma IMSYS GmbH & Co. KG
Die Leonberger IMSYS GmbH & Co. KG ist Spezialist für Virtual Reality und Visualisierungs-Gesamtlösungen. Kunden von IMSYS nutzen unsere Lösungen für die
Optimierung ihrer gesamten Produktentwicklung von Design und Marketing bis hin
zu Service und Wartung. Die Lösungen von IMSYS verbinden dabei neueste technologische Erkenntnisse mit einem hohen Anspruch an Funktionalität, Benutzerfreundlichkeit und Design für den Aufbau effizienter und anwendungsorientierter
Visualisierungsumgebungen.

Bild 1: VR-Arbeitsumgebung im Packaging Valley, Schwäbisch Hall

Wir verbinden Menschen in intelligenten, digitalen Arbeitsumgebungen. Wir vernetzen Ihre Informationsarchitektur und ermöglichen barrierefreie Kommunikation und
Kollaboration. Unser Expertenteam begleitet Sie von der Entwicklung einer Strategie über die sukzessive Einführung audiovisueller Medien bis zur Begleitung undfachgerechten Einweisung Ihres Teams in die nachhaltige Nutzung digitaler Medien.
Als Gesamtlösungsanbieter verfügt IMSYS über eine hohe technologische Kompetenz, berät seine Kunden in allen Fragen der Planungs-, Installations- oder Einführungsphase und übernimmt den Betrieb und die Wartung bestehender AnlagenReproduzierbare Analyse von VR Sessions

2

267

Analyse der Bedienung einer VR-Session

Die klassischen Dokumentationsmedien wie Benutzungshandbücher und Schulungsunterlagen werden zunehmend ersetzt durch die Anwendung von VideoTutorials oder Hilfsassistenzen (App), die den Anwender begleiten und schulen.
Dabei steht das Selbststudium immer mehr im Vordergrund. Technisch gesehen
gibt es jede Menge Software Werkzeuge, mit denen der Desktop und die Mausinteraktionen aufgenommen und kommentiert werden können.
Übertragen auf immersive Anwendungen ist es erforderlich die Interaktionsmöglichkeiten zu analysieren.

Bild 2: System-Modell Immersives System

Für die Interaktion mit einem Immersiven System stehen folgende Daten zur Verfügung:Tracking-Daten z.B. Kopf, Interaktionsgerät, zusätzliche Marker



Button-Events für das Aufrufen von Funktions-Menüs, Navigation und Interaktion mit den dargestellten Objekten

Posture-Daten im Falle Ganzkörper-Analyse oder DatenhandschuheTechnisch gesehen reduziert sich die Immersion des Benutzers auf die Sensordaten aus Tracking, Buttonevents und ggfs. zusätzlichen Eingabedaten. Die sich anschließende Computing Schleife wird ausschließlich durch diese Daten angetrieben. Für das Abspielen eines einmal durchgeführten Ablaufs, reicht es also aus, dieSensordaten aufzuzeichnen und einen Weg zu finden, diese Daten erneut dem
System zuzuführen.
Eine Vielzahl der Installationen beinhaltet folgende Hardware-Komponenten:


ART-Tracking System (z.B.: Smartrack, Atrack-2, Atrack TP/E, Atrack-5)

268

Dr.-Ing. Ulrich Häfner



ART Flystick

Weitere ART Targets

Die erste Lösung konzentriert sich also auf das Aufnehmen der Tracking- und Interaktionsdaten eines ART-Trackingsystems.

3

Die technische Lösung

Technisch betrachtet werden die Tracking- und Interaktionsdaten bei einem ARTSystem per Netzwerk an den Rechner übertragen, der die Daten auswertet. Die
Kenndaten hierfür sind:Übertragungsprotokoll UDPÜbertragung per Broadcast oder einzeln konfigurierbare UDP-Port ist möglich (z.B. üblich UDP port 5000)



Lesbares ASCII-Protokoll

3.1 Dtrack Software Recorder
Es gibt ein Software Werkzeug (DTrack-Recorder [1]) der Firma A.R.T. mit der die
Trackingdaten direkt aufgenommen und abgespielt werden können.
Der DTrack Recorder kann auf einem zusätzlichen Rechner oder auf dem Bedienrechner eingesetzt werden. Das Tracking-System wird so konfiguriert, dass ein
zweiter Channel auf einem weiteren UDP-Port die Daten an den Rechner schickt.

Bild 3: Einstellungen für den 2. Channel im DTrack2 System auf Port 5005

Reproduzierbare Analyse von VR Sessions

269

Der DTrack2 Recorder zeichnet die Daten des ART-Systems auf, sobald der Record Taster ausgelöst wird.
Zum Abspielen wird der Recorder imn Play Modus betrieben, schickt die Daten
allerdings auf den Port 5000. Das Dtrack-2 System wird gestoppt, so dass keine
Real-Messdaten die gespeicherten Messdaten überlagern.
Die Anwendungssoftware muss weder beendet noch neu gestartet werden.

Bild 4: Einstellungen für den DTrack Recorder du Player auf Port 500 bzw. 5005

3.2 Alternative Aufzeichnungswerkzeuge
Alternativ zu der vorgestellten Methode mit Dtrack können die Rohdaten der Sensorik auch mit Hilfe von netcat [2] bzw. dem Modul vrpn [3] durchgeführt werden. Die
Anwendung ist etwas komplexer, aber flexibel für die unterstützten Tracking- undInteraktionssysteme möglich.

4

Der Nutzen für den Anwender und die internen
Prozesse

Die nachfolgend aufgeführten Anwendungsszenarien zeigen Beispiele auf undsollen ermutigen, diese Methodik im individuellen Umfeld einzusetzen und eigene
Erfahrungen zu sammeln.

4.1 Reproduzierbarkeit
Zuschauen beim Durchgeführten Ablauf, Anhalten und Eingreifen, Dokumentation
im PLM-System

270

Dr.-Ing. Ulrich Häfner

4.1.1 Usecase Dokumentation eines virtuellen Montageablaufs
Bei dem virtuellen Montageablauf werden die Daten aufgezeichnet und im Nachgang von dem Team überprüft. Sobald ein kritischer Punkt erneut erreicht ist, kannder Anwender an dieser Stelle wieder interaktiv eingreifen und einen neuen oderveränderten Ablauf erproben.
Die Dokumentation ist Benutzerunabhängig und so kann der Ablauf auch einer
anderen Person zu einem anderen Zeitpunkt vorgelegt werden. Die Dokumentation
ist kein Video, der Anwender kann zu jedem Zeitpunkt individuell eingreifen. Sobald
das Kopftracking aktiviert ist, taucht er in die entsprechende Szene ein und verfügt
ab diesem Moment über die korrekte perspektivische Darstellung der Szene.

4.1.2 Usecase Übertragen auf eine andere immersive Konfiguration
Generell unterscheiden sich die gemessenen Interaktionsdaten je nach immersiver
Konfiguration. So sind die aufgenommenen Interaktionsdaten in einer CAVE unterschiedlich zu den Interaktionsdaten an einer Powerwall.
Eine genaue Analyse wo die Unterschiede verschiedener immersiver Systeme
liegen, führt zu folgendem Ergebnis.
Anzahl und Anordnung der Projektionsflächen



Auflösung der ProjektorenAufteilung der Berechnungsaufgaben (Anzahl der Renderclients)



Einmessung und Festlegung des Tracking-Systems



Koordinatenursprung und Lage des Koordinatensystems

In den untersuchten VR-Systemen (IC.IDO, Teamcenter, MiddleVR, Catia) wird die
Konfiguration des Displaysystems und die Konfiguration des Trackingsystems jenach immersivem System konfiguriert und abgelegt. Die eigentlichen Messdaten
werden als Rohdaten verarbeitet.
Werden also die Rohdaten des Tracking- und Interaktionssystems aufgezeichnet
und ist der Nullpunkt bzw. die Lage des Koordinatensystems identisch, so können
die aufgezeichneten Trackingdaten unabhängig vom eingesetzten Displaysystem(Powerwall, CAVE) abgespielt und begutachtet werden.
Die Methode ermöglicht damit: Aufzeichnen des Ablaufs an einer CAVE (z.B. Firmenzentrale) Abspielen auf einer Powerwall (z.B. Produktion, entfernter Standort, Zulieferer)Reproduzierbare Analyse von VR Sessions

271

Wie in jedem anderen Szenario kann das interaktive Arbeiten jederzeit aktiviert
werden. (Sofern an jedem Standort ein getracktes VR-System mit der gleichen
Software vorhanden ist).
Falls die Koordinatensysteme der Standorte sich voneinander unterscheiden (Nullpunkt und Lage des Koordinatensystems) können die Rohdaten durch eine Matritzenoperation (Rotatiosmatrix und Offset) ineinander überführt werden. Der hierfür
erforderliche Programmieraufwand ist überschaubar und kann individuell vorgenommen werden.
4.1.3 Usecase Übertragen der Rohdaten auf andere Softwaresysteme
Theoretisch ist die Methode auch dafür geeignet, die aufgezeichneten Rohdaten
einem anderen VR-Softwaresystem zuzuführen. So ist es z.B. denkbar einen Navigationspfad in IC.IDO aufzuzeichnen und in VRED abzuspielen. Hierfür müssen die
Trackingdaten durch die oben beschriebenen Matritzenoperationen ineinanderüberführt werden, zusätzlich müssen die Funktionsaufrufe (Buttonevents) in das
jeweilige Zielsystem über eine Lookup-Tabelle übersetzt werden.
Es bleibt dem Anwender überlassen, ob der hierfür erforderliche Aufwand gerechtfertigt ist.

4.2 Fehleranalyse und Performance Tests
Gerade bei Systemen mit hoher Komplexität (Funktionsumfang der Software, Anzahl der Rechner, hohem Datenaufkommen) kann es zu Softwareproblemen kommen, die nicht reproduzierbar sind, sondern sporadisch und manchmal auch nur im
Zusammenhang mit einem speziellen immersiven System auftreten. Die Methodeermöglicht dann das Aufzeichnen und wiederholt Abspielen einer solchen Situation
und trägt damit dazu bei, den Fehler einzugrenzen und idealerweise auch komplettzu beheben.
Durch dieses maschinell endlos ablaufende Prüfverfahren können ebenfalls Speicherverläufe und Speicherprobleme über die Zeit nachgestellt und analysiert werden.
Für die effiziente Nutzung von immersiven Systemen ist die Gesamtperformance
von großer Bedeutung. So werden z.B. Messepräsentationen auf einem Kundensystem vorbereitet und sollen dann auf einem speziellen System auf der Messeabgespielt werden. Diese Methode ermöglicht es, den Ablauf einer Session reproduzierbar zu überprüfen und objektiv zu beurteilen.
Darüber hinaus können GPU- und Treiber Updates hinsichtlich Stabilität und Performance objektiv überprüft werden.

272

Dr.-Ing. Ulrich Häfner

4.3 Aufzeichnen von HMD-Sessions
Das Aufzeichnen von HMD Sessions ist theoretisch ebenfalls möglich, stellt aberzusätzliche Herausforderungen dar. Die hier zu berücksichtigenden Randbedingungen werden im Folgenden erläutert:
Das Kopftracking darf beim HMD nicht abgeschaltet werden, die vollständige Immersion des Betrachters erfordert ein lückenloses Erfassen der individuellen Kopfbewegung (HTC Lighthouse Tracking, Inside/Out Tracking, und andere)Dennoch ist es möglich die Interaktionsdaten aufzuzeichnen und z.B. eine Kooperate Session zu starten, bei der der individuelle Betrachter einem virtuellen Benutzerüber die Schulter schaut. D.h. die aufgezeichneten Daten werden auf einem zweiten System zugespielt, der individuelle Betrachter schaut über eine Netzwerkverbindung dem virtuellen Benutzer zu und kann so den eigentlichen Ablauf erlernen.
Dieser Anwendungsfall kann mit folgenden Softwarepaketen durchgeführt werden:

IC.IDO Cooperate

Siemens Teamcenter

Andere Softwarepakete können auf ihre Eignung hin analysiert werden.

5

Ausblick

Generell können die Interaktionsdaten von immersiven Systemen ausgelesen undprotokolliert werden. Die Methode ist auch auf HMD Systeme übertragbar, erfordert
hierfür zusätzlichen Analyse und Programmieraufwand, da zumindest die Kopfdaten durch reale Sensordaten ersetzt werden müssen. Hierfür muss ein Mischer aus
realen und aufgezeichneten Interaktionsdaten realisiert werden.

Literaturangaben[1]

https://ar-tracking.com/support/software/[2]

https://de.wikipedia.org/wiki/Netcat[3]

http://vrpn.org/logging-and-playing-back-a-connection/

273

VR-gestütztes Closed-Loop-Engineering fürschnelle Rekonfigurationsprozesse im
Anlagenbau
Bender, J. 1; Deckers (geb. Dücker), J.1; Kirsch, L.2; Ovtcharova, J.3
1

FZI Forschungszentrum Informatik, Process and Data Management in Engineering

2

CONTACT Software GmbH3

Karlsruher Institut für Technologie, Institut für Informationsmanagement inIngenieurwesen

Abstract
In dieser Veröffentlichung wird ein Closed-Loop-Engineering Ansatz für die schnelle
Rekonfiguration von Produktionsanlagen unter Zuhilfenahme von Virtual Reality
vorgestellt (VR). Dabei wird auf Technologien aus den Bereichen IoT, Digitaler
Zwilling, Produktionsplanung und -steuerung sowie VR zurückgegriffen. Anhand
des Beispiels einer Abfüllanlage mit eigenem Digitalem Zwilling wird gezeigt, wie
Fabriklayouts, sowie Maschinenkonfigurationen und -positionen in VR angepasst
und mithilfe einer holistischen Prozesssimulation virtuell in Betrieb genommen werden können. Dafür wird die in Unity umgesetzte VR-Simulation mit einem selbstgeschriebenen Manufacturing Execution System (MES) und einer kommerziellen IoTPlattform gekoppelt. Zusätzlich können reale Maschinen über Ihre Digitalen Zwillinge in das System eingebunden werden. Mithilfe der simulierten und realen Sensordaten lassen sich Analysen auf Fehler und Ineffizienzen durchführen. Lösungen für
so identifizierte Probleme können durch Rekonfiguration und erneute Simulation in
VR zeitnah validiert werden. Diese Kopplung von leichtgewichtiger Prozesssimulation in VR mit einem MES und einer kommerziellen IoT-Plattform birgt große Potentiale im Anlagenbau.

1

Einleitung

Die produzierende Industrie steht zunehmend komplexeren Kundenanforderungengegenüber, besonders hinsichtlich der steigenden Produktindividualisierung unddurch die Verkürzung der Lieferzeiten. Gleichzeitig sinken die Losgrößen während
sich die Produktion auf volatile Nachfragen und hochgradig konfigurierbare Produkte einstellen muss. Diese Umstände stellen signifikante Herausforderungen für274

Bender, J.; Deckers, J.; Kirsch, L.; Ovtcharova, J.

Produktionsingenieure und Prozessplaner dar. Eine Möglichkeit, diese Herausforderungen abzuschwächen ist der Einsatz von Methoden aus dem Bereich Virtual
Reality (VR). VR ermöglicht eine Simulationsumgebung, um auf Basis von Internetof-Things-Lösungen (IoT) Produktions- und Prozessoptimierungen durchzuführen.
Somit kann eine geschlossene Engineeringprozesskette (Closed-Loop-Engineering)
für die Digitale Fabrik etabliert werden.
Dabei kommt VR nicht nur als Visualisierungsmedium zum Einsatz. In der Praxis
wird es zur Kollaboration eingesetzt, d.h. zur Schaffung eines gemeinsamen Verständnisses verschiedener Fachbereiche, um auf Basis einer fundierten Entscheidungsgrundlage zusammenzuarbeiten. Eine verbreitete Virtual-EngineeringMethode ist das VR-gestützte Design Review im Produktentwicklungsprozess. Die
Vorteile des Einsatzes von VR lassen sich auch auf die Optimierung von Prozessenübertragen. Beim Closed-Loop-Engineering fließen heterogene Informationen aus
verschiedenen Lebenszyklen zusammen. In dieser Veröffentlichung wird die Optimierung einer Produktionsanlage durch eine Rekonfiguration mittels Closed-LoopEngineering näher beleuchtet.

2

Der Prozessablauf bei Closed-Loop-Engineering

Dieser Abschnitt gibt eine kurze Einführung in die allgemeinen Ideen hinter dem
Closed-Loop-Engineering-Ansatz auf Basis eines Digitalen Zwillings, wie ursprünglich beschrieben in [2]. Bild 1 zeigt hierzu den grundlegenden Ablauf am Beispiel
einer bestehenden Anlage. Die linke Seite der Abbildung beschreibt einen möglichen Fehlerfall im Realbetrieb der Produktion. Darauf aufbauend umfasst die rechte
Seite die notwendigen Schritte bei der Problemlösung mittels einer Anlagenrekonfiguration.

Closed-Loop-Engineering

275

Bild 1: Systematisches Vorgehen im Closed-Loop-Engineering. [2]Im Folgenden wird der “Closed-Loop” näher erläutert. Es wird eine laufende Produktionslinie betrachtet (1). Während der Produktion kommt es zu einem Fehlerfall(2). Dieser umfasst beispielsweise den Ausfall einer Maschine in der Anlage. Eskann aber auch zu einem verminderten Durchsatz kommen, welcher als Ineffizienz
gewertet wird. Die Ursache dafür ist nicht direkt ersichtlich. Mögliche Gründe können Änderungen im Produktionsprozess, Verschleiß an den Maschinen oder ein
bereits existierender Planungsfehler der Produktionslinie sein.
Bei einer idealtypischen Integration eines digitalen Fabrik-Zwillings in einer Produktion werden alle erfassten Daten stetig weitergeleitet (3). Diese umfassen nicht nur
Fehlerfälle, sondern auch Maschinen-, Auftrags- und Umgebungsdaten. So ist die
Analyse des Problems ohne größere Verzögerungen möglich (4). In Bild 1 befinden
wir uns nun auf der rechten Seite.
Die Identifizierung der Ursache mittels des Digitalen Zwillings ermöglicht das Lösen
des Problems durch eine Umplanung der Anlage bzw. des Produktionsprozesses.
Diese Engineering-Änderungen werden durch Simulationen validiert, d.h. mit Methoden der virtuellen Inbetriebnahme (5). Sobald eine passende Lösung gefunden
wurde, wird sie erst in den Digitalen Zwilling überführt (6) und anschließend in derrealen Produktionslinie (7) umgesetzt.
Der Einsatz von Virtual Reality unterstützt hierbei die Analyse des Fehlerfalls (4),die Umplanung mithilfe von Simulationsmodellen sowie die Validierung des gesamten optimierten Produktionsprozesses (5). Auf diese Teilaspekte des Closed-LoopEngineering-Prozesses wird im Folgenden eingegangen. Zunächst schlagen wir
jedoch den Bogen über eine der Schlüsseltechnologien, auf die sich diese Arbeit
stützt, den Digitalen Zwilling.

276

3

Bender, J.; Deckers, J.; Kirsch, L.; Ovtcharova, J.

Stand der Technik: Digitaler Zwilling

Nach Kuhn [5] ist ein Digitaler Zwilling eine digitale Darstellung eines realen Objekts. In der Domäne Produktion können Digitale Zwillinge von unterschiedlichen
Granularitäten erstellt werden: vom Sensor über eine Maschine oder ein Produkt
bis hin zu einer ganzen Produktionslinie oder Fabrik. Der Digitale Zwilling ist nicht
einmal an die Existenz seines realen Gegenstücks gebunden. Im Falle eines Produkts oder einer Maschine in der Entwicklung kann der Digitale Zwilling lange vor
der Produktion des realen Objekts erstellt werden. Er kann über den gesamten
Produktlebenszyklus hinweg genutzt werden, um Daten zu sammeln und bereitzustellen. Diese Daten können CAD-Modelle, Parameter und Konfigurationen, Metadaten, Verhaltensmodelle und Zustandsinformationen wie den Maschinenzustandumfassen. Weiterhin ermöglicht der Digitale Zwilling Benutzern in verschiedenen
Rollen, die digitale Repräsentation des realen Objekts aus unterschiedlichen Perspektiven zu betrachten und mit ihr zu interagieren, ohne das Objekt selbst zu beeinflussen.
Bereits in der frühen Konstruktionsphase einer Maschine wird ein Digitaler Master
erstellt, der überwiegend CAD-Daten, Metadaten und Parameter enthält. Dieser
wird in der Planungsphase in ein Layout mit anderen Maschinen eingebettet, waszum Digitalen Master einer Produktionslinie oder eines Produktionszentrums führt.
Zu Beginn der Produktionsphase wird der eigentliche Digitale Zwilling aus dem
Digitalen Master durch die Bereitstellung der realen Objekte abgeleitet. Der Digitale
Zwilling erbt dann die Informationen seines Masters und ergänzt sie mit Informationen, die zur Laufzeit empfangen werden, wie Sensordaten oder Daten über den
Zustand der Produktionslinie. Es kann eine Vielzahl von Digitalen Zwillingen geben,
die von einem einzelnen Digitalen Master abgeleitet sind. Darüber hinaus können
die Digitalen Zwillinge vollständig simuliert oder mit realen Daten versorgt werden.
Der Digitale Zwilling erfüllt dabei keinen reinen Selbstzweck, sondern dient als
Grundlage für die Digitale Fabrik nach unserem Verständnis. Ursprünglich als Aggregation verschiedener Planungs- und Simulationsansätze für die Anlagentechnik
konzipiert [7], kann die Digitale Fabrik um die Echtzeit- und Realdatenverarbeitungsmöglichkeiten des Digitalen Zwillings erweitert werden. Simulation und Planung sind nur ein Teil des Kreislaufs, der Engineering und Produktion miteinander
verbindet. Der andere Teil sind die reale Information und das Wissen, das in der
Produktion gesammelt wurde und im Rahmen eines iterativen Entwicklungsprozesses wieder in das Engineering zurückfließt.
Zur Nutzung der Technologien Digitaler Zwilling und Digitale Fabrik im Rahmen derFabrikplanung und virtuellen Inbetriebnahme wird häufig VR eingesetzt. [10] VR als
Medium erlaubt die Anwendung von immersiven und interaktiven Planungsvorgehen. Jedoch wird an bisherigen Lösungen kritisiert, dass die Simulationen undUser-Interaktionen offline stattfinden [13].

Closed-Loop-Engineering

277

Darüber hinaus sind in den letzten Jahren zahlreiche akademische und kommerzielle Lösungen entstanden wie taraVRbuilder [16], IPO.Log [9], R3DT [14], Boxplan[15] oder game4automation [8], die sich auf verschiedene Aspekte des Anlagenbaus und der virtuellen Inbetriebnahme in VR bzw. 3D konzentrieren. Beispielsweise verfolgt Häfner [6] einen Ontologie-basierten Ansatz eine virtuelle Fabrik mittels
der Open-Source VR-Engine PolyVR intelligent aufzubauen und zu steuern. Choi etal. [3] präsentieren eine umfassende Liste von VR-Anwendungen in der Fertigungsindustrie.
Der in dieser Veröffentlichung vorgestellte Ansatz ist jedoch eng in die bestehende
reale Überwachungs- und Steuerungssoftware integriert und stellt somit ein leichtes
Werkzeug für Anlagenbauer dar, um die Auswirkungen von Layoutänderungen auf
Prozessebene schnell zu simulieren. Im Rahmen des Projekts wurde die kommerzielle Spieleengine Unity [17] eingesetzt. Diese ist vergleichsweise günstig, zugänglich, umgeben von einer großen Community und die mit Unity entwickelten Programme sind auf einer Vielzahl von Plattformen ausführbar.

4

Einsatz des Digitalen Zwillings im Closed-LoopEngineering mittels Virtual Reality

Wie in Kapitel 2 beschrieben verstehen wir unter Closed-Loop-Engineering dieenge Verzahnung von Planungs- und Produktionsphasen durch datengetriebene
Simulationsmodelle. Um kurze Iterationszyklen zu garantieren, existiert parallel zur
realen Anlage ein virtuelles Abbild. Der hier beschriebene Digitale Zwilling entsteht
bereits im Planungsprozess. Die notwendigen Daten stammen aus unterschiedlichen Systemen aus den verschiedenen Ebenen der Automatisierungspyramide. Es
folgt eine Aufzählung der relevanten Informationen aus drei abstrahierten Softwaresystemen: PLM-System: Produktinformationen (CAD- und Stammdaten), Auftragsinformationen, Lage- und Prozessinformationen der Produktionsressourcen Manufacturing Execution System (MES): abhängig von verfügbaren Produktionsressourcen und Produktanforderungen generierte Produktionspläne
 IoT-Plattform: Digitale Master und davon abgeleitet Digitale Zwillinge der Produktionsressourcen, Maschinen- und Umgebungsdaten aus dem Betrieb,
Analyseberichte über Ineffizienten
Um eine durchgängige Digitalisierung im Planungsprozess abzubilden, wird imersten Schritt eine reale Anlage, beschrieben in einer AutomationML-Datei (AML)[1], welche Lage- und Prozessinformationen beinhaltet, aus einem PLM-System in
ein domänenspezifisches Modell überführt. Dieses Modell wird genutzt, um in einer
kommerziellen IoT-Plattform den Digitalen Master und davon abgeleitet Digitale278

Bender, J.; Deckers, J.; Kirsch, L.; Ovtcharova, J.

Zwillinge der Produktionsressourcen anzulegen und auf das Fabriklayout abgestimmte Produktionspläne zu generieren. Eine Produktionsressource wird dabei
nicht nur durch die Geometrie und den Standort beschrieben, sondern ebenfalls
durch ihre Fähigkeiten. Im Laufe der Simulation zeichnet das System Sensor- undMaschinendaten auf, welche den Digitalen Zwillingen zugeführt werden. Basierend
auf der automatisierten Analyse der Sensordaten durch die IoT-Plattform werden
Ineffizienzen und potentielle Fehler im Layout identifiziert. Mit einem intuitiven Versuchsansatz können wir das Fabriklayout schnell rekonfigurieren. Die angehängte
VR-Echtzeitsimulation stellt eine umgehende Validierung der Layoutänderungensicher. Abschließend wird die optimierte Version des initialen Layouts via AML indas PLM-System zurückgeführt, um für die Implementierung in der echten Anlage
zu dienen.
Besonderheit bei der Echtzeitsimulation ist, dass sie nicht nur in regulärem 3D am
Monitor, sondern auch auf anderen VR-Systemen wie CAVEs oder Powerwalls
lauffähig ist. Insbesondere die VR-Simulation birgt große Potentiale. So können
sich Anwender frei innerhalb der Szene bewegen und Objekte von allen Seiten
betrachten und manipulieren. Im Rahmen der virtuellen Inbetriebnahme und damit
auch in unserem Konzept des Closed-Loop-Engineering können beispielsweise
Fehlerfälle aus der Realanlage in VR simuliert und durch den Anwender direkt analysiert werden. Dazu werden die Realdaten, die im Digitalen Zwilling während der
Produktion aggregiert wurden, in die VR-Simulation übertragen und dort zur Nachstellung des Fehlerfalls genutzt. Darüber hinaus wird nicht nur eine Entscheidungsgrundlage für mögliche Änderungen geschaffen, zusätzlich wird auch eine Validierung von unterschiedlichen Rekonfigurationen im Kontext des Digitalen Zwillings
möglich. Gleichzeitig können mit dem Digitalen Zwilling der virtuellen Maschinen
aus der Simulation wieder Daten zu Analyse- und Validierungszwecken generiert
werden.

5

Prototypische Implementierung anhand einer
Abfüllanlage

Zur Überprüfung des Konzepts wurde ein echtzeitfähiger VR-Demonstrator in der
Unity Spieleengine [17] entwickelt. Dieser nutzt die CONTACT CIM Database PLMLösung sowie die Elements for IoT Plattform [4] in Kombination mit einem vom FZI
in Java geschriebenen webbasierten Produktionsprozessplaner und Manufacturing
Execution System (MES). Der Anwendungsfall umfasst eine Abfüllanlage, in der
Flaschen von einer Füllmaschine gefüllt und dann durch Roboterarme mit mehreren
Werkzeugen verschlossen, graviert und verpackt werden. Kundenbestellungen sindanpassbar und können variable Mengen, verschiedene Flaschendesigns und Flüssigkeiten sowie eigene Gravuren definieren. Durch die Möglichkeit der Produktindi-Closed-Loop-Engineering279

vidualisierung verkomplizieren sich Produktionsplanung und -ausführung und das
MES ist gezwungen, sich an eine Reihe unterschiedlicher und nicht vorhersehbarer
Konstellationen anzupassen. Die Teilmenge des im Demonstrator simulierten Produktionsprozesses läuft vollautomatisiert ab. Bild 2 zeigt den Aufbau des Testszenarios.

Bild 2: Aufbau des virtuellen Testszenarios einer Abfüllanlage in Unity [2]Das Testszenario besteht aus einer Abfüllanlage, zwei Förderbändern, bis zu zwei
Roboterarme, ein Deckellager sowie Kisten, in die die Flaschen verpackt werden.
Das System generiert laufend Sensordaten z.B. zu Durchfluss, Gewicht auf den
Förderern und an den Greifern, die Winkelstellungen der Roboterarme und den
Gesamtdurchsatz der Anlage. Diese Daten werden in engen Intervallen an den
Digitalen Zwilling der Produktionsstraße gesendet. Zusätzlich beeinflussen sie die
Planung und Abarbeitung der Produktionsaufträge. So können bspw. über dasÜberladen des Förderbandes Warnungen oder Fehler, bis hin zum Stillstand derAnlage, provoziert werden. Darüber hinaus passt sich das MES zur Laufzeit an die
jeweilige Roboterkonfiguration an. Besitzt ein Roboter nicht alle benötigten Werkzeuge oder wird ganz entfernt, bspw. aufgrund von Wartungsarbeiten, versucht das
System, die jeweiligen Aufgaben auf den anderen Roboter umzulegen.
Im Testszenario lassen sich einfache Rekonfigurationen vornehmen, wie zum Beispiel das Einfügen, Entfernen oder Repositionieren der Roboterarme. Die Simulation passt sich automatisch an die Layoutänderungen an. Aus der Menge an möglichen Bestellparametern und Layoutkonfigurationen ergibt sich ein komplexes Gesamtmodell. Zusätzlich existiert die im Demonstrator genutzte Abfüllmaschine als
Realmaschine. Somit kann die Abfüllanlage aus der echten Welt um ihren Digitalen
Zwilling sowie zusätzliche rein virtuelle Maschinen in VR augmentiert werden. Daserlaubt die Anwendung von Methoden aus den Bereichen virtuelle Inbetriebnahme
und Prozessvalidierung.
Der Demonstrator dient im Wesentlichen als Testumgebung zur Entwicklung vonKonzepten und Algorithmen und zum Transfer von Forschungsergebnissen in Industrie, insbesondere auch für KMU. Sowohl der Demonstrator als auch die ihm

280

Bender, J.; Deckers, J.; Kirsch, L.; Ovtcharova, J.

zugrundeliegende Konzeptarbeit unterliegen noch weiterer Forschung und Entwicklung, sodass eine abschließende Bewertung an dieser Stelle nicht möglich ist. Wie
Bild 3 zeigt, wurde der Demonstrator schon mehrfach auf Messen und Veranstaltungen der Öffentlichkeit sowie Industriekontakten präsentiert. Die Reaktionen waren insgesamt positiv, da komplexe Produktionsprozesse mithilfe von VR in einem
immersiven Format dargestellt werden konnten. Dabei liegt der Fokus nicht auf
einer physikalisch genauen Simulation, welches das Ziel von vielen kommerziellen
Softwarewerkzeugen ist, sondern auf einer holistischen Prozesssimulation.

Bild 3: Besucher testen VR- und Monitorversionen des Demonstrators auf der Hannover Messe
2019 sowie im FZI House of Living LabsDie Implementierungen weiterer Anwendungsfälle zur Überprüfung des Konzeptes
sind geplant. Zur Evaluierung wird eine hochdynamische und flexible Fertigungsstraße real und virtuell aufgebaut. Hierbei sollen die Eigenschaften der Echtzeitfähigkeit der Simulation weiterentwickelt werden.

6

Zusammenfassung und Ausblick

In dieser Veröffentlichung wurde ein Closed-Loop-Engineering Ansatz genutzt, um
durch Rekonfiguration eine Produktionsanlage zu optimieren. Dabei wurden Technologien aus den Bereichen IoT, Digitaler Zwilling, Produktionsplanung und steuerung sowie VR genutzt. Es wurde gezeigt, wie VR im Produktionskontext als
immersives und interaktives Transfermedium für leichtgewichtige Prozesssimulationen und virtuelle Inbetriebnahmen angewendet werden kann.
Mit diesem Ergebnis wurden erste Schritte in Richtung der Implementierung eines
vielfältig anwendbaren Closed-Loop-Engineering-Ansatzes im Anlagenbau ge-Closed-Loop-Engineering

281

macht. In der nahen Zukunft werden wir die Anwendbarkeit des Demonstrators
weiter erhöhen, indem zusätzliche Industriestandards wie OPC Unified Architecture(OPC UA) [11] oder dem Robot Operating System (ROS) [12] integrieren werden.
In der Industrie besteht die Notwendigkeit, nicht nur Produkt und Ressourcen in
Systemen abzubilden, sondern ebenfalls die Prozessebene und damit die Dynamik
einer Fabrik. Durch VR-Anwendungen kann dieser Aspekt gut abgebildet werden.
Jedoch fehlt eine standarisierte Möglichkeit, dies in bestehenden Systemen abzubilden, zu verwalten und weiter zu verwerten.

7

Literatur[1]

AutomationML consortium: Whitepaper AutomationML Edition 2.1. 2018, URL:
www.automationml.org/o.red.c/dateien.html [02.09.2019][2]

Bender, J.; Deckers, J.; Fritz, S.; Ovtcharova, J.: Closed-Loop-Engineering –Enabler for Switft Reconfiguration in Plant Engineering. In: Proceedings of theEuropean Modeling and Simulation Symposium 2019, 18. – 20. September
2019, Lissabon, Portugal, 2019, im Erscheinen[3]Choi, S.; Jung, K.; Noh, S.D.: Virtual reality applications in manufacturingindustries: Past research, present findings, and future directions. In: Concurrent Engineering 23(1), 2015, S. 40-63[4]

CONTACT Software GmbH: Homepage. 2019, URL: www.contactsoftware.com/de/produkte/iot-plattform-fuer-digitale-geschaeftsmodelle/[02.09.2019][5]

Gesellschaft für Informatik e.V. (GI); Kuhn, T.: Lexikon: Digitaler Zwilling.
2019, URL: www.gi.de/informatiklexikon/digitaler-zwilling/ [02.09.2019][6]

Häfner, V.: Modelling Smart Virtual Environments. In: VAR² 2017 – Realität
erweitern, 4. Fachkonferenz zu VR/AR-Technologien in Anwendung und Forschung, Chemnitz, 2017, S. 151-162[7]

Kuhn, W.: Digital Factory - Simulation Enhancing the Product and Production
Engineering Process. In: Proceedings of the 2006 Winter Simulation Conference, Monterey, CA, USA, 2006, S. 1899 – 1906

[8]

in2sight GmbH: Homepage. 2019, URL: www.game4automation.com[02.09.2019][9]

IPO.Plan GmbH: Homepage. 2019, URL: www.ipoplan.de/software-ipolog/[02.09.2019][10] Menck, N.; Yang, X.; Weidig, C.; Winkes, P.; Lauer, C.; Hagen, H.; Hamann,B.; Aurich, J.C.: Collaborative Factory Planning in Virtual Reality. In: Procedia
CIRP, Volume 3, Athen, Griechenland, 2012, S. 317 – 322

282

Bender, J.; Deckers, J.; Kirsch, L.; Ovtcharova, J.

[11] OPC Foundation: Homepage. 2019, URL: www.opcfoundation.org[02.09.2019][12] Open Source Robotics Foundation, Inc.: Homepage. 2019, URL: www.ros.org[02.09.2019][13] Ovtcharova, J.; Grethler. M.: Beyond the Digital Twin – making analytics comealive., In: visIT , Industrial IoT – Digital Twin, Fraunhofer IOSB, Karlsruhe,2018[14] R3DT GmbH: Homepage. 2019, URL: www.r3dt.com [02.09.2019][15] SALT AND PEPPER Holding GmbH & Co. KG: Homepage. 2019, URL:
www.salt-and-pepper.eu/en/virtualreality/ [02.09.2019][16] tarakos GmbH: Homepage. 2019, URL: www.tarakos.de/taravrbuilder[02.09.2019][17] Unity Technologies: Homepage. 2019, URL: www.unity.com [02.09.2019]

2

VAR 2019 − Realität erweitern

5. Fachkonferenz zu VR/AR-Technologien
an der Professur Werkzeugmaschinenkonstruktion und Umformtechnik
der TU Chemnitz

Herausgeber
Prof. Dr.-Ing. Matthias Putz
Dr.-Ing. Philipp KlimantFranziska Klimant

ISBN
978-3-00-064420-7

Wichtige Hinweise:
Das Werk, einschließlich aller seiner Teile, ist urheberrechtlich geschützt. Jede Verwendung außerhalb der engen Grenzen des Urheberrechtsgesetzes ist ohne Zustimmung der Herausgeber unzulässig und strafbar. Das gilt insbesondere für Vervielfältigungen, Übersetzungen, Mikroverfilmungenund die Einspeicherung und Verarbeitung in elektronischen Systemen.
Die Autoren sind für den Inhalt ihrer Beiträge selbst verantwortlich. Die Herausgeber des Tagungsbandes übernehmen keine Gewähr, insbesondere für die Richtigkeit, Genauigkeit und Vollständigkeit der Angaben sowie die Beachtung privater Rechte.

© 2019Technische Universität Chemnitz
Fakultät für Maschinenbau
Professur Werkzeugmaschinenkonstruktion und Umformtechnik
http://www.tu-chemnitz.de/mb/WerkzMasch/

Zur Konferenz„Realität erweitern“ – so lautet auch das Motto der 5. Fachkonferenz zu
VR/AR-Technologien der Professur für Werkzeugmaschinen und Umformtechnik
der Technischen Universität Chemnitz. Im Mittelpunkt der Konferenz stehen neben
Basistechnologien virtueller Techniken wieder Anwendungsbeispiele von Virtualund Augmented Reality aus Industrie und Forschung.
Schon jetzt laden wir Sie herzlich zur 6. Fachkonferenz VAR² ein. Diese wird im
Dezember 2021 in Chemnitz stattfinden.

AVARE - Netzwerk zur Anwendung von Virtualund Augmented Reality
Mitveranstalter der Konferenz ist das durch die Professur geführte Forschungsnetzwerk AVARE (Netzwerk zur Anwendung von Virtual und Augmented Reality). In
diesem Netzwerk haben sich im Oktober 2015 interessierte Unternehmen zusammengeschlossen, um anwenderorientiert den Einsatz und die Möglichkeiten virtueller Techniken zu erforschen. Dabei orientiert sich die gemeinsame Forschung desNetzwerkes an drei Hauptentwicklungslinien:Integrative Lösungen für die direkte Weiterverwendung von 3D-Daten aus
der Konstruktion

Innovative Mensch-Maschine-Schnittstellen (MMI) für manuelle Tätigkeiten

Problemlösung durch Vernetzung aktiver Systeme mit VR/AR

Weitere Informationen zum AVARE-Netzwerk finden Sie unter www.avare.info