Multimodale Bildsegmentierung gering strukturierter Umgebungen für die Navigation am Beispiel eines Assistenzsystems für sehbeeinträchtigte Personen
Multimodal image segmentation of low-structured environments for navigation on the example of an assistance system for visually impaired people
Creators: name: Seßner, Julian
Publisher: name: FAU University Press
Year: 2023
Subjects: subject: Ingenieurwissenschaften
subject: Maschinenbau
subject: Produktionstechnik
subject: Assistenzsystem
subject: Orientierung und Mobilität
subject: Sehbeeinträchtigung
subject: Maschinelles Lernen
subject: Rechnersehen
subject: Mensch-Maschine-Interaktion
subject: Medizintechnik
subject: 3D-Kamera
subject: Navigation
subject: Sehbehinderung
subject: Maschinelles Sehen
subject: Mensch-Maschine-Kommunikation
subject: Stereokamera
subject: DDC Classification::6 Technik, Medizin, angewandte Wissenschaften::60 Technik::600 Technik und Technologie
subject: DDC Classification::6 Technik, Medizin, angewandte Wissenschaften::62 Ingenieurwissenschaften::620 Ingenieurwissenschaften und zugeordnete Bereiche

description: Parallel erschienen als Druckausgabe bei FAU University Press, ISBN: 978-3-96147-697-8
description: Beeinträchtigungen der optischen Wahrnehmung führen bei Menschen zu großen Herausforderungen der alltäglichen Mobilität. Konventionelle Mobilitätshilfen wie der Blindenlangstock liefern in unbekannten oder unstrukturierten Umgebungen häufig keine ausreichende Unterstützung, sodass die Assistenz sehender Personen benötigt wird. Um dennoch ein erhöhtes Maß an Selbstständigkeit zu ermöglichen, werden im Rahmen dieser Dissertation Methoden des maschinellen Lernens für die Assistenz untersucht. Dabei werden Daten einer 3D-Kamera mittels faltender neuronaler Netze semantisch segmentiert, um Wegverläufe und Hindernisse in gering strukturierter Umgebung zu kartieren. Des Weiteren werden ergänzende Sensormodalitäten zur Erfassung der Umgebung untersucht. Die gewonnenen Informationen können in Umgebungskarten überführt und durch die Berechnung eines sicheren Pfades für die Navigation genutzt werden. Die Navigationsanweisungen können schließlich über akustische und vibrotaktile Schnittstellen an die nutzende Person intuitiv übermittelt werden. Mittels eines Demonstrators in Form eines Rucksacks werden die Methoden werden im Rahmen von Labor- und Feldtests bewertet. Die Nutzerfreundlichkeit und Intuitivität werden im Rahmen von Probandenstudien untersucht.
description: Impairments in visual perception lead to major challenges in everyday mobility for people. Conventional mobility aids such as white canes do often do not provide sufficient support in unknown or unstructured unfamiliar or unstructured environments, so the assistance of sighted persons is needed. In order to enable an increased level of autonomy anyway, machine learning methods for assistance are investigated in the context of this dissertation. In this approach, data from a 3D camera are semantically segmented using convolutional neural networks to map pathways and obstacles in low-structured environments. Furthermore, complementary sensor modalities for sensing the environment are investigated. The acquired information can be transformed into environment maps and used for navigation by computing a safe path. Finally, the navigation instructions can be intuitively transmitted to the user via acoustic and vibrotactile interfaces. Using a demonstrator in the form of a backpack, the methods are evaluated in laboratory and field tests. User-friendliness and intuitiveness are examined within the scope of subject studies.