A Haptic-audio Human-Computer Interface : Acquisition of Indoor Spatial Knowledge by Visually Impaired People

For the visually impaired it is important to acquire knowledge about environments in advance. Haptic-audio interfaces have been proven as appropriate to repre- sent certain types of spatial knowledge in a non-visual manner. This dissertation elaborates on a haptic-audio interface that supports non-visual spatial knowledge acquisition of indoor environments. Three representational layers relevant for acquisition of indoor spatial knowl- edge using the haptic-audio interface are defined in the following: (a) knowledge concerning room access and the layout of individual rooms and whole flats, (b) knowledge about the location of functional facilities (such as, windows, radiators, and power-outlets), and (c) knowledge regarding the position of furniture. In corre- spondence, three research questions were investigated, namely (i) how to represent boundaries among areas and access to areas, (ii) how to represent linear spatial overlapping aroused by the presence of functional facilities, and (iii) how to represent 2-D spatial overlapping aroused by furniture pieces in rooms. Based on these considerations, a haptic-audio interface is implemented as non-visual floor plans that can be perceived with the PHANToM virtual force feedback device. In order to discuss the research questions mentioned above, a user-centered research methodology is employed in this dissertation. User behavior was observed and evaluated with help of usability studies. Users requirements and expectations were investigated through focus group studies. Based on empirical analyses of the three representation layers of the haptic-audio interface, this dissertation represents room access and layout of an indoor environment through virtual haptic models. Linear spatial overlaps are represented with the support of sonification. Further more, a two-phase haptic-audio exploration strategy is proposed to acquire spatial knowledge involving 2-D spatial overlapping: In the first phase, the floor plan on display is unfurnished and the functional facilities are sonified. Then in the second phase, virtualization of furniture pieces is further displayed. The empirical results show that spatial knowledge of room-access and layouts of indoor environments can be acquired by visually impaired people through exploration in haptic-audio virtual environment. Plausibility of acquiring spatial knowledge involving linear overlapping and 2-D overlapping is also presented. Fur sehbehinderte Menschen ist es wichtig, vorzeitig raumliches Wissen uber Umge- bungen zu erwerben. Haptisch-akustische Schnittstellen haben sich fur die nichtvisuelle Darstellung gewisser Arten raumlichen Wissens als geeignet erwiesen. Diese Dissertation stellt eine haptisch-akustische Schnittstelle vor, welche die Aneignung nichtvisuellen raumlichen Wissens uber Innenumgebungen unterstutzt. Drei Prasentationsebenen fur den Erwerb raumlichen Wissens mit Hilfe der haptisch-akustischen Schnittstelle werden definiert: (a) Wissen uber die Zuganglichkeit sowie Lage und Anordnung von Raumen und ganzen Wohnungen, (b) Wissen uber die Lage funktionaler Einrichtungen (wie Fenster, Heizkorper und Steck-dosen) und (c) Wissen uber die Lage von Mobelstucken. Dementsprechend werden drei Forschungsfragen gestellt, namlich nach der geeignetsten Darstellung (i) von Grenzen und Zuganglichkeit von Gebieten, (ii) von linearer raumlicher Uberlappung aufgrund der Anwesenheit mehrerer funktionaler Einrichtungen und (iii) von 2D-Uberlappungen aufgrund der Anwesenheit mehrerer Mobelstucke. Eine entsprechende haptisch-akustische Schnittstelle fur nichtvisuelle Grundrisse wird implementiert, welche mit dem PHANTOM Force-Feedback-Gerat benutzt werden kann. Um die oben gestellten Forschungsfragen zu bearbeiten, wird in dieser Arbeit eine nutzerzentrierte Methodologie verwendet. Das Nutzerverhalten wurde durch Usability-Studien beobachtet und ausgewertet. Nutzeranforderungen und -erwartungen wurden durch Fokusgruppenstudien untersucht. Aufgrund von empirischen Analysen der drei Prasentationsebenen der haptisch-akustischen Schnittstelle werden in dieser Dissertation die Zuganglichkeits- und Lageinformationen von Innenumgebungen durch virtuelle haptische Modelle reprasentiert. Die lineare raumliche Uberlappung wird mit Hilfe von Sonifizierung dargestellt. Um die Erfassungvon2D-Uberlappungenzuunterstutzen, wirdeinezweiphasigehaptisch-akustische Explorationsstrategie vorgeschlagen: In der ersten Phase wird nur ein Grundriss ohne Mobel, jedoch mit funktionalen Einrichtungen prasentiert. In der zweiten Phase kommen dann Reprasentationen von Mobelstucken hinzu. Die empirischen Ergebnisse zeigen, dass sehbehinderte Menschen durch Exploration einer virtuellen haptisch-akustischen Umgebung raumliches Wissen uber Raumzuganglichkeit, Lage und Anordnung in Innenumgebungen erwerben konnen. Ebenfalls wird es prasentiert, dass Nutzer raumliches Wissen uber lineare und 2D-Uberlappungen erwerben konnen.