Verbal Assistance with Virtual Tactile Maps: a Multi-Modal Interface for the Non-Visual Acquisition of Spatial Knowledge

The non-visual access to overview information about spatial environments is highly important for blind and visually impaired people. Tactile maps explored by touch can be used as substitutes for visual maps, yet, it is harder to acquire information from them than from visual maps. This thesis discusses an interface that combines situated natural-language assistance and virtual variants of tactile maps to facilitate non-visual acquisition of spatial knowledge. The haptic part of the interface, virtual tactile maps, is perceived by a map user using a haptic human-computer device. Previous empirical work on the effectiveness of combining assisting utterances and tactile maps is limited. A set of assisting utterances for such an interface, specified based on a corpus study, is presented. Aside from information that allows to identify objects (such as: “This is the crossing between Broadway and 1st Avenue”), the set contains utterances informing the user about the local surroundings (such as: “Broadway is leftwards restricted by the map frame and forms a dead end to the right. Above Broadway, there is the town hall. .”). An evaluation of the effectiveness of assisting utterances to facilitate non-visual spatial knowledge acquisition from virtual tactile maps is discussed. Three controlled experiments were conducted with blindfolded sighted and a mixed group of blind and visually impaired participants, who are the potential user group. The empirical results show that, in general, assisting utterances facilitate the non-visual acquisition of knowledge from virtual tactile maps. This shows the potential of the combination of modalities to communicate information non-visually. Blind and visually impaired people acquire more knowledge from virtual tactile maps receiving assisting utterances than when they only receive information about the names of objects verbally. The empirical results show that blindfolded sighted people perform differently than blind and visually impaired people. A second goal of this thesis addresses the technical possibility of a system that generates assisting utterances as proposed. Such assisting utterances for explorations of virtual tactile maps are situated; that is, their content depends on the context of their articulation. The generation of situated assisting utterances is a technically challenging task, to which a solution is discussed. With respect to the technical plausibility of the assistance-generation system, an architecture for such a system is presented. This thesis is centered on the language-generation component of the system. Depending on the component detecting hand movements, the timing of the input to the generation component can vary. It is shown that a prototype of the generation component is robust against differently timed input. Furthermore, it is shown that the component works when integrated in a prototype of the complete system. To sum up, the results show the potential and the practicability of using natural language in combination with virtual haptics to present spatial information non-visually. The results imply that blind and visually impaired people are able to acquire integrated spatial knowledge. Furthermore, the results point towards differences in the integration of spatial language and haptic information between visually impaired and sighted people. Der nicht-visuelle Zugang zu Informationen uber raumliche Umgebungen ist auserst wichtig fur blinde und sehbehinderte Menschen. Erfuhlbare taktile Karten ermoglichen den nicht-visuellen Zugang zu Informationen, sind aber schwerer zu erfassen als visuelle Karten. Diese Dissertation beschaftigt sich mit einem Interface, dass sprachliche Assistenz und virtuelle taktilen Karten kombiniert und so den Erwerb von Uberblickswissen fur blinde und sehbehinderte Menschen vereinfacht. Der haptische Teil des Interfaces, virtuelle taktile Karten, kann mit einer haptischen Mensch-Computer-Schnittstelle wahrgenommen werden. Die bisherigen empirischen Ergebnisse, die sich mit der Kombination von raumlicher Sprache und taktilen Karten auseinandersetzen, sind begrenzt. Ein Set assistierender Auserungen, das auf der Basis einer Korpus-Studie erstellt wurde, wird diskutiert. Neben Informationen, die es erlauben Objekte zu identifizieren, vermitteln die Auserungen zum Beispiel Informationen uber die lokale Umgebung des Kartenobjekts. Eine Evaluation der Effektivitat assistierender Auserungen zur Vereinfachung des nicht-visuellen Wissenserwerbs wird vorgestellt. Dazu wurden drei Experimente mit sehenden Teilnehmern mit verbundenen Augen und mit blinden und sehbehinderten Teilnehmern durchgefuhrt. Die empirischen Ergebnisse zeigen, dass sprachliche Assistenz den nicht-visuellen Wissenserwerb im Allgemeinen unterstutzt. Dies zeigt das Potential der Kombination der Modalitaten, Informationen nicht-visuell zu vermitteln. Blinde und sehbehinderte Menschen bilden die potentielle Benutzergruppe. Sie erwerben mehr Wissen von virtuellen taktilen Karten, wenn sie entsprechende assistierende Auserungen erhalten, als wenn sie nur Informationen uber die Namen der Kartenobjekte erhalten. Die letztere Verwendung von sprachlichen Auserungen ist vergleichbar zu fruheren audio-taktilen Karten-Systemen. Die Resultate zeigen auch, dass sehende Menschen und blinde und sehbehinderte Menschen sich im Wissenserwerb unterscheiden. Ein zweites Forschungs-Ziel befasst sich mit der technischen Machbarkeit eines Systems, das automatisch sprachliche Assistenz generiert. Assistierende Auserungen sind situiert, das heist, ihr Inhalt hangt vom Kontext der Artikulation ab. Die Generierung situierter assistierender Auserungen ist eine technisch anspruchsvolle Aufgabe, fur die eine Losung beschrieben wird. Es wird eine Architektur fur ein System, das sprachliche Assistenz generiert, prasentiert. Diese Arbeit fokussiert auf die Sprach-Generierungs-Komponente eines solchen Systems. Es wird gezeigt, dass sich der Prototyp der Komponente robust gegenuber verschiedenen Input-Typen verhalt und dass er im Gesamtsystem funktioniert. Zusammengefasst zeigen die Resultate das Potential und die Umsetzbarkeit der Nutzung von Sprache in Kombination mit haptischen Schnittstellen zur nicht-visuellen Darstellung von raumlicher Information. Die Ergebnisse zeigen die Fahigkeit von sehbehinderten Menschen, integriertes raumliches Wissen zu erwerben. Des Weiteren deuten die Ergebnisse darauf hin, dass sehbehinderte Menschen Sprache und haptische Darstellungen anders integrieren als sehende Menschen.