Situated production and understanding of verbal references to entities in large-scale space

“The robots are coming! ” – “I hope they know where they are going.and what they can and cannot do there! ” The work presented in this thesis addresses the fundamental questions of how machines, such as robots and other autonomous agents, can acquire a mental representation of their environment that allows them to (a) act and navigate in it, and (b) communicate about it with humans in natural language. We specifically investigate representations of structured environments that cannot be apprehended as a perceptual whole (i.e., large-scale space). This comprises, for instance, indoor domestic environments, or building ensembles. By that, the presented work goes beyond situated natural language interaction about an agent’s immediate surroundings (i.e., small-scale space), such as table-tops or single room spaces. Situated communication about entities – that is, things, places, properties, and events – in large-scale space requires the interlocutors to draw attention to entities that are not currently observable, and to comprehend which remote places and things are being talked about. We furthermore show how such representations that can be used for spoken interaction with human users also endow autonomous agents with skills for context-aware planning and execution of actions in structured environments that are made by and for humans. To this end, the presented spatial models have been implemented and deployed in integrated systems for intelligent mobile robots. We then present an approach for natural language generation and understanding that makes use of the acquired spatial models. It allows an agent to successfully generate and resolve natural language expressions that refer to entities in large-scale space. The approach is backed by observations from an empirical spoken language production experiment. The thesis concludes with a discussion of ongoing work to transfer the models made for intelligent mobile robots to autonomous virtual agents that act in an online virtual 3D world. Ausführliche Zusammenfassung “Die Roboter kommen! ” – “Ich hoffe, sie wissen, wo sie hinwollen.und was sie dort tun können – und was nicht! ” Die vorliegende Arbeit thematisiert die grundlegende Frage, wie Maschinen, wie etwa Roboter oder andere autonome Agenten, ein mentales Bild ihrer Umgebung erwerben können, mithilfe dessen sie (a) in ihrer Umgebung agieren und navigieren, und (b) mit Menschen in natürlicher Sprache über diese Umgebung kommunizieren können. Insbesondere untersuchen wir Repräsentationen von strukturierten Umgebungen, die nicht unmittelbar als Ganzes wahrgenommen werden können, so genannte großräumige Umgebungen (engl. ‘large-scale space’). Diese umfassen unter anderem häusliche Umgebungen oder Gebäudekomplexe. Dadurch geht die vorliegende Arbeit einen Schritt weiter als bisherige Modelle für die situierte Interaktion mit Agenten, welche in der Regel auf die unmittelbare Umgebung, d.h. so genannte kleinräumigeUmgebungen (engl. ‘small-scale space’), eines Agenten beschränkt waren. Im Gegensatz zu großräumigen Umgebungen können kleinräumige Umgebungen, zu denen üblicherweise einzelne Zimmer oder auf die Oberfläche eines Tisches begrenzte Szenen zählen, unmittelbar als Ganzes wahrgenommen werden. Die situierte Kommunikation über Dinge – weit gefasst: Objekte, Orte, Eigenschaften oder Ereignisse – in großräumigen Umgebungen verlangt von Gesprächspartnern einerseits, dass sie die Aufmerksamkeit ihrer Zuhörer auf Dinge lenken, die nicht unmittelbar wahrnehmbar sind, und dass sie andererseits verstehen, über welche an anderer Stelle befindlichen Dinge gerade gesprochen wird. In dieser Arbeit zeigen wir, wie Raummodelle von strukturierten, vonMenschen für Menschen geschaffenen Umgebungen, die zur situierten gesprochenen Interaktion mit Menschen dienen, von autonomen Agenten zur kontextbewussten Planung und Ausführung von Aktionen benutzt werden können. Dazu haben wir die räumlichen Modelle in integrierten Systemen implementiert, die für den Einsatz mit intelligenten mobilen Robotern gedacht sind. Schließlich präsentieren wir einen Ansatz, der die erworbenen Raummodelle zur situierten Verarbeitung natürlicher Sprache verwendet. Er erlaubt es