Long-Term Compressive Memory Transformer for Encoding and Verbalizing Robot Experiences

Verbalization of past events and experiences is a key skill for autonomous robots as it increases user trust and system transparency. Since this requires a robot to store, filter and recall information about its former observations and actions, it needs to be equipped with an Episodic Memory (EM). Previous work introduced the task of Episodic Memory Verbalization (EMV) and presented a neural network architecture for approaching this problem. Based on an analysis of the current limitations, the present thesis proposes a new model for EM, called the Long-Term Compressive Memory Transformer, providing both unlimited context length as well as an EM constrained to a constant size. Furthermore, a notably larger and more diverse EMV dataset is collected, recording a multimodal data stream from thousands of simulated robot executions. Using the dataset of Bärmann et al. (2021) in addition to the newly collected one, the introduced model is trained and evaluated, thereby validating the feasibility of the proposed architecture with the results surpassing both a text-only baseline as well as the previous work. Moreover, a variant of the model featuring multiple compression levels is developed and empirically compared to the other approaches. Eventually, ablation studies on certain aspects of the chosen approach in combination with detailed analyses of all experimental results reveal that, although significant improvements were made, there are still unsolved problems in the EMV task. To facilitate future work in this field, the presented dataset, models and code will be released at https://gitlab.com/lbaermann. Kurzzusammenfassung: Verbalisierung vergangener Ereignisse und Erfahrungen ist eine Schlüsselfähigkeit für autonome Roboter und fördert das Vertrauen des Benutzers in die Technologie. Um zu ermöglichen, dass ein Roboter Informationen über seine früheren Beobachtungen und Handlungen speichert, filtert und abruft, muss er mit einem episodischen Gedächtnis (Episodic Memory, EM) ausgestattet werden. In vorherigen Arbeiten wurde die Aufgabe des Verbalisierens von Robotererfahrungen (Episodic Memory Verbalization, EMV) eingeführt und eine neuronale Netzwerkarchitektur zur Lösung dieses Problems vorgestellt. Basierend auf einer Analyse der Grenzen des bestehenden Systems schlägt die vorliegende Arbeit ein neues Modell names Long-Term Compressive Memory Transformer zur Erstellung von EM vor. Dieses bietet sowohl eine unbegrenzte Kontextlänge als auch ein auf eine konstante Größe beschränktes EM. Zusätzlich wird ein deutlich größerer und vielfältigerer EMV-Datensatz, der einen multimodalen Datenstrom aus Tausenden von simulierten Roboterausführungen beinhaltet, präsentiert. Unter Verwendung des Datensatzes von Bärmann et al. (2021) sowie des neu gesammelten Datensatzes wird das vorgestellte Modell trainiert und evaluiert, wobei die Ergebnisse sowohl eine text-only-Baseline als auch die vorherige Arbeit übertreffen. Darüber hinaus wird eine Variante des Modells mit mehreren Kompressionsstufen entwickelt und empirisch mit den anderen Ansätzen verglichen. Schließlich zeigen Ablationsstudien zu bestimmten Aspekten des gewählten Ansatzes in Kombination mit detaillierten Analysen aller experimentellen Ergebnisse, dass es mit Blick auf die EMV-Aufgabe trotz signifikanter Verbesserungen noch ungelöste Probleme gibt. Um zukünftige Arbeiten auf diesem Gebiet zu erleichtern, werden der vorgestellte Datensatz, die Modelle und der Code unter https://gitlab.com/lbaermann veröffentlicht werden.