Embedded brain reading

Current autonomous robots and interfaces are far from exhibiting the adaptability of biological beings regarding changes in their environment or during interaction. They are not always able to provide humans the best and a situation-specific support. Giving the robot or its interface insight into the human mind can open up new possibilities for the integration of human cognitive resources into robots and interfaces, i.e., into their intelligent control systems, and can particularly improve humanmachine interaction. In this thesis embedded Brain Reading (eBR) is developed. It empowers a human-machine interface (HMI), which can be a robotic system, to infer the human’s intention and hence her/his upcoming interaction behavior based on the context of the interaction and the human’s brain state. To enable eBR, an automatic context recognition or generation as well as online, single-trial brain signal decoding, i.e., Brain Reading (BR) for the detection of specific brain states, are required. The human’s electroencephalogram (EEG) recorded from the head’s surface is used in this work as a measure of brain activity. Experiments are conducted in controlled experimental setups, where subjects have to execute differently complex and demanding simple and dual-task behavior as it is performed during human-machine interaction. Using these experiments the applicability and reliability of BR is confirmed as well as training procedures for BR are improved. Furthermore, a formal model for eBR is developed and shown to be applicable for different implementations of eBR. The formal model is the first step to check implementations of eBR for their correctness and completeness. By means of robotic applications for tele-manipulation and rehabilitation it is further shown that eBR can be applied to either adapt or to drive HMIs, i.e., can be used to implement predictive HMIs for passive or active support. In case that eBR is applied for passive support, it is shown that malfunction of the whole system can be avoided. On the other hand, in case that eBR is applied for active support, i.e., to actively drive an HMI, it is shown that an individual adaptation of the support with respect to the requirements of different users can be facilitated by utilizing multi-modal signal analysis in eBR. Finally, it is shown that even in case of passive support eBR can measurably improve human-machine interaction. Zusammenfassung Autonome Roboter und Mensch-Maschine Schnittstellen sind heutzutage noch nicht so adaptiv und flexibel im Bezug auf Veränderungen in ihrer Umgebung oder sich ändernden Anforderungen ihres Interaktionspartners, wie es biologische Systeme sind. Aus diesem Grund erfüllen solche technischen Systeme nur eingeschränkt die Anforderung, Menschen situationsspezifisch und entsprechend wechselnden Gegebenheiten optimal zu unterstützen. Um dies zu ändern, ist es notwendig, dass robotische Systeme und ihre Schnittstellen Einsicht in die Gedankenwelt des Menschen erhalten. Dies ermöglicht es dem technischen System, menschliche kognitive Ressourcen zur Optimierung ihrer intelligenten Kontrolle und somit zur Optimierung der Interaktion zwischen Mensch und Maschine zu nutzen. In dieser Arbeit wird embedded Brain Reading (eBR) entwickelt. Es befähigt eine Mensch-Maschine Schnittstelle, die ein robotisches System sein kann, Annahmen über die Absichten des interagierenden Menschen aufzustellen und damit zukünftiges Verhalten im Kontext der Interaktion und basierend auf dem ermittelten Zustand des Gehirns vorherzusagen. Dementsprechend wird für die Realisierung von eBR eine automatische Erkennung des Kontextes der Interaktion als auch eine "online" fähige Entschlüsselung von Gehirnaktivität im sogenannten "single-trial" Verfahren, also die Erkennung spezifischer Gehirnzustände mittels Brain Reading (BR), benötigt. Das menschliche, von der Kopfoberfläche gemessene Elektroenzephalogramm (EEG) wird in dieser Arbeit als Methode zur Messung der Gehirnaktivität genutzt. Experimente, in denen Probanden unterschiedlich komplexe und anspruchsvolle Verhalten, so wie sie auch bei der Interaktion zwischen Mensch und Maschine auftreten würden, ausführen müssen, werden in kontrollierten Versuchsumgebungen durchgeführt. Anhand dieser Experimente werden die Zuverlässigkeit von BR gezeigt und Trainingsverfahren für BR verbessert. Des weiteren wird in dieser Arbeit ein formales Model für eBR entwickelt. Für dieses wird gezeigt, dass es für verschiedene Implementierungen von eBR anwendbar ist. Das formale Modell erlaubt Implementierungen von eBR zu verbessern und auf ihre Korrektheit und Vollständigkeit zu überprüfen. Basierend auf Anwendungen aus der Robotik, genauer auf Basis von Telemanipulationsund Rehabilitationsanwendungen, wird außerdem gezeigt, dass eBR genutzt werden kann, um Mensch-Maschine Schnittstellen entweder in ihrer Funktionalität anzupassen, also auf die Anforderungen des Menschen zu optimieren und passiv zu unterstützen oder um die Schnittstelle selbst aktiv zu steuern. Die durch eBR adaptierte oder gesteuerte Schnittstellen werden predictive HMIs genannt. Für den Fall, dass sie für die passive Unterstützung eingesetzt werden, wird gezeigt, dass Fehlfunktionen des Gesamtsystems, welche durch Fehlinterpretationen der Gehirnaktivität potentiell möglich sind, vermieden werden können. Andererseits wird gezeigt, dass der Einsatz von eBR für die aktive Kontrolle von solchen predictive HMIs eine individuelle Anpassung dieser an die Anforderungen des Nutzers oder der Situation, wie z.B. dem Stand der Therapie, ermöglicht. Schlussendlich wird mittels eines Experimentes gezeigt, dass auch für den Fall, dass eBR für die passive Unterstützung eingesetzt wird, die Interaktion zwischen Mensch und Maschine messbar verbessert wird.