Adaptive and immersive interfaces to improve situational awareness in multi-robot missions

Las misiones con multiples robots han experimentado un gran crecimiento en los ultimos anos. Este hecho se debe a que una flota de robots aporta mas eficacia, eficiencia, flexibilidad y tolerancia a fallos que un robot individual. Sin embargo, este tipo de misiones plantea una serie de retos relacionados con los factores humanos. Entre estos retos se pueden destacar la gestion de la carga de trabajo, el mantenimiento del conocimiento de la situacion, la gestion de situaciones de estres, etc. Esta tesis doctoral tiene como objetivo el desarrollo de una nueva generacion de interfaces que permitan a un solo operador controlar una flota de robots. Con este fin se emplean herramientas como la mineria de datos y el aprendizaje automatico para descubrir la informacion mas relevante y proporcionarla al operador, asi como tecnologias de realidad virtual y aumentada para crear interfaces inmersivas que mejoren su conocimiento de la situacion. La tesis se puede dividir en cuatro bloques: - Modelado de misiones: El objetivo es generar modelos de las misiones que permitan conocer lo que esta sucediendo en cada momento y seleccionar la informacion mas relevante. La tesis propone el uso de la mineria de procesos para modelar automaticamente las misiones a partir de los datos generados por las mismas. En concreto, se propone el uso de redes de Petri para determinar el estado de la mision y arboles de decision para predecir su evolucion. Tras probar todos los algoritmos de descubrimiento de modelos de la mineria de procesos se llego a la conclusion de que el algoritmo de minado inductivo es el mejor en el contexto de las misiones con multiples robots. - Modelado de operadores: El objetivo es generar modelos de los operadores para predecir su comportamiento durante la mision y poder proporcionarles la informacion que necesitan en cada momento. La tesis propone la clasificacion de los operadores segun sus estrategias para controlar las misiones y la prediccion de sus preferencias teniendo en cuenta los datos de las misiones anteriores. El primer paso se realiza utilizando algoritmos de agrupamiento (el algoritmo de particion alrededor de los medoides proporciona la mejor clasificacion), mientras que el segundo empleando distribuciones de probabilidad. - Interfaces adaptativas: Una vez obtenidos los modelos de las misiones y los operadores, el objetivo es descubrir la informacion relevante a partir de los datos generados por la mision y proporcionarla a los operadores a traves de la interfaz. La tesis propone el uso de redes neuronales para transferir funciones de los operadores a la interfaz. En concreto, los experimentos demuestran que estos modelos pueden ser utilizados para que la interfaz evalue las relevancias o riesgos de los robots de la forma en que lo hacen los operadores. - Interfaces inmersivas: Una vez seleccionada la informacion relevante segun el estado de la mision y las preferencias del operador, el objetivo es mostrarla de manera que alivie la carga de trabajo y mantenga el conocimiento de la situacion del operador. La tesis propone el desarrollo de interfaces inmersivas basadas en realidad virtual, que introducen a los operadores en el escenario en el que estan trabajando los robots. Los experimentos demuestran que estas interfaces mejoran el conocimiento de la situacion de los operadores sin incrementar su carga de trabajo. Todos los desarrollos de la tesis se han validado mediante experimentos con operadores, que tenian que supervisar y controlar flotas de robots (formadas por robots terrestres, aereos y manipuladores) para llevar a cabo misiones realistas (vigilancia e intervencion en entornos de desastre) en escenarios variados y relevantes (tantos exteriores como interiores). Palabras clave: Mision, Modelado de Misiones, Flota, Enjambre, Robot Terrestre, Robot Aereo, Robot Manipulador, Operador, Modelado de Operadores, Carga de Trabajo, Conocimiento de la Situacion, Estres, Interaccion Humano-Sistema, Autonomia, Supervision, Control, Interfaz, Interfaz Adaptativa, Interfaz Inmersiva, Realidad Virtual, Realidad Aumentada, Multimodal, Robotica, Mineria de Datos, Mineria de Procesos, Red de Petri, Arbol de Decision, Algoritmo de Descubrimiento de Modelos, Algoritmo de Minado Inductivo, Agrupamiento, Inteligencia Artificial, Aprendizaje Automatico, Redes Neuronales. ----------ABSTRACT---------- Missions involving multiple robots have experienced an unprecedented growth over the last years. The explanation behind this fact may be that using a robot fleet is more effective, efficient, flexible and fault tolerant than employing a single robot for the task. However, this kind of missions entail a set of challenges related to human factors. Among these challenges, the most remarkable include managing workload, keeping situational awareness and managing stressful situations. This PhD thesis aims at developing a new generation of interfaces that allow single operators to control robot fleets. For this purpose, data mining and machine learning tools are applied to discover relevant information and provide it to operators, whereas virtual and augmented reality technologies are used to create immersive interfaces that improve their situational awareness. The thesis can be split into four blocks: • Mission modeling: The objective is to generate mission models able to show what is happening at any moment and select relevant information. In this thesis, the use of process mining is proposed as a way to automatically model the missions through the data generated by them. Specifically, the use of Petri nets is proposed to determine the state of the mission, and decision trees are employed to predict its evolution. Among all the discovery algorithms of process mining that have been tested, the inductive miner provided the best results in the context of multi-robot missions. - Operator modeling: The objective is to generate operator models to enable a prediction of their behavior during the mission, in order to provide them with the most adequate information at any moment. The classification of operators is proposed according to their mission control strategies, and it is followed by the prediction of their preferences, taking into account the data of previous missions. The first step is performed by applying clustering algorithms (Partition Around Medoids provided the best classifications), whereas the second one is developed by using probability distributions. - Adaptive interfaces: Once the mission and operator models are obtained, the objective of this block is to discover the relevant information from the mission data and provide it to the operators through the interface. In this section of the thesis, the use of neural networks is proposed as a tool to transfer functions from operators to interfaces. Specifically, the experiments performed demonstrate that these models allow the interface to evaluate the relevances and risks of robots mirroring the way a human operator would. - Immersive interfaces: Once the relevant information is selected, according to the mission’s state and operator preferences; the objective of this last block is to transmit this information to the operators, while controlling their workload and keeping their situational awareness. In this thesis, the development of immersive interfaces is proposed based on virtual reality, which introduces the operators in the scenario where the robots are working. The experiments performed on this phase demonstrate that these interfaces improve the situational awareness of operators without increasing their workload. All the developments of the thesis have been validated through experiments with operators, who have monitored and commanded robot fleets (formed by ground, aerial and manipulator robots) to perform realistic missions (surveillance and intervention in disaster areas) in varied and relevant scenarios (both outdoors and indoors). Keywords: Mission, Mission Modeling, Fleet, Swarm, Ground Robot, Aerial Robot, Manipulator Robot, Operator, Operator Modeling, Workload, Situational Awareness, Stress, Human-System Interaction, Autonomy, Monitoring, Commanding, Interface, Adaptive Interface, Immersive Interface, Virtual Reality, Augmented Reality, Multimodal, Robotics, Data Mining, Process Mining, Petri Net, Decision Tree, Discovery Algorithm, Inductive Miner, Clustering, Artificial Intelligence, Machine Learning, Neural Networks.