Facial detection and expression recognition applied to social robots

espanolEl reconocimiento de expresiones faciales es un lenguaje no verbal que determina un papel importante en la comunicacion, comportamiento e interaccion del ser humano. Recientemente ha surgido un gran interes en realizar reconocimiento de expresiones faciales en el ambito de la Interaccion Hombre-Robot (IHR). Dicha interaccion entre robot y persona esta orientada a diferentes ambitos como video-vigilancia, cuidados sanitarios, seguridad vial, deteccion de enganos, etc. En este trabajo de investigacion se ha avanzado en tres lineas encaminadas a mejorar dicha interaccion: deteccion de caras, reconocimiento de la expresion facial, y un sistema de interaccion hombre-robot implementado en el robot social. La deteccion de caras es el primer eslabon de un sistema capaz de interactuar con una persona. Referente a este topico existen numerosos algoritmos capaces de detectar el rostro. En esta tesis se presenta un nuevo metodo basado en el trabajo propuesto por Viola-Jones pero utilizando un modelo a contrario, el cual mejora la precision de una cascada clasica, a un coste computacional mucho menor. La clasificacion de la expresion facial se lleva a cabo con una red neuronal convolucional, aplicando un pre-procesamiento y haciendo uso de diferentes bases de datos. Con ello se ha conseguido una tasa de acierto cercana a la del ser humano. Ademas, se ha evaluado la capacidad humana para reconocer las expresiones y se han contrastado los resultados con la red neuronal. Por ultimo, se ha disenado una aplicacion con el robot social para la evaluacion y validacion del sistema propuesto en un entorno real. El robot interactua con el usuario a traves de una dinamica de juego donde el jugador debe ir realizando expresiones faciales y el robot actua en consecuencia a la emocion que ha expresado el jugador. catalaEl reconeixement d'expressions facials es un llenguatge no verbal que te un paper important en la comunicacio, comportament i interaccio de l'esser huma. Recentment ha sorgit un gran interes a realitzar reconeixement d'expressions facials a l'ambit de la Interaccio Home-Robot (IHR). Aquesta interaccio entre el robot i la persona esta orientada a diferents ambits com la video-vigilancia, cures sanitaries, seguretat viaria, deteccio d'enganys, etc. En aquest treball de recerca s'ha avancat en tres linies destinades a millorar la interaccio: la deteccio de cares, el reconeixement de l'expressio facial, i un sistema d'interaccio home-robot implementat en el robot social. La deteccio de cares es el primer pas d'un sistema capac d'interactuar amb una persona. Referent a aquest tema, hi ha nombrosos algoritmes capacos de detectar la cara. En aquesta tesi es presenta un nou metode basat en el treball proposat per Viola-Jones pero utilitzant un model "a contrario", el qual millora la precisio d’una cascada classica, a un cost computacional molt menor. La classificacio d'expressio facial es duu a terme amb una xarxa neuronal convolucional, aplicant un pre-processament i fent us de diferents bases de dades. D’aquesta manera s'ha aconseguit una taxa d'encert propera a la de l'esser huma. A mes, s'ha avaluat la capacitat humana en reconeixer expressions facials i s'han contrastat aquests resultats amb la xarxa neuronal. Finalment, s'ha dissenyat una aplicacio amb el robot social per a l'avaluacio i validacio del sistema proposat en un entorn real. El robot interactua amb l'usuari a traves d'una dinamica de joc, on el jugador ha d'anar realitzant expressions facials i el robot actua en consequencia a l'emocio que s’ha expressat. EnglishFacial expression is a non-verbal language that plays an important role in the communication, behaviour and interaction among humans. Recently, there has been a growing interest in the recognition of facial expressions in the field of Human-Robot Interaction (HRI). This interaction between robots and persons finds applications in different areas such as video surveillance, health care, road safety, etc. This research work has progressed in three lines designed to improve this interaction: face detection, facial expression recognition, and their integration into a human-robot interaction system implemented in a social robot. Face detection is the first step in a system in order to interact with a person. Many algorithms have been proposed for face detection. In this thesis a new method inspired on the classical Viola-Jones algorithm but using an a contrario statistical model in the detection step is presented. This method improves the accuracy of the original method, at a much lower computational cost. Facial expression classification is performed with a convolutional neuronal network, after a pre-processing of the input face images and using different datasets for training and testing. The developed network has achieved a success rate close to that of humans. In addition, the human capacity to recognize expressions has been evaluated and the results have been compared with the ones obtained with the neural network. Finally, an application with a social robot has been designed for the evaluation and validation of the proposed system in a real environment. The robot interacts with the user through a dynamic game where the player performs a series of facial expressions and the robot acts in response to the emotion expressed by the player.