Non-invasive user monitoring in daily tasks for cognitive rehabilitation

El uso de tecnicas para la monitorizacion del movimiento humano generalmente permite a los investigadores analizar la cinematica y especialmente las capacidades motoras en aquellas actividades de la vida cotidiana que persiguen un objetivo concreto como pueden ser la preparacion de bebidas y comida, e incluso en tareas de aseo. Adicionalmente, la evaluacion del movimiento y el comportamiento humanos en el campo de la rehabilitacion cognitiva es esencial para profundizar en las dificultades que algunas personas encuentran en la ejecucion de actividades diarias despues de accidentes cerebro-vasculares. Estas dificultades estan principalmente asociadas a la realizacion de pasos secuenciales y al reconocimiento del uso de herramientas y objetos. La interpretacion de los datos sobre la actitud de este tipo de pacientes para reconocer y determinar el nivel de exito en la ejecucion de las acciones, y para ampliar el conocimiento en las enfermedades cerebrales, sus consecuencias y severidad, depende totalmente de los dispositivos usados para la captura de esos datos y de la calidad de los mismos. Mas aun, existe una necesidad real de mejorar las tecnicas actuales de rehabilitacion cognitiva contribuyendo al diseno de sistemas automaticos para crear una especie de terapeuta virtual que asegure una vida mas independiente de estos pacientes y reduzca la carga de trabajo de los terapeutas. Con este objetivo, el uso de sensores y dispositivos para obtener datos en tiempo real de la ejecucion y estado de la tarea de rehabilitacion es esencial para tambien contribuir al diseno y entrenamiento de futuros algoritmos que pudieran reconocer errores automaticamente para informar al paciente acerca de ellos mediante distintos tipos de pistas como pueden ser imagenes, mensajes auditivos o incluso videos. La tecnologia y soluciones existentes en este campo no ofrecen una manera totalmente robusta y efectiva para obtener datos en tiempo real, por un lado, porque pueden influir en el movimiento del propio paciente en caso de las plataformas basadas en el uso de marcadores que necesitan sensores pegados en la piel; y por otro lado, debido a la complejidad o alto coste de implantacion lo que hace dificil pensar en la idea de instalar un sistema en el hospital o incluso en la casa del paciente. Esta tesis presenta la investigacion realizada en el campo de la monitorizacion del movimiento de pacientes para proporcionar un paso adelante en terminos de deteccion, seguimiento y reconocimiento del comportamiento de manos, gestos y cara mediante una manera no invasiva la cual puede mejorar la tecnicas actuales de rehabilitacion cognitiva para la adquisicion en tiempo real de datos sobre el comportamiento del paciente y la ejecucion de la tarea. Para entender la importancia del marco de esta tesis, inicialmente se presenta un resumen de las principales enfermedades cognitivas y se introducen las consecuencias que tienen en la ejecucion de tareas de la vida diaria. Mas aun, se investiga sobre las metodologias actuales de rehabilitacion cognitiva. Teniendo en cuenta que las manos son la principal parte del cuerpo para la ejecucion de tareas manuales de la vida cotidiana, tambien se resumen las tecnologias existentes para la captura de movimiento de manos. Una de las principales contribuciones de esta tesis esta relacionada con el diseno y evaluacion de una solucion no invasiva para detectar y seguir las manos durante la ejecucion de tareas manuales de la vida cotidiana que a su vez involucran la manipulacion de objetos. Esta solucion la cual no necesita marcadores adicionales y esta basada en una camara de profundidad de bajo coste, es robusta, precisa y facil de instalar. Otra contribucion presentada se centra en el reconocimiento de gestos para detectar el agarre de objetos basado en un sensor infrarrojo de ultima generacion, y tambien complementado con una camara de profundidad. Esta nueva tecnica, y tambien no invasiva, sincroniza ambos sensores para seguir objetos especificos ademas de reconocer eventos concretos relacionados con tareas de aseo. Mas aun, se realiza una evaluacion preliminar del reconocimiento de expresiones faciales para analizar si es adecuado para el reconocimiento del estado de animo durante la tarea. Por su parte, todos los componentes y algoritmos desarrollados son integrados en un prototipo simple para ser usado como plataforma de monitorizacion. Se realiza una evaluacion tecnica del funcionamiento de cada dispositivo para analizar si es adecuada para adquirir datos en tiempo real durante la ejecucion de tareas cotidianas reales. Finalmente, se estudia la interaccion con pacientes reales para obtener informacion del nivel de usabilidad del prototipo. Dicha informacion es esencial y util para considerar una rehabilitacion cognitiva basada en la idea de instalacion del sistema en la propia casa del paciente al igual que en el hospital correspondiente. ABSTRACT The use of human motion monitoring techniques usually let researchers to analyse kinematics, especially in motor strategies for goal-oriented activities of daily living, such as the preparation of drinks and food, and even grooming tasks. Additionally, the evaluation of human movements and behaviour in the field of cognitive rehabilitation is essential to deep into the difficulties some people find in common activities after stroke. This difficulties are mainly associated with sequence actions and the recognition of tools usage. The interpretation of attitude data of this kind of patients in order to recognize and determine the level of success of the execution of actions, and to broaden the knowledge in brain diseases, consequences and severity, depends totally on the devices used for the capture of that data and the quality of it. Moreover, there is a real need of improving the current cognitive rehabilitation techniques by contributing to the design of automatic systems to create a kind of virtual therapist for the improvement of the independent life of these stroke patients and to reduce the workload of the occupational therapists currently in charge of them. For this purpose, the use of sensors and devices to obtain real time data of the execution and state of the rehabilitation task is essential to also contribute to the design and training of future smart algorithms which may recognise errors to automatically provide multimodal feedback through different types of cues such as still images, auditory messages or even videos. The technology and solutions currently adopted in the field don't offer a totally robust and effective way for obtaining real time data, on the one hand, because they may influence the patient's movement in case of marker-based platforms which need sensors attached to the skin; and on the other hand, because of the complexity or high cost of implementation, which make difficult the idea of installing a system at the hospital or even patient's home. This thesis presents the research done in the field of user monitoring to provide a step forward in terms of detection, tracking and recognition of hand movements, gestures and face via a non-invasive way which could improve current techniques for cognitive rehabilitation for real time data acquisition of patient's behaviour and execution of the task. In order to understand the importance of the scope of the thesis, initially, a summary of the main cognitive diseases that require for rehabilitation and an introduction of the consequences on the execution of daily tasks are presented. Moreover, research is done about the actual methodology to provide cognitive rehabilitation. Considering that the main body members involved in the completion of a handmade daily task are the hands, the current technologies for human hands movements capture are also highlighted. One of the main contributions of this thesis is related to the design and evaluation of a non-invasive approach to detect and track user's hands during the execution of handmade activities of daily living which involve the manipulation of objects. This approach does not need the inclusion of any additional markers. In addition, it is only based on a low-cost depth camera, it is robust, accurate and easy to install. Another contribution presented is focused on the hand gesture recognition for detecting object grasping based on a brand new infrared sensor, and also complemented with a depth camera. This new, and also non-invasive, solution which synchronizes both sensors to track specific tools as well as recognize specific events related to grooming is evaluated. Moreover, a preliminary assessment of the recognition of facial expressions is carried out to analyse if it is adequate for recognizing mood during the execution of task. Meanwhile, all the corresponding hardware and software developed are integrated in a simple prototype with the purpose of being used as a platform for monitoring the execution of the rehabilitation task. Technical evaluation of the performance of each device is carried out in order to analyze its suitability to acquire real time data during the execution of real daily tasks. Finally, a kind of healthcare evaluation is also presented to obtain feedback about the usability of the system proposed paying special attention to the interaction with real users and stroke patients. This feedback is quite useful to consider the idea of a home-based cognitive rehabilitation as well as a possible hospital installation of the prototype.