Robust Expert Systems for more Flexible Real-World Activity Recognition

espanol(Resumen) El analisis del comportamiento humano ha despertado un tremendo interes durante los ultimos anos. Este tipo de estudio se plantea como una herramienta fundamental para una mejor comprension de las necesidades individuales de cada persona asi como para ayudar a satisfacer dichas necesidades. Uno de los campos de investigacion con mas relevancia dentro del estudio del comportamiento humano es el encargado del reconocimiento de la actividad humana. El reconocimiento de la actividad humana tiene como objetivo la identificacion automatica de las conductas del ser humano a partir de la observacion de las acciones ejecutadas por el mismo y su interaccion con el entorno que le rodea. El conocimiento adquirido a traves del analisis del comportamiento humano es actualmente aprovechado en multiples areas, tales como el deporte o la industria del videojuego, manifestando un especial interes en el ambito de la salud y el bienestar. Los sistemas de monitorizacion portables o ? vestibles? se encuentran a la vanguardia del reconocimiento de la actividad humana. Estos sistemas hacen uso de sensores capaces de medir el movimiento humano y que son integrados en dispositivos especificos o articulos de uso cotidiano como relojes, brazaletes o bandas. Son muchas las contribuciones proporcionadas hasta la fecha en el ambito del reconocimiento automatico de la actividad humana, alcanzando muchos de los sistemas propuestos una alta eficiencia en la deteccion e identificacion de la actividad. No obstante, la inmensa mayoria de los sistemas desarrollados hasta la fecha son originariamente ideados para operar en condiciones ideales o de laboratorio. En consecuencia, el uso de estos sistemas en el mundo real presenta serias limitaciones que reducen de forma significativa su utilidad o incluso imposibilitan su aplicacion. Para poder ser ampliamente utilizados en condiciones reales los sistemas de reconocimiento de la actividad requieren cumplir una serie de requisitos, los cuales presentan complejos retos que apenas han sido investigados en este campo. Los sistemas de reconocimiento de la actividad son normalmente disenados asumiendo una configuracion predeterminada de los sensores. Mas aun, se acepta que esta configuracion permanece de forma invariable durante el uso habitual de dichos dispositivos. No obstante, los sensores estan sujetos a fallos, errores o defectos consecuencia de caidas, roturas, falta de bateria u otro tipo de anomalias tecnologicas. Asimismo, el despliegue de los sensores puede cambiar sensiblemente durante el uso de los sistemas de reconocimiento. Este tipo de variaciones, perfectamente razonables en el mundo real, son dificilmente toleradas por aquellos sistemas concebidos para operar en condiciones ideales. En consecuencia, el uso de dichos sistemas en la vida real esta sujeto a fallos que pueden llevar en algunos casos incluso a una total inoperancia del sistema. En esta tesis se investiga el comportamiento de los sistemas de reconocimiento concebidos para operar en condiciones ideales cuando son utilizados en escenarios realisticos. Asimismo, esta tesis propone alternativas a la metodologia de reconocimiento clasica para superar las limitaciones impuestas por el uso de dichos sistemas en el mundo real. Un nuevo sistema experto, el clasificador jerarquico ponderado, capaz de aprovechar el potencial proporcionado por configuraciones multisensor es particularmente desarrollado para lidiar con los efectos producidos por fallos tecnologicos en los sensores. Dicho modelo demuestra capacidades de reconocimiento similares a las que proporcionan otros sistemas de reconocimiento estandar en condiciones ideales, ademas de superar a estos en terminos de tolerancia a fallos en los sensores. Asimismo, el clasificador jerarquico ponderado demuestra una alta tolerancia a variaciones introducidas en la disposicion de los sensores en el cuerpo del sujeto, normalmente motivadas por la forma en que los usuarios se colocan los dispositivos que incorporan dichos sensores. Otras variaciones en el sistema de sensado se pueden producir cuando sensores defectuosos u obsoletos son reemplazados por otros como parte de operaciones de mantenimiento, o cuando sensores adicionales a los definidos en fase de diseno son incorporados en un proceso de actualizacion del sistema de reconocimiento. En consecuencia, resulta necesario realizar un entrenamiento especifico para el uso de los nuevos sistemas incorporados, lo cual requiere de un proceso muy costoso atendiendo al modo de aprendizaje estandar para estos sistemas. Alternativamente, en esta tesis se define un nuevo metodo innovador que permite la transferencia automatica de las habilidades de reconocimiento de la actividad de un sistema existente y funcional a otro que no cuenta con dichas capacidades o no esta entrenado. El metodo desarrollado permite la transferencia de conocimiento multimodal, es decir, se puede utilizar incluso para la transferencia de conocimiento entre sistemas que operan sobre diferentes modalidades de sensores o fuentes heterogeneas de informacion. El proceso de transferencia de conocimiento se realiza de forma rapida y sin necesidad de intervencion por parte del usuario o un experto, lo cual lo hace especialmente viable para su utilizacion en contextos reales. El potencial de los modelos expertos desarrollados en esta tesis abre por si mismo nuevas lineas de investigacion en el ambito del reconocimiento de la actividad humana, como son los sistemas de reconocimiento auto-configurables y personalizables, los sistemas autoadaptativos y los sistemas de reconocimiento evolutivos. En este sentido, esta tesis define un nuevo conjunto de oportunidades para hacer funcionales los sistemas de reconocimiento de la actividad en el mundo real. English(Abstract) During the last years a tremendous interest in the analysis of human behavior has emerged to better understand and meet people's needs and demands. One of the most relevant research areas that investigate people behavior is human activity recognition. Human activity recognition aims at identifying human conducts in an autonomous fashion from the observation of a person's actions and their interaction with the surroundings. The flourishing of activity recognition is having a great impact in society and is extremely valuable in a wide variety of fields such as wellness, healthcare, sports or gaming. The use of wearable or on-body sensors to monitor the human behavior is now on the forefront of human activity recognition. Nevertheless, the actual results for human activity recognition are fairly constrained and generally restricted to ideal or laboratory scenarios. Activity recognition systems are designed to comply with ideal conditions and are of limited utility in realistic domains. To become real-world applicable, activity recognition systems must satisfy operational and quality requirements that pose complex challenges, most of which have been sparsely and vaguely investigated to date. Classic activity recognition systems assume that the sensor setup remains identical during the lifelong use of the system. However, in users' daily life, sensors may fail, run out of battery, be misplaced or experience topological variations. These changes may lead to significant variations in the sensor measurements with respect to the default case. Consequently, activity recognition systems devised for ideal conditions may react in an undesired manner to imperfect, unknown or anomalous sensor data. This potentially translates into a partial or total malfunctioning of the activity recognition system. In this thesis, novel expert systems are proposed to address the challenges of making activity recognition systems functional in real-world scenarios. A novel methodology, the hierarchical weighted classifier, that leverages the potential of multi-sensor configurations, is defined to overcome the effects of sensor failures and faults. This approach proves to be as valid as other standard activity recognition models in ideal conditions while outperforming them in terms of robustness to sensor failure and fault-tolerance. This methodology also shows outstanding capabilities to assimilate sensor deployment anomalies motivated by the user self-placement of the sensors. Furthermore, an novel multimodal transfer learning method that operates at runtime, with low overhead and without user or system designer intervention is developed. This approach serves to automatically translate activity recognition capabilities from an existing system to an untrained system even for different sensor modalities. This is of key interest to support sensor replacements as part of equipment maintenance, sensor additions in system upgrades and to benefit from sensors that happen to be available in the user environment. The potential of these advanced expert models leads to new research directions such as autonomous systems self-configuration, auto-adaptation and evolvability in activity recognition. Thus, this thesis opens-up a new range of opportunities for activity recognition systems to operate in real-world scenarios.