[en] The representation (or feature) learning has been an emerging concept in the last years, since it collects a set of techniques that are present in any theoretical or practical methodology referring to artificial intelligence. In computer vision, a very common representation has adopted the form of the well-known Bag of Visual Words. This representation appears implicitly in most approaches where images are described, and is also present in a huge number of areas and domains: image content retrieval, pedestrian detection, human-computer interaction, surveillance, e-health, and social computing, amongst others. The early stages of this dissertation provide an approach for learning visual representations inside evolutionary algorithms, which consists of evolving weighting schemes to improve the BoVW representations for the task of recognizing categories of videos and images. Thus, we demonstrate the applicability of the most common weighting schemes, which are often used in text mining but are less frequently found in computer vision tasks. Beyond learning these visual representations, we provide an approach based on fusion strategies for learning spatiotemporal representations, from multimodal data obtained by depth sensors. Besides, we specially aim at the evolutionary and dynamic modelling, where the temporal factor is present in the nature of the data, such as video sequences of gestures and actions. Indeed, we explore the effects of probabilistic modelling for those approaches based on dynamic programming, so as to handle the temporal deformation and variance amongst video sequences of different categories. Finally, we integrate dynamic programming and generative models into an evolutionary computation framework, with the aim of learning Bags of SubGestures (BoSG) representations and hence to improve the generalization capability of standard gesture recognition approaches. The results obtained in the experimentation demonstrate, first, that evolutionary algorithms are useful for improving the representation of BoVW approaches in several datasets for recognizing categories in still images and video sequences. On the other hand, our experimentation reveals that both, the use of dynamic programming and generative models to align video sequences, and the representations obtained from applying fusion strategies in multimodal data, entail an enhancement on the performance when recognizing some gesture categories. Furthermore, the combination of evolutionary algorithms with models based on dynamic programming and generative approaches results, when aiming at the classification of video categories on large video datasets, in a considerable improvement over standard gesture and action recognition approaches. Finally, we demonstrate the applications of these representations in several domains for human analysis: classification of images where humans may be present, action and gesture recognition for general applications, and in particular for conversational settings within the field of restorative justice.

[es] El aprendizaje de la representación (o de características) ha sido un concepto emergente en los últimos años, ya que recopila un conjunto de técnicas que están presentes en cualquier metodología teórica o práctica referente a la inteligencia artificial. En la visión por computador, una representación muy comuna ha adoptado la forma de la bien conocida Bolsa de Palabras Visuales (BdPV). Esta representación aparece implícitamente en la mayoría de aproximaciones para describir imágenes, y está también presente en un enorme número de áreas y dominios: recuperación de contenido en imágenes, detección de peatones, interacción humano-ordenador, vigilancia, e-salud, y la computación social, entre otras. Las fases iniciales de esta disertación proporcionan una aproximación para aprender representaciones visuales dentro de algoritmos evolutivos, que consisten en evolucionar esquemas de pesado para mejorar las representaciones BdPV en la tarea de reconocer las categorías de vídeos e imágenes. Por lo tanto, demostramos la aplicabilidad de los esquemas de pesado más comunes, que se utilizan a menudo en la minería de textos pero se encuentran con menos frecuencia en tareas de visión por computador. Más allá de aprender representaciones visuales, proporcionamos una aproximación basada en estrategias de fusión para el aprendizaje de representaciones espacio-temporales, a partir de datos multimodales obtenidos por sensores de profundidad. También, nuestro objetivo es especialmente el modelado evolutivo y dinámico, donde el factor temporal está presente en la naturaleza de los datos, como las secuencias de gestos y acciones. De hecho, exploramos los efectos del modelado probabilístico para aquellas aproximaciones basadas en programación dinámica para gestionar la deformación temporal y varianza entre secuencias de vídeo de categorías diferentes. Finalmente, integramos la programación dinámica y los modelos generativos en un marco de computación evolutiva, con el objetivo de aprender representaciones en Bolsas de SubGestos, y por lo tanto mejorar la capacidad de generalización de las aproximaciones estándares para el reconocimiento de gestos. Los resultados obtenidos en la experimentación demuestra, en primer lugar, que los algoritmos evolutivos son útiles para mejorar la representación de aproximaciones BdPV en diversas bases de datos para el reconocimiento de categorías en imágenes fijas y secuencias de vídeo. Por otra parte, nuestra experimentación revela que, tanto el uso de la programación dinámica y los modelos generativos para alinear secuencias de vídeos, como las representaciones obtenidas de aplicar estrategias de fusión en datos multimodales, conllevan una mejora en el rendimiento a la hora de reconocer algunas categorías de gestos. Además, la combinación de algoritmos evolutivos con modelos basados en programación dinámica y aproximaciones generativas resultan, a la hora de clasificar categorías de vídeos de bases de datos grandes, en una mejora considerable sobre las aproximaciones estándares de reconocimiento de gestos y acciones. Finalmente, demostramos las aplicaciones de estas representaciones en varios dominios para el análisis humano: clasificación de imágenes donde los humanos pueden estar presentes, el reconocimiento de acciones y gestos para aplicaciones en general, y en particular para entornos conversacionales dentro del campo de la justicia restaurativa.