[ca] L'aprenentatge de la representació (o de característiques) ha estat un concepte emergent en els darrers anys, ja que recopila un conjunt de tècniques que són presents en qualsevol metodologia teòrica o pràctica referent a la intel·ligència artifcial. En la visió per computador, una representació molt comuna ha adoptat la forma de la ben coneguda Bossa de Paraules Visuals (BdPV). Aquesta representació apareix implícitament en la majoria d'aproximacions per descriure imatges, i és també present en un enorme nombre d'àrees i dominis: recuperació de contingut en imatges, detecció de vianants, interacció humà-ordinador, vigilància, e-salut, i la computació social, entre d'altres. Les fases inicials d'aquesta dissertació proporcionen una aproximació per aprendre representacions visuals dins d'algorismes evolutius, que consisteix en evolucionar esquemes de pesat per millorar les representacions BdPV en la tasca de reconèixer les categories de vídeos i imatges. Per tant, demostrem l'aplicabilitat dels esquemes de pesat més comuns, que s'usen sovint en la mineria de textos però es troben amb menys freqüència en tasques de visió per computador. Més enllà d'aprendre representacions visuals, proporcionem una aproximació basada en estratègies de fusió per a l'aprenentatge de representacions espai- temporals, a partir de dades multi-modals obtingudes per sensors de profunditat. A més, el nostre objectiu és especialment el modelatge evolutiu i dinàmic, on el factor temporal és present en la naturalesa de les dades, com les seqüències de gestos i accions. De fet, explorem els efectes del modelatge probabilístic per aquelles aproximacions basades en programació dinàmica per a gestionar la deformació temporal i variància entre seqüències de vídeo de categories diferents. Finalment, integrem la programació dinàmica i els models generatius en un marc de computació evolutiva, amb l'objectiu d'aprendre representacions en Bosses de SubGestos i, per tant, millorar la capacitat de generalització de les aproximacions estàndards pel reconeixement de gestos. Els resultats obtinguts en l'experimentació demostra, en primer lloc, que els algorismes evolutius són útils per millorar la representació d'aproximacions BdPV en diverses bases de dades pel reconeixement de categories en imatges fxes i seqüències de vídeo. Per altra banda, la nostra experimentació revela que, tant l'ús de la programació dinàmica i els models generatius per alinear seqüències de vídeos, com les representacions obtingudes d'aplicar estratègies de fusió en dades multi-modals, comporten una millora en el rendiment a l'hora de reconèixer algunes categories de gestos. A més a més, la combinació d'algorismes evolutius amb models basats en programació dinàmica i aproximacions generatives resulten, a l'hora de classifcar categories de vídeos de bases de dades grans, en una millora considerable sobre les aproximacions estàndards de reconeixement de gestos i accions. Finalment, demostrem les aplicacions d'aquestes representacions en varis dominis per a l'anàlisi humà: classifcació d'imatges on els humans poden ser-hi presents, el reconeixement d'accions i gestos per aplicacions en general, i en particular per entorns conversacionals dins del camp de la justícia restaurativa.

[en] The representation (or feature) learning has been an emerging concept in the last years, since it collects a set of techniques that are present in any theoretical or practical methodology referring to artificial intelligence. In computer vision, a very common representation has adopted the form of the well-known Bag of Visual Words. This representation appears implicitly in most approaches where images are described, and is also present in a huge number of areas and domains: image content retrieval, pedestrian detection, human-computer interaction, surveillance, e-health, and social computing, amongst others. The early stages of this dissertation provide an approach for learning visual representations inside evolutionary algorithms, which consists of evolving weighting schemes to improve the BoVW representations for the task of recognizing categories of videos and images. Thus, we demonstrate the applicability of the most common weighting schemes, which are often used in text mining but are less frequently found in computer vision tasks. Beyond learning these visual representations, we provide an approach based on fusion strategies for learning spatiotemporal representations, from multimodal data obtained by depth sensors. Besides, we specially aim at the evolutionary and dynamic modelling, where the temporal factor is present in the nature of the data, such as video sequences of gestures and actions. Indeed, we explore the effects of probabilistic modelling for those approaches based on dynamic programming, so as to handle the temporal deformation and variance amongst video sequences of different categories. Finally, we integrate dynamic programming and generative models into an evolutionary computation framework, with the aim of learning Bags of SubGestures (BoSG) representations and hence to improve the generalization capability of standard gesture recognition approaches. The results obtained in the experimentation demonstrate, first, that evolutionary algorithms are useful for improving the representation of BoVW approaches in several datasets for recognizing categories in still images and video sequences. On the other hand, our experimentation reveals that both, the use of dynamic programming and generative models to align video sequences, and the representations obtained from applying fusion strategies in multimodal data, entail an enhancement on the performance when recognizing some gesture categories. Furthermore, the combination of evolutionary algorithms with models based on dynamic programming and generative approaches results, when aiming at the classification of video categories on large video datasets, in a considerable improvement over standard gesture and action recognition approaches. Finally, we demonstrate the applications of these representations in several domains for human analysis: classification of images where humans may be present, action and gesture recognition for general applications, and in particular for conversational settings within the field of restorative justice.