Modèles structurés pour la reconnaissance d'actions dans des vidéos réalistes

Cette these decrit de nouveaux modeles pour la reconnaissance de categories d'actions comme "ouvrir une porte" ou "courir" dans des videos realistes telles que les films. Nous nous interessons tout particulierement aux proprietes structurelles des actions : comment les decomposer, quelle en est la structure caracteristique et comment utiliser cette information afin de representer le contenu d'une video. La difficulte principale a laquelle nos modeles s'attellent reside dans la satisfaction simultanee de deux contraintes antagonistes. D'une part, nous devons precisement modeliser les aspects discriminants d'une action afin de pouvoir clairement identifier les differences entre categories. D'autre part, nos representations doivent etre robustes en conditions reelles, c'est-a-dire dans des videos realistes avec de nombreuses variations visuelles en termes d'acteurs, d'environnements et de points de vue. Dans cette optique, nous proposons donc trois modeles precis et robustes a la fois, qui capturent les relations entre parties d'actions ainsi que leur contenu. Notre approche se base sur des caracteristiques locales --- notamment les points d'interets spatio-temporels et le flot optique --- et a pour objectif d'organiser l'ensemble des descripteurs locaux decrivant une video. Nous proposons aussi des noyaux permettant de comparer efficacement les representations structurees que nous introduisons. Bien que nos modeles se basent tous sur les principes mentionnes ci-dessus, ils different de par le type de probleme traite et la structure sur laquelle ils reposent. Premierement, nous proposons de modeliser une action par une sequence de parties temporelles atomiques correspondant a une decomposition semantique. De plus, nous decrivons comment apprendre un modele flexible de la structure temporelle dans le but de localiser des actions dans des videos de longue duree. Deuxiemement, nous etendons nos idees a l'estimation et a la representation de la structure spatio-temporelle d'activites plus complexes. Nous decrivons un algorithme d'apprentissage non supervise permettant de degager automatiquement une decomposition hierarchique du contenu dynamique d'une video. Nous utilisons la structure arborescente qui en resulte pour modeliser une action de maniere hierarchique. Troisiemement, au lieu de comparer des modeles structures, nous explorons une autre alternative : directement comparer des modeles de structure. Pour cela, nous representons des actions de courte duree comme des series temporelles en haute dimension et etudions comment la dynamique temporelle d'une action peut etre utilisee pour ameliorer les performances des modeles non structures formant l'etat de l'art en reconnaissance d'actions. Dans ce but, nous proposons un noyau calculant de maniere efficace la similarite entre les dependances temporelles respectives de deux actions. Nos trois approches et leurs assertions sont a chaque fois validees par des experiences poussees sur des bases de donnees publiques parmi les plus difficiles en reconnaissance d'actions. Nos resultats sont significativement meilleurs que ceux de l'etat de l'art, illustrant ainsi a quel point la structure des actions est importante afin de bâtir des modeles precis et robustes pour la reconnaissance d'actions dans des videos realistes.