Computer Vision Methods for Unconstrained Gesture Recognition in the Context of Sign Language Annotation. (Méthodes de vision par ordinateur pour la reconnaissance de gestes naturelles dans le contexte de l'annotation en langue des signes)

Cette these porte sur l'etude des methodes de vision par ordinateur pour la reconnaissance de gestes naturels dans le contexte de l'annotation de la Langue des Signes. La langue des signes (LS) est une langue gestuelle developpee par les sourds pour communiquer. Un enonce en LS consiste en une sequence de signes realises par les mains, accompagnes d'expressions du visage et de mouvements du haut du corps, permettant de transmettre des informations en paralleles dans le discours. Meme si les signes sont definis dans des dictionnaires, on trouve une tres grande variabilite liee au contexte lors de leur realisation. De plus, les signes sont souvent separes par des mouvements de co-articulation. Cette extreme variabilite et l'effet de co-articulation representent un probleme important dans les recherches en traitement automatique de la LS. Il est donc necessaire d'avoir de nombreuses videos annotees en LS, si l'on veut etudier cette langue et utiliser des methodes d'apprentissage automatique. Les annotations de video en LS sont realisees manuellement par des linguistes ou experts en LS, ce qui est source d'erreur, non reproductible et extremement chronophage. De plus, la qualite des annotations depend des connaissances en LS de l'annotateur. L'association de l'expertise de l'annotateur aux traitements automatiques facilite cette tâche et represente un gain de temps et de robustesse. Le but de nos recherches est d'etudier des methodes de traitement d'images afin d'assister l'annotation des corpus video: suivi des composantes corporelles, segmentation des mains, segmentation temporelle, reconnaissance de gloses. Au cours de cette these nous avons etudie un ensemble de methodes permettant de realiser l'annotation en glose. Dans un premier temps, nous cherchons a detecter les limites de debut et fin de signe. Cette methode d'annotation necessite plusieurs traitements de bas niveau afin de segmenter les signes et d'extraire les caracteristiques de mouvement et de forme de la main. D'abord nous proposons une methode de suivi des composantes corporelles robuste aux occultations basee sur le filtrage particulaire. Ensuite, un algorithme de segmentation des mains est developpe afin d'extraire la region des mains meme quand elles se trouvent devant le visage. Puis, les caracteristiques de mouvement sont utilisees pour realiser une premiere segmentation temporelle des signes qui est par la suite amelioree grâce a l'utilisation de caracteristiques de forme. En effet celles-ci permettent de supprimer les limites de segmentation detectees en milieu des signes. Une fois les signes segmentes, on procede a l'extraction de caracteristiques visuelles pour leur reconnaissance en termes de gloses a l'aide de modeles phonologiques. Nous avons evalue nos algorithmes a l'aide de corpus internationaux, afin de montrer leur avantages et limitations. L'evaluation montre la robustesse de nos methodes par rapport a la dynamique et le grand nombre d'occultations entre les differents membres. L'annotation resultante est independante de l'annotateur et represente un gain de robustese important.