Détection de marqueurs affectifs et attentionnels de personnes âgées en interaction avec un robot. (Audio-visual detection of emotional (laugh and smile) and attentional markers for elderly people in social interaction with a robot)

Ces travaux de these portent sur la detection audio-visuelle de marqueurs affectifs (rire et sourire) et attentionnels de personnes âgees en interaction sociale avec un robot. Pour comprendre efficacement et modeliser le comportement des personnes tres âgees en presence d'un robot, des donnees pertinentes sont necessaires. J'ai participe a la collection d'un corpus de personnes âgees notamment pour l'enregistrement des donnees visuelles. Le systeme utilise pour controler le robot est un magicien d'Oz, plusieurs scenarios de conversation au quotidien ont ete utilises pour encourager les gens a cooperer avec le robot. Ces scenarios ont ete elabores dans le cadre du projet ROMEO2 avec l'association Approche.Nous avons decrit tout d'abord le corpus recueilli qui contient 27 sujets de 85 ans en moyenne pour une duree totale de 9 heures, les annotations et nous avons discute des resultats obtenus a partir de l'analyse des annotations et de deux questionnaires. Ma recherche se focalise ensuite sur la detection de l'attention et la detection de rire et de sourire. Les motivations pour la detection de l'attention consistent a detecter quand le sujet ne s'adresse pas au robot et a adapter le comportement du robot a la situation. Apres avoir considere les difficultes liees aux personnes âgees et les resultats d'analyse obtenus par l'etude des annotations du corpus, nous nous interessons a la rotation de la tete au niveau de l'indice visuel et a l'energie et la qualite de voix pour la detection du destinataire de la parole. La detection de rire et sourire peut etre utilisee pour l'etude sur le profil du locuteur et de ses emotions. Mes interets se concentrent sur la detection de rire et sourire dans la modalite visuelle et la fusion des informations audio-visuelles afin d'ameliorer la performance du systeme automatique. Les expressions sont differentes des expressions actees ou poses a la fois en apparence et en temps de reaction. La conception d'un systeme qui marche sur les donnees realistes des personnes âgees est encore plus difficile a cause de plusieurs difficultes a envisager telles que le manque de donnees pour l'entrainement du modele statistique, l'influence de la texture faciale et de la facon de sourire pour la detection visuelle, l'influence de la qualite vocale pour la detection auditive, la variete du temps de reaction, le niveau de comprehension auditive, la perte de la vue des personnes âgees, etc. Les systemes de detection de la rotation de la tete, de la detection de l'attention et de la detection de rire et sourire sont evalues sur le corpus ROMEO2 et partiellement evalues (detections visuelles) sur les corpus standard Pointing04 et GENKI-4K pour comparer avec les scores des methodes de l'etat de l'art. Nous avons egalement trouve une correlation negative entre la performance de detection de rire et sourire et le nombre d'evenement de rire et sourire pour le systeme visuel et le systeme audio-visuel. Ce phenomene peut etre explique par le fait que les personnes âgees qui sont plus interessees par l'experimentation rient plus souvent et sont plus a l'aise donc avec des poses variees. La variete des poses et le manque de donnees correspondantes amenent des difficultes pour la reconnaissance de rire et de sourire pour les systemes statistiques.Les experimentations montrent que la rotation de la tete peut etre efficacement utilisee pour detecter la perte de l'attention du sujet dans l'interaction avec le robot. Au niveau de la detection de l'attention, le potentiel d'une methode en cascade qui utilise les modalites d'une maniere complementaire est montre. Cette methode donne de meilleurs resultats que le systeme auditif seul. Pour la detection de rire et sourire, en suivant le meme protocole « Leave-one-out », la fusion des deux systemes monomodaux ameliore aussi significativement la performance par rapport a un systeme monomodal au niveau de l'evaluation segmentale.