Projet ANR-15-CE23-0005 – CEEGE : Estimation d'expertise en echec a partir de l'observation de fixation et emotion
Programme : Interactions humain-machine, objets connectés, contenus numériques, données massives et connaissance (DS0707) 2015
Année de financement : 2015
Coordinateur du projet : Monsieur James Crowley (Institut National de Recherche en Informatique et en Automatique)
Partenaires : Laboratoire public; Bielefeld University Neurocognition and Action  Research Group  CITEC
Montant : 230481.0 euros
Durée : 36 mois
Résumé : CEEGE est un projet de recherche scientifique multi-disciplinaire.  L’objectif de ce projet est de comparer et d’évaluer par l’expérimentation des théories existantes portant sur l’attention et sur les modèles mentaux impliqués dans la résolution de problèmes, et d’améliorer les techniques d’observation des réactions physiologiques de sujets humains face à des situations suscitant le plaisir, l’angoisse, l’excitation, l’autorité et la peur. 
Nous investiguerons et comparerons l’attention visuelle, les réponses physiologiques et les états mentaux de joueurs d’échec de différents niveaux d’expertise (novices, intermédiaires et experts) engagés dans la résolution de problèmes de jeu d’échec classiques, et en situation de compétition. Nous estimerons les réponses physiologiques, l'attention et les états mentaux des joueurs à partir d’enregistrements de signaux comme le balayage des yeux, les expressions soutenues et instantanées du visage (micro expressions), la conductivité de la peau, le rythme cardiaque, la couleur de la peau, la posture, la respiration et d'autres informations extraites des enregistrements. 
Notre hypothèse est que le niveau d'expertise d'un joueur est le reflet de ses trajectoires oculaires et réactions physiologiques en concordance avec sa compréhension de la situation du jeu. Les informations sur son attention visuelle nous permettront de déterminer et de modéliser la compréhension d'un joueur en termes de configurations abstraites des pièces. Les réactions physiologiques du joueur devraient s’exprimer par une trajectoire dans un espace de paramètres physiologiques en corrélation avec sa compréhension de la situation stratégique de jeu. 
Ce projet comprend trois étapes.  Dans une première phase, nous observerons des joueurs de différent niveau d’expertise confrontés à des problèmes d'échec connus. Nous établirons alors la corrélation entre données capturées et configurations de pièces et solutions connues à ces problèmes. Ceci nous permettra de constituer un corpus étiqueté pour le jeu d’échec qui sera utilisé comme benchmark pour évaluer et comparer des techniques concurrentes d’estimation de modèles mentaux et de réponses physiologiques. Dans la deuxième phase, nous observerons l’attention et les expressions faciales de paires de joueurs de différents niveaux d’expertise. En particulier, nous segmenterons et annoterons les enregistrements avec le niveau de difficulté de la situation de jeu et avec des situations provoquant des réactions physiologiques particulièrement fortes. Dans la dernière phase, nous utiliserons ces corpus pour évaluer l’efficacité de techniques actuelles pour la modélisation de processus cognitif et l’observation des émotions.  Nous évaluerons ces techniques sur leur capacité à prévoir le niveau des joueurs, leurs coups d'échecs, et les résultats des matches. 
Les résultats de ces travaux seront publiés dans les congrès et journaux scientifiques relevant de l’informatique, des sciences cognitives et neurosciences, de même en vision par ordinateur, interaction multimodale, informatique affective et technologies persuasives. Les domaines d’applications incluent la conception de systèmes de suivi et d’estimation des compétences cognitives et réactions émotionnelles d’utilisateurs de systèmes interactifs afin de leur fournir une aide appropriée non disruptive, des systèmes compagnons en soutien des personnes âgées, des tutoriels en support à l’acquisition de nouvelles compétences dans divers domaines, incluant les jeux d’échec.