Projet ANR-08-EMER-0001 – ARTIS : Inversion articulatoire de la parole audiovisuelle pour la parole augmentée
Programme : domaines émergent (DEFIS) 2008
Année de financement : 2008
Coordinateur du projet : yves LAPRIE (CENTRE NATIONAL DE LA RECHERCHE SCIENTIFIQUE - DELEGATION REGIONALE CENTRE-EST)
Partenaires : Centre national de la recherche scientifique; Centre national de la recherche scientifique; Grenoble INP; Université de Toulouse III - Paul Sabatier
Montant : 779659.0 euros
Date de début : 2009
Durée : 42 mois
Résumé : L&rsquo,inversion acoustique articulatoire, c&rsquo,est-à-dire la récupération automatique des gestes articulatoires de la parole, représenterait une avancée stratégique en traitement automatique de la parole. En effet, cela ouvrirait la voie à de nouvelles applications : synthèse de la parole et têtes parlantes plus naturelles, pilotage automatique de têtes parlantes réalistes, retour d&rsquo,efforts articulatoire pour l&rsquo,apprentissage de langues étrangères, et plus généralement le traitement automatique de la parole.  Les industries multimedia, des télécommunications, des interfaces homme machine, de l&rsquo,assistance aux citoyens (personnes âgées, apprenants, handicapés&hellip,) sont donc concernées.    Bien qu&rsquo,il soit bien établi que les sujets humains exploitent l&rsquo,origine articulatoire de la parole pour la perception comme pour la production, aucune solution opérationnelle n&rsquo,a été apportée à l&rsquo,inversion acoustique articulatoire.     Nous sommes pourtant convaincus que les progrès techniques réalisés dans les domaines de l&rsquo,imagerie médicale appliquée au conduit vocal, du suivi de capteurs électromagnétiques et de la vision par ordinateur appliquée au visage sont suffisants pour fournir des données articulatoires exploitables tant pour la conception que l&rsquo,évaluation de méthodes d&rsquo,inversion.   Nous sommes aussi convaincus que les outils de simulation acoustique et articulatoire d&rsquo,une part, de modélisation stochastique d&rsquo,autre part, ont atteint un  niveau de maturité suffisant.   Il y a donc une double opportunité scientifique et technologique pour relever ce défi avec de donnes chances de succès.    L&rsquo,objectif principal du projet ARTIS est de développer des outils d&rsquo,inversion acoustique articulatoire, et de mettre en &oelig,uvre un système de retour d&rsquo,efforts articulatoires, qui en inversant le signal de parole seul ou complété par des images du visage,  génère de la parole augmentée : affichage des articulateurs habituellement cachés (langue, vélum) à l&rsquo,aide d&rsquo,une tête parlante virtuelle.    Le développement des algorithmes d&rsquo,inversion reposera sur des modèles physiques ou statistiques de la production de la parole. Un point clé est le développement de modèles adaptables au locuteur. En effet, la plupart des travaux antérieurs fait appel à des modèles construits pour un seul locuteur ce qui représente une limitation forte.   La première étape consistera donc à acquérir des données articulatoires statiques et dynamiques. Ensuite, des techniques de traitement d&rsquo,images médicales et des algorithmes de recalage élastique seront élaborés afin d&rsquo,obtenir des modèles articulatoires adaptables au locuteur à partir de données statiques (images IRM du conduit vocal).  Les modèles dynamiques statistiques (correspondant aux données des capteurs électromagnétiques ou aux images ultrasonores) compléteront les modèles statiques.   Deux systèmes d&rsquo,inversion complémentaires seront développés: le premier à l&rsquo,aide d&rsquo,une approche d&rsquo,analyse par synthèse, le second à l&rsquo,aide de modèles articulatoires statistiques dynamiques. Les deux partageront les modèles articulatoires statiques et utiliseront des données spectrales standard en entrée.  La troisième étape consistera à développer un prototype fournissant un retour d&rsquo,efforts articulatoires en temps réel à partir de la parole et des images du locuteur. The retour sera présenté à l&rsquo,aide de techniques de réalité augmentée.    Une évaluation sera conduite à chacune des étapes du projet.  Le consortium ARTIS regroupe un ensemble de compétences remarquable en associant des équipes dotées d&rsquo,un fonds théorique et d&rsquo,une expérience pratiques dans les domaines de :  &bull, la production de la parole, la modélisation stochastique, les modèles articulatoires, l&rsquo,inversion acoustique-articulatoire,  &bull, la vision par ordinateur, le traitement d