Projet ANR-15-CE39-0010 – ODESSA : Apport des avancées récentes en identification du locuteur et apprentissage séquentiel pour la structuration en tours de parole en flux
Programme : Cybersécurité de la société et lutte contre la cybercriminalité (DS0905) 2015
Année de financement : 2015
Coordinateur du projet : Monsieur Claude Barras (Laboratoire d'Informatique pour la Mécanique et les Sciences de l'Ingénieur)
Partenaires : Divers privé; Idiap Idiap Research Institute; Laboratoire public
Montant : 308406.0 euros
Date de début : 2016
Durée : 42 mois
Résumé : La segmentation et le regroupement en locuteurs est un processus non supervisé qui a pour objectif d'identifier les locuteurs d'un flux audio et de déterminer quel locuteur est actif à chaque instant, sans connaître a priori le nombre de locuteurs ou leurs identités. C'est devenu une technologie clef dans de nombreux domaines comme la recherche d'information par le contenu, la biométrie vocale ou l'analyse des comportements sociaux. Des exemples d'application sont l'indexation de la parole et du locuteur, la reconnaissance du locuteur en conversation, la détection du rôle du locuteur, la transcription automatique, la traduction de parole et la structuration de documents par le contenu.
Malgré vingt ans de recherches, les systèmes à l'état de l'art souffrent de nombreuses limitations. Ils sont très dépendants du domaine d'application - par exemple, un système entrainé sur des enregistrements radio-télévisés d'actualités verra ses performances chuter considérablement sur des enregistrements de réunions, séminaires, de parole conversationnelle téléphonique ou en voix-sur-IP. La parole superposée, le style de parole plus spontané, le bruit de fond, la musique et les sources non verbales (rires, applaudissements) sont des facteurs de nuisance qui affectent la qualité de la structuration en tours de parole.
De plus, la plupart des systèmes existants considèrent le problème de manière hors-ligne, c'est-à-dire que le système dispose de la totalité de l'enregistrement en début d'analyse sans qu'il soit nécessaire de produire un résultat en temps réel. Dans ces conditions, une analyse multi-passe des données est possible et de nombreuses approches efficaces d'apprentissage automatique peuvent s'appliquer. Cependant, ce compromis n'est plus acceptable pour les applications temps-réel lorsqu'il s'agit de sécurité publique et de lutte contre le terrorisme et la cyber-criminalité.
Enfin, après une étape initiale de segmentation en tours de parole, la plupart des approches considèrent le regroupement en tours de parole sans prendre en compte la structure temporelle inhérente aux interactions entre les locuteurs. Un des buts de ce projet est d'intégrer cette information et de se fonder sur des techniques d'apprentissage structuré pour aller au-delà des méthodes usuelles de regroupement hiérarchique.
Puisque notre application principale concerne la lutte contre la cyber-criminalité et la sécurité publique, la mise au point d'un système de structuration en tours de parole en ligne est nécessaire. La recherche à visée applicative devra donc être complétée par une recherche plus fondamentale concernant l'apprentissage structuré et des méthodes telles que les champs aléatoire conditionnels.
La structuration en locuteurs est par nature liée à la reconnaissance du locuteur. Ces dernières années, l'état de l'art en reconnaissance du locuteur a progressé significativement grâce à l'introduction de nouveaux concepts comme les i-vecteurs, l'apprentissage profond, de nouvelles techniques de compensation de session comme l'analyse linéaire discriminante probabiliste, et de nouvelles techniques de normalisation des scores telle que la normalisation symétrique et adaptative des scores. Ces techniques ne sont pas encore complètement intégrées dans les système existants de structuration en locuteurs et l'un des objectifs de ce projet et de réduire le gap observé actuellement.
L'évaluation des algorithmes proposés, afin de s'assurer de leur généricité, sera conduite sur différentes bases de données telles que les conversations téléphoniques combinées de NIST SRE 2008, NIST RT 2003-2004, les enregistrements télévisés du corpus REPERE et le corpus de réunions AMI. De plus, nous collecterons une base de données de taille moyenne correspondant à notre application de lutte contre la cyber-criminalité.