Apprentissage profond appliqué à la reconnaissance des émotions dans la voix. (Deep learning applied to speech emotion recognition)

Mes travaux de these s'interessent a l'utilisation de nouvelles technologies d'intelligence artificielle appliquees a la problematique de la classification automatique des sequences audios selon l'etat emotionnel du client au cours d'une conversation avec un teleconseiller. En 2016, l'idee est de se demarquer des pretraitements de donnees et modeles d'apprentissage automatique existant au sein du laboratoire, et de proposer un modele qui soit le plus performant possible sur la base de donnees audios IEMOCAP. Nous nous appuyons sur des travaux existants sur les modeles de reseaux de neurones profonds pour la reconnaissance de la parole, et nous etudions leur extension au cas de la reconnaissance des emotions dans la voix. Nous nous interessons ainsi a l'architecture neuronale bout-en-bout qui permet d'extraire de maniere autonome les caracteristiques acoustiques du signal audio en vue de la tâche de classification a realiser. Pendant longtemps, le signal audio est pretraite avec des indices paralinguistiques dans le cadre d'une approche experte. Nous choisissons une approche naive pour le pretraitement des donnees qui ne fait pas appel a des connaissances paralinguistiques specialisees afin de comparer avec l'approche experte. Ainsi le signal audio brut est transforme en spectrogramme temps-frequence a l'aide d'une transformee de Fourier a court-terme. Exploiter un reseau neuronal pour une tâche de prediction precise implique de devoir s'interroger sur plusieurs aspects. D'une part, il convient de choisir les meilleurs hyperparametres possibles. D'autre part, il faut minimiser les biais presents dans la base de donnees (non discrimination) en ajoutant des donnees par exemple et prendre en compte les caracteristiques de la base de donnees choisie. Le but est d'optimiser le mieux possible l'algorithme de classification. Nous etudions ces aspects pour une architecture neuronale bout-en-bout qui associe des couches convolutives specialisees dans le traitement de l'information visuelle, et des couches recurrentes specialisees dans le traitement de l'information temporelle. Nous proposons un modele d'apprentissage supervise profond competitif avec l'etat de l'art sur la base de donnees IEMOCAP et cela justifie son utilisation pour le reste des experimentations. Ce modele de classification est constitue de quatre couches de reseaux de neurones a convolution et un reseau de neurones recurrent bidirectionnel a memoire court-terme et long-terme (BLSTM). Notre modele est evalue sur deux bases de donnees audios anglophones proposees par la communaute scientifique : IEMOCAP et MSP-IMPROV. Une premiere contribution est de montrer qu'avec un reseau neuronal profond, nous obtenons de hautes performances avec IEMOCAP et que les resultats sont prometteurs avec MSP-IMPROV. Une autre contribution de cette these est une etude comparative des valeurs de sortie des couches du module convolutif et du module recurrent selon le pretraitement de la voix opere en amont : spectrogrammes (approche naive) ou indices paralinguistiques (approche experte). A l'aide de la distance euclidienne, une mesure de proximite deterministe, nous analysons les donnees selon l'emotion qui leur est associee. Nous tentons de comprendre les caracteristiques de l'information emotionnelle extraite de maniere autonome par le reseau. L'idee est de contribuer a une recherche centree sur la comprehension des reseaux de neurones profonds utilises en reconnaissance des emotions dans la voix et d'apporter plus de transparence et d'explicabilite a ces systemes dont le mecanisme decisionnel est encore largement incompris.