Évaluation objective de plongements pour la synthèse de parole guidée par réseaux de neurones (Objective evaluation of embeddings for speech synthesis guided by neural networks) (2019)

Abstract: L’évaluation de plongements issus de réseaux de neurones est un procédé complexe. La qualité des plongements est liée à la tâche spécifique pour laquelle ils ont été entraînés et l’évaluation de cette tâche peut être un procédé long et onéreux s’il y a besoin d’annotateurs humains. Il peut donc être préférable d’estimer leur qualité grâce à des mesures objectives rapides et reproductibles sur des tâches annexes. Cet article propose une méthode générique pour estimer la qualité d’un plongement. Appliquée à la synthèse de parole par sélection d’unités guidée par réseaux de neurones, cette méthode permet de comparer deux systèmes distincts.

## introduction la capacité de plongement des réseaux de neurones est souvent utilisée pour obtenir une représentation alternative de données. extraire la sortie d'une couche cachée d'un réseau de neurones permet d'obtenir une représentation du vecteur d'entrée influencée par la tâche d'entraînement. la qualité d'un plongement est relative à une tâche donnée et l'évaluation de cette tâche peut être un procédé long et onéreux s'il y a besoin d'annotateurs humains. en particulier, en synthèse de parole, l'évaluation d'un système est effectuée à l'aide de tests d'écoutes subjectifs. afin d'obtenir des résultats rapidement et d'augmenter la reproductibilité des expériences, différentes mesures objectives existent. cependant, ces mesures ne sont en général pas corrélées avec les résultats des tests d'écoutes et ne mesurent pas directement la qualité des plongements. cet article est un travail exploratoire visant à déterminer la qualité d'un plongement dans le cadre de la synthèse de parole. nous proposons une méthode générique consistant à comparer un plongement dont on cherche à évaluer la qualité avec ceux issus d'entraînements volontairement défavorables en guise de références basses. la comparaison visuelle de ces plongements permet d'obtenir des critères distinctifs. la mise au point de mesures objectives correspondant à ces critères permet alors de comparer des plongements quelconques. l'application de cette méthode à la synthèse de parole indique qu'un plongement de qualité possède une structure par groupe de phonèmes et que la répartition de ces groupes est informée acoustiquement. la suite de l'article suit le déroulement suivant : la section 2 présente diverses utilisations et méthodes d'évaluation de plongements, la section 3 présente une méthode générique d'estimation de leur qualité et les plongements utilisés. la section 4 présente l'observation visuelle de ces plongements et la section 5 l'élaboration puis l'utilisation de mesures objectives. ## travaux liés la capacité de plongement des réseaux de neurones est utilisée en traitement automatique des langues pour obtenir des plongements de mots @xcite . il s'agit de représenter un mot avec un vecteur de petite dimension (relativement à la taille du vocabulaire) reflétant son contexte. la qualité des plongements peut être évaluée de manière intrinsèque ou extrinsèque @xcite . pour une évaluation extrinsèque, leur qualité est évaluée relativement à une tâche donnée (ex : reconnaissance d'entité nommée @xcite ) en les utilisant comme attributs d'entrées d'algorithmes d'apprentissage automatique. la qualité du modèle est alors conditionnée par la qualité des plongements utilisés. pour une évaluation intrinsèque, les relations sémantiques entre mots issues des plongements peuvent être comparés à celles annotées par des humains @xcite . en synthèse de parole, les plongements sont utilisés par les méthodes par sélection d'unités guidée par réseaux de neurones. la méthode par sélection d'unités classique consiste à concaténer des unités de paroles pré-enregistrées afin d'obtenir un signal correspondant à un texte donné @xcite . la séquence d'unités à concaténer est choisie au sein d'une base de données comme la séquence qui minimise la somme de deux coûts. le premier, coût de sélection, indique à quel point une unité dans la base de données est similaire à celle à synthétiser. ce coût est habituellement défini par des experts linguistes. le deuxième, coût de concaténation, indique à quel point deux unités consécutives dans une séquence d'unités se concatènent bien. afin de diminuer la quantité d'expertise linguistique nécessaire pour élaborer des systèmes de synthèse par sélection d'unités, le coût de sélection peut être remplacé par les prédictions d'un réseau de neurones @xcite , ou la distance euclidienne dans un espace de plongement défini par la couche cachée d'un réseau de neurones @xcite . on parle alors de synthèse de parole par sélection d'unités guidée par réseaux de neurones. l'objectif de cet article est la mise au point de mesures objectives de la qualité des plongements servant à guider cette sélection d'unités. la qualité des plongements pour la synthèse de parole est habituellement évaluée de manière extrinsèque, par des tests d'écoutes. la qualité d'un système seul peut être évaluée à partir de notes arbitraires @xcite ou par comparaison avec d'autres systèmes @xcite . cependant, ces tests demandent de nombreux participants pour contre-balancer l'aspect subjectif et être fiables. afin d'obtenir des indices de qualité de manière rapide et reproductible, différentes mesures objectives existent. par exemple, la distorsion mel-cepstrale (mcd) permet de mesurer une différence acoustique entre un signal produit par le système et un signal de référence @xcite . cette mesure est assimilable à une erreur de reconstruction par le réseau de neurones. cependant, ces mesures objectives ne sont pas directement des indicateurs extrinsèques de la qualité d'un plongement car elles sont habituellement utilisées pour mesurer la qualité des prédictions du réseau dont sont issus les plongements. l'une des mesures proposée par cette article consiste à les utiliser de manière réellement extrinsèque, en évaluant les prédictions d'un modèle entraîné sur les plongements. ce travail présente une méthode générique pour mettre au point des mesures objectives de la qualité d'un plongement. appliquée à la synthèse de parole guidée par réseaux de neurones, nous proposons différentes mesures de qualité extrinsèque pour des plongements de phones. ## protocole expérimental ce travail est le fruit d'une réflexion sur la qualité d'un plongement et les mesures associées. nous proposons d'identifier des critères de qualité en comparant un plongement générique avec un plongement jugé mauvais par construction. cette section présente la méthode employée et les plongements envisagés. ## mesures objectives cette section présente la mise au point de mesures correspondant aux critères distinctifs issus de l'observation visuelle puis leur application. ## conclusion une méthode est proposée afin d'identifier des critères de qualité d'un plongement, avant de mettre au point des mesures objectives associées. cette méthode est applicable à tous les plongements, indépendamment de la tâche d'entraînement. dans le cas de la synthèse de parole, un plongement doit grouper les phones par phonèmes, et ces groupes doivent être répartis selon une similarité acoustique. les mesures objectives proposées évaluent la qualité du plongement de manière extrinsèque via une classification par plus proches voisins et un modèle de régression linéaire. cependant, des méthodes de régression plus complexes pourrait permettre de mieux distinguer les plongements. de plus, des méthodes de visualisation autres que l'acp permettent de mieux conserver les relations de voisinages, ce qui pourrait permettre la découverte de nouveaux critères distinctifs.