Adaptation de la prononciation pour la synthèse de la parole spontanée en utilisant des informations linguistiques (Pronunciation adaptation for spontaneous speech synthesis using linguistic information) (2016)

Abstract: Cet article présente une nouvelle méthode d’adaptation de la prononciation dont le but est de reproduire le style spontané. Il s’agit d’une tâche-clé en synthèse de la parole car elle permet d’apporter de l’expressivité aux signaux produits, ouvrant ainsi la voie à de nouvelles applications. La force de la méthode proposée est de ne s’appuyer que sur des informations linguistiques et de considérer un cadre probabiliste pour ce faire, précisément les champs aléatoires conditionnels. Dans cet article, nous étudions tout d’abord la pertinence d’un ensemble d’informations pour l’adaptation, puis nous combinons les informations les plus pertinentes lors d’expériences finales. Les évaluations de la méthode sur un corpus de parole conversationnelle en anglais montrent que les prononciations adaptées reflètent significativement mieux un style spontané que les prononciations canoniques.

## introduction les variantes de prononciation de mots ou énoncés ne sont pas prises en compte par les lexiques et modèles de prononciation utilisés dans les systèmes actuels de synthèse de la parole. cela limite alors leur capacité à produire des signaux expressifs, notamment pour retranscrire un style spontané. pour résoudre ce problème, nous proposons une nouvelle méthode d'adaptation de la prononciation dont le but est d'imiter le style spontané de locuteurs individuels et de pouvoir, à terme, être intégrée dans un moteur de synthèse de la parole. la langue étudiée est l'anglais. sous l'angle de l'apprentissage automatique, la méthode proposée consiste à prédire pour chaque phonème d'une prononciation canonique si celui-ci doit être supprimé, remplacé, gardé tel quel ou actes de la conférence conjointe jep-taln-recital 2016, volume 1 : jep phonèmes canoniques / k a n s 2 n t ô ei t 2 d • i n • ou h ai ou / phonèmes réalisés / k a n s n " t ô ei i d • i r • ou h a 2 / les travaux connexes en production de variantes de prononciation peuvent être résumés d'après le type de l'approche retenue et la nature des informations utilisées. tout d'abord, diverses approches par apprentissage automatique ont déjà été utilisées : des arbres de décision @xcite , des forêts aléatoires @xcite , des réseaux de neurones @xcite , des modèles de markov cachés @xcite et des cac @xcite . pour aller plus loin, d'autres travaux ont également proposé de combiner différentes techniques @xcite . il est malheureusement difficile de comparer ces travaux car ceux-ci partagent rarement les mêmes données ou la même tâche exacte. quant aux informations utilisées, des caractéristiques acoustiques peuvent être extraites à partir de signaux de parole d'un style visé et prises en compte pour l'adaptation de prononciations (fréquence fondamentale, énergie, durée, débit de parole. . .) @xcite @xcite , tandis que des informations linguistiques peuvent être dérivées de textes (distinction entre mots-outils et mots pleins, probabilité des mots, informations syllabiques, accentuation lexicale dans certaines langues. . .) @xcite @xcite . récemment, dilts (2013) a présenté une étude poussée sur la combinaison de ces deux types d'informations. ce travail est proche du nôtre mais diffère dans le sens où la technique d'apprentissage automatique est différente et l'objectif était uniquement de réduire les prononciations. en complément, notons également que (chen & hasegawa-johnson, 2004) a montré que les informations d'un phonème canonique doivent être enrichies par celles de leur voisinage pour aboutir à de meilleures adaptations. enfin, il est important de noter que la plupart des travaux du domaine visent la reconnaissance automatique de la parole alors que les approches pour la synthèse sont encore rares et qu'aucune ne fait un usage aussi intensif que le nôtre des informations linguistiques. dans cet article, la section 2 décrit le corpus de parole buckeye utilisé dans nos travaux ; la section 3 présente la méthode et le protocole expérimental ; la section 4 étudie en préambule des caractéristiques isolées avant que celles-ci ne soient combinées dans les expériences finales de la section 5. ## le corpus de parole buckeye nous avons utilisé le corpus de parole conversationnelle buckeye @xcite . ce corpus, en anglais, consiste en 40 entretiens non préparés avec des locuteurs de l'ohio, aux états-unis, chaque entretien durant 1 heure. 20 entretiens ont été sélectionnés au hasard, les autres ayant été laissés de côté pour d'éventuels futurs travaux. les signaux de parole sont fournis avec des transcriptions vérifiées manuellement : une transcription orthographique et deux transcriptions phonétiques, l'une correspondant aux phonèmes canoniques qui auraient dû être prononcés si le style avait été neutre, phonèmes phonème canonique (40) • position du phonème dans la syllable (20) • position inversée du phonème dans la syllabe (22) • phonème en début, milieu ou fin de mot (40) syllabes accentuation lexicale de la syllabe (24) • partie de la syllabe (24) • type de syllabe (18) • position de la syllabe dans le mot (20) mots mot (40) • graphème (16) • est-ce un mot vide (d'après une liste) ? (24) • fréquence du mot en anglais (22) • fréquence du mot dans l'entretien (18) • fréquence de la racine en anglais (16) • fréquence de la racine dans l'entretien (19) • position du mot dans l'énoncé (2) • position inverse du mot dans l'énoncé (0) • numéro d'occurrence du mot dans l'entretien (0) • classe grammaticale (17) • longueur en graphèmes (16) • longueur en syllabes (17) énoncés position de l'énoncé dans l'entretien (3) • position inverse de l'énoncé dans l'entretien (4) ces annotations ont été complétées par de nombreuses autres au moyen d'outils automatiques, conduisant à un total de 23 caractéristiques portant sur les phonèmes, syllabes, mots et énoncés. leur détail est donné par la ## présentation de la méthode et du protocole expérimental nous formalisons l'adaptation de la prononciation comme la prédiction d'une séquence de phonèmes réalisés à partir d'une séquence de phonèmes canoniques. expérimentalement, la qualité d'une adaptation se mesure alors à son taux d'erreurs entre les phonèmes prédits, dits adaptés, et phonèmes effectivement réalisés dans le corpus. dans notre méthode, nous avons choisi d'utiliser des cac, type de modèles particulièrement adéquat pour l'apprentissage sur des données séquentielles et symboliques. pour construire au mieux ces modèles, nous avons cherché à ajouter de nouvelles informations en entrée en plus des seuls phonèmes canoniques. les différentes pistes qui ont été explorées pour cela sont illustrées par la figure 1. nous les présentons ci-dessous et introduisons les questions qui s'y rattachent. ## étude préliminaire des paramètres cette section détaille comment la méthode d'adaptation de la prononciation a été réglée sur l'ensemble de développement. l'accent est mis sur les deux aspects majeurs que sont le choix des caractéristiques actes de la conférence conjointe jep-taln-recital 2016, volume 1 : jep pas d'adaptation phon. canoniques car. sélectionnées toutes les car. unigrammes 30,4 30,4 (0,0) 24,7 (-5,7) 26,0 (-4,4) uni+bigrammes 25,7 (-4,7) 24,1 (-6,3) 26,1 (-4,3) ## combinaison des paramètres cette section présente les expériences finales conduites sur l'ensemble de test de chaque locuteur. les modèles d'adaptation sont appris en combinant différentes configurations étudiées à la section 4, à savoir : pour vérifier cette explication et approfondir l'intérêt de tenir compte des dépendances entre phonèmes prédits, nous avons conduit une autre série d'expériences. nous avons appris un modèle de langage (ml) sur les phonèmes réalisés de l'ensemble des données d'apprentissage foot_1 , puis avons utilisé ce modèle pour réordonner a posteriori les meilleures hypothèses d'adaptation fournies par nos cac. précisément, chaque hypothèse h est associée à un score s(h) calculé comme une suites de mots isolés phonèmes canoniques (c.-à-d. pas d'adaptation) 30,5 -phonèmes adaptés à partir des phonèmes canoniques seuls unigrammes 30,4 (-0,1) 23,8 (-6,7) uni+bigrammes 25,5 (-5,0) 24,0 (-6,5) + caractéristiques linguistiques unigrammes 24,3 (-6,2) 23,6 (-6,9) uni+bigrammes 24,1 (-6,4) 24,2 (-6,3)