De l’utilisation de descripteurs issus de la linguistique computationnelle dans le cadre de la synthèse par HMM (Toward the use of information density based descriptive features in HMM based speech synthesis) (2016)

Abstract: Durant les dernières décennies, la modélisation acoustique effectuée par les systèmes de synthèse de parole paramétrique a fait l’objet d’une attention particulière. Toutefois, dans la plupart des systèmes connus, l’ensemble des descripteurs linguistiques utilisés pour représenter le texte reste identique. Plus specifiquement, la modélisation de la prosodie reste guidée par des descripteurs de bas niveau comme l’information d’accentuation de la syllabe ou bien l’étiquette grammaticale du mot. Dans cet article, nous proposons d’intégrer des informations basées sur la prédictibilité d’un évènement (la syllabe ou le mot). Plusieurs études indiquent une corrélation forte entre cette mesure, fortement présente dans la linguistique computationnelle, et certaines spécificités lors de la production humaine de la parole. Notre hypothèse est donc que l’ajout de ces descripteurs améliore la modélisation de la prosodie. Cet article se focalise sur une analyse objective de l’apport de ces descripteurs sur la synthèse HMM pour la langue anglaise et française.

## introduction durant ces dernières années, la popularité de la synthèse paramétrique a pris de l'ampleur au point de devenir l'une des méthodologies standards de la synthèse text-to-speech (tts). de la synthèse par hidden markov model (hmm) @xcite aux réseaux de neurones profonds @xcite , l'effort de recherche s'est principalement focalisé sur la modélisation acoustique. toutefois, l'ensemble de ces systèmes se basent sur le même ensemble de descripteurs linguistiques et prosodiques pour prédire les paramètres acoustiques. ainsi, la majorité des systèmes basés sur hmm utilisent un jeu de descripteurs dérivés du jeu proposé dans @xcite . peu de travaux se focalisent sur l'intégration de nouveaux descripteurs linguistiques et prosodiques. parmi celles ci, nous pouvons citer l'utilisation de « word embeddings » @xcite ou bien l'utilisation d'informations syntaxiques enrichies @xcite . dans le @xcite , nous avons proposé d'intégrer de nouveaux descripteurs, issus du domaine de la « densité d'information » (information density). les résultats montrent que l'utilisation de tels descripteurs améliore la synthèse effectuée. ces descripteurs sont basés sur l'évaluation de l'imprédictibilité d'un évènement ; notion répandue en linguistique computationnelle. ils sont obtenus en utilisant un modèle de langue ce qui procure plusieurs avantages. tout d'abord, ils sont simples à obtenir à partir d'un texte et peuvent être utilisés pour aboutir à des descripteurs de plus haute abstraction linguistique. ils peuvent également être utilisés pour la synthèse classique ou bien la synthèse incrémentale @xcite . dans le présent article, nous proposons d'appliquer cette méthodologie pour une synthèse hmm pour le français. nous proposons également d'analyser l'impact de ces descripteurs sur les modèles appris et de comparer cet impact aux résultats obtenus pour l'anglais. cette comparaison est rendue possible par le fait que le jeu de descripteurs que nous avons utilisé pour les deux langues est similaire. ainsi, cet article est organisé de la manière suivante : la section 2 présente et justifie l'utilisation de tels descripteurs. la section 3 décrit le protocole d'évaluation mis en place pour analyser l'influence de ces descripteurs sur la synthèse. la dernière section (4) présente les résultats de l'évaluation objective pour le français et l'anglais. ## descripteurs linguistiques basés sur la densité d'information reposant sur la théorie de l'information proposée par @xcite , @xcite introduit le concept d'imprédictibilité (surprisal), associé à la densité d'information, au sein du domaine de la linguistique computationnelle. il repose sur une modélisation n-gramme et est défini par l'équation suivante : texte extraction des éléments calcul de l'imprédictibilité partitionement dict. parole transcrite extraction des éléments classification adaptation des labels labels finaux figure 1 -génération des descripteurs basés sur la densité d'information. à partir du corpus de texte, nous souhaitons extraire un dictionnaire qui associe un cluster d'imprédictibilité à chaque élément (syllabe ou mot). tout d'abord, nous extrayons les éléments en utilisant des outils taln et nous calculons leur imprédictibilité via (1). ensuite, nous partitionnons l'espace obtenu afin de déterminer une échelle allant du plus prédictible (valeur à 0) au moins prédictible. l'étape finale consiste à associer à chaque élément une partition en se basant sur l'imprédictibilité de cet élément. à partir du corpus de parole, nous extrayons le même type d'élément et, grâce au dictionnaire, déterminons la partition associée. enfin, nous adaptons les fichiers de labels afin de les rendre compatibles avec le système de synthèse. teurs linguistiques basés sur la prédictibilité devrait améliorer la synthèse et plus spécifiquement la modélisation de la prosodie. en effet, concernant la synthèse par hmm, la modélisation du spectre est davantage contrôlée par les informations phonologiques (le maguer et al., 2013). toutefois, l'utilisation de l'imprédictibilité a deux problèmes principaux. le premier est que, pour obtenir des statistiques valides, il nous faut disposer d'un corpus textuel beaucoup plus large que les corpus de paroles généralement utilisés. le second est que la prédictibilité est un descripteur à valeurs continues alors que les systèmes tts standards reposent sur l'utilisation de descripteurs à valeurs discrètes. ## conclusion dans cet article nous avons intégré un nouveau type de descripteurs linguistiques pour l'anglais et le français. nous avons comparé l'influence de ces descripteurs sur la modélisation effectuée par le système hts. nous avons pu constater que cette information était considérée comme importante pour les deux corpus par le système hts. toutefois, il reste difficile d'évaluer objectivement et subjectivement l'apport de tels descripteurs. en effet, les méthodes d'évaluation subjective permettant d'évaluer la qualité de modélisation des paramètres prosodiques, utilisés dans la synthèse de la parole, indépendamment des paramètres spectraux restent à déterminer.