Une pénalité floue fondée phonologiquement pour améliorer la Sélection d’Unité (A Phonologically Motivated Penalty To Improve Unit Selection) (2016)

Abstract: Les systèmes de synthèse par corpus reposent, sauf de rares exceptions, sur des coûts cibles et des coûts de concaténation pour sélectionner la meilleure séquence d’unités. Le rôle du coût de concaténation est de s’assurer que l’assemblage de deux segments de parole ne causera l’apparition d’aucun artefact acoustique. Pour cette tâche, des distances acoustiques (MFCC, F0) sont généralement utilisées, mais dans de nombreux cas cela ne suffit pas. Dans cet article, nous introduisons une pénalité héritée du domaine de la couverture de corpus dans le coût de concaténation afin de bloquer certaines concaténations en fonction de la classe phonologique des diphones à concaténer. En outre, une seconde version faisant appel à une fonction floue est proposée pour relâcher la pénalité en fonction du positionnement du coût de concaténation par rapport à sa distribution. Une évaluation objective montre que la pénalité est efficace et amène à un meilleur classement des séquences d’unités candidates au cours de la sélection. Une évaluation subjective révèle une performance supérieure de l’approche floue.

## introduction au cours des dernières années, la recherche en synthèse de la parole à partir du texte s'est essentiellement portée sur deux techniques. l'approche statistique paramétrique (spss pour statistical parametric speech synthesis) est la plus récente et a été l'objet de nombreux travaux universitaires ces dernières années. elle comprend principalement la synthèse par hmm et plus récemment par actes de la conférence conjointe jep-taln-recital 2016, volume 1 : jep dnn @xcite @xcite . cette méthode offre un contrôle avancé sur le signal et produit une synthèse très intelligible, mais la voix générée manque de naturel. la méthode historique, la synthèse par corpus (spc), est un raffinement de la synthèse par concaténation @xcite @xcite @xcite . la spc permet la création de synthèse de haute qualité, dont le naturel et la qualité prosodique restent inégalés par les autres méthodes grâce à l'utilisation de parole naturelle pour réaliser la synthèse. la plupart des systèmes industriels fonctionnent grâce à cette méthode qui a cependant des inconvénients, telle la difficulté à contrôler la prosodie et le risque d'artefacts de concaténation pénalisant l'intelligibilité. cette méthode fait intervenir la notion d'unité, laquelle est une liste de segments contigüs (des diphones généralement) dans un corpus de parole correspondant à une partie de la séquence cible de segments à synthétiser. afin de discriminer les segments provenant du corpus qui correspondent aux besoins exprimés par l'intermédiaire de la séquence cible, la méthode habituelle est de classer les unités en évaluant le degré de ressemblance avec la séquence cible (coût cible) et le risque de créer un artefact lors de la concaténation des unités (coût de concaténation) via des fonctions des coûts. le coût de concaténation repose principalement sur des caractéristiques acoustiques (mfcc, f0) @xcite pour évaluer le niveau de ressemblance spectrale entre deux stimuli vocaux sur et autour du point de concaténation. ces coûts de concaténation sont toutefois loin d'être parfaits et de nombreux artefacts apparaissent à la fois dans les systèmes commerciaux et de recherche, même après un traitement post-concaténation. plusieurs analyses ont montré que ces artefacts se produisent plus souvent sur certains phonèmes que sur d'autres @xcite . la concaténation sur une voyelle est par exemple plus risquée que sur une fricative sourde. cette observation est à l'origine d'une méthode de construction de script d'enregistrement dans @xcite où la couverture de «sandwichs vocaliques» vise à favoriser les concaténations sur des diphonèmes jugés peu risqués. dans cet article, nous proposons d'intégrer ces contraintes directement dans la fonction de coût, sans l'aide d'un corpus construit avec des sandwichs vocaliques. nous intégrons ainsi une pénalité en fonction de la classe de phonèmes dans la fonction de coût lors de la sélection d'unité. deux versions sont proposées : d'abord en utilisant une pénalité fixe puis une fonction floue visant à rendre la pénalisation des unités plus flexible. la version floue a été utilisée dans notre système pour le blizzard challenge 2015 @xcite , bien qu'elle n'aie pas été évaluée à l'époque. l'article est organisé comme suit. dans la section 2, le système de synthèse est présenté. la section 3 propose l'utilisation de contraintes phonologiques et l'introduction d'une pénalité dans la fonction de coût, de manière à obtenir un meilleur classement des chemins lors de la sélection. la section 4, décrit le corpus utilisé pour l'évaluation de cette nouvelle méthode. enfin la section 5 présente les résultats des expériences menées pour évaluer les approches proposées de manière objective et perceptive. dans cet article, le coût cible est mis à 0 dans l'équation 1. à la place, nous filtrons les unités candidates du corpus, en n'incluant dans le graphe que celles correspondant à un ensemble de caractéristiques linguistiques et phonétiques, que nous appelons les filtres de présélection @xcite . afin d'obtenir un nombre suffisant d'unités candidates u n pour chaque unité cible t n , que nous notons min u (10 au minimum dans ce travail), les contraintes liées aux filtres peuvent être temporairement relâchées. plus formellement, on considère que l'on dispose d'un n-uplet de j filtres modélisés par des fonctions indicatrices f j (u n , t n ) (j 2 [0 ; j]) valant 1 si u n respecte la condition posée par le filtre j pour le diphone cible t n et 0 sinon. considérons l'ensemble des unités satisfaisant les i premiers filtres pour le diphone cible t n : l'étape de présélection vise à rechercher, pour chaque diphone cible t n , l'ensemble o(i n , t n ) de noeuds candidats, à intégrer dans le graphe de sélection, pour lequel i n est maximal : en conséquence, le relâchement des filtres est effectué en partant du dernier. ainsi, l'ordre des filtres utilisés peut avoir un impact important lors de la sélection. la principale raison de ne pas intégrer ces filtres à la fonction de coût elle-même est de réduire la taille du graphe d'unités candidates (donc de réduire le temps de sélection). cependant, il ne faut pas perdre de vue le fait qu'ils font partie intégrante du coût de sélection. en effet, les filtres constituent un ensemble de fonctions binaires de coûts cible se fondant sur l'hypothèse suivante : si une unité ne respecte pas l'ensemble des filtres actifs, elle ne peut pas être utilisée pour la sélection. les filtres de présélection utilisés dans ce travail (choisis empiriquement) sont les suivants : actes de la conférence conjointe jep-taln-recital 2016, volume 1 : jep 4. le phone est-il dans la dernière syllabe de la phrase ? on pourrait faire valoir que plus de filtres permettrait une meilleure sélection, mais par expérience plus de raffinement dans les filtres ne s'avère pas donner de meilleurs résultats. en effet, la meilleure unité est essentiellement un compromis entre un bon coût cible et un bon coût de concaténation, ce qui implique que chaque coût doit disposer d'un panel de choix suffisant. ## description du corpus pour réaliser les expériences, deux corpus de parole ont été utilisés. le premier est un corpus extrait d'un livre audio expressif, nommé ici audiobook. il contient 10h45 de parole et est échantillonné à 44,1 khz avec un encodage sans perte en mono-canal. le locuteur est un homme et la f0 moyenne des segments voisés est faible, à seulement 87hz dans l'ensemble du corpus. les données ont été automatiquement annotées en utilisant le procédé décrit dans @xcite et en utilisant le toolkit roots @xcite . le corpus est composé de 3339 énoncés, avec 388251 phonèmes et 31491 nss (non speech sound). sa couverture de diphonème est incomplète à 78 %, mais seuls des diphonèmes très rares/irréalisables en français en sont exclus. le second corpus utilisé pour nos expériences est ici nommé ivs. il a été enregistré à des fins de synthèse de parole avec pour but de l'intégrer à un système vocal interactif. le script d'enregistrement a été construit spécifiquement pour couvrir tous les diphonèmes présents en français. il comprend également un ensemble de mots très usités dans le domaine des télécommunications. il dispose d'une voix féminine échantillonnée à 16khz (codage sans perte, 1 canal) avec une f0 moyenne sur les segments voisés assez basse à 163hz. le corpus est composé de 7662 énoncés, 239260 phonèmes et 20424 nss pour 7h05' de parole. le corpus de test utilisé pour les expériences consiste en 100 phrases issues de styles très différents. ce corpus est distinct d'ivs et d'audiobook. la langue des corpus utilisés est le français. ## expériences premièrement, une analyse du comportement de nos trois méthodes (baseline, pho-class et fuzzypho-class) en termes de coût de concaténation est effectuée. les unités résistantes (classe r) sont considérées à part. ensuite, l'évaluation subjective que nous avons menée pour valider l'approche proposée est présentée avec ses résultats.