Ajout automatique de disfluences pour la synthèse de la parole spontanée : formalisation et preuve de concept (Automatic disfluency insertion towards spontaneous TTS : formalization and proof of concept) (2017)

Abstract: Cet article présente un travail exploratoire sur l’ajout automatique de disfluences, c’est-à-dire de pauses, de répétitions et de révisions, dans les énoncés en entrée d’un système de synthèse de la parole. L’objectif est de conférer aux signaux ainsi synthétisés un caractère plus spontané et expressif. Pour cela, nous présentons une formalisation novatrice du processus de production de disfluences à travers un mécanisme de composition de ces disfluences. Cette formalisation se distingue notamment des approches visant la détection ou le nettoyage de disfluences dans des transcriptions, ou de celles en synthèse de la parole qui ne s’intéressent qu’au seul ajout de pauses. Nous présentons une première implémentation de notre processus fondée sur des champs aléatoires conditionnels et des modèles de langage, puis conduisons des évaluations objectives et perceptives. Celles-ci nous permettent de conclure à la fonctionnalité de notre proposition et d’en discuter les pistes principales d’amélioration.

## introduction les disfluences sont un phénomène qui interrompt le discours sans ajouter aucun contenu propositionnel @xcite . ces interruptions apparaissent principalement lorsque l'élocution va plus vite que le processus de pensée, ce qui est particulièrement fréquent en parole spontanée, lorsque le locuteur n'a pas préparé son discours. en dépit de l'absence de contenu propositionnel, les disfluences jouent un rôle important dans le discours. elles en améliorent la compréhension par des auditeurs, signalent la complexité de propos à venir @xcite (cité par @xcite ) et, en situation de dialogue, facilitent la synchronisation interlocuteurs @xcite . malgré cela, les systèmes de synthèse de la parole n'intègrent encore que très partiellement cette notion. à moins que l'utilisateur n'explicite la présence de disfluences dans le texte à synthétiser, les signaux de parole synthétique sont donc généralement peu expressifs et perçus comme relativement peu naturels lorsqu'il s'agit d'imiter un style spontané. en cela, l'ajout automatique de disfluences dans un énoncé en entrée d'un système de synthèse est un problème majeur à résoudre. cet article présente notre travail sur l'ajout automatique de disfluences dans le but de permettre la synthèse de parole spontanée. précisément, nous proposons une formalisation novatrice qui modélise le mécanisme de production de disfluences, et non seulement son résultat. cette formalisation permet de contrôler la nature et la proportion des disfluences produites. nous étayons notre proposition par une preuve de concept sous la forme d'une première implémentation appliquée sur un corpus de langue anglaise. nous nous appuyons sur des méthodes d'apprentissage statistique (les champs aléatoires conditionnels et des modèles de langue n-grammes) pour démontrer expérimentalement la capacité de notre approche à produire des énoncés disfluents plausibles. s'agissant d'un travail exploratoire, aucune expérience en synthèse n'a été conduite car la prise en compte des disfluences dans un système de synthèse nécessite des adaptations autres que la seule transformation du texte en entrée (corpus de parole sous-jacent, prédiction de la prosodie. . .). il était donc préférable, comme nous l'avons fait, de s'en tenir dans un premier temps à une validation textuelle des énoncés produits. après une revue du domaine et de nos motivations (section 2), nous présentons notre processus formel de production (section 3) et son implémentation (section 4). enfin, nous présentons la validation expérimentale de notre travail sous la forme d'évaluations objectives et perceptives (section 5). ## revue du domaine et motivations historiquement, les disfluences ont été longtemps considérées comme des expressions désordonnées et n'ont ainsi reçu que peu d'attention. certaines études ont néanmoins montré qu'elles présentent des regularités structurelles @xcite @xcite . parmi ces travaux, le schéma proposé par shriberg, communément admis en traitement automatique du langage, décrit la structure d'une disfluence comme une suite de mots dont certaines sections jouent un rôle particulier. ainsi, une portion de texte disfluente peut s'écrire comme a, rm, im, rr, b où : les pauses ont des rôles multiples. elles permettent par exemple de maintenir active la conversation lorsque le locuteur cherche ses mots ou d'instaurer une proximité avec un interlocuteur. selon la situation, elles prennent la forme de silences, de mots de remplissage (par exemple, « uh » ou « um » en anglais) ou de marqueurs du discours (« well », « you know ». . .). les répétitions peuvent, elles aussi, servir à gagner du temps mais elles peuvent également jouer un rôle rhétorique ou annoncer un problème à venir dans le discours. enfin, les révisions sont des interruptions qui font revenir le locuteur en arrière dans ses propos suite à une erreur (syntaxique ou sémantique). par cette définition, nous englobons ici également le cas parfois distingué des faux départs. le rôle des révisions n'est autre que d'aider le locuteur à corriger son discours, comme le montre l'exemple ci-dessous : i think rm she will ↑ p i im i mean rr he will not come today. (exemple 2) nous notons au passage que l'espace interregnum d'une révision peut contenir des marqueurs explicitant la présence d'une erreur et d'une correction à venir. la majorité des travaux en tal s'intéressant aux disfluences se situe dans le domaine de la reconnaissance automatique de la parole @xcite @xcite @xcite . ces travaux ont pour principal objectif d'intégrer ce phénomène dans le modèle de langage des systèmes ou de produire des transcriptions automatiques nettoyées de toutes éventuelles disfluences. ainsi, ils se sont davantage intéressés à la forme de surface des disfluences qu'au processus qui conduit à leur production. au contraire, les études en synthèse de la parole se sont faites plus rares. adell et al. (2008) expliquent en partie ce décalage par le fait que les corpus de parole sur lesquels les système de synthèse s'appuient ne contiennent souvent pas de disfluences et que les briques de pré-traitement linguistique de ces systèmes (étiquetage morphosyntaxique, analyse syntaxique, prédiction de la prosodie. . .) ne sont généralement pas capables de fonctionner avec des disfluences, en dépit de progrès en tal sur ce type de données (honnibal & johnson, 2014). depuis une dizaine d'années, quelques travaux s'intéressent néanmoins aux disfluences en cherchant à insérer des pauses dans les énoncés à synthétiser. dans (sundaram & narayanan, 2003), les auteurs proposent ainsi d'insérer des mots de remplissage (« uh » et « um ») entre les mots de phrases grâce à des automates à états finis. de leur côté, adell et al. (2007), dall et al. (2014) et andersson et al. (2010) formalisent le problème comme la recherche de points d'interruption par un outil d'apprentissage automatique, puis la sélection parmi un ensemble de possibilités des meilleurs mots à insérer d'après les probabilités données par un modèle de langage, principe général que nous reprenons dans notre proposition. le recours à une approche automatique s'appuie sur la prédictibilité par des humains des possibles points d'interruption et de la disfluence la plus appropriée pour chacun, tel que démontré dans (dall et al., 2014). cette dernière étude montre néanmoins que l'insertion de disfluences n'est pas un phénomène systématique. dans ces différents travaux, les modèles prédictifs s'appuient généralement sur les mots-formes et sur des étiquettes morphosyntaxiques. le peu de profondeur de ces descripteurs, et notamment leur manque de lien direct avec la charge cognitive ou émotionnelle d'un locuteur, explique probablement la non-systématicité observée. malgré cela, les résultats de ce type d'approches ont montré qu'elles permettent de feindre des traits de personnalité (wester et al., 2015). dans l'ensemble, l'étude des disfluences souffrent de certaines limites dans la perspective d'une utilisation en synthèse de la parole. tout d'abord, les travaux sur l'ajout de disfluences ne s'intéressent qu'à une unique famille de disfluences (les pauses) et ne proposent rien pour les autres. récemment, betz et al. (2015) ont proposé des modélisations distinctes pour plusieurs types de pauses. dans le même esprit mais pour aller plus loin, nous introduisons une formalisation plus riche, capable d'intégrer des répétitions et des révisions. ensuite, le schéma d'analyse des disfluences majoritairement repris n'est pas à même de décrire le processus de production des disfluences, processus qui permettrait une implémentation d'un algorithme d'ajout automatique. par exemple, l'analyse de la phrase « i want to to uh i mean i have to go. » permet, certes, de reconnaître cette dernière comme disfluente mais elle n'explique pas si elle est le résultat d'une répétition, deux pauses et une révision, ou d'une répétition et une révision, voire uniquement d'une révision. pour résoudre ce problème, nous proposons un processus, inspiré de ce schéma, qui clarifie ce genre de situation grâce à un mécanisme de composition de disfluences et est compatible avec une modélisation informatique déterministe. enfin, il est important de noter que l'évaluation des travaux en production de disfluences, comme tous les travaux en production automatique de langage naturel, est difficile puisque plusieurs sorties sont généralement acceptables dans ces problèmes. cela rend notamment délicat le calcul de mesures objectives lorsque les données étudiées, comme c'est le cas dans notre travail, ne contiennent qu'une unique référence à laquelle se comparer. en marge de notre contribution principale, nous discutons de ce problème dans la section 5. mathématiquement, ces deux fonctions se posent comme suit : à l'instar des fonctions f t , chaque sous-fonction est spécifique à sa famille car elles modélisent le résultat de phénonèmes en partie différents. ces particularités sont détaillés dans la suite. ## implémentation nous proposons une implémentation possible de notre processus de production de disfluences. l'objectif de cette implémentation est de valider notre approche avant de pouvoir étudier des implémentations plus riches et performantes à l'avenir. dans cette optique, nous nous limitons à l'ajout de pauses et de répétitions et laissons les révisions, plus difficiles, de côté. cette situation représente un cas d'étude minimal mais fonctionnel car il permet de tester le principe de composition. pour chaque famille de disfluences, nous choisissons de modéliser la prédiction des pi (fonctions π t ) comme une tâche d'étiquetage automatique que nous traitons par des champs aléatoires conditionnels (cac). l'insertion de nouveaux mots (fonctions ω t ) est, quant à elle, traitée comme l'énumération de toutes les hypothèses disfluentes possibles et la sélection parmi celles-ci de la plus probable d'après un modèle de langage. en résumé, le processsus entier s'appuie donc sur deux cac et deux modèles de langage. cette section décrit tout d'abord l'algorithme général de production qui orchestre ces modèles, puis décrit les étapes de prédiction des pi et d'insertion des nouveaux mots. ## validation expérimentale notre implémentation du processus proposé a été testée sur le corpus buckeye @xcite , un corpus de parole conversationnelle en anglais. ces données expérimentales représentent 20 heures de parole spontanée enregistrées auprès de 20 locuteurs lors d'interviews. entre autres informations, le corpus fournit les transcriptions orthographiques de ces entretiens. nous avons automatiquement annoté en disfluences ces transcriptions, puis les avons vérifiée manuellement. les répétitions ont été repérées par leur reparandum et réparations, les pauses par leur interregnum. les éventuelles erreurs d'annotation due à l'ambiguïté de certaines situations 1 ont été vérifiée manuellement. au final, 2 714 répétitions et 20 264 pauses sont considérées. les versions nettoyées des phrases disfluentes, utilisées notamment en entrée de nos tests, sont facilement obtenables à partir des annotations. pour chaque famille de disfluences, une version dédiée du corpus est dérivée de ces données en ne retenant que les phrases contenant au moins une disfluence de cette famille. pour être cohérent avec l'ordre de précédence, le corpus dédiés aux répétitions a par ailleurs été nettoyé de toutes pauses. enfin, les corpus ont été divisés en trois jeux de données : l'un pour l'entraînement des modèles (60 % des phrases), un autre de développement pour le réglage de certains hyper-paramètres (20 %) et un ensemble de test (20 %). pour apporter de la variété à nos modèles, les cac ont été appris sur les phrases disfluentes ainsi que sur des phrases partiellement nettoyées. les cac ont été appris avec wapiti 2 et les modèles de langage sont des modèles trigrammes appris avec srilm 3 . le reste de la section présente les différentes évaluations objectives et perceptives conduites pour valider notre approche. ## conclusion dans cet article, nous avons présenté une formalisation novatrice des phénomènes de révisions, répétitions et pauses afin de permettre l'ajout automatique de disfluences dans les énoncés en entrée d'un système de synthèse de la parole. l'objectif applicatif de ce travail est de rendre les signaux de parole synthétique plus spontanés et expressifs. pour cela, nous avons introduit un processus théorique de compositions de disfluences et en avons fourni une première implémentation fondée sur des cac et des modèles de langage. les expériences menées sur cette implémentation montrent que le processus proposé est fonctionnel, bien que perfectible. parmi les perspectives, la première est donc de désormais produire une implémentation plus performante, si possible apprise sur davantage de données et incluant les révisions. notons sur ce dernier aspect qu'une difficulté majeure de la production de révisions consiste en la construction de séquences de mots plausibles pour le reparandum, c'est-à-dire au minimum en cohérence sémantique ou syntaxique avec l'ensemble de la phrase et idéalement dont l'une des propriétés laisse implicitement comprendre la cause de la disfluence (confusion phonétique, intention du locuteur. . .). ensuite, la question de l'évaluation des énoncés est un problème connu dans la littérature. nos expériences montrent qu'il est nécessaire de s'y intéresser si nous cherchons à l'avenir à quantifier des améliorations entre diverses implémentations. la meilleure piste d'amélioration sur ce point nous semble être l'enregistrement de productions orales des différentes phrases considérées afin de placer le testeur dans des conditions plus réalistes. l'emploi de la synthèse de la parole à cette fin d'évaluation paraît, quant à lui, prématuré car la prédiction de la prosodie accompagnant les disfluences n'est pas encore un sujet maîtrisé. le risque serait de biaiser la perception des variantes de phrases par des rythmes ou intonations parfois inadéquats. la synthèse automatique des phrases disfluentes reste donc un objectif ambitieux dont la modélisation de la prosodie est l'une des pistes prioritaires.