Pauzee : Prédiction des pauses dans la lecture d’un texte (2023)

Abstract: Les pauses silencieuses jouent un rôle crucial en synthèse vocale où elles permettent d’obtenir un rendu plus naturel. Dans ce travail, notre objectif consiste à prédire ces pauses silencieuses, à partir de textes, afin d’améliorer les systèmes de lecture automatique. Cette tâche n’ayant pas fait l’objet de nombreuses études pour le français, constituer des données d’apprentissage dédiées à la prédiction de pauses est nécessaire. Nous proposons une stratégie d’inférence de pauses, reposant sur des informations temporelles issues de données orales transcrites, afin d’obtenir un tel corpus. Nous montrons ensuite qu’à l’aide d’un modèle basé sur des transformeurs et des données adaptées, il est possible d’obtenir des résultats prometteurs pour la prédiction des pauses produites par un locuteur lors de la lecture d’un document.

## introduction la conversion de textes en contenu audio permet de multiples applications telles que la production de nouveaux médias sonores (e.g. livres audio) @xcite ou l'amélioration de l'accessibilité, pour les personnes malvoyantes ou non-voyantes, à des contenus textuels @xcite . toutefois, obtenir une lecture réaliste et fluide du texte reste un défi en synthèse vocale. par exemple, sans variations d'emphase, de ton, de rythme ou encore sans pauses de respiration, un texte lu automatiquement semblera monotone et peu naturel @xcite . dans ce projet, nous nous intéressons aux pauses silencieuses réalisées par les lecteurs en français, dans le but d'améliorer à terme la lecture automatique d'histoires et d'articles. nous cherchons notamment à identifier les endroits où les humains marquent une pause silencieuse, consciemment ou non, lors de leur lecture d'un texte à voix haute. ces pauses peuvent être produites pour des raisons respiratoires, stylistiques ou encore syntaxiques @xcite . elles peuvent être de durée variable. @xcite ainsi que @xcite distinguent par exemple les pauses brèves, moyennes et longues. @xcite définissent les pauses silencieuses comme "une interruption de la phonation". dans ce papier, nous considérons qu'une interruption de la phonation est une pause silencieuse dès lors qu'elle peut être perçue à l'oreille humaine. cette notion de perception est délicate à prendre en compte. pour ce faire, certain travaux choisissent par exemple d'écarter les pauses trop brèves en utilisant des seuils prédéfinis en millisecondes @xcite . toutefois, étant donnée la variabilité des débits de paroles et des durées de pauses, utiliser des seuils fixes peut avoir des conséquences sur les résultats @xcite . utiliser la ponctuation comme marqueurs de pauses et de respiration est aussi une solution proposée @xcite pour prédire où un lecteur fera des pauses. néanmoins, elle peut ne pas convenir à tous les types de textes, notamment les phrases longues et peu ponctuées comme dans les articles de wikipédia. définir quand une pause silencieuse peut apparaître est ainsi un problème non trivial. comme nous le verrons en section 2, les stratégies utilisées ont beaucoup évolué au fil du temps. toutefois, ces études ont majoritairement été effectuées pour la langue anglaise @xcite . d'autres travaux se sont penchés sur des tâches similaires, telles que la prédiction de ponctuation @xcite avec des approches multilingues. chacun de ces systèmes de prédiction requiert des données d'apprentissage pertinentes dans la langue traitée. ces données, très spécifiques, peuvent se révéler complexes à trouver pour des langues moins dotées que l'anglais, telles que le français. or, les construire de toutes pièces n'est pas une tâche aisée. comme expliqué plus haut, un système se reposant uniquement sur des symboles de ponctuation ou sur des seuils fixés manuellement ne semble pas optimal. pour pallier cela, nous proposons d'inférer un tel corpus, à partir de données temporelles intermots provenant de transcriptions de données orales, et de l'utiliser pour prédire des pauses. le système de prédiction de pauses proposé, pauzee, est inspiré des systèmes de prédiction de ponctuation. l'adaptation de tels systèmes à notre tâche permettrait en effet de prédire, dans un texte, les endroits où des pauses pourraient être réalisées en lecture. dans un second temps, nous nous intéressons au niveau de détail qu'il est possible d'obtenir en tentant de prédire la longueur d'une pause. en synthèse vocale, si toutes les pauses générées sont de la même durée, le résultat restera peu naturel voire peu intelligible. disposer d'informations à ce sujet est donc primordial. les contributions principales réalisées dans ce travail sont les suivantes foot_0 -la mise en place d'un système d'inférence dynamique des pauses silencieuses à partir d'informations temporelles prenant en considération les variations de ces pauses compte-tenu des différents locuteurs et types de corpus, et permettant ainsi la production d'un corpus annoté. -pauzee : l'implémentation d'une nouvelle approche s'appuyant sur des transformeurs pour la prédiction de pauses réalisées lors de la lecture d'un texte. la suite du papier est organisée comme suit : la section 2 offre un aperçu des travaux déjà faits dans le domaine. la section 3 détaille la construction des données utilisées pour l'apprentissage et l'évaluation du système de prédiction pauzee. ce système est ensuite décrit en section 4. enfin, les résultats obtenus sont détaillés en section 5 et sont suivis d'une conclusion en section 6. toutes ces approches nécessitent des données d'apprentissage dans la langue étudiée. ces données ne sont pas systématiquement disponibles dans toutes les langues. pour répondre à ce problème, différentes stratégies sont mises en place. certaines études prennent le parti d'utiliser des corpus existants, il en existe notamment pour l'anglais. nous pouvons par exemple citer le spoken english corpus qui est annoté en pauses @xcite . d'autres, choisissent d'annoter manuellement leurs données @xcite . enfin, une dernière stratégie est de réaliser cette annotation de manière plus automatique. c'est par exemple le cas de @xcite qui considèrent tous les silences de plus de 150 ms comme des pauses silencieuses. à notre connaissance, à l'exception @xcite , rares sont les travaux fait sur le français et, par conséquent, rares sont les corpus annotés disponibles. comme dit précédemment, les symboles de ponctuation, tels que les points et les virgules, sont souvent associés à une pause dans la lecture @xcite . campione & véronis (2002a) montrent d'ailleurs que près de 88% des pauses lors de la lecture apparaissent en présence d'une ponctuation @xcite . cette même étude constate que 18,7% des symboles de ponctuations ne provoquent pas de pauses. bien que non systématique, cette corrélation entre ponctuation et pauses reste observable et suggère que la prédiction de pauses pourrait utiliser des méthodes similaires à celles de la prédiction de ponctuation. en prédiction de ponctuation, les travaux les plus récents utilisent majoritairement des transformeurs. c'est par exemple le cas @xcite qui prédit la ponctuation en alignant des caractéristiques lexicales et prosodiques. plus récemment, sepp-nlg 2021 @xcite , la première tâche partagée sur la prédiction de fin de phrase et de ponctuation, a été organisée afin de développer des solutions dans ce domaine. trois systèmes se sont retrouvés gagnants : onpoint (michail et al., 2021), htw+t2k @xcite et @xcite . ces trois systèmes avaient pour point commun d'utiliser des transformeurs. pauzee, le système de prédiction de pauses silencieuses que nous voulons mettre en place à besoin de données d'apprentissage. nous proposons dans ce travail de développer une nouvelle manière d'inférer si un silence annoté en millisecondes peut être considéré comme une pause silencieuse. pour ce faire nous faisons cet apprentissage sur des données orales transcrites qui ont l'avantage d'être disponibles. contrairement à @xcite , nous ne souhaitons pas utiliser un seuil fixe prédéfini. un telle stratégie risquerait d'ignorer les variations de durée des pauses observables d'un locuteur à un autre @xcite . pour éviter cela, nous proposons d'apprendre ces seuils de manière dynamique, les rendant ainsi adaptables au style de narration du locuteur. à la vue des travaux réalisés dans le domaine, nous avons choisi de nous inspirer des travaux les plus récents et d'évaluer l'intérêt des transformeurs pour une telle tâche. des travaux en prédiction de ponctuation ayant déjà été réalisés avec des transformeurs, nous proposons de reprendre cette stratégie pour l'adapter à la prédiction de pauses silencieuses. ## données afin de constituer nos données d'entraînement et d'évaluation, nous proposons d'inférer les pauses produites par les locuteurs à partir de deux corpus de transcriptions d'histoires parlées et lues en français, contenant des données temporelles indiquant le début et la fin de chaque mot. le premier, le corpus synpaflex @xcite , contient des extraits de livres datant du 19 ème siècle lus par une seule et unique locutrice. de ce corpus, seuls les textes contenant des informations temporelles ont été conservés foot_1 . le second corpus, contenu sur la plate-forme orfeo (outils et ressources sur le français ecrit et oral) @xcite , est le french oral narrative corpus @xcite . ce jeu de données regroupe 87 contes oraux narrés en français par des conteurs professionnels et semi-professionnels. chaque conte n'apparaît qu'une fois dans le corpus, nous ne disposons pas de contes identiques racontés par deux locuteurs différents. notons que ce corpus est un corpus de parole spontanée ce qui le différencie de synpaflex. bien que le format conté de mémoire des contes se distingue d'un point de vue prosodique du format lu @xcite , il se rapproche toutefois de ce dernier d'un point de vue intentionnel. en effet dans ces deux cas, il est important de pouvoir partager une histoire de manière compréhensible et les pauses y jouent un rôle clé, bien que leur durée et leur fréquence différent. il est à préciser qu'un prétraitement a été réalisé sur ces deux corpus : tous les symboles de ponctuation ont été retirés. ce pré-traitement avait pour but d'aligner les deux corpus ensemble, le corpus conté n'étant pas doté de ponctuation. par ailleurs, retirer la ponctuation de nos corpus présente aussi un intérêt pour notre étude puisque nous ne souhaitons pas développer un système dépendant des signes de ponctuation. pour annoter ces corpus, nous proposons d'utiliser les informations temporelles disponibles pour inférer la présence des pauses. ces informations nous indiquent notamment la durée (en millisecondes) de chaque silence produit entre deux mots. nous appellerons ici cette information "silence intermot". précisons que tous les silences intermots, trop courts, ne peuvent être considérés comme des pauses (e.g. les occlusives). toutefois, fixer un seuil strict pour la prédiction de pauses (tel que 150, 200 ou 300ms) n'est pas recommandé en raison de la variabilité temporelle des pauses et de la façon de s'exprimer du locuteur @xcite . sans seuil, campione & véronis (2002a) observent d'ailleurs manuellement des pauses descendant jusqu'à 60ms. pour définir ce que nous pouvons considérer comme pause ou non, plusieurs analyses de corpus ont été réalisées. bien que synpaflex se distingue du corpus french oral narrative corpus (pauses plus courtes et moins nombreuses), nous ne pouvons savoir si ces différences sont dues au type de corpus ou à la manière de s'exprimer de la locutrice. pour ces raisons, les observations sur les pauses, décrites ci-dessous, se concentrent sur le corpus oral narrative. la figure 1 présente l'évolution de la durée des silences intermots observés dans le french oral narrative, percentile par percentile, pour chaque locuteur. les courbes représentent les différents figure 1 -répartition des pauses faites dans le corpus oral narrative locuteurs, l'ordonnée correspondant au nombre de millisecondes et l'abscisse indiquant les percentiles. cette visualisation est limitée aux percentiles supérieurs à 75, les durées intermots en dessous étant trop courtes pour être considérées comme des pauses silencieuses. en effet, à l'exception d'un locuteur, à 75 percentiles tous les silences intermots produits sont en dessous de 60ms. cette illustration offre deux constats : 1) les locuteurs ne font pas le même pourcentage de pauses dans leurs silences intermots (ce pourcentage varie entre 22% et 12%) et 2) la durée d'une pause peut varier d'une personne à l'autre. par exemple, les pauses les plus longues constatées pour chaque locuteur varient entre 1000ms et 2500ms. ces observations doivent être interprétées avec prudence : les différences peuvent également provenir du contenu de l'histoire racontée par chaque locuteur, chaque récit étant différent des autres. suite à cette étude, nous avons choisi de définir un seuil dynamique pour chaque locuteur et chaque histoire. utiliser un seuil ne dépendant pas d'un nombre de millisecondes prédéfini pourrait offrir une meilleur prise en compte de la fluctuation des pauses et ainsi conduire à une lecture plus fluide et naturelle. pour cela, nous appuyons sur deux critères : la taille de la pause en millisecondes et le percentile. suite à notre étude et à la lecture de différentes études citées précédemment, nous considérons qu'une pause doit durer au minimum 80 ms et qu'un narrateur peut faire jusqu'à 22% de pauses silencieuses parmi les silences intermots observés. pour chaque corpus, nous avons observé la longueur de toutes les pauses apparaissant à partir du percentile 78, puis avons incrémenté ce percentile jusqu'à trouver des longueurs de pauses correspondant à ces critères. cette stratégie nous permet d'avoir un corpus annoté en pauses prenant en considération leur variabilité compte-tenu du locuteur et du corpus. parmi les pauses réalisées en texte lu, se distinguent les pauses brèves, moyennes et longues @xcite @xcite . cependant, les seuils qui délimitent ces pauses varient selon les études : celle de la pause courte est souvent comprise entre 100 ms et 250 ms @xcite @xcite , celle de la pause moyenne entre 500 ms et 1000 ms @xcite et à la pause longue correspond aux pauses de durées supérieures @xcite . de même que le seuil qui sépare un silence d'une pause peut varier, nous pensons que les seuils qui distinguent une pause courte, moyenne ou longue peuvent varier selon les locuteurs. on constate sur la figure, il n'y a pas de séparation nette entre les différentes longueurs de pauses, un constat qu'avait également fait @xcite . pour chaque locuteur, nous déterminons les percentiles parmi lesquels se trouvent les pauses, puis nous divisons ces percentiles en trois groupes de tailles égales afin d'obtenir les seuils correspondant aux pauses courtes, moyennes et longues. en moyenne, les seuils séparant les pauses courtes des moyennes sont de 350ms et celles séparant les moyennes des longues est de 950ms. cette seconde stratégie permet de compléter le corpus annoté en pause par une seconde annotation en longueur de pauses. la ## résultats ce travail tente de comprendre dans quelle mesure des pauses silencieuses, produites par un humain à partir d'un texte lu, ainsi que leurs longueurs peuvent être prédites. l'évaluation de ces tâches de classification est réalisée avec des métriques classiques : la précision, le rappel et la f-mesure. ces métriques sont calculées pour chacune des classes étudiées, leur macro-moyenne et leur moyenne pondérée. prédire la présence d'une pause à un endroit donné est une tâche de classification binaire. nous ne disposons malheureusement pas des modèles et des corpus utilisés par les autres travaux décrits dans l'état de l'art et nous ne pouvons donc comparer notre système, pauzee, aux leurs. par conséquent, nous proposons d'utiliser deux approches de base : le choix concernant nombre de syllabes s'est donc fait sur la macro-moyenne. -la seconde, "unbabel", propose de s'appuyer sur le système unbabel initial entraîné pour de la prédiction de ponctuation. l'idée sous-jacente étant de mesurer l'apport des données d'entraînement que nous avons choisi d'utiliser pour affiner le modèle appris. unbabel prédit non pas des pauses, mais de la ponctuation. ainsi, pour prendre en compte ses résultats dans notre évaluation, tous les marqueurs de fin de phrases (".", " !", " ?") ainsi que les virgules et point virgule prédits par unbabel sont considérés comme une prédiction de pause. le tableau 2 montre, pour chaque classe prédite et en moyenne, les résultats obtenus par les approches de base et par pauzee. la dernière colonne indique le nombre d'éléments concernés. ## conclusion dans cet article, nous présentons un système de prédiction des pauses silencieuses qui peuvent survenir lors de la lecture à voix haute d'un texte. cette prédiction peut être utilisée pour améliorer les outils de synthèse vocale. notre système, pauzee, utilise un modèle de prédiction de ponctuation basé sur des transformeurs. une méthode qui, à notre connaissance, n'avait pas été proposée auparavant dans la littérature. nous avons entraîné pauzee sur des données inférées plutôt que manuellement annotées car il n'existe pas de données spécifiques pour la prédiction de pauses en français. ce système d'inférence offre une meilleure prise en compte de la fluctuation des temps de pauses qui peuvent apparaître d'un locuteur à l'autre et entre différents type de corpus. cela nous permet d'obtenir des données annotées pour chaque locuteur. peu bruyant, pauzee produit des résultats encourageants. nous pouvons noter les pauses prédites sont en bonne partie corrélées à de la ponctuation, les autres restent toutefois un défi. nos résultats mettent par ailleurs en évidence la variabilité des pauses silencieuses. étant donné que chaque élément de notre corpus est lu ou narré par une seule personne, il est difficile de distinguer les pauses spécifiques au locuteur de celles communes à tous les locuteurs. on constate cependant que plus une pause est longue plus elle est prévisible et probablement attendue de tous. nos résultats pourraient être améliorés à plusieurs niveaux. apprendre à prédire plus finement les pauses communes à tous les locuteurs et celles qui sont plus optionnelles est une première piste. comme nous avons pu le constater, parfois plusieurs annotations semblent acceptables à l'oreille humaine. par conséquent, une évaluation humaine de ce travail serait pertinente. même si nos résultats ne sont pas identiques à ceux attendus dans le corpus d'évaluation, ils pourraient finalement être perçus comme valides par des humains. en outre, les seuils dynamiques de notre système d'inférence pourrait être mieux adaptés. la définition de pauses courtes demeure ici encore trop ambiguë et trop permissive. enfin, les caractéristiques du locuteur ne sont pas prises en compte dans ce travail, les ajouter dans notre système pourrait le rendre plus précis et réduire le nombre d'erreurs.