Alignement de séquences phonétiques pour une analyse phonologique des erreurs de transcription automatique (Phonetic sequences alignment for a phonemic analysis of automatic speech transcription errors ) (2016)

Abstract: La transcription automatique de la parole obtient aujourd’hui des performances élevées avec des taux d’erreur qui tombent facilement en dessous de 10% pour une parole journalistique. Cependant, pour des conversations plus libres, ils stagnent souvent autour de 20–30%. En français, une grande partie des erreurs sont dues à des confusions entre homophones n’impliquant pas les niveaux acousticophonétique et phonologique. Cependant, de nombreuses erreurs peuvent s’expliquer par des variantes de productions non prévues par le système. Afin de mieux comprendre quels processus phonologiques pourraient expliquer ces variantes spécifiques de la parole spontanée, nous proposons une analyse des erreurs en comparant prononciations attendue (référence) et reconnue (hypothèse) via un alignement phonétique par programmation dynamique. Les distances locales entre paires de phonèmes appariés correspondent au nombre de traits phonétiques disjoints. Nos analyses permettent d’identifier les traits phonétiques les plus fréquemment impliqués dans les erreurs et donnent des pistes pour des interprétations phonologiques.

## introduction dans cette contribution, nous proposons d'analyser les erreurs de transcription automatique de la parole d'un point de vue phonétique. les erreurs d'un système de transcription sont habituellement comptabilisées au niveau du mot et une confusion entre deux formes fléchies homophones (p. ex. « politique » et « politiques ») compte autant qu'une erreur entre mots très différents (p. ex. « affaire » et « ferveur » dans la suite « l'affaire woerth » reconnue comme « la ferveur »). pour cela, nous comparons la chaîne phonétique correspondant aux mots de la transcription automatique (hypothèse ou hyp) à celle provenant des mots de la transcription manuelle (référence ou ref). la comparaison est effectuée dans des zones d'erreur, c'est-à-dire aux endroits où le système de transcription produit des mots différents de ceux attendus par la référence. pour comparer des chaînes de caractère, une mesure fréquemment utilisée est la distance d'édition ou la distance de levenshtein @xcite , qui donne le nombre minimal de caractères qu'il faut supprimer, insérer ou remplacer pour passer d'une chaîne à l'autre. dans notre cas, les caractères correspondent à des phones. l'alignement de séquences phonétiques a été utilisé pour de nombreuses recherches en phonologie computationnelle @xcite , en dialectologie @xcite ou encore en phonétique clinique @xcite . nous adoptons ici ce type d'approche pour l'analyse d'erreurs issues de systèmes de transcription automatique de la parole. nous proposons d'adapter la distance de levenshtein pour mieux tenir compte de la proximité phonético-phonologique entre phonèmes. par exemple, le /p/ est plus proche du /b/ que du /s/ ou du /a/. ## corpus, approche et méthode nos travaux s'inscrivent dans le cadre plus large de recherches menées sur la caractérisation des erreurs produites par des systèmes de transcription de la parole, notamment au sein du projet anr vera foot_0 @xcite @xcite . l'objectif est d'étudier l'impact de ces erreurs sur des applications plus complexes comme l'indexation, la traduction ou le repérage d'entités nommées à partir de flux audio. d'autres finalités consistent à contribuer à une évaluation plus informative des systèmes de transcription et à mieux rendre compte des aspects linguistiques impliqués dans les erreurs. nous développons ce dernier volet en focalisant sur l'interface phonétique-phonologie dans les erreurs de transcription des sorties du système de reconnaissance du lium @xcite avec les données de la campagne etape @xcite . dans la suite, nous présentons d'abord le corpus qui fournit les erreurs de transcription, c'est-à-dire les séquences phonétiques (ref vs hyp) à aligner. nous développons ensuite le choix de traits phonétiques pour décrire les phonèmes du français, utilisés pour le calcul de distance entre paires de phonèmes. nous précisons que ce calcul de distance se fait uniquement à partir de traits sans prendre en compte les réalisations acoustiques des sons impliqués. enfin, nous rappelons brièvement l'algorithme de programmation dynamique tel que mis en oeuvre pour notre analyse. ## analyse des erreurs de transcription automatique la méthode présentée dans cette étude, permettant de calculer des distances entre chaînes phonétiques au-delà des mots et d'aligner ces dernières en tenant compte d'informations phonologiques, peut être mise au service d'une analyse linguistique des erreurs de transcription de la parole. nous souhaitons ainsi contribuer à l'évaluation des systèmes de transcription de la parole en utilisant ces informations de manière à mieux identifier les variations impactant les phonèmes et le rôle des traits phonétiques. ## conclusion nous avons présenté nos travaux sur l'analyse des erreurs produites d'un système de transcription de l'évaluation etape. afin d'analyser des zones d'erreur (incluant tous les mots erronés entre les deux extrémités bien reconnues), nous avons introduit une nouvelle méthodologie s'appuyant sur la programmation dynamique en traitement automatique et les traits phonétiques. cette approche vise à aligner non plus les mots en tant que tels, mais leurs séquences phonétiques respectives afin de mieux décrire les erreurs en matière de proximité phonique. l'utilisation des traits met en lumière le rôle de certains traits, eux-mêmes importants dans le système phonologique, dans les erreurs du système de transcription. en particulier, ce résultat apporte des arguments en faveur de la structuration du système phonologique en traits hiérarchisés @xcite . les résultats permettent de trier les zones d'erreur suivant une distance phonétique : à distance faible, nous sommes en présence d'erreurs homophones et quasi-homophones. au sein de ce sous-ensemble, il sera intéressant d'étudier plus finement les processus phonétiques et phonologiques (lénition, assimilation, chute de segments, réductions et divers metaplasmes). plusieurs améliorations de la procédure d'alignement sont prévues, et notamment : affiner la représentation des traits phonétiques (p. ex. type de spécification) ; améliorer le calcul des distances locales en tenant compte du voisinage phonétique immédiat. nous avons également pour perspective de développer les analyses à l'interface phonétique-phonologie, de produire des analyses d'erreur en contexte (analyse des triphones) et fonction des frontières de mots/syllabes et de mieux rendre compte des phénomènes de réduction en parole spontanée. enfin, nous envisageons dans le futur d'ajouter un décodage phonétique afin d'étudier le rôle des traits phonétiques dans les erreurs de reconnaissance automatique hors contraintes lexicales (et hors contraintes de plus haut niveau).