Reconnaissance automatique de la parole : génération des prononciations non natives pour l’enrichissement du lexique (In this study we propose a method for lexicon adaptation in order to improve the automatic speech recognition ( ASR ) of non-native speakers) (2020)

Abstract: Dans cet article nous proposons une méthode d’adaptation du lexique, destinée à améliorer les systèmes de la reconnaissance automatique de la parole (SRAP) des locuteurs non natifs. En effet, la reconnaissance automatique souffre d’une chute significative de ses performances quand elle est utilisée pour reconnaître la parole des locuteurs non natifs, car les phonèmes de la langue étrangère sont fréquemment mal prononcés par ces locuteurs. Pour prendre en compte ce problème de prononciations erronées, notre approche propose d’intégrer les prononciations non natives dans le lexique et par la suite d’utiliser ce lexique enrichi pour la reconnaissance. Pour réaliser notre approche nous avons besoin d’un petit corpus de parole non native et de sa transcription. Pour générer les prononciations non natives, nous proposons de tenir compte des correspondances graphèmes-phonèmes en vue de générer de manière automatique des règles de création de nouvelles prononciations. Ces nouvelles prononciations seront ajoutées au lexique. Nous présentons une évaluation de notre méthode sur un corpus de locuteurs non natifs français s’exprimant en anglais.

## introduction les systèmes de reconnaissance automatique de la parole (srap) ont fait des progrès continus au fil des années, grâce à l'utilisation des réseaux de neurones artificiels dans l'élaboration des modèles acoustiques et à la puissance de calcul toujours plus élevée, entraînant une baisse notable du taux d'erreur de reconnaissance. mais le traitement de la parole non native reste encore un défi à relever. des études phonologiques @xcite ont mis en évidence les problèmes posés par les locuteurs non natifs : les prononciations des phonèmes de la langue parlée, influencées par celles de la langue maternelle, des intonations différentes, des prononciations hachées, des hésitations et des auto-corrections. plusieurs approches ont été tentées pour rendre les srap tolérants à la parole non native. elles sont de deux types : l'une utilise l'augmentation automatique du lexique avec des prononciations alternatives, et l'autre consiste à modifier les modèles acoustiques pour les rendre compatibles avec les phonèmes de la langue parlée. cela peut être effectué en utilisant un corpus de parole non native @xcite ou seulement la parole native (lee et @xcite . une combinaison de ces deux approches est également envisageable @xcite . une bonne reconnaissance des noms propres dans un contexte multilingue est obtenu en utilisant un modèle acoustique multilingue et de transcriptions nativisées émergeant de g2p (grapheme-to-phoneme) de ces langues @xcite . l'enrichissement du lexique par génération automatique de prononciations alternatives peut se faire via un jeu de règles pré-établies de substitution de phonèmes @xcite . ces règles sont issues d'études phonologiques entre les différences de prononciations de phonèmes entre la langue parlée et la langue native. une autre variante automatisée consiste à utiliser une base de données de parole non native afin de générer une matrice de confusion entre les phonèmes de la langue parlée et les phonèmes de la langue native @xcite . l'adaptation des modèles acoustiques en vue de rendre tolérant le srap à la parole non native peut consister à utiliser deux ensembles de modèles acoustiques, l'un adapté à la langue maternelle du locuteur, et l'autre à la langue non native. cela permet de faire une reconnaissance phonétique et un alignement sur la parole non native, dans le but d'extraire les différences de prononciations de phonèmes et de les intégrer dans les modèles acoustiques @xcite . enfin une variante consiste à intégrer la graphie des mots @xcite dans l'étude des différences de prononciations entre la parole native et celle non native, afin de générer des règles de création de prononciations, règles qui seront ensuite utilisées pour modifier les modèles acoustiques pour les rendre tolérant à une parole non native. dans notre article nous nous intéressons à l'augmentation du lexique. notre méthode pour traiter le problème de la parole non native emprunte certaines idées de deux approches : l'enrichissement du lexique canonique par génération de règles, et la prise en compte des correspondances graphèmes-phonèmes dans l'élaboration de ces règles. nous ne modifions pas le modèle acoustique, c'est donc une approche rapide à mettre en oeuvre. pour réaliser notre approche nous avons besoin d'un petit corpus de parole non native et sa transcription qui nous permet de générer ces nouvelles règles de prononciations. par rapport aux méthodes de l'état de l'art, notre approche permet d'utiliser simultanément des phonèmes de la langue cible et de la langue maternelle du locuteur. de plus, seul le lexique de l'application est modifié. ## méthodologie proposée notre approche de prise en compte de la parole non native dans un système de reconnaissance de la parole s'appuie sur l'hypothèse que les locuteurs non natifs peuvent être influencés par la graphie des mots étrangers à prononcer. dans ce cas, les locuteurs non natifs peuvent prononcer certains phonèmes d'un mot en utilisant des règles de phonétisation issues de leur langue maternelle. par exemple, le graphème « e » du mot anglais zero doit se prononcer /ɪ/ (zero /z ɪ r oʊ/). mais un français risque de le prononcer /e/ car le graphème « e » ne se prononce pratiquement jamais /i/ en français. pour prendre en compte ce phénomène, nous proposons d'enrichir le lexique du système de reconnaissance en y ajoutant les prononciations non natives en tenant compte de la graphie des mots. nous proposons effectuer seulement les substitutions de certains phonèmes natifs par des phonèmes non natifs en fonction de la graphie. le lexique augmenté sera utilisé pour effectuer la reconnaissance. voici en quelques lignes le résumé de notre méthode. dans une première étape, nous extrayons les correspondances phonème-graphème à partir d'un lexique phonétique canonique (lexique de départ du srap) : nous effectuons un lien entre chaque phonème d'un mot du lexique et les graphèmes composant ce mot. puis, à l'aide d'un corpus audio de parole non native, nous identifions les associations entre les phonèmes attendus et les phonèmes réellement prononcés (en utilisant un alignement forcé et une reconnaissance phonétique). a partir de cela, nous créons des règles de substitution des phonèmes en tenant compte des couples graphème-phonème. ces règles seront appliquées au lexique destiné à la reconnaissance de la parole des locuteurs non natifs, afin de l'enrichir en nouvelles prononciations. la figure 1 illustre ces étapes. dans les sections suivantes nous présenterons ces étapes plus en détails et avec des exemples. ## expériences cette partie décrit les corpus utilisés et le protocole expérimental.