Introduction d’informations sémantiques dans un système de reconnaissance de la parole (Despite spectacular advances in recent years, the Automatic Speech Recognition ( ASR ) systems still make mistakes, especially in noisy environments) (2020)

Abstract: Malgré les avancés spectaculaires ces dernières années, les systèmes de Reconnaissance Automatique de Parole (RAP) commettent encore des erreurs, surtout dans des environnements bruités. Pour améliorer la RAP, nous proposons de se diriger vers une contextualisation d’un système RAP, car les informations sémantiques sont importantes pour la performance de la RAP. Les systèmes RAP actuels ne prennent en compte principalement que les informations lexicales et syntaxiques. Pour modéliser les informations sémantiques, nous proposons de détecter les mots de la phrase traitée qui pourraient avoir été mal reconnus et de proposer des mots correspondant mieux au contexte. Cette analyse sémantique permettra de réévaluer les N meilleures hypothèses de transcription (N-best). Nous utilisons les embeddings Word2Vec et BERT. Nous avons évalué notre méthodologie sur le corpus des conférences TED (TED-LIUM). Les résultats montrent une amélioration significative du taux d’erreur mots en utilisant la méthodologie proposée.

## introduction grace aux réseaux de neurones profonds, les systèmes de reconnaissance automatique de la parole commencent à être utilisables dans les conditions réelles de notre vie de tous les jours. d'ailleurs des nombreux industriels proposent déjà des systèmes vocaux pour nos maisons, nos voitures et nos smartphones. malgré des efforts constants et quelques avancées spectaculaires, la capacité d'une machine à reconnaître la parole est encore loin d'égaler celle de l'être humain. les systèmes rap actuels voient leurs performances diminuer de manière significative lorsque les conditions dans lesquelles ils ont été entraînés et celles dans lesquelles ils sont utilisés diffèrent. les causes de variabilité existantes entre ces conditions peuvent être liées à l'environnement acoustique et/ou à l'acquisition du signal sonore. le matériel de capture du son, le changement de microphone, l'environnement acoustique ajoutent au signal de la parole des composantes perturbatrices. l'approche classique comporte deux étapes : débruiter (rehausser) le signal puis le transmettre au système de rap pour le décodage. cependant, la performance d'un système de rap sur un mot donné dépend toujours de la distorsion au moment précis où ce mot a été prononcé. pour résoudre ce problème, nous proposons de se diriger vers une contextualisation du système rap. en effet, les informations lexicales, sémantiques et temporelles sont importantes pour qu'un système rap soit performant. en revanche, les systèmes rap actuels ne prennent en compte principalement que les informations lexicales et syntaxique (modèles de langage n-gramme locaux). pour modéliser les informations sémantiques, plusieurs méthodes fondées sur des statistiques de cooccurrences, sur l'information mutuelle, sur un modèle vectoriel et sur les réseaux de neurones peuvent être utilisées @xcite . les espaces sémantiques et thématiques sont des espaces vectoriels utilisés pour la représentation numérique des mots, des phrases ou des documents textuels. presque tous les modèles s'appuient sur l'hypothèse de la sémantique statistique qui stipule que: des schémas statistiques d'apparition des mots (contexte d'un mot) peuvent être utilisés pour décrire la sémantique sous-jacente @xcite . la méthode la plus utilisée pour apprendre ces représentations est de prédire un mot en utilisant le contexte dans lequel ce mot apparaît : embedding @xcite , et cela peut être réalisé avec des réseaux neuronaux. ces représentations se sont avérées efficaces pour une série de tâches de traitement du langage naturel @xcite . elles sont devenues très populaires en raison de leur capacité à traiter de grandes quantités de données textuelles non structurées avec un faible coût de calcul. l'efficacité et les propriétés sémantiques de ces représentations nous motivent à explorer ces représentations sémantiques pour notre tâche de reconnaissance dans des conditions bruitées. nous espérons que dans les parties très bruitées, le modèle de langage et le modèle sémantique peuvent permettre de lever les ambiguïtés acoustiques afin de trouver les mots prononcés par le locuteur. dans cet article nous proposons de compléter l'étape de rap par l'ajout d'informations sémantiques afin de détecter les mots de la phrase traitée qui pourraient avoir été mal reconnus et de proposer des mots de prononciation similaire correspondant mieux au contexte. cette analyse sémantique permet de réévaluer les n meilleures hypothèses de transcription (n-best) et peut être vue comme une forme d'adaptation dynamique dans le cadre spécifique des données bruitées. les informations sémantiques sont introduites en utilisant des représentations prédictives à l'aide de vecteurs continus (embeddings). toutes nos modélisations s'appuient sur les technologies performantes de dnn. par rapport aux travaux précédents utilisant la réévaluation de la liste n-best @xcite @xcite , nous nous appuyons uniquement sur des informations sémantiques. de plus, la spécificité de notre approche est l'utilisation de la partie contextuelle et des zones de possibilité de la liste des n-hypothèses: la partie contextuelle représente l'information sémantique du contexte thématique du document à reconnaître et la zone de possibilité correspond à la zone où nous voulons trouver les mots à corriger. cela nous permet de donner moins d'importance aux mots de la zone de possibilité qui ne correspondent pas au contexte du document, et de donner un faible score sémantique à l'hypothèse correspondante. ## méthodologie proposée une façon efficace de prendre en compte les informations sémantiques est de réévaluer les meilleures hypothèses du système de reconnaissance. le système de reconnaissance nous fournit pour chaque mot de la phrase hypothèse un score acoustique p ac (w)et un score linguistique p lm (w). la meilleure phrase est celle qui maximise la probabilité de la séquence de mots : ŵ est la phrase reconnue (le résultat final) ; h est l'ensemble des n-meilleures hypothèses de phrases ; h i est la i-ème hypothèse de phrase ; w est un mot de l'hypothèse. α et β représentent les poids du modèle acoustique et du modèle de langage. ils sont indispensables car les scores acoustiques et les scores linguistiques ne sont pas toujours normalisés (ce sont souvent des vraisemblances et non des probabilités). ces poids sont ajustés sur un corpus de développement. nous souhaitons ajouter de l'information sémantique pour guider le processus de reconnaissance. l'approche la plus naturelle pour intégrer cette information consiste à modifier le calcul de la probabilité de la séquence de mots de la façon suivante : nous avons ajouté la probabilité sémantique de chaque mot : p sem (w). pour avoir un bon équilibre entre les différents modèles, nous introduisons un troisième poids γ pour pondérer l'information sémantique. il sera également ajusté sur un corpus de développement.