Une nouvelle mesure de la réverbération pour prédire les performances a priori de la transcription de la parole (A new reverberation measure to predict a priori ASR performance) (2020)

Abstract: Dans cette étude, nous explorons la prédiction a priori de la qualité de la transcription automatique de la parole dans le cas de la parole réverbérée enregistrée avec un seul microphone. Cette prédiction est faite avant le décodage pour informer les utilisateurs de la qualité de la transcription attendue. Dans cette étude, nous nous concentrons uniquement sur les pertes de performance liées à la réverbération. Une nouvelle mesure de réverbération appelée « Excitation Behavior » est introduite. Cette mesure exploite le résidus de la prédiction linéaire sur les fenêtres voisées du signal de parole. L’expérience a été menée sur le corpus Wall Street Journal, réverbéré par des réponses impulsionnelles provenant du REVERB Challenge. Par rapport aux autres mesures de réverbération testées, notre mesure obtient une amélioration relative de 20% de la prédiction du taux d’erreur (aussi bien au niveau des phonèmes que des mots).

## introduction au cours de la dernière décennie, les systèmes de reconnaissance automatique de la parole (rap) ont atteint de bonnes performances sur de la parole « propre ». l'amélioration de la robustesse des systèmes de rap par rapport aux différents environnements acoustiques est un problème de recherche toujours d'actualité. même si actuellement les systèmes de rap sont de plus en plus robustes, la qualité de la transcription reste fortement dépendante de la qualité du signal de parole. dans les systèmes commerciaux de rap, les enregistrements soumis à une tâche de transcription ont généralement (voir même quasi-exclusivement) un seul canal audio. ce constat limite les méthodes pouvant être employées afin d'améliorer la robustesse des systèmes car les algorithmes exploitant plusieurs microphones, comme les traitements par faisceaux (« beamforming » en anglais), ne peuvent pas être utilisés @xcite . comme nous l'avions fait précédemment lors d'une étude sur la parole bruitée @xcite , l'objectif de cet article est de prédire a priori la qualité de la transcription des systèmes de rap pour la parole réverbérée. l'analyse est a priori car elle est entièrement effectuée avant le décodage de la parole. l'avantage de cette prédiction est d'informer au plus tôt un utilisateur de la qualité de la transcription attendue. nous avons choisi de traiter uniquement le cas de la réverbération afin d'isoler les sources de dégradation de la qualité de la parole. ces travaux ont vocation à être utilisés par des systèmes commerciaux de transcription automatique de la parole (comme par exemple dans le modèle économique de la société authôt), donc certaines contraintes ont été fixées : ## conclusions lorsqu'un signal de parole réverbéré est transcrit par un système de rap, un grand nombre d'erreurs de transcription est possible. dans les systèmes de rap commerciaux, les fichiers audio sont principalement enregistrés avec un seul microphone : les méthodes exploitant plusieurs microphones ne peuvent pas être utilisées pour améliorer la robustesse des systèmes. il est difficile de savoir dans quelle mesure la réverbération affecte les systèmes de rap car le comportement de ces systèmes est très différent de celui des humains (lorsque la parole est réverbérée). le principal objectif de ce papier est de prédire la qualité de la transcription a priori de la parole réverbérée, tout en respectant les contraintes des systèmes commerciaux de transcription automatique de la parole. nous avons contribué à l'élaboration de la mesure que nous appelons eb, pour quantifier l'impact de la réverbération sur les systèmes de rap. l'eb extrait une mesure statistique sur le résidu de la pl, qui est bien corrélé à la performance des systèmes de rap. pour évaluer l'eb, nous avons prédit le wer et le per obtenus avec les différentes mesures de réverbération testées. au niveau d'une phrase, la mesure eb fournit une amélioration relative de la précision de prédiction du wer et du per qui est de 20% supérieure aux autres mesures testées. la mesure eb obtient une erreur moyenne de prédiction de wer de 7,13 lorsque 140 secondes sont analysées, et une erreur moyenne de prédiction de per de seulement 5,04. dans tout les cas, la mesure de l'eb fournit une prédiction plus précise que les autres mesures testées. pour prédire a priori plus précisément la qualité de transcription des systèmes de rap, d'autres analyses acoustiques du signal de parole pourraient être réalisées. il serait intéressant d'observer l'influence du bruit et de la musique superposée. d'autre part, certaines variabilités au niveau des locuteurs, comme le débit de parole, le sexe ou l'âge, pourraient également améliorer la précision de la prédiction a priori de la qualité de la transcription automatique de la parole.