Analyse de l’effet de la réverbération sur la reconnaissance automatique de la parole (Analyzing how reverberation affects Automatic Speech Recognition) (2020)

Abstract: La Reconnaissance Automatique de la Parole (RAP) est moins performante lorsque le signal de parole est de mauvaise qualité. Dans cette étude, nous analysons les erreurs commises par les systèmes de RAP lorsque la parole transcrite est réverbérée afin de mieux comprendre les raisons de ces erreurs. Notre analyse permet de mettre en valeur les erreurs dues notamment à un mauvais alignement phonétique. Nous avons pu constater que les phonèmes de courte durée sont majoritairement supprimés lors du décodage phonétique. De plus, les phonèmes détectés, qu’ils soient corrects ou pas, ont tendance à avoir la même durée, ce qui est anormal pour certaines classes phonétiques comme les voyelles courtes ou les plosives. Nous avons aussi analysé les principales confusions entre les différentes classes phonétiques. Finalement, nous avons pu montrer que les erreurs lors de l’alignement phonétique des systèmes de transcription automatique entraînent beaucoup d’erreurs de détection.

## introduction au cours de la dernière décennie, les systèmes de reconnaissance automatique de la parole (rap) ont atteint de bonnes performances. néanmoins, la robustesse de ces systèmes reste insatisfaisante par rapport aux humains @xcite , notamment lorsque le signal de parole est réverbéré (surtout pour les fichiers enregistrés avec un seul microphone). pour la parole réverbérée, le comportement des systèmes de rap semble être différent de celui des humains @xcite . dans @xcite , nous pouvons apprendre que les 50 premières millisecondes de la réponse impulsionelle de la salle d'enregistrement (rir pour room impulse response) affectent peu les performances des systèmes de rap, contrairement aux millisecondes suivantes (réverbération tardive). dans @xcite , les auteurs présentent une tentative de caractériser la sensibilité d'un dispositif de reconnaissance de phonèmes en fonction de la source de distorsion du canal. on peut voir que les grandes classes phonétiques ne sont pas affectées de la même manière par la réverbération. dans @xcite , les auteurs montrent la robustesse relative à la réverbération de chaque phonème, et proposent un modèle pour estimer la confusion de chaque phonème. la méthode utilise l'indice de clarté c50, qui est bien corrélé avec les performances de la rap @xcite . nous proposons d'analyser les erreurs des systèmes de rap dues à la réverbération. les résultats détaillés de la substitution des phonèmes et de la durée des phonèmes détectés (ou supprimés) permettront d'observer les raisons des mauvaises performances de la rap pour la parole réverbérée. plutôt que timit @xcite , nous avons choisi de travailler sur un autre corpus, le "wall street journal" (wsj) @xcite , avec une recette plus récente que les précédentes études sur le sujet pour créer notre système de rap : utilisation de dnn (deep neural network) et adaptation fmllr (feature space maximum likelihood linear regression). dans la section 2, nous présentons le contexte de cette étude et nous rappelons le mécanisme de réverbération et ses différentes formes. dans la section 3, nous exposons notre plan d'expérimentation, le matériel et les systèmes utilisés dans cette étude. dans la section 4, nous présentons les résultats que nous discuterons dans la section 5. ## contexte supposons qu'un signal s qui est traité dans un environnement acoustique réaliste soit modélisé par : le rir est composé de trois parties : ## corpus et vérité terrain le corpus de parole utilisé vient du wsj @xcite , et plus précisément le wsj0 @xcite et le wsj1 @xcite . les rir provenant du reverb challenge @xcite sont utilisées afin de réverbérer la parole artificiellement. elles permettent de simuler 12 conditions différentes de réverbération : 6 pièces de tailles différentes (2 petites, 2 moyennes et 2 grandes) avec 2 types de distances au microphone (proche : 50 cm et lointaine : 200 cm). les temps de réverbération t60 des petites, moyennes et grandes pièces sont respectivement d'environ 250, 500 et 700 millisecondes. les salles de taille similaire ont été combinées, pour au final, obtenir 6 conditions réverbérées et une condition sans ajout de réverbération. pour créer le système de rap, nous avons utilisé la recette kaldi de karel vesely @xcite . le système est hybride avec un réseau de neurones profond et des modèles de markov caché (dnn-hmm) entraînés avec la cross-entropie sur le sous ensemble train_si284 du wsj (sans réverbération ajouté). les données utilisées pour notre analyse sont composées des sous-ensembles dev93 et eval92 du wsj qui ont été convolués par les différentes rir pour obtenir 7 conditions de réverbération. afin d'analyser plus finement les erreurs commises par les systèmes de rap, nous avons voulu nous détacher de l'influence du modèle de langage. pour cela, nous utilisons un décodeur acousticophonétique pour prédire une suite de phonèmes (plutôt qu'une suite de mots). pour concevoir ce système, nous phonétisons au préalable les corpus d'entraînement et de test. le dictionnaire de prononciation est modifié pour être composé uniquement des phonèmes possibles. le modèle de langage est remplacé par un 1-gram appris sur un corpus de texte phonétisé. dans les même conditions, nous pouvons constater que l'écart-type du wer est plus importante que l'écart-type du per. nous remarquons aussi, que passé un certain seuil de per (environ 50%), le modèle de langage a plus de difficultés à retrouver les mots correct : une fois les 50% de per atteint le wer est supérieur au per. nous voyons que deux facteurs impactent fortement les performances des systèmes de transcriptions : comme la réverbération est une distorsion acoustique, nous allons dans la suite de cet article observer uniquement les erreurs du décodage phonétique car il est difficile de comprendre les erreurs commises par les systèmes de rap sans dissocier le modèle de langage. nous avons aussi observé, parmi les erreurs commises par le décodeur acoustico-phonétique, les ratios d'erreur provenant des substitutions, des insertions et des délétions des phonèmes dont les résultats sont visibles dans le tableau 1. nous pouvons observer que la contribution des insertions est plus faible lorsque la réverbération augmente. par contre, le nombre de délétions augmente. les substitutions restent relativement stables, sauf dans les conditions les plus réverbérées où elles diminuent. dans tous les cas testés, les substitutions restent la cause principale d'erreurs. ## discussion la reconnaissance automatique de phonèmes dans la chaîne de traitement kaldi est composée de deux étapes : l'alignement puis la classification. le niveau de réverbération a un impact sur la précision de l'alignement des phonèmes. nous pouvons le constater grâce à ces différentes observations : la distorsion du signal de parole provoquée par la réverbération est avant tout une superposition. l'effet d'un point de vue acoustique est similaire à de la conversation superposée. les systèmes de transcription automatique de la parole sont conçus pour n'attribuer qu'un seul label phonétique par unités de temps. or, dans des conditions réverbérées, le systèmes de rap doit souvent choisir entre deux labels. pour l'alignement, cela rend la détection de la transition entre deux phonèmes beaucoup plus difficile. nous pensons que les systèmes automatiques favorisent l'allongement du phonème précédent plutôt que la transition vers le phonème suivant. le début de certains phonèmes disparaît à cause de la superposition avec la réverbération du phonème précédent. il est ainsi plus difficile de reconnaître ces phonèmes. enfin, les phonèmes ayant une durée plus courte sont en général supprimés lorsqu'ils sont intégralement recouvert par la réverbération du phonème précédent : ce qui explique de nombreuses observations effectuées dans ce papier. ## conclusions dans cet article, nous avons analysé les erreurs de détection commises par les systèmes de rap dues à la réverbération. concernant la confusion entre phonèmes, nous avons obtenu des résultats similaires aux études précédentes, même avec une recette de rap plus récente, utilisant des réseaux de neurones profond. de plus, nous avons montré les limites de l'alignement phonétique des systèmes de rap actuels dans le cas de la parole réverbéré. enfin, nous avons étudié les confusions en classes phonétiques, en expliquant lorsque cela a été possible les erreurs de substitution. parmi les perspectives de nos travaux, nous pensons que la détection d'anomalie de la durée des phonèmes (l'uniformisation de la durée par exemple) pourrait servir aux travaux de prédiction de la performance des systèmes de rap, par exemple en utilisant les postériogrammes des phonèmes comme @xcite . il serait également intéressant de comparer les erreurs phonétiques entre un système avec un alignement supervisé et un autre non supervisé. il serait également pertinent de tester d'autres méthodes d'alignement comme les ctc (connectionist temporal classification), afin de savoir si les erreurs d'alignement sont similaires à ce que nous avons observé. enfin, nous pourrions observer la robustesse des systèmes de rap appris sur des données réverbérées.