Mesures linguistiques automatiques pour l’évaluation des systèmes de Reconnaissance Automatique de la Parole (Automated linguistic measures for automatic speech recognition systems’ evaluation) (2022)

Abstract: L’évaluation de transcriptions issues de systèmes de Reconnaissance Automatique de la Parole (RAP) est un problème difficile et toujours ouvert, qui se résume généralement à ne considérer que le WER. Nous présentons dans cet article un ensemble de métriques, souvent utilisées dans d’autres tâches en traitement du langage naturel, que nous proposons d’appliquer en complément du WER en RAP. Nous introduisons en particulier deux mesures considérant les aspects morpho-syntaxiques et sémantiques des mots transcrits : 1) le POSER (Part-of-speech Error Rate), qui évalue les aspects grammaticaux, et 2) le EmbER (Embedding Error Rate), une mesure originale qui reprend celle du WER en apportant une pondération en fonction de la distance sémantique des mots mal transcrits. Afin de montrer les informations supplémentaires qu’elles apportent, nous proposons également une analyse qualitative décrivant l’apport au niveau linguistique de modèles de langage utilisés pour le réordonnancement d’hypothèses de transcription a posteriori.

## introduction grâce aux avancées scientifiques et technologiques de ces dernières années, les systèmes de reconnaissance automatique de la parole (rap), qui permettent de transcrire de la parole en texte, sont maintenant utilisés dans de nombreuses applications liées au traitement automatique du langage (tal). les systèmes de rap ont notamment profité de l'augmentation massive des données disponibles, en particulier pour l'apprentissage de leurs modèles @xcite , ainsi que des approches par apprentissage profond @xcite . d'un point de vue applicatif, plusieurs contextes d'utilisation sont possibles : une transcription automatique peut être soit utilisée directement (e.g. pour le sous-titrage automatique), soit être une partie (souvent en entrée) d'un autre système (e.g. dialogue humain-machine, indexation automatique de documents audio, etc.). malgré les avancées actuelles, des erreurs dans les transcriptions automatiques sont inévitables et impactent son utilisation : par exemple, les erreurs de transcription peuvent se répercuter sur les applications qui les utilisent, et donc influer négativement sur leurs performances, ou encore rendre la compréhension des transcriptions difficile par un humain. les systèmes de rap sont principalement évalués avec la métrique du taux d'erreur-mot (wer pour word error rate). cette métrique possède l'avantage d'être simple à mettre en place, car elle ne nécessite d'avoir qu'une transcription de référence (i.e. annotée manuellement) des mots. elle est néanmoins limitée dans le sens où aucune autre information que le mot lui-même n'est intégrée (e.g. aucune information linguistique n'est prise en compte, pas de connaissance sémantique, etc.). chaque erreur a également le même poids au sein de cette métrique alors même que l'on sait, sachant la tâche visée, que les mots ont une importance différente au sein d'une transcription textuelle @xcite . ces limites ont déjà été exposées dans le passé, avec des variantes proposées comme par exemple le iwer @xcite , qui se concentre notamment sur les mots choisis comme importants dans une transcription. dans cet article, nous étudions un ensemble de mesures automatiques pour aider à l'évaluation des systèmes de rap, en particulier sur les aspects liés au langage. ces mesures doivent permettre une analyse plus fine des erreurs de transcription, en mettant en avant certains aspects des erreurs (classes morphosyntaxiques, erreurs en contexte, distance sémantique, etc.). un des avantages de ces mesures est qu'elles ne nécessitent aucune annotation manuelle supplémentaire des transcriptions et peuvent s'appliquer à n'importe quelle langue. de plus, leur multiplication permet de mettre en avant des visions différentes des erreurs, ces métriques pouvant alors se compléter. nous proposons ensuite une analyse qualitative au moyen de ces mesures sur un système de rap à l'état de l'art, en décrivant plus finement l'apport du réordonnancement des hypothèses a posteriori (rescoring) par un modèle de langage (ml) quadri-gramme couplé à un ml utilisant des réseaux de neurones récurrents (rnnlm). l'article est organisé comme suit. dans la partie 2, nous décrivons la métrique classique du wer, puis nous listons et détaillons les différentes mesures automatiques que nous proposons pour permettre une évaluation plus fine des transcriptions au niveau linguistique. afin de comprendre l'intérêt de l'utilisation de ces mesures, une analyse qualitative est proposée, en détaillant tout d'abord le protocole expérimental dans la partie 3, puis les résultats et analyses dans la partie 4. enfin, une conclusion ainsi que des perspectives sont fournies dans la partie 5. ## description des mesures automatiques proposées les systèmes de rap sont principalement évalués au travers du wer. dans cette partie, nous proposons tout d'abord de la décrire (sous-partie 2.1) afin de prendre conscience de ses avantages et limites. puis nous détaillons les cinq mesures automatiques complémentaires que nous souhaitons appliquer à l'évaluation des transcriptions automatiques au niveau linguistique (sous-parties 2.2, 2.3, 2.4, 2.5 et 2.6) en complément du wer. ## protocole expérimental nous présentons dans cette partie le protocole expérimental mis en place pour appliquer les différentes métriques listées dans la partie 2. nous décrivons les données utilisées pour notre analyse qualitative de l'apport du rescoring de modèles de langage sur le français dans la partie 3.1, puis le système de rap ainsi que l'étiqueteur morpho-syntaxique dans les parties 3.2 et 3.3 respectivement. ## analyse des résultats nous proposons une étude qualitative de l'impact, au niveau linguistique, du réordonnancement des hypothèses a posteriori (rescoring) d'un système de rap. pour ce faire, nous utilisons les 5 métriques proposées dans la partie 2 en complément du wer. nous étudions tout d'abord l'impact de ce rescoring dans la sous-partie 4.1 puis proposons une analyse de ces métriques dans la sous-partie 4.2.