HATS : Un jeu de données intégrant la perception humaine appliquée à l’évaluation des métriques de transcription de la parole (2023)

Abstract: Traditionnellement, les systèmes de reconnaissance automatique de la parole (RAP) sont évalués sur leur capacité à reconnaître correctement chaque mot contenu dans un signal vocal. Dans ce contexte, la mesure du taux d’erreur-mot est la référence pour évaluer les transcriptions vocales. Plusieurs études ont montré que cette mesure est trop limitée pour évaluer correctement un système de RAP, ce qui a conduit à la proposition d’autres variantes et d’autres métriques. Cependant, toutes ces métriques restent orientées “système” alors même que les transcriptions sont destinées à des humains. Dans cet article, nous proposons un jeu de données original annoté manuellement en termes de perception humaine des erreurs de transcription produites par divers systèmes de RAP. Plus de 120 humains ont été invités à choisir la meilleure transcription automatique entre deux hypothèses. Nous étudions la relation entre les préférences humaines et diverses mesures d’évaluation pour les systèmes de RAP, y compris les mesures lexicales et celles fondées sur les plongements de mots.

## introduction la reconnaissance automatique de la parole (rap) consiste à transcrire de la parole en texte. depuis l'utilisation des systèmes de rap fondés sur les modèles de markov cachés @xcite , le domaine a connu d'importants progrès avec l'utilisation des réseaux de neurones profonds et des méthodes auto-supervisées telles que wav2vec @xcite et @xcite qui permettent d'extraire des informations de la parole sans données étiquetées. ces transcriptions automatiques peuvent être utilisées par les humains dans le cas par exemple du sous-titrage, de la rédaction de messages ou par des systèmes tiers tels que les assistants personnels virtuels. face à des erreurs dans un flux de parole ou des des textes, un humain est capable de les intégrer et éventuellement de les corriger si elles n'impactent pas fondamentalement le sens de la séquence @xcite . les erreurs dans les transcriptions automatiques proviennent de divers facteurs, tels que le bruit dans le signal vocal, les accents des locuteurs ou les limitations techniques. la question est de savoir quelles erreurs sont acceptables et lesquelles entraînent des difficultés de compréhension chez l'humain. par conséquent, il apparaît souhaitable que les métriques d'évaluation des systèmes de rap se rapprochent de la perception humaine. les métriques automatiques les plus couramment utilisées pour évaluer les systèmes de rap sont le taux d'erreur-mot (wer pour word error rate en anglais), qui mesure le nombre de mots incorrectement transcrits, et le taux d'erreurs-caractères (cer pour character error rate en anglais) qui évalue le nombre de caractères qui diffèrent par rapport à la référence. cependant, de nombreux travaux @xcite @xcite ont soulevé des problèmes liés à ces mesures tels que l'absence de pondération des erreurs ou encore le manque d'informations linguistiques et de connaissances sémantiques. en réponse à ces problèmes, le développement de nouvelles métriques a suscité un intérêt croissant dans la communauté. des métriques alternatives se focalisant sur la qualité et l'efficacité des transcriptions automatiques ont été proposées @xcite @xcite . des évaluation humaines de systèmes de rap ont par le passé été réalisées, notamment à l'aide d'une expérience côte-à-côte @xcite @xcite , consistant à demander à des sujets humains de choisir la meilleure transcription parmi deux proposées. ces études ont également permis d'évaluer des métriques automatiques. la présente étude s'inspire de ce protocole expérimental mais, au lieu d'altérer le signal vocal ou d'utiliser différentes sorties du même système de rap afin d'obtenir deux hypothèses différentes, notre étude met en compétition les sorties de 10 systèmes intégrant des architectures différentes. en plus, les hypothèses ont été appariées selon un ensemble de critères métriques bien définis. cette expérience nous permet de distribuer librement un nouveau jeu de données ouvert, nommé appelé hats (human assessed transcription side-by-side), intégrant des préférences humaines sur des transcriptions automatiques. comme seconde contribution, une étude originale est menée à partir de hats sur l'évaluation des métriques automatiques de systèmes de rap en étudiant leur accord avec les évaluations humaines. notre objectif est de mettre en évidence les métriques qui corrèlent le mieux avec la perception humaine. ## évaluation des métriques le tableau 2 résume les résultats obtenus par chaque métrique automatique selon leur accord avec la perception humaine. sans surprise, plus l'accord humain est élévée, plus les performances des métriques sont élevées. en contradiction avec les résultats d'études antérieures @xcite , notre étude montre que le cer corrèle mieux avec la perception humaine que le wer. cette divergence peut être attribuée à l'utilisation d'un texte écrit comme référence dans notre expérience perceptive, plutôt qu'un texte audio, ou à des variations linguistiques intrinsèques entre le français et l'anglais (l'orthographe du français comporte beaucoup de lettres muettes). il est intéressant de noter qu'au niveau des phonèmes, le per donne de bons résultats, meilleurs que ceux du wer et du cer, malgré le fait que les humains aient fait leurs choix sur la base du texte uniquement. cela montre que les humains semblent tenir compte de la façon dont les phrases sont phonétisées, même pendant la lecture. ceci est particulièrement vrai si les phrases sont contrastées avec une référence. bien que les hypothèses choisies selon bertscore avec les plongements bert-base-multilingue soient 8 % meilleures que celles choisies selon semdist utilisant des plongements de phrases multilingues, il serait précipité de conclure que la stratégie bertscore est meilleure pour déterminer la qualité des transcriptions car les deux métriques utilisent différents plongements. en comparant ces métriques avec les mêmes plongements, semdist est meilleure que bertscore quand il s'agit des 3. https://github.com/thibault-roux/metric-evaluator