Optimisation des performances d’un système de reconnaissance automatique de la parole pour les commentaires sportifs: fine-tuning de Whisper (2024)

Abstract: Malgré les performances élevées des systèmes automatiques de reconnaissance de la parole (Automatic Speech Recognition ; ASR) sur des corpus généraux, leur efficacité est considérablement réduite lorsqu’ils sont confrontés à des corpus spécialisés. Ces corpus peuvent notamment contenir du lexique propre à des domaines spécifiques, des accents ou du bruit de fond rendant la transcription ardue. Cette étude vise à évaluer les avantages de l’optimisation d’une transcription automatique, par opposition à manuelle, après fine-tuning d’un modèle d’ASR de dernière génération, Whisper (Radford et al., 2023), sur un corpus spécialisé de commentaires sportifs de petite taille. Nos analyses quantitatives et qualitatives indiquent que Whisper est capable d’apprendre les particularités d’un corpus de spécialité, atteignant des performances égales où supérieures aux transcripteurs humains, avec cette quantité de données limitée. Cette recherche met en lumière le rôle que l’intelligence artificielle, notamment les larges modèles de langage, peut jouer pour faciliter la création de corpus spécialisés.

## introduction la recherche sur les corpus oraux en france a connu un développement plus lent que celle des corpus écrits. malgré la présence de quelques corpus oraux dès les années 70-80, comme @xcite , leur exploitation a été freinée par des difficultés de transcription, d'annotation et d'automatisation de l'analyse, en raison des particularités de la langue parlée. les corpus de langue parlée, bien qu'ils ne soient pas nécessairement des corpus de référence, soulignent la diversité des situations de parole, des locuteurs et des dialectes d'une langue. les exigences nécessaires à l'exploitation des corpus oraux ont freiné leur développement. par conséquent, bien que ces corpus permettent l'analyse de phénomènes linguistiques particuliers, leur utilisation pour l'étude de genres de discours spécifiques reste souvent limitée en raison de la difficulté à constituer des corpus de grande taille. de nos jours, malgré la présence de nombreux corpus oraux, les corpus de discours de spécialité restent rares. cet article se concentre sur le commentaire sportif en direct, un genre de discours médiatique et journalistique présentant des caractéristiques linguistiques et prosodiques particulières. ce genre reste sous-étudié, souvent analysé sur de courts extraits et peu diversifiés en termes de sports (le plus souvent des sports d'équipes et de ballon de type football, basket, rugby). pourtant, il présente des particularités linguistiques tout à fait intéressantes pour différents domaines de la linguistique (p.ex. syntaxe, lexicologie, prosodie ; voir @xcite ) et du tal. en effet, la transcription automatique de ce type de production de parole pose un grand nombre de difficultés pour les modèles de reconnaissance automatique de la parole (asr 1 ) à cause du bruit de fond important, l'utilisation du lexique spécifique au sport ou un grand nombre d'entités nommées. dans le même temps, les études qui s'intéressent à ce genre de discours, si elles sont fondées sur corpus, le sont très souvent sur des corpus de petite taille, car très longs à transcrire, et qui ne font pas l'objet d'une diffusion large auprès de la communauté. de ce fait, un moyen d'aligner et de transcrire automatiquement les données orales ou multimodales fournies par ce genre de corpus permettrait très certainement de développer les données prêtes pour l'analyse et de faciliter la description de ce discours de spécialité, tout en analysant un plus grand nombre de données. en effet, pour le moment la transcription de notre corpus est basé sur un système de student sourcing @xcite : une cinquantaine d'étudiants transcrit chaque année quelques minutes d'un enregistrement de notre corpus et au vu du temps de transcription, de correction et de vérification par les chercheurs, seulement un match maximum est transcrit par année universitaire. nous proposons dans cet article de discuter de l'apport que constituent les asr pour le traitement de corpus oraux de spécialité. plus spécifiquement, nous détaillons une première évaluation de la performance de la famille de modèles whisper @xcite sur la transcription orthographique d'un corpus multimodal de petite taille (9h30 heures d'enregistrement) de commentaires télévisuels en direct de matchs de rugby. nous étudions également l'apport de modèles fine-tuned(fm 2 ) sur notre corpus, permettant de combler les limites des modèles pré-entraînés (pm 3 ) sur une des particularités de notre corpus : le lexique de spécialité. nous explorons ainsi la possibilité qu'après un fine-tuning sur un petit ensemble de données, ces modèles atteignent des performances comparables à celles des transcripteurs humains. cet article est structuré comme suit : dans la section 2 nous décrivons l'état de l'art des modèles 1. automatic speech recognition 2. fine-tuned models 3. pre-trained models d'asr. dans la section 3, nous décrivons notre méthodologie et notre corpus. dans la section 4, nous présentons les résultats de notre recherche et enfin dans la section 5, nous discutons des perspectives possibles pour de futures recherches. ## etat de l'art depuis l'introduction du premier asr il y a plusieurs décennies @xcite , de nombreuses méthodologies ont été élaborées pour améliorer la précision de ces modèles, convertissant les ondes sonores en impulsions électriques. plusieurs revues de la littérature existantes ont été publiées pour examiner l'évolution des différentes approches utilisées dans le développement des asr @xcite . pendant longtemps, le modèle de markov caché (hmm 4 ) associé au modèle de mélange gaussien (gmm 5 ) est resté dominant et le plus performant dans le domaine de la reconnaissance vocale. cependant, l'avènement des techniques du deep learning a ouvert la voie à des modèles surpassant les performances des hmm-gmm, notamment les modèles hmm-deep neural network (hmm-dnn) et les modèles end-to-end @xcite . les récents modèles d'asr ont abandonné l'utilisation des hmm, mais ont continué à exploiter les techniques de deep learning. parmi les modèles ayant révolutionné la reconnaissance vocale, on trouve le modèle wav2vec @xcite . il s'agit du premier modèle à adopter une approche de pré-entraînement non supervisé, apprenant à partir de données audio non transcrites. ce pré-entraînement permet à wav2vec d'apprendre des représentations générales de la parole, exploitables pour améliorer les performances sur des tâches ultérieures où les données annotées sont limitées. c'est le cas pour des tâches telles que la reconnaissance vocale, où l'annotation de données est fastidieuse et rare. l'architecture de wav2vec se compose d'un réseau neuronal convolutif (cnn) suivi d'un réseau de neurones basé sur des transformers. le cnn encode les formes d'ondes audio brutes pour extraire des représentations de haut niveau, puis les transmet à l'encodeur du transformer pour un traitement ultérieur, permettant la capture d'informations contextuelles. après le pré-entraînement, wav2vec peut être fine-tuned sur des données annotées spécifiques à des tâches d'asr. pendant cette phase de fine-tuning, le modèle apprend de manière supervisée, adaptant les représentations pré-entraînées aux caractéristiques spécifiques des données cibles, ce qui améliore les performances sur les tâches de reconnaissance vocale. l'utilisation d'un pré-entraînement non supervisé permet l'exploitation d'une plus grande quantité de données, car il n'est pas nécessaire de compléter les données sources avec des transcriptions. wav2vec maintient actuellement des performances de pointe sur divers ensembles de tests asr, même lorsqu'il est formé sur des données annotées limitées. cependant, les encodeurs pré-entraînés entièrement non supervisés, tels que wav2vec, présentent des limites. selon @xcite , bien qu'ils apprennent des représentations vocales de haute qualité, ils souffrent d'un manque de décodeur aussi performant pour associer ces représentations à des sorties utilisables. cette lacune nécessite une étape de fine-tuning pour des tâches telles que la reconnaissance vocale, ce qui peut être complexe et limiter leur utilité. les auteurs notent également que des études ont démontré que les asr pré-entraînés sur plusieurs en-4. hidden markov model 5. gaussian mixture model sembles de données ou domaines sont plus robustes et généralisent plus efficacement. par conséquent, des recherches ont mis en avant l'utilisation de données audio avec des transcriptions de référence où l'exigence de validation manuelle a été assouplie, permettant l'utilisation d'un volume accru de données (p.ex. de 10 à 30 000 heures d'audio) pour l'entraînement des asr. cela permet d'établir un équilibre entre qualité et quantité de données. ainsi, @xcite proposent les modèles whisper pour pallier les problèmes cités ci-dessus, étendant la reconnaissance vocale faiblement supervisée à un vaste ensemble de données comprenant 680,000 heures de données audio transcrites. ces modèles incluent un entraînement multilingue et multitâche, et produisent des résultats comparables aux modèles de pointe actuellement disponibles. les auteurs choisissent une architecture transformer d'encodeur-décodeur @xcite , car cette architecture a montré son efficacité pour la génération de texte.