Représentation de la parole multilingue par apprentissage auto-supervisé dans un contexte subsaharien (2024)

Abstract: Les approches auto-supervisées ont conduit à des avancées majeures dans le domaine de l’apprentissage profond. Par l’exploitation d’une grande quantité de données non annotées, ces approches ont notamment permis des améliorations dans des contextes peu dotés. Toutefois, les langues africaines restent majoritairement sous-représentées dans les jeux de données de préentraînement publiquement distribués. Dans ces travaux, nous préentraînons des modèles de parole auto-supervisés multilingues à partir de langues subsahariennes exclusivement. Nous étudions la pertinence des représentations apprises sur la tâche de reconnaissance de parole, en utilisant le jeu d’évaluation FLEURS-102. Notre modèle HuBERT Base obtient des résultats similaires face à l’approche multilingue w2v-bert de FLEURS, tout en étant plus efficient, avec 6 fois moins de paramètres et 7 fois moins de données. Nous présentont aussi un second modèle exploitant une sous-sélection équilibrée des données initiales, obtenant des performances compétitives avec près de 80 fois moins de données de préentraînement.

## introduction récemment, les approches auto-supervisées ont montré leur potentiel pour la mise en place de systèmes de reconnaissance de la parole performants @xcite @xcite . ce type d'approche permet l'exploitation d'une grande quantité de données non transcrites pour l'apprentissage d'une représentation dense de la parole. elles sont plus riches que certaines caractéristiques classiques comme les mfcc ou les bancs de filtres. un modèle pré-entraîné de façon auto-supervisé peut ensuite être utilisé soit comme un encodeur de parole, dont les paramètres seront adaptés, soit comme un extracteur de caractéristiques qui sera figé. indépendamment de l'utilisation finale d'un modèle pré-entraîné, les données exploitées pour son apprentissage impacteront ses performances sur les tâches finales @xcite . les travaux de @xcite ont montré que le transfert d'apprentissage d'une langue bien dotée vers une langue sous-dotée est plus efficace lorsque les langues partagent des caractéristiques typologiques similaires. toutefois, @xcite fait état que 48% des caractéristiques typologiques répertoriées par le projet de classification wals 1 (world atlas of language structures) n'apparaissent pas dans les jeux de données. en complément, la plupart des modèles multilingues accessibles publiquement sont entraînés sur quelques langues seulement, ce qui entraîne leur sur-représentation au détriment d'autres langues @xcite @xcite . encore sous-dotées de nos jours, les langues africaines, de par leurs richesses et la présence de caractéristiques uniques, sont fortement impactées par cette situation @xcite . ces dernières années, l'intérêt des langues africaines est grandissant au sein de la communauté du traitement des langues. en surpassant des modèles multilingues pré-appris en majorité sur des données en anglais, plusieurs études ont montré l'intérêt d'un modèle pré-appris principalement sur les langues africaines @xcite @xcite . en traitement de la parole, de nouveaux challenges et ressources sont publiés @xcite @xcite @xcite . dans le cadre de la tâche de reconnaissance de la parole, les travaux de @xcite ont permis de meilleures performances en exploitant une approche multilingue auto-supervisée par rapport à une approche plus classique. en phase avec tous ces travaux, nous proposons dans ce papier un modèle de représentation de la parole multilingue centré sur les langues africaines. plus particulièrement, en utilisant des données exclusivement issues de la région subsaharienne, nous pré-entraînons un modèle fait pour être adapté à des tâches de traitement de la parole pour ces langues. nous pré-entraînons également un second modèle pour lequel nous équilibrons les données du jeu d'apprentissage en fonction des langues et du genre des locuteurs. l'objectif est de produire un modèle non orienté vers un groupe de langues ou de locuteurs en raison d'une sur-représentation. dans le cadre de nos expérimentations, nous nous attachons à résoudre la tâche de reconnaissance de la parole pour évaluer la pertinence des représentations fournies par nos modèles auto-supervisés. dans ce papier, nous présentons tout d'abord le jeu de données brutes -non transcrit -, que nous avons construit, avant d'apporter des détails sur l'architecture employée. nous poursuivons ensuite par la description de nos expériences, ainsi que des résultats obtenus. nous terminons en comparant nos systèmes avec le modèle de référence proposé par @xcite , avant de conclure.