# Représentation de la parole multilingue par apprentissage auto-supervisé dans un contexte subsaharien

Antoine Caubrière, Elodie Gauthier

► To cite this version:

Antoine Caubrière, Elodie Gauthier. Représentation de la parole multilingue par apprentissage auto-supervisé dans un contexte subsaharien. 35èmes Journées d'Études sur la Parole (JEP 2024) 31ème Conférence sur le Traitement Automatique des Langues Naturelles (TALN 2024) 26ème Rencontre des Étudiants Chercheurs en Informatique pour le Traitement Automatique des Langues (RECITAL 2024), Jul 2024, Toulouse, France. pp.163-172. hal-04623069

HAL Id: hal-04623069

https://inria.hal.science/hal-04623069v1

Submitted on 1 Jul 2024

HAL is a multi-disciplinary open access
archive for the deposit and dissemination of sci-
entific research documents, whether they are pub-
lished or not. The documents may come from
teaching and research institutions in France or
abroad, or from public or private research centers.

L'archive ouverte pluridisciplinaire HAL, est
destinée au dépôt et à la diffusion de documents
scientifiques de niveau recherche, publiés ou non,
émanant des établissements d'enseignement et de
recherche français ou étrangers, des laboratoires
publics ou privés.

<figure><img src="image_1.png" /></figure>

Distributed under a Creative Commons Attribution 4.0 International License
# Représentation de la parole multilingue par apprentissage auto-supervisé dans un contexte subsaharien

Antoine Caubrière¹ Elodie Gauthier²

antoine.caubriere@orange.com elodie.gauthier@orange.com

## RÉSUMÉ

Les approches auto-supervisées ont conduit à des avancées majeures dans le domaine de l'apprentissage profond. Par l'exploitation d'une grande quantité de données non annotées, ces approches ont notamment permis des améliorations dans des contextes peu dotés. Toutefois, les langues africaines restent majoritairement sous-représentées dans les jeux de données de préentraînement publiquement distribués. Dans ces travaux, nous préentraînons des modèles de parole auto-supervisés multilingues à partir de langues subsahariennes exclusivement. Nous étudions la pertinence des représentations apprises sur la tâche de reconnaissance de parole, en utilisant le jeu d'évaluation FLEURS-102. Notre modèle *HuBERT<sub>base</sub>* obtient des résultats similaires face à l'approche multilingue w2v-bert de FLEURS, tout en étant plus efficient, avec 6 fois moins de paramètres et 7 fois moins de données. Nous présentons aussi un second modèle exploitant une sous-sélection équilibrée des données initiales, obtenant des performances compétitives avec près de 80 fois moins de données de préentraînement.

## ABSTRACT

Multilingual speech representation by self-supervised learning for sub-Saharan languages.

Self-supervised approaches are now unmissable and represent a major advance in deep learning. While self-supervised approaches have shown strong gains in a low-resource setting by leveraging the large amount of unlabeled data available on the web, languages spoken in sub-Saharan Africa (SSA) are still underrepresented in the datasets used in publicly available pre-trained models. In this paper, we build a multilingual pre-trained SSL model that uses only speech data in local languages spoken in SSA. We conducted experiments for downstream speech recognition task on the SSA subset of the FLEURS-102 dataset. Experiments conducted on speech recognition shown that our model, based on the *HuBERT<sub>base</sub>* architecture, obtains competitive results on the FLEURS dataset compared to the multilingual pre-trained w2v-bert-51 model, while being more efficient by using 7x less data and 6x less parameters. We trained another model with 80x less data, by using an equilibrated data selection.

**MOTS-CLÉS** : Apprentissage auto-supervisé, Langues subsahariennes, Reconnaissance de la parole multilingue, HuBERT.

**KEYWORDS:** Self-supervised representation, African languages, Multilingual ASR, HuBERT.

<footnote>(1) Orange Innovation, 2 Av. de Belle Fontaine, 35510 Cesson-Sévigné</footnote>

<footnote>(2) Orange Innovation, 2 Av. Pierre Marzin, 22300 Lannion</footnote>
# 1 Introduction

Récemment, les approches auto-supervisées ont montré leur potentiel pour la mise en place de systèmes de reconnaissance de la parole performants (Chung et al., 2021; Conneau et al., 2021; Pratap et al., 2023). Ce type d'approche permet l'exploitation d'une grande quantité de données non transcrites pour l'apprentissage d'une représentation dense de la parole. Elles sont plus riches que certaines caractéristiques classiques comme les MFCC ou les bancs de filtres. Un modèle pré-entraîné de façon auto-supervisé peut ensuite être utilisé soit comme un encodeur de parole, dont les paramètres seront adaptés, soit comme un extracteur de caractéristiques qui sera figé. Indépendamment de l'utilisation finale d'un modèle pré-entraîné, les données exploitées pour son apprentissage impacteront ses performances sur les tâches finales (Zhao & Zhang, 2022).

Les travaux de (Pires et al., 2019) ont montré que le transfert d'apprentissage d'une langue bien dotée vers une langue sous-dotée est plus efficace lorsque les langues partagent des caractéristiques typologiques similaires. Toutefois, (Joshi et al., 2020) fait état que 48% des caractéristiques typologiques répertoriées par le projet de classification WALS<fnref n="1" /> (World Atlas of Language Structures) n'apparaissent pas dans les jeux de données. En complément, la plupart des modèles multilingues accessibles publiquement sont entraînés sur quelques langues seulement, ce qui entraîne leur sur-représentation au détriment d'autres langues (Valk & Alumäe, 2021; Babu et al., 2022; Conneau et al., 2023; Zhang et al., 2023). Encore sous-dotées de nos jours, les langues africaines, de par leurs richesses et la présence de caractéristiques uniques, sont fortement impactées par cette situation (Clements & Rialland, 2007; Yadav & Sitaram, 2022).

Ces dernières années, l'intérêt des langues africaines est grandissant au sein de la communauté du traitement des langues. En surpassant des modèles multilingues pré-appris en majorité sur des données en anglais, plusieurs études ont montré l'intérêt d'un modèle pré-appris principalement sur les langues africaines (Ogueji et al., 2021; Adelani et al., 2022; Dossou et al., 2022; Adebara et al., 2022). En traitement de la parole, de nouveaux challenges et ressources sont publiés (Gutkin et al., 2020; Sikasote & Anastasopoulos, 2021; Boito et al., 2022; Olatunji et al., 2023; Wanjawa et al., 2023). Dans le cadre de la tâche de reconnaissance de la parole, les travaux de (Ritchie et al., 2022) ont permis de meilleures performances en exploitant une approche multilingue auto-supervisée par rapport à une approche plus classique.

En phase avec tous ces travaux, nous proposons dans ce papier un modèle de représentation de la parole multilingue centré sur les langues africaines. Plus particulièrement, en utilisant des données exclusivement issues de la région subsaharienne, nous pré-entraînons un modèle fait pour être adapté à des tâches de traitement de la parole pour ces langues. Nous pré-entraînons également un second modèle pour lequel nous équilibrons les données du jeu d'apprentissage en fonction des langues et du genre des locuteurs. L'objectif est de produire un modèle non orienté vers un groupe de langues ou de locuteurs en raison d'une sur-représentation. Dans le cadre de nos expérimentations, nous nous attachons à résoudre la tâche de reconnaissance de la parole pour évaluer la pertinence des représentations fournies par nos modèles auto-supervisés.

Dans ce papier, nous présentons tout d'abord le jeu de données brutes – non transcrit –, que nous avons construit, avant d'apporter des détails sur l'architecture employée. Nous poursuivons ensuite par la description de nos expériences, ainsi que des résultats obtenus. Nous terminons en comparant nos systèmes avec le modèle de référence proposé par (Conneau et al., 2023), avant de conclure.

<footnote n="1">1. https://wals.info/feature</footnote>
# 2 Jeux de données

## 2.1 Données non transcrites

Nous avons collecté, sur le web, des données issues de plusieurs sources émises dans des pays d'Afrique subsaharienne. Ces données correspondent à des journaux d'informations diffusés en ligne, qui traitent de divers sujets comme la politique, l'environnement, la santé, l'éducation, l'actualité régionale. Ces sujets sont abordés sous forme d'interviews, de débats et d'émissions. Ces journaux d'information s'engagent à favoriser la liberté d'expression, la mixité et le dialogue entre les cultures et à contribuer à l'égalité entre femmes et hommes. Dans ces travaux, néanmoins, ces données ne sont utilisées qu'à des fins de pré-apprentissage, afin de construire une représentation acoustique multilingue pertinente pour le traitement des langues parlées dans la zone. La teneur lexicales et sémantique des enregistrements audio n'est ainsi jamais exploitée. Les enregistrements récoltés permettent de couvrir un ensemble de 21 langues et variantes.

Parmi ces données, nous pouvons trouver des enregistrements en environnement contrôlé (studio), des interviews bruitées (extérieur), ainsi que des éléments non relatifs à la parole comme de la musique. Notre jeu de données mélange ainsi de la parole préparée, de la parole spontanée, ainsi que des segments de parole bruitée. Afin d'isoler les segments de parole, nous avons appliqué une détection d'activité vocale à l'aide de l'outil *pyannote* (Bredin, 2023). Nous effectuons aussi des pré-traitements permettant l'uniformisation des enregistrements (format, fréquence d'échantillonnage, ...).

L'ensemble de nos pré-traitements nous permet de construire un jeu de données de plus de 59 500h de parole exploitable pour un apprentissage auto-supervisé.

Nous donnons la répartition brute par langue dans la figure 1. Les langues sont identifiées par leur code de langue issu de la norme ISO 639-3 et les variantes sont considérées comme des langues distinctes. La catégorie "Unknown" correspond à des segments provenant d'enregistrements mixant plusieurs des 21 langues considérées, avec la présence d'alternance codique sur une partie des segments. Nous n'avons pas appliqué d'algorithme d'identification de langue. La langue française "FRA" correspond à des données accentuées produites par des locuteurs africains.

<figure><img src="image_2.png" /><figcaption>FIGURE 1 – Répartition brute du jeu d'apprentissage en heures par langues / variantes.</figcaption></figure>

En complément des données brutes, nous produisons une sous-sélection de notre jeu de données la
plus équilibrée possible. Cette répartition équilibrée vise à produire un modèle auto-supervisé le moins orienté possible vers un groupement de langues sur-représentées dans les données d'apprentissage. Pour chaque langue, nous regroupons, dans la mesure du possible, 400 heures de segments de parole équilibrées selon les critères de langues et de genre des locuteurs. Nous appliquons un algorithme de détection du genre basé sur l'apprentissage fin d'un modèle XLSR-53 (Conneau et al., 2021), sur librispeech (Panayotov et al., 2015), pour produire l'annotation en genre des segments de notre corpus non supervisé<fnref n="2" />. Nous considérons les variantes d'une même langue comme appartenant à la langue et nous accumulons en quantité équivalente par variantes.

Cet équilibrage nous permet de construire un second jeu de données totalisant 5660 heures de parole. Nous donnons la répartition du jeu de données équilibré par langues dans la figure 2.

<figure><img src="image_3.png" /><figcaption>FIGURE 2 – Répartition équilibrée du jeu d'apprentissage en heures par langues.</figcaption></figure>

## 2.2 Données transcrites

Dans le cadre de cette étude, nous exploitons le jeu d'évaluation FLEURS (Conneau et al., 2023). Il s'agit d'un corpus au sein duquel 102 langues sont représentées et pour lesquelles environ 12h de parole transcrite est fournie (par langue). Nous nous concentrons plus particulièrement sur le sous-ensemble de données relatif à la région subsaharienne (FLEURS<sub>SSA</sub>). Ces données sont composées de segments de parole couvrant 20 langues différentes, dont 5 sont communes aux données non transcrites. Dans ce papier, nous exploitons les transcriptions normalisées fournies par le corpus.

# 3 Système

## 3.1 Pré-apprentissage

Le système mis en place dans cette étude correspond à l'architecture "base" de l'approche HuBERT (Hsu et al., 2021). Cette approche est auto-supervisée par l'annotation automatique en étiquette cible.

<footnote n="2">2. https://huggingface.co/alefiury/wav2vec2-large-xlsr-53-gender-recognition-librispeech</footnote>
Cette annotation est produite pour l'ensemble des segments de parole du corpus non transcrit, à l'aide de l'algorithme des K-moyennes.

L'architecture *"base"* correspond à un encodeur convolutif complété par 12 couches de type *transformers* produisant des plongements de taille 768. Elles possèdent 8 têtes d'attention et des linéaires internes de 3 072 unités. Cet ensemble de paramètres conduit à un modèle HuBERT d'environ 95 millions de paramètres.

L'apprentissage d'un système de ce type s'effectue en plusieurs étapes :

1. Apprendre un modèle non supervisé à partir des K-moyennes sur 100 classes, en exploitant les descripteurs acoustiques MFCC.

2. Créer des étiquettes auto-supervisées avec les K-moyennes sur l'ensemble d'entraînement et de validation.

3. Apprendre de zéro le modèle *transformer* avec les étiquettes auto-supervisées.

4. Extraire les représentations neuronales intermédiaires des *transformers* (*"base"* = couche 6).

5. Reproduire les étapes 1. à 3. avec ces représentations neuronales et 500 classes.

## 3.2 Apprentissage fin

Lors de l'apprentissage fin, nous considérons le modèle pré-entraîné comme un encodeur de la parole qui ne sera pas gelé. Nous exploitons ses représentations neuronales, de taille 768, issues de la dernière couche *transformer*. Nous ajoutons par-dessus deux couches linéaires de 1 024 unités, ainsi qu'une couche de sortie softmax dont la taille dépend des langues traitées par le système final.

## 4 Expériences

Nous effectuons l'ensemble du préentraînement de notre système à l'aide de l'outil Fairseq (Ott et al., 2019). Nous avons parallélisé les calculs sur 4 GPU A40. Le pré-entraînement brut (sur environ 60k heures de données) a duré pendant un peu plus de 35 jours (soit plus de 3 360 heures de calcul GPU) tandis que le préentraînement sur données équilibrées (sur environ 5k heures de données) a duré un plus plus de 12 jours (soit plus de 1 150 heures de calcul GPU). Dans les deux cas, et notamment en raison de limite de mémoire, nous exploitons 600 heures du jeu d'entraînement pour effectuer l'apprentissage du modèle des K-moyennes basé sur les représentations internes des *transformers*. Nous sélectionnons ces 600 heures aléatoirement en conservant la contrainte de proportionnalité des langues et des genres représentés. Nous nommons les modèles pré-entraînés en fonction de la quantité d'heures non-supervisée utilisée. Nous apprenons ainsi le modèle 60k sur les quelques 59 500 heures récoltées et le modèle 5k sur la sous-sélection équilibrée de ces quelques 5 600 heures de parole. Les deux modèles pré-entraînés sont disponibles publiquement sur la plate-forme Hugging Face<fnref n="3" />.

L'apprentissage fin n'est pas dépendant du modèle pré-entraîné utilisé. Pour chacune des deux expérimentations, nous utilisons l'outil SpeechBrain (Ravanelli et al., 2021) afin d'entraîner les système de reconnaissance de la parole pour chacune des langues du corpus FLEURS<sub>SSA</sub>. En moyenne, et en fonction de la langue, le temps d'affinement de l'entraînement prend 10 heures sur un seul GPU RTX 3090. L'ensemble des apprentissages supervisés par langues sont regroupés sous les systèmes 60k et 5k.

<footnote n="3">3. Les URLs seront données lors de la version finale de l'article.</footnote>
En complément, nous réalisons un apprentissage conjoint sur l'ensemble des 20 langues, sur un seul GPU RTX 3090 pendant 48 heures. Ce premier apprentissage supervisé sert de base commune pour un transfert d'apprentissage vers un apprentissage fin sur chacune des langues du corpus FLEURS<sub>SSA</sub>. Les systèmes supervisés obtenus à la suite de cet apprentissage conjoint sont regroupés sous les systèmes 60k<sub>joint</sub> et 5k<sub>joint</sub>.

## 4.1 Résultats

Nous compilons dans la table 1, les résultats de nos expérimentations sur l'ensemble de test de FLEURS<sub>SSA</sub>, exprimés en taux d'erreur sur les caractères (CER) et sur les mots (WER). Nous regroupons les langues entre celles vues lors du pré-apprentissage et celles non vues. Nous ajoutons aussi, pour chacun des groupes, la moyenne des scores, ainsi que la moyenne globale (toutes langues confondues). Afin de se comparer le plus justement possible, nous appliquons une méthodologie similaire aux travaux de (Conneau et al., 2023). Ainsi, nous n'exploitons pas de modèles de langue pour réorganiser les hypothèses émises par le système.

<table><caption>TABLE 1 – Résultats obtenus sur les 20 langues subsahariennes de l'ensemble de test issu de FLEURS.</caption><thead><tr><th rowspan="2"></th><th colspan="4">CER</th><th colspan="4">WER</th></tr><tr><th>60k</th><th>5k</th><th>60k<sub>joint</sub></th><th>5k<sub>joint</sub></th><th>60k</th><th>5k</th><th>60k<sub>joint</sub></th><th>5k<sub>joint</sub></th></tr></thead><tbody><tr><td colspan="9"><strong>Langues vues</strong></td></tr><tr><td>Peul</td><td>21,2</td><td>21,2</td><td>17,8</td><td><strong>17,7</strong></td><td>61,9</td><td>60,6</td><td>56,4</td><td><strong>55,4</strong></td></tr><tr><td>Haoussa</td><td>10,5</td><td>11,2</td><td><strong>9,0</strong></td><td>10,1</td><td>32,5</td><td>35,6</td><td><strong>29,4</strong></td><td>33,8</td></tr><tr><td>Lingala</td><td>8,7</td><td>8,7</td><td><strong>6,9</strong></td><td>7,4</td><td>24,7</td><td>24,2</td><td><strong>20,9</strong></td><td>21,4</td></tr><tr><td>Swahili</td><td>7,1</td><td>8,6</td><td><strong>5,5</strong></td><td>6,5</td><td>23,8</td><td>28,8</td><td><strong>20,3</strong></td><td>24,4</td></tr><tr><td>Wolof</td><td>19,4</td><td>19,2</td><td><strong>17,0</strong></td><td>17,3</td><td>55,0</td><td>54,2</td><td>50,7</td><td><strong>50,1</strong></td></tr><tr><td><strong>Moyenne</strong></td><td>13,4</td><td>13,8</td><td><strong>11,2</strong></td><td>11,8</td><td>39,6</td><td>40,7</td><td><strong>35,5</strong></td><td>37,0</td></tr><tr><td colspan="9"><strong>Langues non vues</strong></td></tr><tr><td>Afrikaans</td><td>23,3</td><td>23,8</td><td>20,3</td><td><strong>19,9</strong></td><td>68,4</td><td>68,3</td><td>62,6</td><td><strong>61,1</strong></td></tr><tr><td>Amharique</td><td>15,9</td><td>15,5</td><td>14,9</td><td><strong>14,3</strong></td><td>52,7</td><td>51,4</td><td>49,0</td><td><strong>47,6</strong></td></tr><tr><td>Luganda</td><td>11,5</td><td>11,7</td><td><strong>10,7</strong></td><td>11,1</td><td>52,8</td><td>53,3</td><td><strong>50,3</strong></td><td>52,0</td></tr><tr><td>Igbo</td><td>19,7</td><td>20,9</td><td><strong>17,2</strong></td><td><strong>17,2</strong></td><td>57,5</td><td>57,9</td><td>52,9</td><td><strong>52,4</strong></td></tr><tr><td>Kamba</td><td>16,1</td><td>16,3</td><td><strong>15,6</strong></td><td>15,9</td><td>53,9</td><td><strong>53,7</strong></td><td><strong>53,7</strong></td><td>54,3</td></tr><tr><td>Luo</td><td>9,9</td><td>10,2</td><td><strong>8,2</strong></td><td>8,4</td><td>38,9</td><td>38,5</td><td>34,9</td><td><strong>34,3</strong></td></tr><tr><td>Sotho du Nord</td><td>13,5</td><td>14,4</td><td><strong>11,7</strong></td><td>11,5</td><td>43,2</td><td>44,6</td><td>38,9</td><td><strong>38,6</strong></td></tr><tr><td>Chewa (Nyanja)</td><td>13,3</td><td>13,7</td><td><strong>10,9</strong></td><td>11,3</td><td>54,2</td><td>54,5</td><td>48,3</td><td><strong>48,1</strong></td></tr><tr><td>Oromo</td><td>22,8</td><td>22,9</td><td><strong>20,1</strong></td><td>21,2</td><td>78,1</td><td>77,4</td><td>74,8</td><td><strong>74,3</strong></td></tr><tr><td>Shona</td><td>11,6</td><td>11,2</td><td><strong>8,3</strong></td><td>8,7</td><td>50,2</td><td>48,2</td><td><strong>39,3</strong></td><td>39,7</td></tr><tr><td>Somali</td><td>21,6</td><td>21,9</td><td><strong>19,7</strong></td><td>20,0</td><td>64,9</td><td>64,5</td><td><strong>60,3</strong></td><td>60,6</td></tr><tr><td>Umbundu</td><td>21,7</td><td>21,7</td><td><strong>18,8</strong></td><td>20,7</td><td>61,7</td><td>60,8</td><td><strong>54,2</strong></td><td>57,0</td></tr><tr><td>Xhosa</td><td>11,9</td><td>12,4</td><td><strong>9,9</strong></td><td>10,1</td><td>51,6</td><td>52,3</td><td><strong>45,9</strong></td><td>47,1</td></tr><tr><td>Yoruba</td><td>24,3</td><td>25,0</td><td><strong>23,5</strong></td><td>23,8</td><td>67,5</td><td>68,0</td><td><strong>65,7</strong></td><td>66,6</td></tr><tr><td>Zoulou</td><td>12,2</td><td>12,4</td><td><strong>9,6</strong></td><td>10,0</td><td>53,4</td><td>53,0</td><td><strong>44,9</strong></td><td>46,1</td></tr><tr><td><strong>Moyenne</strong></td><td>16,6</td><td>16,9</td><td><strong>14,6</strong></td><td>14,9</td><td>56,6</td><td>56,4</td><td><strong>51,7</strong></td><td>52,0</td></tr><tr><td><strong>Moyenne globale</strong></td><td>15,8</td><td>16,1</td><td><strong>13,8</strong></td><td>14,1</td><td>52,3</td><td>52,5</td><td><strong>47,7</strong></td><td>48,2</td></tr></tbody></table>
Les résultats présentés dans le tableau 1 montrent l'apport bénéfique de l'utilisation conjointe de données transcrites pour alimenter les modèles multilingues. Pour l'ensemble des langues, les performances sont bien meilleures après application du transfert d'apprentissage depuis les données conjointes. Pour les modèles 60k, nous notons respectivement une amélioration relative de 12,6% et de 8,8% sur les taux de CER et de WER moyens. Dans le cas des modèles 5k, il s'agit d'une amélioration relative de 12,4% (CER) et de 8,1% (WER).

Un second résultat intéressant de ces expérimentations concerne la comparaison entre les performances du modèle 60k<sub>joint</sub> et du modèle 5k<sub>joint</sub>. 55 000 heures de données supplémentaires et plus de 22 jours de préentraînement GPU ont été consommés afin que le modèle 60k<sub>joint</sub> converge, pour finalement n'observer qu'un gain relatif de 1,8% (CER) et 1,0% (WER). Ce constat incite à s'interroger sur la quantité de données utiles ainsi que sur leur répartition lors du processus d'apprentissage, dans le cadre d'une approche multilingue. Ceci est d'autant plus intéressant au regard des questionnements sur la frugalité des approches, en termes de coût énergétique notamment.

Par comparaison des deux modèles "joint", en ce qui concerne les langues vues lors du pré-apprentissage, nous remarquons une dégradation des performances sur les langues les plus représentées dans l'approche 60k (houaussa, lingala, swahili). En contrepartie, nous observons de meilleures performances sur les langues qui étaient sous-représentées dans l'approche 60k (peul et wolof). Ces résultats suggèrent que l'apprentissage du modèle 5k conduit à des représentations de la parole mieux réparties entre les langues.

## 4.2 Comparaison à FLEURS

En complément de nos résultats, nous confrontons ici nos systèmes aux résultats publiés par (Conneau et al., 2023). Dans la mesure où les auteurs ne fournissent pas le détail des scores<fnref n="4" />, nous effectuons la comparaison uniquement en termes de score moyen sur les caractères (CER), sur les 20 langues du sous-ensemble subsaharien proposé dans FLEURS<sub>SSA</sub>. L'approche considérée par (Conneau et al., 2023) est un w2v-bert de 600M de paramètres, pré-appris sur plus de 400 000 heures de parole.

<table><caption>TABLE 2 – Scores moyens sur l'ensemble test des données FLEURS<sub>SSA</sub>.</caption><thead><tr><th></th><th>5k</th><th>60k</th><th>5k<sub>joint</sub></th><th>60k<sub>joint</sub></th><th>FLEURS<sub>w2v-bert</sub></th></tr></thead><tbody><tr><td>Moyenne</td><td>16.1</td><td>15.8</td><td>14.1</td><td>13.8</td><td>13.6</td></tr></tbody></table>

Les résultats obtenus avec le système 60k<sub>joint</sub> montrent des performances très proches du modèle w2v-bert de FLEURS, tout en exploitant 7 fois moins de données et 6 fois moins de paramètres. Notre modèle 5k<sub>joint</sub>, bien qu'obtenant des résultats inférieurs de 3,5%, se montre particulièrement compétitif eu égard au volume des données de préentrainement (80 fois moins de données que w2v-bert). L'utilisation de données exclusivement en langues locales, représentatives des parlerers en Afrique subsaharienne, permet de réaliser un pré-apprentissage bien plus efficient. En ciblant des aspects particuliers – ici les particularités inhérentes au contexte africain –, ces résultats tendent à démontrer la pertinence d'une modélisation à l'échelle, face à l'apprentissage de modèles surdimensionnés.

<footnote n="4">4. Les résultats diffèrent entre la version déposée sur arXiv et la version IEEE du papier. Nous considérons ici la version officiellement validée et publiée par IEEE.</footnote>
# 5 Conclusion

Dans ce papier, nous pré-entraînons le premier modèle multilingue auto-supervisé, librement partagé, appris exclusivement sur 21 langues et variantes africaines. Ces langues présentent des caractéristiques riches et non observées dans les autres langues du monde, notamment les langues occidentales. Nous confrontons notre modèle au jeu d'évaluation FLEURS qui propose un ensemble composé de langues parlées en Afrique subsaharienne. Face à leur modèle de référence, nous obtenons des résultats très similaires, tout en proposant une approche bien plus modérée en termes de coût d'apprentissage (près de 7 fois moins de données et 6 fois moins de paramètres). Dans ce même objectif de frugalité et d'efficience, nous proposons un second modèle (5k) entraîné à partir d'un sous-ensemble équilibré, en langue et en genre, de nos données. Le dimensionnement de ce modèle a permis de réduire de 2 200 heures le calcul GPU nécessaire, tout en contenant la perte de performance (dégradation moyenne de 0,3 points de CER face à notre modèle 60k, et 0,3 points face au modèle w2v-bert de FLEURS). Ce modèle se montre ainsi être un bon compromis entre matière d'efficience. Lors de travaux futurs, une analyse approfondie de ces systèmes sera menée, notamment au travers de l'étude de l'impact de l'équilibrage du jeu d'apprentissage sur la qualité des représentations dans un contexte multilingue, ainsi que de l'étude de l'impact du genre des locuteurs sur les performances des modèles de reconnaissance de la parole.

## Références

ADEBARA I., ELMADANY A., ABDUL-MAGEED M. & INCIARTE A. A. (2022). Serengeti : Massively multilingual language models for Africa. *arXiv preprint arXiv:2212.10785*.

ADELANI D., NEUBIG G., RUDER S., RIJHWANI S., BEUKMAN M., PALEN-MICHEL C., LIGNOS C., ALABI J., MUHAMMAD S., NABENDE P., DIONE C. M. B., BUKULA A., MABUYA R., DOSSOU B. F. P., SIBANDA B., BUZAABA H., MUKIIBI J., KALIPE G., MBAYE D., TAYLOR A., KABORE F., EMEZUE C. C., AREMU A., OGAYO P., GITAU C., MUNKOH-BUABENG E., MEMDJOKAM KOAGNE V., TAPO A. A., MACUCWA T., MARIVATE V., ELVIS M. T., GWADABE T., ADEWUMI T., AHIA O., NAKATUMBA-NABENDE J., MOKONO N. L., EZEANI I., CHUKWUNEKE C., OLUWASEUN ADEYEMI M., HACHEME G. Q., ABDULMUMIN I., OGUNDEPO O., YOUSUF O., MOTEU T. & KLAKOW D. (2022). MasakhaNER 2.0 : Africa-centric Transfer Learning for Named Entity Recognition. In *Proceedings of the 2022 Conference on Empirical Methods in Natural Language Processing*, p. 4488–4508, Abu Dhabi, United Arab Emirates : Association for Computational Linguistics. DOI: 10.18653/v1/2022.emnlp-main.298.

BABU A., WANG C., TJANDRA A., LAKHOTIA K., XU Q., GOYAL N., SINGH K., VON PLATEN P., SARAF Y., PINO J., BAEVSKI A., CONNEAU A. & AULI M. (2022). XLS-R : Self-supervised Cross-lingual Speech Representation Learning at Scale. In *Proc. Interspeech 2022*, p. 2278–2282. DOI: 10.21437/Interspeech.2022-143.

BENAMARA F., HATOUT N., MULLER P. & OZDOWSKA S., Éds. (2007). *Actes de TALN 2007 (Traitement automatique des langues naturelles)*, Toulouse. ATALA, IRIT.

BOITO M. Z., BOUGARES F., BARBIER F., GAHBICHE S., BARRAULT L., ROUVIER M. & ESTÈVE Y. (2022). Speech resources in the tamasheq language. In *Proceedings of the Thirteenth Language Resources and Evaluation Conference*, p. 2066–2071.

BREDIN H. (2023). pyannote.audio 2.1 speaker diarization pipeline : principle, benchmark, and recipe. In *Proc. Interspeech 2023*.
CHUNG Y.-A., ZHANG Y., HAN W., CHIU C.-C., QIN J., PANG R. & WU Y. (2021). w2v-BERT: Combining contrastive learning and masked language modeling for self-supervised speech pre-training. In *2021 IEEE Automatic Speech Recognition and Understanding Workshop (ASRU)*, p. 244–250. DOI: 10.1109/ASRU51503.2021.9688253.

CLEMENTS G. N. & RIALLAND A. (2007). *Africa as a phonological area*, p. 36–85.

CONNEAU A., BAEVSKI A., COLLOBERT R., MOHAMED A. & AULI M. (2021). Unsupervised Cross-Lingual Representation Learning for Speech Recognition. In *Proc. Interspeech 2021*, p. 2426–2430. DOI: 10.21437/Interspeech.2021-329.

CONNEAU A., MA M., KHANUJA S., ZHANG Y., AXELROD V., DALMIA S., RIESA J., RIVERA C. & BAPNA A. (2023). Fleurs : Few-shot learning evaluation of universal representations of speech. In *2022 IEEE Spoken Language Technology Workshop (SLT)*, p. 798–805 : IEEE.

DIAS G., Éd. (2015). *Actes de TALN 2015 (Traitement automatique des langues naturelles)*, Caen. ATALA, HULTECH.

DOSSOU B. F., TONJA A. L., YOUSUF O., OSEI S., OPPONG A., SHODE I., AWOYOMI O. O. & EMEZUE C. (2022). Afrolm : A self-active learning-based multilingual pretrained language model for 23 African languages. In *Proceedings of The Third Workshop on Simple and Efficient Natural Language Processing (SustaiNLP)*, p. 52–64.

GUTKIN A., DEMIRSAHIN I., KJARTANSSON O., RIVERA C. E. & TÚBÒSÚN K. (2020). Developing an open-source corpus of yoruba speech. In *Proc. of Interspeech 2020*, p. 404–408, October 25–29, Shanghai, China, 2020.

HSU W.-N., BOLTE B., TSAI Y.-H. H., LAKHOTIA K., SALAKHUTDINOV R. & MOHAMED A. (2021). HuBERT: Self-Supervised Speech Representation Learning by Masked Prediction of Hidden Units. *IEEE/ACM Transactions on Audio, Speech, and Language Processing, 29*, 3451–3460. DOI: 10.1109/TASLP.2021.3122291.

JOSHI P., SANTY S., BUDHIRAJA A., BALI K. & CHOUDHURY M. (2020). The state and fate of linguistic diversity and inclusion in the nlp world. *arXiv preprint arXiv:2004.09095*.

LAIGNELET M. & RIOULT F. (2009). Repérer automatiquement les segments obsolescents à l'aide d'indices sémantiques et discursifs. In A. NAZARENKO & T. POIBEAU, Éds., *Actes de TALN 2009 (Traitement automatique des langues naturelles)*, Senlis : ATALA LIPN.

LANGLAIS P. & PATRY A. (2007). Enrichissement d'un lexique bilingue par analogie. In (Benamara et al., 2007), p. 101–110.

OGUEJI K., ZHU Y. & LIN J. (2021). Small data? no problem! exploring the viability of pretrained multilingual language models for low-resourced languages. In *Proceedings of the 1st Workshop on Multilingual Representation Learning*, p. 116–126.

OLATUNJI T., AFONJA T., YADAVALLI A., EMEZUE C. C., SINGH S., DOSSOU B. F. P., OSUCHUKWU J., OSEI S., TONJA A. L., ETORI N. & MBATAKU C. (2023). AfriSpeech-200 : Pan-African Accented Speech Dataset for Clinical and General Domain ASR. *Transactions of the Association for Computational Linguistics*, **11**, 1669–1685. DOI: 10.1162/tacl_a_00627.

OTT M., EDUNOV S., BAEVSKI A., FAN A., GROSS S., NG N., GRANGIER D. & AULI M. (2019). fairseq : A fast, extensible toolkit for sequence modeling. *CoRR*, abs/1904.01038.

PANAYOTOV V., CHEN G., POVEY D. & KHUDANPUR S. (2015). Librispeech : An asr corpus based on public domain audio books. In *2015 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP)*, p. 5206–5210. DOI: 10.1109/ICASSP.2015.7178964.

PIRES T., SCHLINGER E. & GARRETTE D. (2019). How multilingual is multilingual BERT? In A. KORHONEN, D. TRAUM & L. MARQUEZ, Éds., *Proceedings of the 57th Annual Meeting*
*of the Association for Computational Linguistics*, p. 4996–5001, Florence, Italy: Association for Computational Linguistics. DOI: 10.18653/v1/P19-1493.

PRATAP V., TJANDRA A., SHI B., TOMASELLO P., BABU A., KUNDU S., ELKAHKY A., NI Z., VYAS A., FAZEL-ZARANDI M., BAEVSKI A., ADI Y., ZHANG X., HSU W.-N., CONNEAU A. & AULI M. (2023). Scaling speech technology to 1,000+ languages.

RAVANELLI M., PARCOLLET T., PLANTINGA P., ROUHE A., CORNELL S., LUGOSCH L., SUBAKAN C., DAWALATABAD N., HEBA A., ZHONG J., CHOU J.-C., YEH S.-L., FU S.-W., LIAO C.-F., RASTORGUEVA E., GRONDIN F., ARIS W., NA H., GAO Y., MORI R. D. & BENGIO Y. (2021). Speechbrain: A general-purpose speech toolkit.

RITCHIE S., CHENG Y.-C., CHEN M., MATHEWS R., VAN ESCH D., LI B. & SIM K. C., Éds. (2022). *Large vocabulary speech recognition for languages of Africa: multilingual modeling and self-supervised learning*.

SERETAN V. & WEHRLI E. (2007). Collocation translation based on sentence alignment and parsing. In (Benamara *et al.*, 2007), p. 401–410.

SIKASOTE C. & ANASTASOPOULOS A. (2021). Bembaspeech: A speech recognition corpus for the bemba language.

VALK J. & ALUMÄE T. (2021). Voxlingua107: a dataset for spoken language recognition. In *2021 IEEE Spoken Language Technology Workshop (SLT)*, p. 652–658: IEEE.

WANJAWA B. W., WANZARE L. D. A., INDEDE F., MCONYANGO O., MUCHEMI L. & OMBUI E. (2023). Kenswquad—a question answering dataset for swahili low-resource language. *ACM Trans. Asian Low-Resour. Lang. Inf. Process.*, **22**(4). DOI: 10.1145/3578553.

YADAV H. & SITARAM S. (2022). A survey of multilingual models for automatic speech recognition.
ZHANG Y., HAN W., QIN J., WANG Y., BAPNA A., CHEN Z., CHEN N., LI B., AXELROD V., WANG G., MENG Z., HU K., ROSENBERG A., PRABHAVALKAR R., PARK D. S., HAGHANI P., RIESA J., PERNG G., SOLTAU H., STROHMAN T., RAMABHADRAN B., SAINATH T., MORENO P., CHIU C.-C., SCHALKWYK J., BEAUFAYS F. & WU Y. (2023). Google usm: Scaling automatic speech recognition beyond 100 languages.

ZHAO J. & ZHANG W.-Q. (2022). Improving automatic speech recognition performance for low-resource languages with self-supervised models. *IEEE Journal of Selected Topics in Signal Processing*, **16**(6), 1227–1241. DOI: 10.1109/JSTSP.2022.3184480.