Technologies de la parole et données de terrain : le cas du créole haïtien (2024)

Abstract: Nous utilisons des données de terrain en créole haïtien, récoltées il y a $40$ ans sur cassettes puis numérisées, pour entraîner un modèle natif d’apprentissage auto-supervisé (SSL) de la parole (Wav2Vec2) en haïtien. Nous utilisons une approche de pré-entraînement continu (CPT) sur des modèles SSL pré-entraînés de deux langues étrangères : la langue lexificatrice – le français – et une langue non apparentée – l’anglais. Nous comparons les performances de ces trois modèles SSL, et de deux autres modèles SSL étrangers directement affinés, sur une tâche de reconnaissance de la parole. Nos résultats montrent que le modèle le plus performant est celui qui a été entraîné en utilisant une approche CPT sur la langue lexificatrice, suivi par le modèle natif. Nous concluons que l’approche de ”mobilisation des archives” préconisée par (Bird, 2020) est une voie prometteuse pour concevoir des technologies vocales pour de nouvelles langues.

## introduction la plupart des langues peu dotées ne le sont souvent que du point de vue des informaticiens foot_0 : elles disposent souvent de nombreuses ressources collectées au fil des ans par des linguistes, des missionnaires religieux et, plus généralement, par la communauté des locuteurs elle-même @xcite . les données ne sont souvent pas facilement accessibles (p. ex. sous un format numérique), mais elles existent néanmoins. la question à laquelle nous tentons de répondre dans cet article est la suivante : jusqu'où pouvons-nous aller avec les modèles de traitement de la parole état-de-l'art en utilisant uniquement des données de terrain déjà existantes ? par "données de terrain", nous entendons des données qui n'ont pas été collectées à l'origine pour servir de données d'entraînement pour des applications informatiques (p. ex. la reconnaissance automatique de la parole, rap), mais qui ont été collectées à des fins linguistiques (p. ex. l'étude des variations dialectales). dans cet article, nous nous concentrons sur des données orales en créole haïtien (kreyòl ayisyen), constituées d'entretiens enregistrés entre des linguistes et leurs collaborateurs. le créole haïtien est un créole à base lexicale française (le français est sa langue lexificatrice, c'est à dire, la langue lui a apporté la plupart de son vocabulaire, voir hazael-massieux 2012), parlé par 13m de locuteurs @xcite à haïti et par la diaspora haïtienne, principalement aux états-unis d'amérique. la majorité des données que nous utilisons dans cet article (voir la section 2) a été collectée il y a 40 ans avec des magnétophones pour étudier les variations dialectales en haïtien, en mettant l'accent sur les variations lexicales. contrairement aux livres audio couramment utilisés pour entraîner les modèles neuronaux (p. ex. librispeech, @xcite qui jouissent d'une haute qualité d'enregistrement, les données que nous utilisons sont particulièrement bruitées : réverbération, echo, bruits ambiants (p. ex. poules, coqs, poussins, voitures, passants, etc.). pourtant, ce type de données représente la majorité des données disponibles pour la plupart des langues du monde. la collecte et la transcription des données étant un processus coûteux, 2 ne pourrions-nous pas utiliser -comme le préconise @xcite ) dans l'approche consistant à "mobiliser les archives" (mobilise the archive)des données de terrain déjà existantes (et potentiellement anciennes) et les ré-utiliser pour des applications informatiques ? questions de recherche. plus précisément, les questions que nous abordons dans cet article sont les suivantes : (a) des données de terrain, bien que bruités (mais écologiques) seraient-elles utilisables pour entraîner des modèles d'apprentissage auto-supervisé (ssl) de la parole (p. ex. wav2vec2, @xcite ) ? (b) doit-on entraîner ces modèles à partir de zéro ou doit-on utiliser des approches de pré-entraînement continu (continuous pre-training, cpt, @xcite ? (c) quelle quantité de données d'entraînement est nécessaire pour affiner (finetune) les modèles sur une tâche de rap ? enfin, (d) est-il possible d'entraîner de tels modèles avec un budget limité ? (c'est-à-dire en utilisant un seul gpu et non 64 comme c'est le cas pour @xcite . en outre, comme nous travaillons dans le contexte des langues créoles, nous visons également à explorer l'influence de la langue lexificatrice (comme un cas clair de langues apparentées) et explorons (e) si l'approche cpt doit être effectuée sur des modèles ssl de la langue lexificatrice (p. ex. le français dans le cas du créole haïtien), ou si des modèles entraînés sur une langue non apparentée (p. ex. l'anglais dans le cas du créole haïtien) fonctionnent également ? travaux connexes. le domaine du traitement de la parole pour les langues créoles par le biais de modèles neuronaux est relativement nouveau. les seuls travaux de traitement de la parole pour ces langues sont ceux de @xcite pour le créole haïtien, ceux de @xcite pour les créoles guadeloupéen et mauricien, et @xcite pour le créole mauricien (avec un accent mis sur le domaine médical). ainsi, le traitement de la parole pour les langues créoles -fussent-elles à base lexicale française, anglaise, portuguaises, etc. -reste largement inexploré. sans rapport direct avec le traitement de la parole pour les langues créoles -mais en rapport direct avec notre contexte méthodologique -nowakowski et al. (2023) a exploré des approches de préentraînement continu, suivies d'une tâche d'affinage pour la reconnaissance vocale en ainu (langue native du nord du japon) en utilisant d'anciennes données de terrain. cependant, contrairement à l'objectif que nous nous fixons, ils n'entraînent pas leurs modèles avec un budget limité car (i) ils utilisent 4 gpu, (ii) utilisent le modèle xlsr-53 @xcite qui est basé sur wav2vec2-large et pré-entraîné sur 56k heures de données, et (iii) font un affinage multilingue par lequel le modèle de rap n'est pas seulement entraîné sur la langue cible (ainu), mais sur plusieurs langues à la fois (anglais, japonais, en plus de l'ainu). nous visons une approche plus stricte qui n'utilise que des données de terrain à toutes les étapes. nous avons divisé l'ensemble de données (356,3 heures) en trois parties (train/val/test). les données ont été réparties de manière à ce que l'ensemble de validation contienne au moins 5 heures de données et un minimum de 2 locuteurs inconnus, et l'ensemble de test au moins 5 heures de données et un minimum de 3 locuteurs inconnus. nous avons obtenu la répartition suivante, qui répondait à nos contraintes : @xmath0,6 heures ; @xmath1,3 heures, 5 locuteurs inconnus ; et @xmath2,4 heures, 8 locuteurs inconnus. ## conclusion nous avons utilisé des données de terrain en haïtien, enregistrées sur bandes magnétiques il y a 40 ans, puis numérisées, pour entraîner un modèle ssl natif. nous avons également utilisé une approche cpt sur des modèles ssl pré-entraînés de la langue lexificatrice (le français) et d'une langue non apparentée (l'anglais), que nous avons affinés sur un autre ensemble de données de terrain dans le cadre d'une tâche de rap. nous avons obtenu des résultats compétitifs et montré que le meilleur modèle est le modèle pré-entraîné de la langue lexificatrice avec cpt sur des enregistrements de terrain haïtiens, suivi par le modèle ssl natif. par conséquent, lorsqu'aucun modèle de la langue lexificatrice n'est disponible, il est toujours utile d'entraîner un modèle natif à l'aide de données de terrain. ceci est d'autant plus important qu'un modèle natif peut être une source de fierté pour la communauté des locuteurs, contrairement à un modèle dérivé de la langue lexificatrice, généralement celle de l'ancienne puissance colonisatrice. par conséquent, l'approche consistant à mobiliser les données d'archive, comme préconisée par @xcite , est une voie prometteuse.