Exploration de la séparation en langues dans les modèles de traitement de la parole auto-supervisés multilingues préentraînés avec des données écologiques (2025)

Abstract: Les modèles auto-supervisés omnilingues de traitement de la parole sont adaptables mais manquent de plausibilité écologique et cognitive. Entraînés sur des corpus monolingues, ils négligent le multi- linguisme réel et le code-switching. De précédents travaux suggèrent que de tels modèles procèdent à des regroupements en langues dans l’espace latent, mais cela pourrait être dû à des biais acoustiques ou paralinguistiques plutôt qu’à de véritables traitements linguistiques. Nous avons entraîné un modèle WAV2VEC2 sur des données multilingues de Maurice, incluant des locuteurs plurilingues et du code-switching, et avons étudié les représentations latentes du modèle. Nos analyses montrent que les facteurs acoustiques et paralinguistiques sont encodés sans apprentissage actif, tandis que le regroupement par langue émerge avec un réel apprentissage. Ces résultats éclairent ainsi sur les véritable capacités linguistiques et paralinguistiques des modèles auto-supervisés de la parole.

## introduction les modèles auto-supervisés multilingues de traitement de la parole constituent la base de nombreux modèles état de l'art, après affinage. communément désignés sous le nom de modèles de fondation en raison de leur large applicabilité @xcite , ils font preuve d'une remarquable adaptabilité sur une large gamme de tâches et de langues, allant de la reconnaissance automatique de la parole jusqu'à la détection d'émotions. ces modèles sont appelés multilingues car ils sont exposés à plusieurs langues lors du pré-entraînement : par exemple, whisper est entraîné sur 96 langues @xcite , xlsr de 53 @xcite à 128 @xcite , mhubert sur 147 @xcite et mms sur 1406 @xcite . cependant, ce type de multilinguisme n'est ni écologique ni cognitivement plausible. qu'ils soient vus sous le prisme du plurilinguisme, défini comme le "répertoire des variétés de langues que de nombreux individus utilisent" ou du multilinguisme, défini comme "la présence dans une zone géographique déterminée [...] de plus d'une « variété de langues »" (nous soulignons, conseil européen, 2007, p.8), aucun de ces modèles n'est réaliste, puisqu'aucune "sociétés, institutions, groupes et individus utilisent [...] dans leurs vies quotidiennes" (commission européenne, 2007) l'ensemble spécifique de langues utilisé pour entraîner ces modèles. de plus, en raison du fait qu'elles soient parlées dans la même zone géographique ou par des locuteurs plurilingues, des langues en contact donnent généralement lieu -si ce n'est toujours selon gardner-chloros (2020) -à des phénomènes de code-switching, code-mixing et fused-lect @xcite . aucun des modèles mentionnés ne prend en compte ces phénomènes, car ils sont entraînés sur des corpus monolingues, où chaque corpus ne comporte que des énoncés dans une unique langue. par conséquent, de tels modèles devraient porter un nom moins linguistiquement connoté, tel que omnilingue, car ils sont théoriquement entraînables pour traiter n'importe quelle combinaison de langues, sans considération écologique ou cognitive. de précédents travaux ont étudié de tels modèles omnilingues, et montrent notamment que les langues peuvent être identifiées à partir de leurs représentations latentes : ils distinguent une langue d'une autre, et chaque langue apparaît comme un cluster distinct dans l'espace de représentation du modèle (p. ex. @xcite . cependant, il n'est pas clairement identifié si ce phénomène apparaît « naturellement », ou s'il s'agit plutôt un artefact résultant d'un biais. cela pourrait être un artefact (a) des corpus d'entraînement et/ou de test utilisés (p. ex. utilisation de corpus distincts pour chaque langue où aucun locuteur ne parle dans les deux langues cibles, c'est-à-dire sans locuteurs plurilingues, comme dans les travaux de @xcite par conséquent, le clustering des énoncés par langue pourrait simplement être un sous-produit d'un clustering basé sur ces propriétés, où les modèles reconnaîtraient plutôt le locuteur, le microphone ou le corpus, plutôt que la langue. enfin, il n'est pas clairement établi que les informations acoustiques et paralinguistiques mentionnées ci-dessus sont bien des propriétés apprises par les modèles, ou si elles pourraient émerger à cause d'un biais structural de l'architecture et des caractéristiques des données. 1 par conséquent, bien que de précédents travaux aient étudié les représentations de modèles omnilingues de traitement de la parole, aucun n'a examiné de véritables modèles multilingues (dans l'acception du conseil européen), qui sont fondés sur le plan écologique et cognitif. les biais précédemment mentionnés n'excluent pas la possibilité que le clustering en langues soit un artefact des paramètres d'entraînement, ou d'un clustering des locuteurs, ou d'un clustering basé sur d'autres facteurs acoustiques et/ou paralinguistiques. notre travail cherche à combler ce vide en étudiant les représentations d'un modèle wav2vec2 entraîné sur des données écologiquement valides, où il n'est pas explicitement demandé au modèle de séparer les langues les unes des autres, et où (a') le corpus d'entraînement et de test sont disjoints, comportant tous deux des locuteurs plurilingues parlant plusieurs langues, (b') parfois avec certaines sections comportant de l'alternance codique, (c') avec deux langues phonétiquement, phonologiquement et lexicalement proches. notre travail se concentre sur les langues utilisées à l'île maurice (créole mauricien, français et anglais), dont la situation sociolinguistique est décrite plus en détail dans la section suivante. nous cherchons également a (d') rigoureusement identifier les propriétés qui sont apprises de celles qui peuvent être facilement identifiées sans beaucoup d'apprentissage. ainsi, notre travail vise à répondre à l'ensemble de ces questions et à explorer les capacités de modélisation linguistiques et paralinguistiques d'un modèle auto-supervisé de traitement de la parole, wav2vec2 @xcite , entraîné sur des données multilingues écologiques. ## situation linguistique de l'île maurice maurice est un pays insulaire (dont l'île éponyme est l'île principale) situé dans l'océan indien, où, pour des raisons historiques complexes, trois langues sont principalement utilisées au quotidien : le créole mauricien (morisien, utilisé par l'ensemble de la population), le français (utilisé par une majorité de la population), et l'anglais (surtout d'usage scolaire et administratif). 2 le morisien s'est développé en tant que langue distincte du français à travers un processus de créolisation, principalement en raison de l'esclavage. alors qu'il a emprunté beaucoup de son lexique du françaissa langue lexificatrice -il a subi des changements phonologiques significatifs (p. ex. /s/→/s/, /z/→/z/, /y/→/i/, entre autres). alors que certains mots sont restés pratiquement inchangés (p. ex. /dik/∼/dig/, dire) certains, bien qu'étant proches de leurs homologues français, sont le résultat de l'agglutination du déterminant français @xcite au nom suivant (p. ex. /la/ et /bõte/, donnant /labõte/, (une) bonté), ou d'un changement dans le système phonologique (p. ex. /byko/→/bigo/, bureau), ou les deux à la fois (p. ex. /la/ et /plaz/→/laplaz/, (une) plage). lorsque maurice est devenu une colonie de l'empire britannique, de 1810 à 1968, l'anglais fut introduit sur l'île, et est devenu, et reste encore aujourd'hui, la langue officielle de l'administration et du gouvernement. ainsi, il existe de nombreux emprunts anglais en morisien (p. ex. enn viewpoint, un point de vue). il est fréquent de trouver de l'alternance codique (voir exemple 1), avec des mots français (fr) et anglais (en) insérés dans des énoncés plus larges où le morisien (mfe) est la matrice (exemple 1). (1) ensuite ensuite fr peut-être peut-être fr mo 1sg mfe check checker en mo 1sg.ps mfe bann pl mfe social social en media media en ensuite, peut-être je checkerai mes réseaux sociaux. (2) [sa dem se c'est m6 1sg.ps poe5] peur ça, c'est ma peur. informations (voir chrupała & alishahi, 2019). le français et le morisien sont si proches, qu'il est parfois difficile, voire impossible de décider si un énoncé est dans l'une ou l'autre langue comme dans l'exemple 2, où l'énoncé sera considéré comme du français si [m6] est perçu /ma/ et [5] plus proche de /k/ par le locuteur ; ou comme du morisien si [m6] est perçu /mo/ et [5] plus proche de /g/. ce phénomène n'est pas spécifique au morisien, mais se produit avec de nombreux créoles à base lexicale française. cela a conduit @xcite à développer un système de transcription double (appelée transcription flottante) pour les énoncés qui pouvaient être à la fois en créole réunionnais et en français, plus tard également utilisé dans d'autres contextes créolophones, en guyane notamment @xcite . maurice offre ainsi un parfait exemple de la manière dont les langues en contact interagissent et donnent naissance à des phénomènes linguistiques complexes @xcite . par conséquent, un modèle entraîné sur ce type de données constitue un terrain d'expérience idéal pour analyser les modèles multilingues de parole écologiquement fondés. ## conditions expérimentales nous décrivons dans cette section les données que nous utilisons pour entraîner un modèle wav2vec2, son protocole d'entraînement, et les données utilisées pour analyser ses représentations latentes. ## analyse dans cette section, nous détaillons l'analyse que nous avons menée sur les représentations, en commençant par une exploration visuelle, confirmée ultérieurement à l'aide de classificateurs de sondage/diagnostic @xcite .