COL a F : Corpus et Outils pour les Langues de F rance et variétés de français (2025)

Abstract: Nous présentons COLaF, un projet dédié à la collecte et au développement d’outils et de ressources de traitement automatique des langues (TAL) pour le français et les autres langues de France, avec une attention particulière sur les langues et variétés moins dotées. Le projet concerne les données textuelles, audio et vidéo, afin de fournir des corpus et des outils pour le langage écrit, parlé et signé. Le projet inclut la collecte, la normalisation et la documentation de données préexistantes, y compris des données actuellement non accessibles ou non exploitables à des fins de recherche, ainsi que le développement d’outils de TAL adaptés à ces langues, comme des outils pour l’annotation linguistique et pour la traduction automatique. Cet article permet la présentation des principaux défis posés par le projet et de premiers résultats.

## introduction les domaines du traitement automatique des langues (tal) et de la parole ont aujourd'hui un très fort impact économique et social. des outils tels que les assistants vocaux et la traduction automatique font désormais partie du quotidien. cependant, les produits des grands acteurs privés ne répondent pas nécessairement aux attentes et aux besoins de tous les locuteurs du français, en france ou ailleurs, ni à ceux des autres langues de france, dans toute leur diversité @xcite . en effet, ces technologies voient leur performance baisser fortement dès lors que l'utilisateur s'éloigne d'un idéal standard, par son âge, accent ou variété de français liée à une région d'origine, à un niveau de connaissance du français, à une pathologie, etc. quant aux autres « langues de france », presque toutes sont délaissées par les grands acteurs privés, laissant leurs locuteurs à l'écart de ces technologies. ces langues, moins standardisées (graphies non stabilisées, variantes locales, manque de langage de spécialité, etc.), présentent peu de corpus et autres ressources prêtes à l'emploi. le développement de technologies de tal pour ces langues présente de forts enjeux liés à la francophonie, à l'inclusion et à la promotion du patrimoine linguistique de la france dans toute sa diversité. le projet colaf 1 , financé par le plan national de recherche en intelligence artificielle, a pour objectif de développer et mettre à disposition des technologies numériques linguistiques ouvertes pour la francophonie et les langues de france, en contribuant à la création de corpus de données inclusifs, de modèles et de briques logicielles en partenariat avec les chercheurs, les associations de promotion des langues de france et autres fournisseurs de données. il oeuvre dans deux directions complémentaires : ## les langues d'étude colaf se donne pour champ d'action l'ensemble des langues parlées en france, dans toute leur diversité. plus précisément, nous prévoyons de travailler sur les langues et variétés suivantes 2 : ## travaux connexes une quantité considérable de travaux de recherche ont été consacrés au traitement automatique des langues (tal) pour le français. la situation pour les autres langues de france, en termes de disponibilité de corpus et d'outils, est bien moins favorable, certaines langues n'étant pas couvertes du tout @xcite @xcite . nous avons pour objectif ici de donner un aperçu des travaux antérieurs en matière de développement d'outils et de ressources pour les langues d'intérêt du projet colaf. nous nous concentrons notamment sur la littérature sur les langues minoritaires du projet. colaf n'est pas le premier projet destiné à la collecte de ressources pour les langues minoritaires de france. on peut citer par exemple, le projet anr restaure [•] (ressources informatisées et traitement automatique pour les langues regionales) @xcite , qui s'est concentré sur le développement de ressources et outils pour l'alsacien, le picard et l'occitan, et le projet divital, qui a pour objectif d'améliorer la visibilité numérique des langues de france pour l'alsacien, le corse, l'occitan et le poitevin-saintongeais. d'autres projets sont d'une envergure plus large, par exemple le digital language diversity project [•] @xcite , qui vise à améliorer la maturité numérique (en anglais, digital readiness) de langues minoritaires d'europe, y compris le breton @xcite . pour notre recherche, nous nous appuyons sur des inventaires existants, par exemple ceux d'ethnologue [•], d'elda soutenu par la dglflf @xcite , et sur d'autres ressources existantes mais difficiles d'accès ou d'utilisation, ainsi que sur de nouvelles ressources et annotations produites par nos soins. parmi les ressources déjà existantes, nous pouvons citer les grandes bases de textes et de la parole multilingues, par exemple ceux sur opus @xcite pour des textes parallèles, ainsi que les données monolingues et parallèles issues du web tel que ccmatrix @xcite , wikimatrix @xcite et oscar @xcite . la couverture des langues de france autres que le français y est cependant pour le moment limitée. des bases multilingues spécialisées dans la parole et focalisées sur les langues d'intérêt existent aussi, notamment cocoon [•] (collections de corpus oraux numériques) @xcite et l'atlas sonore des langues régionales de france [•] (boula de @xcite . il existe également des bases de données spécifiques à une langue, qui sont particulièrement importantes pour couvrir les langues à faibles ressources du projet. par exemple, pour le picard, il existe picartext @xcite , qui couvre à la fois corpus et lexiques, pour l'occitan, batelòc @xcite , ocwikidisc @xcite et un treebank ud @xcite , ou pour l'alsacien, methal @xcite . un des outils essentiels pour la création de corpus de bonne qualité issus du web est un détecteur de langue, qui permette d'identifier les langues les moins dotées, mais aussi de classer des textes par dialecte. cette tâche est rendue compliquée à cause de la variation et de l'absence de standardisation de leurs graphies et de la présence d'alternance codique @xcite @xcite . nous nous appuyons sur des classifications de langues existantes @xcite pour essayer de couvrir un éventail de langues aussi large que possible. ## création d'outils et modèles la seconde partie du projet consiste à adapter des outils et modèles tal existants ou en créer de nouveaux qui soient adaptés à la variabilité et à la quantité faible de données, éléments caractéristiques de nos langues peu dotées. de même que dans la section précédente, nous choisissons de présenter une des tâches effectuées : une chaîne de traitements pour la reconnaissance de la parole.