# Retour d'expérience sur la création d'un corpus en occitan à partir de textes produits par des utilisateurs

Oriane Nédey, Juliette Janes, Thibault Clérice, Rachel Bawden, Benoît Sagot

► To cite this version:

Oriane Nédey, Juliette Janes, Thibault Clérice, Rachel Bawden, Benoît Sagot. Retour d'expérience sur la création d'un corpus en occitan à partir de textes produits par des utilisateurs. Journée d'études AFIA-ATALA-AFCP "Technologies linguistiques pour les langues peu dotées" (TLLPD), Collège TLH (Traitement du Langage Humain) de l'Association Française pour l'Intelligence Artificielle (AFIA); Association Française pour le Traitement Automatique des Langues (ATALA); Association Francophone pour la Communication Parlée (AFCP), Dec 2025, Paris, France. hal-05407710

HAL Id: hal-05407710

https://inria.hal.science/hal-05407710v1

Submitted on 9 Dec 2025

HAL is a multi-disciplinary open access
archive for the deposit and dissemination of sci-
entific research documents, whether they are pub-
lished or not. The documents may come from
teaching and research institutions in France or
abroad, or from public or private research centers.

L'archive ouverte pluridisciplinaire HAL, est
destinée au dépôt et à la diffusion de documents
scientifiques de niveau recherche, publiés ou non,
émanant des établissements d'enseignement et de
recherche français ou étrangers, des laboratoires
publics ou privés.

<figure><img src="image_1.png" /></figure>
# Retour d'expérience sur la création d'un corpus en occitan à partir de textes produits par des utilisateurs

Oriane Nédey<fnref n="1" />, Juliette Janès<fnref n="1" />, Thibault Clérice<fnref n="1" />, Rachel Bawden<fnref n="1" />, Benoît Sagot<fnref n="1" />

¹ Inria, Paris, France

## Mots-clés

création de corpus, langue non standard, contenus produits par les utilisateurs, métadonnées, dialectes, anonymisation, TEI

TL;DR

Description du processus de développement et d'anonymisation d'un corpus en occitan issu d'un forum en ligne et riche en métadonnées liées à la variation dialectale.

## Résumé

En TAL, les langues peu dotées sont souvent traitées comme des entités monolithiques, alors qu'une grande partie d'entre elles se caractérisent par l'absence de norme écrite consensuelle et/ou par des continuums dialectaux complexes (Bird 2022). Cette simplification alimente des biais dans les corpus multilingues (Abdulmumin et al. 2024) et produit des benchmarks qui ne reflètent pas les usages réels des locuteurs (Taguchi et al. 2025).

En parallèle, émergent des corpus de textes produits par les utilisateurs (en anglais User-Generated Content) (Sanguinetti et al. 2023), qui offrent une représentation plus proche des pratiques linguistiques des locuteurs, bien que limitée aux plateformes dont ils sont extraits. Ces jeux de données permettent à la fois des études linguistiques à travers des outils de recherche approfondie (concordancier, recherche par lemme ou POS...), de même qu'une meilleure adaptation des modèles de langue face à des productions non standardisées.

Nous proposons un retour d'expérience sur la création d'un corpus en occitan riche en métadonnées, extrait depuis le forum en ligne *Occitania* !!<fnref n="1" />, avec pour objectif de partager les choix principaux effectués lors de son développement puis de son anonymisation.

<footnote n="1">¹ https://occitania.forumactif.com/</footnote>
Nous avons tout d'abord *scrapé* l'ensemble des posts et des fiches utilisateurs du forum avec un total de 20 000 posts et 292 utilisateurs actifs entre 2007 et 2012. Le corpus a ensuite été exporté au format TEI, en définissant des spécifications<fnref n="2" /> pour représenter à la fois la structure du forum (14 catégories principales, 25 catégories secondaires), ainsi que les fiches utilisateurs, avec une attention particulière sur la description des langues (Janès et al. 2025).

Pour les utilisateurs, nous avons choisi d'inclure des métadonnées issues de leurs profils déclaratifs : variété d'occitan, niveau de langue, localisation géographique, et âge. Le contenu des posts comportant souvent des phénomènes d'alternance codique, nous avons utilisé un modèle d'identification de langue pour donner une indication des langues présentes dans chaque post du forum, de manière à faciliter l'utilisation de filtres avancés en fonction des utilisations du corpus.

En l'absence d'informations claires concernant la nécessité d'anonymiser ce type de corpus issu de pages web librement accessibles, nous avons choisi d'opter pour un processus d'anonymisation léger et principalement automatique, afin de limiter la diffusion de noms de personnes non célèbres, de numéros de téléphone, ainsi que d'adresses postales et électroniques. Notre chaîne de traitement consiste en un mélange d'expressions régulières et de l'utilisation d'un modèle GLiNER<fnref n="3" /> (Zaratiana et al. 2024), avec une évaluation sur 200 posts annotés manuellement.

Nous espérons d'une part que ce corpus pourra être utile pour de futures études linguistiques et travaux de TAL sur l'occitan, et d'autre part que notre méthodologie pourra inspirer le développement d'autres corpus issus de contenus produits par des utilisateurs dans des langues minoritaires.

## Bibliographie

Abdulmumin, Idris, Sthembiso Mkhwanazi, Mahlatse Mbooi, et al. 2024. « Correcting FLORES Evaluation Dataset for Four African Languages ». In *Proceedings of the Ninth Conference on Machine Translation*, édité par Barry Haddow, Tom Kocmi, Philipp Koehn, et Christof Monz. Association for Computational Linguistics. https://doi.org/10.18653/v1/2024.wmt-1.44.

Bird, Steven. 2022. « Local Languages, Third Spaces, and other High-Resource Scenarios ». In *Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers)*, édité par Smaranda Muresan,

<footnote n="2">² https://github.com/DEFI-COLaF/metadata</footnote>

<footnote n="3">³ https://huggingface.co/urchade/gliner_multi_pii-v1</footnote>
Preslav Nakov, et Aline Villavicencio. Association for Computational Linguistics.
https://doi.org/10.18653/v1/2022.acl-long.539.

Janès, Juliette, Rachel Bawden, Thibault Clérice, et al. 2025. « Encoding language diversity in TEI: a description of regional and non-standard languages in multilingual diachronic corpora ». *TEI Conference* 2025.
https://hal.science/hal-05249807/document.

Sanguinetti, Manuela, Cristina Bosco, Lauren Cassidy, et al. 2023. « Treebanking User-Generated Content: A UD Based Overview of Guidelines, Corpora and Unified Recommendations ». *Language Resources and Evaluation* 57 (2): 493-544.
https://doi.org/10.1007/s10579-022-09581-9.

Taguchi, Chihiro, Seng Mai, Keita Kurabe, et al. 2025. « Languages Still Left Behind: Toward a Better Multilingual Machine Translation Benchmark ». In *Proceedings of the 2025 Conference on Empirical Methods in Natural Language Processing*, édité par Christos Christodoulopoulos, Tanmoy Chakraborty, Carolyn Rose, et Violet Peng. Association for Computational Linguistics.
https://doi.org/10.18653/v1/2025.emnlp-main.1018.

Zaratiana, Urchade, Nadi Tomeh, Pierre Holat, et Thierry Charnois. 2024. « GLiNER: Generalist Model for Named Entity Recognition using Bidirectional Transformer ». In *Proceedings of the 2024 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (Volume 1: Long Papers)*, édité par Kevin Duh, Helena Gomez, et Steven Bethard. Association for Computational Linguistics. https://doi.org/10.18653/v1/2024.naacl-long.300.