Outiller l’occitan : nouvelles ressources et lemmatisation (2023)

Abstract: Ce travail présente des contributions récentes à l’effort de doter l’occitan de ressources et outils pour le TAL. Plusieurs ressources existantes ont été modifiées ou adaptées, notamment un tokéniseur à base de règles, un lexique morphosyntaxique et un corpus arboré. Ces ressources ont été utilisées pour entraîner et évaluer des modèles neuronaux pour la lemmatisation. Dans le cadre de ces expériences, un nouveau corpus plus large (2 millions de tokens) provenant du Wikipédia a été annoté en parties du discours, lemmatisé et diffusé.

## introduction l'occitan est une langue romane parlée majoritairement dans le sud de la france ainsi qu'en italie et en espagne. il n'est pas standardisé et connaît une variation interne importante. l'occitan possède une riche littérature depuis les troubadours médiévaux, il est enseigné, de l'école à l'université, mais n'a pas de statut officiel en france. comme c'est souvent le cas des langues dans cette situation, les efforts pour construire des ressources et outils du tal ont démarré tardivement par rapport à la majorité des langues officielles d'europe. néanmoins, à travers deux projets récents, restaure 1 et linguatec 2 , les premiers corpus annotés @xcite et ressources lexicales @xcite ont été réalisés, ce qui a permis l'entraînement des premiers modèles d'étiquetage en parties du discours (vergez-couret & urieli, 2015) et d'analyse syntaxique en dépendances @xcite . notons cependant que ces expériences s'appuient sur des méthodes d'apprentissage statistiques. par ailleurs, à notre connaissance il n'y a pas encore de travaux publiés sur la lemmatisation de l'occitan. la lemmatisation consiste à trouver la forme de base d'une forme fléchie donnée. la définition de la forme de base pour une catégorie grammaticale donnée peut varier d'une langue à l'autre. elle peut consister, par exemple, à identifier le masculin singulier d'un adjectif (bèlas 'belles' > bèu 'beau') ou à retrouver l'infinitif d'une forme verbale (calèva 'fallait' > caler 'falloir'). cette forme de traitement est particulièrement importante pour les langues à morphologie riche : elle permet de regrouper toutes les formes de surface provenant du même lemme et de diminuer ainsi la dispersion des données. les outils de lemmatisation basés sur l'apprentissage automatique statistique peuvent se diviser en deux groupes principaux : approches par arbres d'édition (edit trees) et approches par transduction de chaînes de caractères. la première méthode @xcite @xcite consiste à identifier la série d'opérations d'édition qui permet d'obtenir le lemme à partir de la forme fléchie. cette série d'opérations est attribuée à la paire (forme fléchie, lemme) en tant qu'étiquette. l'outil apprend l'arbre d'édition qui s'applique à chaque paire, ce qui permet d'aborder la lemmatisation comme une tâche de classification. avec les méthodes neuronales, la lemmatisation a été redéfinie comme une tâche de transduction de chaînes de caractères @xcite . l'avantage principal de ces méthodes par rapport à la génération précédente réside dans une meilleure capacité de généralisation aux tokens inconnus. ce fait est particulièrement pertinent pour les langues à variation interne forte comme l'occitan, où on s'attend à un taux élevé de tokens inconnus. dans ce travail, nous décrivons des expériences en lemmatisation à l'aide d'outils basés sur des méthodes d'apprentissage neuronales. nous détaillons également plusieurs modifications apportées aux outils et ressources existantes dans le cadre de ces expériences. enfin, nous décrivons un corpus de 2 millions de tokens extrait du wikipédia, que nous avons étiqueté, lemmatisé et diffusé.