Évaluation de méthodes et d’outils pour la lemmatisation automatique du français médiéval (Evaluation of methods and tools for automatic lemmatization in O ld F rench) (2021)

Abstract: Pour les langues historiques non stabilisées comme le français médiéval, la lemmatisation automatique présente toujours des défis, car cette langue connaît une forte variation graphique. Dans cet article, nous dressons un état des lieux de la lemmatisation automatique pour cette langue en comparant les performances de quatre lemmatiseurs existants sur un même jeu de données. L’objectif est d’évaluer où se situent les nouvelles techniques de l’apprentissage automatique par rapport aux techniques plus traditionnelles s’appuyant sur des systèmes de règles et lexiques, en particulier pour la prédiction des mots inconnus.

## introduction la lemmatisation automatique a été l'objet de très nombreuses recherches dans le domaine du traitement automatique des langues (tal). elle consiste à produire, pour chaque occurrence de mots, leur forme de base telle qu'on peut la trouver dans des dictionnaires. les nombreux outils qui sont désormais disponibles ont permis de populariser cette tâche pour un nombre important de langues. dans cet article, nous nous intéressons à la lemmatisation automatique du français médiéval qui fait face à de nombreux défis. l'absence de normalisation graphique rend la lemmatisation pour une forme plus difficile car elle peut apparaître sous plusieurs graphies. le français médiéval se caractérise par une complexité morphologique plus importante que le français moderne et il est particulièrement marqué par la variation dialectale. plusieurs corpus textuels lemmatisés, dictionnaires électroniques et lexiques morphologiques associés existent pour cet état de langue @xcite . cependant différents dictionnaires de référence utilisent parfois différentes formes d'entrée pour le même lexème, puisque certains privilégient les formes modernisées et d'autres conservent les formes médiévales. il est par conséquent nécessaire de normaliser les lemmes avant de compiler un corpus d'apprentissage unifié. nous souhaitons dresser un état des lieux de la lemmatisation automatique du français médiéval en comparant différents outils sur un même ensemble de textes. il existe deux grandes familles d'approches pour la lemmatisation : (1) les approches traditionnelles se fondant sur des lexiques et des règles @xcite , (2) les approches reposant sur des techniques d'apprentissage automatique à partir de corpus annotés @xcite @xcite , parfois complémentés de lexiques. nous cherchons ici à évaluer où se situent les nouvelles techniques de l'apprentissage automatique par rapport aux techniques plus traditionnelles et éprouvées dans le cadre de la lemmatisation du français médiéval. plus précisément, nous allons tester quatre outils : (1) treetagger @xcite ; ( 2) lgerm @xcite ; (3) pie @xcite ; (4) udpipe @xcite . les trois premiers sont très utilisés pour la lemmatisation du français médiéval. ils utilisent des approches assez différentes donc ils sont intéressants à comparer. le dernier est un outil très populaire dans la communauté tal actuelle, utilisant une méthode de lemmatisation encore différente des trois premiers. l'article est organisé comme suit. tout d'abord, nous présentons les outils utilisés. ensuite, nous précisons les caractéristiques du corpus et la procédure expérimentale. enfin, nous proposons une discussion des résultats et des pistes pour améliorer la lemmatisation du français médiéval. ## description des lemmatiseurs utilisés nous décrivons maintenant les quatre outils de lemmatisation testés dans l'article pour le français médiéval. les outils treetagger et lgerm sont des systèmes à base de règles et de lexiques pour la lemmatisation. treetagger est, avant tout, un étiqueteur morphosyntaxique basé sur des arbres de décision appris à partir d'un corpus annoté. il existe un module de lemmatisation qui consiste à récupérer le (ou les) lemme(s) du mot en entrée dans le lexique du corpus d'apprentissage et potentiellement d'un lexique externe. la prédiction de l'étiquette grammaticale permet de filtrer les lemmes du lexique qui ne sont pas de cette catégorie. pour les mots inconnus du lexique, si l'option correspondante est activée, le lemme prédit correspond simplement à la copie du mot en entrée. la version récente @xcite lgerm repose sur un principe similaire à quelques différences notables près. tout d'abord, il utilise treetagger pour prédire l'étiquette morphosyntaxique du mot à lemmatiser. ensuite, il repose sur le lexique extrait (principalement) du dictionnaire du moyen français (dmf) @xcite . enfin, un système de règles complexes est appliqué pour prédire le (ou les) lemme(s) des mots inconnus du lexique. les outils pie et udpipe s'appuient sur un apprentissage supervisé de leurs modèles de lemmatisation à partir de corpus annotés. pie utilise un modèle neuronal encodeur-décodeur appris conjointement avec une tâche de prédiction des mots suivants et précédents afin de mieux tenir compte du contexte, sans avoir à prédire l'étiquette morphosyntaxique. l'outil, incluant également un étiqueteur morphosyntaxique, a démontré des résultats très prometteurs pour la lemmatisation des états anciens de différentes langues. udpipe, quant à lui, incorpore un autre type de lemmatiseur appris sur corpus annoté. étant donné un mot à lemmatiser, le principe est de générer un ensemble de paires (lemme, étiquette morphosyntaxique) possibles à l'aide de règles de lemmatisation apprises automatiquement, puis d'appliquer un modèle de levée d'ambiguïté appris grâce à un perceptron moyenné. ## analyse des résultats le tableau 2 affiche la précision moyenne (micro) obtenue pour chaque outil sur l'ensemble des tests. ## conclusion dans cet article, nous avons évalué quatre outils de lemmatisation pour le français médiéval, utilisant différentes méthodes. les résultats expérimentaux ont montré que les approches fondées sur des lexiques et systèmes de règles étaient les plus performantes du fait du manque de couverture des corpus annotés pour les méthodes supervisées. néanmoins, les résultats sur les mots inconnus montrent que les approches par apprentissage automatique sont bénéfiques. ces conclusions ouvrent de nombreuses pistes pour améliorer les performances. la richesse du lexique morphologique reste à ce jour le facteur déterminant dans la réussite de la lemmatisation. la première piste serait donc d'utiliser le lexique et les règles @xcite lgerm en association non pas avec treetagger, mais avec les étiqueteurs plus récents. l'augmentation du corpus d'apprentissage avec une meilleure représentation des périodes et des dialectes du français médiéval devrait également avoir un impact positif sur les performances de ces outils. l'utilisation simultanée de plusieurs outils et la mise en place d'un système de vote pour sélectionner le lemme et l'étiquette les plus probables est également très prometteuse. le poids de chaque outil dans le vote devrait être calibré en fonction de ses performances pour chaque catégorie grammaticale. enfin, des réglages et des post-traitements spécifiques pourraient être appliqués à chaque outil.