# Lemmatisation de l'ancien français : Présentation du modèle et des outils de l'École des chartes

Frédéric Duval, Lucence Ing, Jean-Baptiste Camps, Naomi Kanaoka, Ariane

Pinche, Thibault Clérice

► To cite this version:

Frédéric Duval, Lucence Ing, Jean-Baptiste Camps, Naomi Kanaoka, Ariane Pinche, et al.. Lemmatis-
sation de l'ancien français : Présentation du modèle et des outils de l'École des chartes. XXXe Congrès
International de Linguistique et de Philologie Romanes, Société de linguistique romane, Jul 2022, La
Laguna, Tenerife, Espagne. pp.1001-1012, 10.46277/SLR.18.2023.1001-1012. hal-04013381

HAL Id: hal-04013381

https://hal.science/hal-04013381

Submitted on 3 Mar 2023

HAL is a multi-disciplinary open access
archive for the deposit and dissemination of sci-
entific research documents, whether they are pub-
lished or not. The documents may come from
teaching and research institutions in France or
abroad, or from public or private research centers.

L'archive ouverte pluridisciplinaire HAL, est
destinée au dépôt et à la diffusion de documents
scientifiques de niveau recherche, publiés ou non,
émanant des établissements d'enseignement et de
recherche français ou étrangers, des laboratoires
publics ou privés.

<figure><img src="image_1.png" /></figure>

Distributed under a Creative Commons Attribution 4.0 International License
# Lemmatisation de l'ancien français : Présentation du modèle et des outils de l'École des chartes<fnref n="1" />

## 0. Introduction

Depuis les années 1960, l'annotation de corpus a été automatisée par les linguistes en vue de recherches quantitatives. La lemmatisation est ainsi devenue une condition sine qua non de l'exploitation linguistique de vastes corpora. Ses applications computationnelles sont multiples : outre les progrès de la description linguistique auxquelles elle contribue de plus en plus massivement, la lemmatisation fournit des données essentielles aux enquêtes scriptométriques, si précieuses pour l'identification des lieux de production des manuscrits et donc pour l'histoire des textes ; elle s'avère désormais indispensable en stylométrie, notamment pour la critique d'attribution, en étude des genres de discours ou dans celle des champs sémantiques. Enfin, elle est un préalable à la collation automatique de séquences textuelles en français peu ou pas standardisé (en particulier en ancien français), tant le 'bruit' généré par la variation graphique interdit des classements valides avant ce prétraitement.

Depuis 2015, l'École des chartes-PSL a développé des outils de lemmatisation et des modèles, librement disponibles (Camps et al., 2021b). Nous nous concentrerons ici sur la Old French Corpus Collection of the École des chartes [OF3C], disponible depuis 2021² : après une rapide présentation de l'environnement de lemmatisation proposé (outils et données), nous reviendrons sur l'élaboration d'OF3C. Enfin, la contribution livrera les résultats d'une évaluation du modèle, ce qui permettra de juger de ses performances actuelles, mais aussi de dégager des pistes d'amélioration.

## 1. L'environnement proposé

Les lemmatiseurs traditionnels comme TreeTagger reposent sur des ensembles de règles, un lexique avec des formes connues et un algorithme basé sur un arbre de décision. Ils fonctionnent très bien sur des états de langue standardisés, mais sont moins adaptés à des états de langues non-standardisés. Il est toutefois possible de multiplier et d'affiner les règles afin d'intégrer une dose de variation, comme l'a fait Gilles Souvay avec LGeRM, qui s'appuie sur les vastes données lexicographiques et textuelles du Dictionnaire du moyen français<fnref n="3" />.

Partant d'états antérieurs moins standardisés et désireux d'aboutir à des résultats non-ambigus pour chaque forme – LGeRM propose fréquemment plusieurs possibilités par occurrence –, nous avons fait le choix de l'apprentissage profond (deep learning) et de la technologie des réseaux de neurones récurrents (RNN), particulièrement adaptée au traitement de la variation linguistique de par sa capacité d'apprentissage et de prédiction : grâce au RNN, le lemmatiseur n'a plus besoin de comparer la forme du texte à une base de connaissance, mais peut prédire le lemme, séquence par séquence, caractère par caractère.

<footnote n="1">¹ Les outils présentés ici sont le fruit d'un travail d'équipe, qui a rassemblé de nombreux contributeurs : Thibault Clérice et Julien Pilla pour le développement informatique ; Jean-Baptiste Camps, Frédéric Duval, Lucence Ing, Naomi Kanaoka et Ariane Pinche pour la lemmatisation de textes intégrés au modèle OF3C.</footnote>

<footnote n="2">² Les données du corpus sont librement accessibles à l'adresse <github.com/chartes/OF3C>.</footnote>

<footnote n="3">³ LGeRM, <stella.atilf.fr/LGeRM/>.</footnote>
Le service de lemmatisation, baptisé *Deucalion*, proposé par l'École des chartes<fnref n="4" />, utilise *Pie*, le lemmatiseur et annotateur de parties du discours (POS)<fnref n="5" /> développé par Enrique Manjavacas<fnref n="6" />. Cet outil a été complété, sous le nom de *Pie extended*<fnref n="7" />, par des développements réalisés par Thibault Clérice et Julien Pilla visant à intégrer des services de prétraitement (tokenzation, autrement dit la conversion d'un texte en une liste d'unités à lemmatiser) et de post-traitement.

Ce dernier point a fait l'objet d'une attention particulière, car, si un lemmatiseur peut atteindre des scores élevés, toute lemmatisation automatique d'une langue non-standardisée est imparfaite. Afin d'améliorer les résultats du lemmatiseur, l'intervention humaine est nécessaire. L'enjeu était d'offrir un service de post-correction ergonomique, rapide et collaboratif. L'environnement *Pyrrha*, disponible depuis 2018, mais constamment amélioré depuis, répond à ces exigences<fnref n="8" />. Aisé à prendre en main, ne nécessitant aucune connaissance informatique, il permet des corrections par lots et l'intervention simultanée de plusieurs utilisateurs sur un même corpus.

Après sélection de l'un des modèles de langue disponible, *Deucalion* permet de lemmatiser toute séquence de texte importée ou saisie au format texte en UTF-8. Quant à *Pyrrha*, il offre la même possibilité, augmentée de services de post-correction.

## 2. Constitution du corpus OF3C

Le lemmatiseur a été entraîné sur l'ancien français grâce à la constitution progressive d'un corpus annoté. Les premières expérimentations, commencées en 2015 par Jean-Baptiste Camps, ont porté sur la *Chanson d'Otinel* éditée dans le cadre de sa thèse de doctorat<fnref n="9" />. Les référentiels de lemme, de POS et de morphologie furent alors choisis. Pour les lemmes, le choix s'est porté sur ceux du Tobler-Lommatzsch, moyennant quelques adaptations et compléments. Pour les POS et la morphologie, le guide d'annotation Cattex09 a été suivi<fnref n="10" />, là encore avec quelques menues adaptations<fnref n="11" />. Pour chaque forme, l'information donnée en POS est donc fine, car, outre le lemme, la catégorie grammaticale est précisée : on n'indique pas simplement « possessif », mais « déterminant possessif », « adjectif possessif » ou « pronom possessif » ; non pas simplement « verbe », mais « verbe conjugué », « infinitif » ou « participe passé »). En outre, l'annotation morphologique, renseignée pour une partie seulement du corpus d'entraînement, indique les cas, genre et nombre des déterminants, adjectifs et substantifs ; les modes, temps grammaticaux et personnes des verbes conjugués.

L'élaboration d'un corpus d'entraînement annoté aussi finement a requis beaucoup de temps et d'énergie. Par un processus circulaire, l'annotation a conduit à la mise au point

<footnote n="4">⁴ *Deucalion*, Modèle ancien français, <dh chartes psl eu/deucalion/>.</footnote>

<footnote n="5">⁵ Seule l'acronyme POS (pour part-of-speech) sera utilisé par la suite.</footnote>

<footnote n="6">⁶ Manjavacas, Kádár et Kestemont (2019).</footnote>

<footnote n="7">⁷ Thibault Clérice, *Pie Extended, an extension for Pie with pre-processing and post-processing*, <doi.org/10.5281/zenodo.3883589></footnote>

<footnote n="8">⁸ Thibault Clérice et al., 2019.</footnote>

<footnote n="9">⁹ Camps (2016).</footnote>

<footnote n="10">¹⁰ Guillot, Prévost et Lavrentiev (2013).</footnote>

<footnote n="11">¹¹ Les principes d'adaptation des référentiels de lemmes (TL) et de la morpho-syntaxe (Cattex) sont explicités dans le wiki du dépôt Geste, à l'adresse suivante : <github.com/Jean-Baptiste-Camps/Geste/wiki>.</footnote>
d'outils permettant d'accélérer la correction des sorties brutes de lemmatisation. C'est ainsi qu'est né *Pyrrha*.

Le corpus d'ancien français annoté compte au 1er septembre 2022 1 132 849 tokens. Pierre Kunstmann a partagé son corpus lemmatisé des romans de Chrétien de Troyes, qu'il a fallu adapter à nos référentiels. Pour le reste, la lemmatisation a été entièrement prise en charge par notre équipe. Le fait qu'elle soit assez resserrée a permis de rester cohérent dans les choix de lemmatisation, même si une marge laissée à l'interprétation personnelle subsiste inévitablement. Faute d'une dotation de départ très importante, la construction du corpus a été pragmatique, s'appuyant sur les projets menés par les collaborateurs : après les trois manuscrits de la *Chanson d'Otinel*, d'autres textes épiques ont été annotés, aujourd'hui intégrés au corpus *Geste*<fnref n="12" />. Deux thèses ont apporté des récits hagiographiques rédigés par Wauchier de Denain<fnref n="13" /> et une partie du *Lancelot* en prose<fnref n="14" />. Quant au projet de recherche portant sur les traductions françaises du *Corpus juris civilis*<fnref n="15" />, il a conduit à l'intégration de plusieurs de ces textes de droit savant.

À côté de ces gros blocs de données, nous nous sommes efforcés d'enrichir la couverture chronologique, diatopique et générique du corpus, afin d'augmenter son efficience sur les textes les plus divers. Naomi Kanaoka a ainsi encodé un extrait du *Pèlerinage de l'âme* de Guillaume de Digulleville, alors que le 14e siècle n'était jusqu'à présent pas représenté, non plus que la poésie religieuse allégorique. De même ont été intégrées des pièces de poésie lyrique (Thibaut de Champagne, Conon de Béthune, Gace Brulé) et des chartes sélectionnées dans DocLing de façon à représenter l'arc scripturaire le plus large.

<table><caption>Figure 1 : Données actuelles d'OF3C</caption><thead><tr><td>Dataset</td><td>Source</td><td>Morphologie</td><td>Nombre de tokens</td></tr></thead><tbody><tr><td>Chrétien de Troyes</td><td>Kunstmann 2009</td><td>non</td><td>252774</td></tr><tr><td>Corpus juris civilis</td><td>Miroir des classiques</td><td>partielle</td><td>160007</td></tr><tr><td>Chartes</td><td>DocLing</td><td>complète</td><td>68317</td></tr><tr><td>Geste</td><td>Camps 2016</td><td>complète</td><td>195303</td></tr><tr><td>Lancelot</td><td>Ing (en cours)</td><td>non</td><td>286095</td></tr><tr><td>WauchierSConf</td><td>Pinche 2021</td><td>complète</td><td>113694</td></tr><tr><td>Varia</td><td></td><td>complète</td><td>56659</td></tr></tbody></table>

<footnote n="12">¹² Camps (2016).</footnote>

<footnote n="13">¹³ Pinche (2021).</footnote>

<footnote n="14">¹⁴ Ing (en cours).</footnote>

<footnote n="15">¹⁵ Frédéric Duval, Lucence Ing, Naomi Kanaoka ; Projet intégré à Duval (2007-), financé par l'Equipex Biblissima.</footnote>
Même s'ils n'ont pas encore servi à l'entraînement d'une nouvelle version du modèle *Old French*, de nouveaux textes sont venus récemment augmenter le corpus annoté. Ont été traités par Naomi Kanaoka de larges extraits de l'œuvre de Rutebeuf, ce qui permettait d'intégrer des genres absents comme les fabliaux ou le théâtre (*Miracle de Théophile*). Enfin, il a semblé intéressant d'enrichir le modèle d'un extrait du *Roman de la Rose*, tiré de la partie rédigée par Jean de Meun.

Nous en sommes maintenant à un tournant important, car les financements obtenus pour la constitution du modèle sont désormais épuisés<fnref n="16" />. Le moment est donc propice à son évaluation et à sa promotion. En effet, si l'on sait que le modèle entraîné à partir d'OF3C obtient en général de bons résultats, il est nécessaire d'en discerner les failles et les points faibles afin d'être en mesure de les combler par des actions plus ou moins ponctuelles. Pour ce qui est de la promotion, il faut insister sur le fait que le service offert par l'École des chartes n'est pas destiné uniquement à une utilisation computationnelle, mais qu'il est susceptible d'intéresser un public assez large de philologues et de linguistes. Ainsi, notre solution de lemmatisation de l'ancien français peut rendre de nombreux services à l'ensemble des éditeurs de textes par l'aide qu'il apporte à la rédaction du glossaire ou à la préparation d'une introduction linguistique. Mentionnons également les applications pédagogiques de *Pyrrha*, qu'il s'agisse de lemmatisation collective d'un texte en cours ou à distance ou bien de l'étude du marquage des sujets, des formes des démonstratifs, etc.

## 3. Évaluation du modèle

### 3.1. Évaluation générale

L'évaluation du modèle *Old French* entraîné sur le corpus OF3C, avant ajout des derniers textes mentionnés *supra*, permet de repérer les aspects à améliorer, c'est-à-dire le type de données qu'il faudrait ajouter au corpus pour que le modèle devienne plus performant. Deux types d'évaluation ont été réalisées. Tout d'abord, une évaluation, dite *in-domain*, qui est effectuée en observant les résultats du modèle sur une partie des données annotées du corpus, qui n'ont pas servi d'entraînement au modèle. Le modèle prédit les étiquettes et cette prédiction est comparée à l'annotation réalisée par l'humain. Les résultats du modèle sur les lemmes et les parties du discours (POS) se trouvent dans le tableau suivant<fnref n="17" /> :

<footnote n="16">16 Le DIM « Sciences du texte et connaissances nouvelles » de la région Île-de-France a généreusement financé l'emploi de Naomi Kanaoka.</footnote>

<footnote n="17">17 Pour des questions de place, nous traiterons principalement des résultats du modèle sur les lemmes, et de manière succincte des résultats sur les POS. Les résultats en morphologie ne sont pas abordés ici. Précotera néanmoins qu'ils varient entre 94.57% pour le cas et 98.97% pour le mode verbal.</footnote>
<table><caption>Figure 2 : Résultats du modèle entraîné sur le corpus OF3C, pour les lemmes et les POS</caption><thead><tr><th></th><th colspan="2">lemmes</th><th colspan="2">POS</th></tr><tr><th></th><th>résultat<sup>18</sup></th><th>nombre d'unités</th><th>résultat</th><th>nombre d'unités</th></tr></thead><tbody><tr><td>total</td><td>0.9747</td><td>73507 total</td><td>0.9739</td><td>73507</td></tr><tr><td>unités connues</td><td>0.9831</td><td>71726 unités connues</td><td>0.9775</td><td>71726</td></tr><tr><td>unités inconnues</td><td>0.6367</td><td>1781 unités inconnues</td><td>0.8293</td><td>1781</td></tr></tbody></table>

Pour les deux catégories, le modèle obtient de bons résultats, avec plus de 97 % de résultats positifs. Néanmoins, il est possible de constater une divergence nette, pour les lemmes, entre les unités connues (plus de 98 % de résultats positifs) et les unités inconnues (moins de 64 %). Les unités inconnues sont des unités qui n'ont jamais été rencontrées par le modèle, qu'il s'agisse du lemme ou de formes graphiques. Cela signifie toutefois que, dans 64% des cas, le modèle réussit à attribuer un lemme à une forme graphique qu'il ne connaît pas : il s'agit d'un avantage notable d'une approche de type *deep learning*, par rapport à une approche basée sur un lexique (dans 7,5% des cas, le modèle réussit même à deviner un lemme inconnu). La différence entre les deux types d'unités est moindre pour les POS, avec un résultat positif qui reste supérieur à 80 %. Cela s'explique en partie par le nombre très faible d'étoiettes de POS et par leur nomenclature close.

La seconde évaluation réalisée est dite *out-of-domain* : elle porte sur des textes qui n'ont pas servi à l'entraînement. Réaliser une telle évaluation est intéressant car elle permet d'évaluer le modèle sur un corpus neutre, contenant des données hétérogènes, parfois radicalement différentes de celles qui ont servi à l'entraînement. Pour cette évaluation, un ensemble d'extraits tirés du *Nouveau corpus d'Amsterdam* (NCA)<fnref n="19" /> a été confectionné<fnref n="20" />. Le choix de ce corpus a été motivé par plusieurs facteurs. Tout d'abord, sa qualité et disponibilité ; ensuite, le niveau d'information des métadonnées associées à chaque extrait, qui permet de multiplier les critères d'évaluation du modèle ; enfin, la diversité présumée des témoins présents dans le corpus. Ce corpus test contient 278 extraits de 50 unités de texte, sélectionnés de manière aléatoire et tirés de 150 témoins différents, représentant 106 textes distincts. La longueur des extraits a été déterminée de manière à disposer d'extraits courts, ce qui permettait de les mul-

<footnote n="18">18 Les résultats retenus dans cet article sont ceux de l'*accuracy* du modèle. L'*accuracy*, exactitude en français, est ici calculée comme le nombre de prédicitions correctes divisé par le nombre total de prédicitions. Elle prend en compte chaque prédiction de manière égale. Il ne s'agit donc pas d'une moyenne qui donnerait le même poids à chaque classe, mais d'une mesure qui considère de manière identique toutes les occurrences, sans aucune pondération. D'autres métriques (précision, rappel, F-score) Ils disponibles, avec des informations complémentaires à l'adresse suivante : <github.com chartes deucalion-model-af>.</footnote>

<footnote n="19">19 Stein, Achim et. al. (2006).</footnote>

<footnote n="20">20 Les textes ont été annotés par Naomi Kanaoka, qui a également effectué en amont un long travail de toilettage des extraits.</footnote>
tiplier et donc d'accroître la représentativité du corpus-test. Toutefois, ils devaient être assez longs pour être sémantiquement interprétables de façon autonome. Dans le tableau suivant sont donnés les résultats obtenus sur les lemmes et les POS du corpus test.

<table><caption>Figure 3 : Résultats du modèle sur le corpus *out-of-domain*</caption><thead><tr><td>catégorie</td><td>résultat</td><td>nombre d'unités</td></tr></thead><tbody><tr><td>lemme</td><td>91.11</td><td>35888</td></tr><tr><td>POS</td><td>94.74</td><td>35888</td></tr></tbody></table>

Les résultats sur le corpus *out-of-domain* confirment l'efficacité du modèle d'annotation, puisque plus de 91 % des résultats sont positifs sur les lemmes et près de 95 % sur les POS. L'étude des erreurs commises par le modèle confirme que les résultats sont bons, puisqu'une partie importante des erreurs est due à des problèmes d'homogénéisation des lemmes dans le référentiel de lemmes : il s'agit par exemple de l'étiquetage de *dieu* pour *Dieu*, mais aussi d'autres noms propres, comme *jüif*, *sarrasin*. On trouve également dans le référentiel, et dans les différents textes annotés, des lemmes identiques mais présentant des graphies différentes, par exemple *Jésus/Jhesu/Jhesus*. Régler ce type de problème demanderait un travail important d'homogénéisation des données dans le référentiel et dans les données du corpus. Bien que cet effort ait été mené en amont de l'étiquetage du corpus, notamment lors de la constitution même du référentiel de lemmes, l'annotation du corpus par des personnes aux pratiques différentes, sur des textes variés et sur un temps assez long, rend inévitable ce type d'erreurs. Outre les erreurs dues à l'homogénéisation des données, d'autres types d'erreurs sont fréquentes, comme le montre le tableau ci-dessous :

<table><caption>Figure 4 : Lemmes présentant le plus d'erreurs, avec leur confusion la plus fréquente</caption><thead><tr><td>lemme correct</td><td>Total erreurs</td><td>lemme prédit</td><td>Fréquence</td></tr></thead><tbody><tr><td>Dieu</td><td>148</td><td>dieu</td><td>146</td></tr><tr><td>que2</td><td>117</td><td>que4</td><td>77</td></tr><tr><td>il</td><td>59</td><td>le</td><td>38</td></tr><tr><td>que4</td><td>42</td><td>sque2</td><td>33</td></tr><tr><td>avoir</td><td>28</td><td>a3</td><td>11</td></tr><tr><td>le</td><td>26</td><td>il</td><td>20</td></tr><tr><td>estre1</td><td>22</td><td>ester</td><td>8</td></tr><tr><td>que1</td><td>21</td><td>que4</td><td>17</td></tr><tr><td>son4</td><td>19</td><td>soi1</td><td>6</td></tr></tbody></table>
Les erreurs les plus fréquentes se produisent dans des contextes syntaxiques difficiles, en présence d'homographes : le plus grand contingent d'erreurs vient de l'interversion de *que2*, pronom relatif, avec *que4*, conjonction de subordination, accompagnée de l'interversion de *que1*, comparatif, et *que4*.L'homographie entre deux formes peut également se produire de manière occasionnelle et amener à une confusion ponctuelle, comme l'interversion entre *avoir* conjugué à la troisième personne du singulier de l'indicatif présent et *a3*, préposition, ou celle entre *il* employé au cas régime et l'article défini *le*.

Enfin, les formes inconnues produisent également des erreurs, même si le lemmatiseur propose un certain nombre de prédicitions exactes. Ces prédicitions sont intéressantes à examiner car elles donnent l'occasion d'observer la manière dont le lemmatiseur étiquette les différentes occurrences. Par exemple, la forme *arrieregarde*, inconnue du modèle, est étiquetée *regarder*, selon une logique de proximité de formes entre l'occurrence trouvée dans le texte et le lemme.

L'évaluation sur le corpus *out-of-domain* a aussi été menée sur les lemmes proprement lexicaux. En effet, les résultats obtenus sur l'ensemble des lemmes ne permettent pas de comprendre finement quel type de lexique fait défaut à notre modèle, car un certain nombre de mots-outils vient perturber les résultats. Ainsi, les résultats ont été évalués sur l'ensemble exclusif substantifs/verbes/adjectifs qualificatifs :

<table><caption>Figure 5 : Résultats du modèle en lemmes et POS par partie du discours (pour les classes d'occurences supérieures ou égales à 100), classées en fonction de leur sur ou sous contribution à l'erreur totale (6 premières et dernières lignes seulement).</caption><thead><tr><th colspan="4">Lemmes</th><th colspan="4">POS</th></tr><tr><th>POS</th><th>Acc.</th><th>Error contrib</th><th>Support relatif</th><th>Diff contrib support</th><th>POS</th><th>Acc.</th><th>Error contrib</th><th>Support relatif</th><th>Diff contrib support</th></tr></thead><tbody><tr><td>NOMpro</td><td>0.0757</td><td>0.2596</td><td>0.0249</td><td>0.2346</td><td>ADJqua</td><td>0.8059</td><td>0.1219</td><td>0.0330</td><td>0.0888</td></tr><tr><td>NOMcom</td><td>0.8360</td><td>0.2513</td><td>0.1362</td><td>0.1151</td><td>PROrel</td><td>0.8627</td><td>0.0550</td><td>0.0210</td><td>0.0339</td></tr><tr><td>PROrel</td><td>0.7913</td><td>0.0495</td><td>0.0210</td><td>0.0284</td><td>NOMcom</td><td>0.9364</td><td>0.1646</td><td>0.1362</td><td>0.0283</td></tr><tr><td>ADJqua</td><td>0.8479</td><td>0.0565</td><td>0.0330</td><td>0.0234</td><td>PROind</td><td>0.7649</td><td>0.0353</td><td>0.0079</td><td>0.0274</td></tr><tr><td>VERppe</td><td>0.8719</td><td>0.0415</td><td>0.0288</td><td>0.0127</td><td>VERppe</td><td>0.9026</td><td>0.0533</td><td>0.0288</td><td>0.0245</td></tr><tr><td>DETcar</td><td>0.7346</td><td>0.0086</td><td>0.0028</td><td>0.0057</td><td>ADVgen</td><td>0.9304</td><td>0.0842</td><td>0.0637</td><td>0.0205</td></tr><tr><td>DETdef</td><td>0.9830</td><td>0.0086</td><td>0.0453</td><td>-0.0367</td><td>DETdef</td><td>0.9752</td><td>0.0213</td><td>0.0453</td><td>-0.0239</td></tr><tr><td>PONfrt</td><td>0.9992</td><td>0.0003</td><td>0.0420</td><td>-0.0417</td><td>CONcoo</td><td>0.9722</td><td>0.0275</td><td>0.0521</td><td>-0.0245</td></tr><tr><td>CONcoo</td><td>0.9880</td><td>0.0069</td><td>0.0521</td><td>-0.0451</td><td>PONfrt</td><td>0.9992</td><td>0.0005</td><td>0.0420</td><td>-0.0415</td></tr><tr><td>PROper</td><td>0.9670</td><td>0.0279</td><td>0.0754</td><td>-0.0474</td><td>VERcjq</td><td>0.9637</td><td>0.0938</td><td>0.1361</td><td>-0.0423</td></tr><tr><td>PRE</td><td>0.9803</td><td>0.0166</td><td>0.0752</td><td>-0.0585</td><td>PRE</td><td>0.9783</td><td>0.0308</td><td>0.0752</td><td>-0.0443</td></tr><tr><td>PONfbl</td><td>0.9974</td><td>0.0023</td><td>0.0817</td><td>-0.0794</td><td>PONfbl</td><td>0.9989</td><td>0.0016</td><td>0.0817</td><td>-0.0800</td></tr></tbody></table>
Concernant les lemmes, le constat le plus important concerne la contribution démesurée des noms propres aux erreurs (26% des erreurs pour 2.5% des occurrences !). À l'inverse, ponctuations et mots-outils tendent à être des sous-contributeurs à l'erreur totale, qu'il s'agisse de la prédiction des lemmes comme des POS, leur très grande fréquence affectant très favorablement le score global. D'un point de vue général, les hésitations du modèle entre adjectifs, noms et verbes, d'une part, et pronom relatif et conjonction de subordination d'autre part constituent le nœud d'erreur le plus important (fig. 6).

<figure><img src="image_2.png" /><figcaption>Figure 6: carte de chaleur des confusions les plus fréquentes dans la prédiction des POS</figcaption></figure>

## 3.2. Évaluation du modèle en fonction de différents critères

Grâce aux différentes métadonnées associées à chaque témoin du corpus du NCA, il est possible d'observer si des facteurs tels que le lieu de rédaction du manuscrit, la date de composition du texte et le genre ont une influence sur les résultats. D'autres facteurs pourraient être explorés, mais ici seuls ces trois facteurs ont été retenus.
<figure><img src="image_3.png" /><figcaption>Figure 7 : Résultats (accuracy) sur les lemmes en fonction des scriptae des manuscrits et des genres des textes</figcaption></figure>

Globalement, romans et formes narratives brèves (étonnamment, pas les chansons de geste) obtiennent les meilleurs scores, tandis que sermons et textes bibliques sont les moins bien reconnus. Les différences entre *scriptae* semblent moins marquées, point encourageant en ce qui concerne la diversité du modèle, même si l'on note que les résultats de la *scripta* du Sud-Ouest, très peu représentée, sont mauvais en l'état (fig. 7)<fnref n="21" />. Par ailleurs, la *scripta* centrale se révèle particulièrement homogène : les témoins qui la représentent ne se signalent ni par des résultats extrêmement faibles ni par de très bons résultats. Les autres *scriptae* se caractérisent par une assez grande dispersion des résultats, qui ne sont donc pas tributaires d'elles seules.

<footnote n="21">²¹ Pour parvenir à une représentation lisible, les informations du NCA relatives aux *scriptae* et aux dates ont été uniformisées. Les genres textuels ont été directement attribués par nos soins.</footnote>
<figure><img src="image_4.png" /><figcaption>Figure 8 : Résultats sur les lemmes et POS en fonction des genres textuels</figcaption></figure>

Le dernier graphique retenu ici représente les résultats du modèle en fonction des dates<fnref n="22" />. Si la variation chronologique est presque insensible pour les POS, systématiquement plus robustes que les lemmes, les résultats de ces derniers, en accord avec nos données d'entraînement, ont une tendance à la progression jusqu'au milieu du 13ᵉ siècle (date des textes), avant de décliner.

Attardons-nous pour finir sur les témoins dont les résultats de lemmatisation sont les plus faibles :

<footnote n="22">²² De la même manière que les *scriptae*, les dates ont été sommairement réduites à des catégories homogènes.</footnote>
<table><caption>Figure 9 : Les témoins aux résultats les moins bons</caption><thead><tr><td>sigle du témoin<sup>23</sup></td><td>scripta (texte)</td><td>date de composition</td><td>résultat</td></tr></thead><tbody><tr><td>BestGuillR</td><td>ouest</td><td>1211</td><td>0.75</td></tr><tr><td>Turp1M</td><td>sudouest</td><td>1217</td><td>0.78</td></tr><tr><td>PerNeslesTabJ</td><td>pic.</td><td>1289</td><td>0.80</td></tr><tr><td>Turpin1A</td><td>sudouest</td><td>1217</td><td>0.82</td></tr><tr><td>MédLiégH</td><td>wall.</td><td>1275</td><td>0.82</td></tr></tbody></table>

La présence, parmi ces cinq textes, de deux des trois seuls œuvres composées dans une *scripta* du Sud-Ouest parle pour elle-même. Pour le BestGuillR (miracle dramatisé en vers), PerNeslesTabJ (table des matières rimée), et MédLiégH (recueil de recette médicinales, récits de songes, etc.), c'est clairement le genre atypique de ces textes qui semble en cause.

## 4. Conclusion

L'évaluation du modèle *out-of-domain* a permis de repérer les points faibles du modèle. Notons qu'aucune variable n'explique à elle seule les résultats faibles du modèle, mais que chacune d'elle y contribue. Des tendances ont pu être observées, selon les types de *scripta*, les datations et surtout les genres textuels, qui semblent tirer les résultats vers le haut ou contraire contribuer à leur affaiblissement. Ces observations montrent à quel point un modèle d'apprentissage profond est dépendant des données sur lequel il a été entraîné. Pour parvenir à obtenir un modèle hautement performant sur des textes variés, il faut que cette hé- téroénéité soit présente dans les témoins utilisés. On notera tout de même la robustesse de la prédiction des parties du discours, qui semble moins affectées – si elles le sont même – par ces variations que les lemmes.

Plus généralement, on notera pour les lemmes que la modélisation par Pie (Manjavacas et al., 2019) de la variation graphique semble porter ses fruits : la variation de *scripta* n'importe pas tant que celle de genre textuel, la chronologie se situant entre les deux. Finalement, c'est la variation de lexèmes plus que de graphies qui affecte les performances du lemmatiseur.

## 5. Recherches futures

Le présent article visait surtout à présenter à la communauté scientifique différents outils développés à l'École des chartes : le modèle *Old French* pour étiqueter les textes, une plate-forme de correction de l'annotation linguistique, non dépendant de la langue, un corpus anno-

<footnote n="23">23 Les sigles sont ceux de Frankwakt Möhren, *Dictionnaire étymologique de l'ancien français, Complément bibliographique* (DEAFBiblEl), <www.deaf-page.de/fr/bibl_neu.php>. Le sigle ElesB_T réfère à témoin manuscrit particulier, le témoin T tel que défini dans l'étude de la tradition manuscrite.</footnote>
té librement réutilisable. Il marque un point d'étape, car les pistes à suivre demeurent nom-
breuses. Dans l'immédiat, il faudrait entraîner le modèle avec les textes nouvellement anno-
tés et réévaluer le modèle en comparant les résultats avec ceux présentés ici. Cette nouvelle
évaluation sera l'occasion d'explorer la piste du *fine-tuning*, qui permet d'ajuster le modèle à
un type de données textuelles particulier, à partir d'un faible ajout de données étiquetées. Au-
trement dit, l'ajout au modèle de l'étiquetage de quelques centaines de vers du *Roman de la
Rose* suffit-il à améliorer sensiblement les résultats sur l'ensemble du roman ? À plus long
terme, il faudrait enrichir le corpus avec des données textuelles permettant de résorber les
failles repérées dans le modèle, notamment en étiquetant des témoins relevant de genres et de
*scriptae* qui lui sont mal connues ou inconnues. L'augmentation du nombre de textes étique-
tés morphologiquement est également nécessaire. Se pose également la question de produire
un modèle sur le moyen français, afin de rendre possibles des enquêtes en diachronie longue,
puisque les outils proposent déjà un modèle pour le français classique et qu'un autre (« Fran-
çais Classique (non modernisé) »), est entraîné sur un corpus allant du 16ᵉ au 18ᵉ siècle<fnref n="24" />.

École nationale des chartes-PSL

Frédéric DUVAL*

Lucence ING*

Jean-Baptiste CAMPS

Naomia KANAOKA

Ariane PINCHE

Thibault CLÉRICE

5. Références bibliographiques

Camps, Jean-Baptiste, 2016. *La Chanson d'Otinel : édition complète du corpus manuscrit et prolégomènes à l'édition critique*. Thèse de doctorat, dir. Dominique Boutet, Paris, Paris-Sorbonne, <halshs.archives-ouvertes.fr/tel-016649>.

Camps, Jean-Baptiste (ed.), 2016-. *Geste : un corpus de chansons de geste*, version 02 d'avril 2019, Paris, École nationale des chartes, <doi.org/10.5281/zenodo.2630574>.

Camps, Jean-Baptiste / Gabay, Simon / Fièvre, Paul / Clérice, Thibault / Cafiero, Florian, 2021. « Corpus and Models for Lemmatisation and POS-tagging of Classical French Theatre », *Journal of Data Mining and Digital Humanities*, <doi.org/10.46298/jdmdh.6485>.

Camps, Jean-Baptiste / Clérice, Thibault / Duval, Frédéric / Ing, Lucence / Kanaoka, Naomi / Pinche, Ariane, 2021b. « Corpus and Models for Lemmatisation and POS-tagging of Old French », arXiv:2109.11442 [cs], 23 septembre 2021, http://arxiv.org/abs/2109.11442.

Clérice, Thibault / Pilla, Julien / Camps, Jean-Baptiste / Jolivet, Vincent / Pinche, Ariane, 2019. *Pyrrha, A language independant post correction app for POS and lemmatization*. doi : 10.5281/zenodo.2325427.

Duval, Frédéric (dir.), 2007-. *Miroir des classiques*, Paris, École nationale des chartes, <elec.enc.sorbonne.fr/miroir_des_classiques>.

Gabay, Simon / Clérice, Thibault / Camps, Jean-Baptiste / Tanguy, Jean-Baptiste / Gille-Levenson, Matthias, 2020. « Standardizing Linguistic Data: Method and Tools for Annotating (pre-

<footnote n="24">²⁴ Gabay, Clérice et al. (2020) et Camps, Gabay et al. (2021).</footnote>

<footnote>* Auteurs principaux.</footnote>
orthographic) French », in : *Proceedings of the 2nd International Conference on Digital Tools & Uses Congress*, New York, Association for Computing Machinery, <doi.org/10.1145/3423603.3423996>.

Guillot, Céline / Prévost, Sophie / Lavrentiev, Alexei, 2013. *Manuel de référence du jeu Cattex09*, Lyon, École normale supérieure de Lyon. <bfm.ens-lyon.fr/IMG/pdf/Cattex2009_manuel_2.0.pdf. Version 2.0 – 8 avril 2013>.

Ing, Lucence, en cours. *Disparitions lexicales en diachronie : traitements automatiques sur le Lancelot en prose*. Thèse de doctorat, dir. Frédéric Duval et Jean-Baptiste Camps, Paris, École nationale des chartes-PSL.

Manjavacas, Enrique / Kádár, Ákos / Kestemont, Mike, 2019. « Improving Lemmatization of Non-Standard Languages with Joint Learning », in : *Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics : Human Language Technologies*, Minneapolis, Association for Computational Linguistics, Volume 1 (Long and Short Papers), p. 1493-1503, <doi.org/10.18653/v1/N19-1153>.

Pinche, Ariane, 2021. *Édition nativement numérique du recueil hagiographique* Li Seint Confessor de Wauchier de Denain d'après le manuscrit fr. 412 de la Bibliothèque nationale de France. Thèse de doctorat, dir. Corinne Pierreville et Bruno Bureau, Lyon, Université Jean-Moulin.

Stein, Achim / Kunstmann, Pierre / Gleßgen, Martin-D. (ed.), 2006. *Nouveau Corpus d'Amsterdam. Corpus informatique de textes littéraires d'ancien français (ca 1150-1350)*, établi par Anthonij Dees (Amsterdam 1987), Stuttgart, Institut für Linguistik/Romanistik, <stella.atilf.fr/gsouvay/nca/>.