# Du repérage à l'analyse : un modèle pour la reconnaissance d'entités nommées dans les textes littéraires en français

Perrine Maurel, Arthur Amalvy, Vincent Labatut, Motasem Alrahabi

## ► To cite this version:

Perrine Maurel, Arthur Amalvy, Vincent Labatut, Motasem Alrahabi. Du repérage à l'analyse : un modèle pour la reconnaissance d'entités nommées dans les textes littéraires en français. Digital Humanities 2025, Jul 2025, Lisbonne, Portugal. hal-05128746v2

HAL Id: hal-05128746

https://hal.science/hal-05128746v2

Submitted on 10 Oct 2025

HAL is a multi-disciplinary open access archive for the deposit and dissemination of scientific research documents, whether they are published or not. The documents may come from teaching and research institutions in France or abroad, or from public or private research centers.

L'archive ouverte pluridisciplinaire HAL, est destinée au dépôt et à la diffusion de documents scientifiques de niveau recherche, publiés ou non, émanant des établissements d'enseignement et de recherche français ou étrangers, des laboratoires publics ou privés.

<figure><img src="image_1.png" /></figure>
# Du repérage à l'analyse : un modèle NER pour l'analyse des entités nommées dans les textes littéraires

Perrine MAUREL (perrine-maurel@sorbonne-universite.fr), Sorbonne Université
Arthur AMALVY (arthur.amalvy@univ-avignon.fr), Université d'Avignon
Vincent LABATUT (vincent.labatut@univ-avignon.fr), Université d'Avignon
Motasem ALRAHABI (motasem.alrahabi@sorbonne-universite.fr), Sorbonne Université

## Reconnaissance d'entités nommées

La reconnaissance d'entités nommées (REN) en littérature, issue du Traitement Automatique des Langues naturelles (TAL), doit tenir compte de la complexité des textes : ambiguïté, richesse stylistique et entités fictives ou symboliques. La REN utilise des méthodes basées sur des règles ou l'apprentissage automatique. Les modèles profonds, notamment les Transformers comme BERT (Devlin et al., 2019), CamembERT (Martin et al., 2020) et FlaubERT (Le et al., 2020), améliorent la prise en compte du contexte et des spécificités linguistiques, mais nécessitent de grands corpus annotés.

Certains travaux ont exploré les entités nommées dans les textes littéraires. Bamman, Popat et Shen (2019) annotent des extraits de romans en anglais (environ 2 000 mots). Dekker et al. (2019) analysent des chapitres de romans classiques et modernes en anglais, se concentrant sur des extraits de 300 phrases. Frontini et al. (2021) étudient des passages de 400 mots pour chaque langue du corpus ELTeC. Kababgi et al. (2024) se penchent sur 9 062 phrases issues de six romans suisses allemands, ciblant les entités spatiales non-nommées. Ces corpus sont partiellement annotés, généralement sur des extraits plutôt que sur des textes complets, ce qui limite leur exploitation en prenant en compte la longueur considérable de ces textes.

Afin de pallier cette limitation, nous constituons un corpus de romans en français que nous annotons intégralement en entités nommées. Nous démontrons son utilité en développant un nouveau modèle neuronal optimisé pour la REN en contexte littéraire, particulièrement pour les textes longs.

## Corpus proposé

Notre étude se concentre sur sept romans français des XIXe et début XXe siècles, sélectionnés pour leur richesse narrative et représentativité littéraire. Ces œuvres, issues de Wikisource, totalisent 1 320 734 tokens et illustrent une narration mêlant intrigue et
description, typique du roman du XIXe siècle. Le tableau suivant contient la liste de ces romans avec, pour chacun, son auteur, année de publication, et nombre de tokens.

<table><thead><tr><td>Roman</td><td>Auteur</td><td>Première publication</td><td>Édition utilisée</td><td>Nombre de tokens</td></tr></thead><tbody><tr><td>Les trois mousquetaires</td><td>Alexandre Dumas</td><td>1844</td><td>1849</td><td>294 989</td></tr><tr><td>Le rouge et le noir</td><td>Stendhal</td><td>1830</td><td>1854</td><td>216 445</td></tr><tr><td>Eugénie Grandet</td><td>Honoré de Balzac</td><td>1839</td><td>1855</td><td>80 659</td></tr><tr><td>Germinal</td><td>Émile Zola</td><td>1885</td><td>1885</td><td>220 273</td></tr><tr><td>Bel-Ami</td><td>Guy de Maupassant</td><td>1885</td><td>1901</td><td>138 156</td></tr><tr><td>Notre-Dame de Paris</td><td>Victor Hugo</td><td>1831</td><td>1904</td><td>221 351</td></tr><tr><td>Madame Bovary</td><td>Gustave Flaubert</td><td>1857</td><td>1910</td><td>148 861</td></tr></tbody></table>

Les travaux de Sims et Bamman (2020) et d'autres chercheurs (Amalvy et al., 2023; Tay et al., 2021; Labatut et Bost, 2019) soulignent les défis de l'annotation des entités nommées (EN) dans les longs textes littéraires, liés à la complexité narrative et à la résolution des coréférences. La prose littéraire, plus complexe que la prose journalistique, exige des modèles adaptés pour garantir cohérence et précision dans des tâches comme la détection de personnages et la modélisation de l'intrigue.

## Processus d'annotation

Nous nous sommes basés sur le guide du projet UniversalNER (Mayhew et al., 2024) pour l'annotation des entités nommées (EN), réalisée en trois phases :

* Phase exploratoire : annotation initiale d'un échantillon de textes, avec trois catégories (PER, LOC, ORG), menée par deux annotateurs par phrase. Les instructions clés sont : annoter la mention continue la plus large d'une entité nommée ; exclure les entités imbriquées et les chaînes de coréférences ; et inclure les descripteurs accompagnant les entités.
* Phase de concertation : ajustement du guide pour inclure les noms communs capitalisés (ex. "le Patron"), titres nobiliaires (ex. "Sa Majesté le roi Charles X"), déterminants (ex. "la maire"), et une nouvelle catégorie MISC pour les entités ambiguës ou indéfinies.

* Phase finale : application du guide révisé au corpus complet avec double annotation pour assurer la cohérence.

Le processus a impliqué un coordinateur et trois annotateurs. Le tableau suivant indique le nombre de mentions d'entités apparaissant dans chaque roman du corpus, par type d'entité. Le corpus produit est publiquement accessible en ligne.

<table><thead><tr><td>Roman</td><td>Personnages</td><td>Lieux</td><td>Organisations</td><td>Divers</td></tr></thead><tbody><tr><td>Les trois mousquetaires</td><td>8583</td><td>962</td><td>45</td><td>255</td></tr><tr><td>Le rouge et le noir</td><td>4351</td><td>806</td><td>39</td><td>78</td></tr><tr><td>Eugénie Grandet</td><td>1389</td><td>187</td><td>13</td><td>34</td></tr><tr><td>Germinal</td><td>3439</td><td>838</td><td>195</td><td>40</td></tr><tr><td>Bel-Ami</td><td>1773</td><td>400</td><td>25</td><td>46</td></tr><tr><td>Notre-Dame de Paris</td><td>3631</td><td>1409</td><td>17</td><td>94</td></tr><tr><td>Madame Bovary</td><td>2004</td><td>403</td><td>11</td><td>70</td></tr><tr><td>Total</td><td>25170</td><td>5005</td><td>345</td><td>617</td></tr></tbody></table>

## Accord inter-annotateurs

L'accord inter-annotateurs, mesuré par le F1-score (96,78) et le Kappa de Cohen (93,35), montre une excellente fiabilité des annotations. Le tableau qui suit indique l'accord inter-annotateurs par type d'entité.
<table><thead><tr><td>Classe</td><td>F1-score</td><td>Kappa</td></tr></thead><tbody><tr><td>PER</td><td>97,89</td><td>93,71</td></tr><tr><td>LOC</td><td>87,25</td><td>75,57</td></tr><tr><td>ORG</td><td>95,30</td><td>86,45</td></tr><tr><td>MISC</td><td>75,70</td><td>47,70</td></tr></tbody></table>

Bien que l'accord global soit excellent, la classe MISC semble poser davantage de difficultés, un point que nous discutons dans la section suivante.

## Difficultés rencontrées

L'annotation des EN dans les textes littéraires a posé plusieurs défis liés à la diversité des catégories, des styles et des contextes. Deux types de désaccords ont été identifiés. Les désaccords "résolvables" résultent d'oublis, d'incertitudes ou d'erreurs d'interprétation corrigibles, comme l'annotation erronée de "La Planète" en LOC au lieu d'ORG. Le second type concerne les désaccords de fond, non résolus car trop complexes ou ambigus, concernent souvent la catégorie MISC, introduite lors de la deuxième phase pour traiter ces cas spécifiques. Voici quelques exemples :

* L'énoncé "Elle s'empara d'un prie-Dieu et s'agenouilla" illustre un désaccord de fond : "prie-Dieu" peut désigner un objet (MISC) ou faire référence au divin, rendant la catégorisation ambiguë. Ce cas complexe n'a pas été tranché.

* La catégorie MISC, définie par les notions d'"indéfini" et d'"ambigu", varie selon l'interprétation des annotateurs, comme dans le cas de "l'affaire Morel", où l'hésitation porte sur son annotation en MISC ou en PER (pour "Morel" uniquement).

* L'inclusion ou l'exclusion de certains syntagmes dans les EN, comme "Français" ou "huguenots", soulève des questionnements, la capitalisation reflétant souvent des conventions typographiques plutôt qu'une intention emphatique de l'auteur.

* Les variations stylistiques entre auteurs, comme Hugo et Dumas, ont influencé l'annotation, ces derniers utilisant fréquemment des noms communs pour désigner
des personnages. Dans Notre-Dame de Paris, seules 28 % des mentions d'Esmeralda utilisent des noms propres, contre 45 % pour "l'égyptienne" et 26 % pour "la bohémienne".

* Citons enfin un exemple intéressant, celui d'une référence intertextuelle dans Madame Bovary qui a influencé l'annotation : Flaubert mentionne "la Sachette" de Notre-Dame de Paris. Bien que ce nom commun ne représente que 16 % des mentions de Paquette, sa capitalisation et son emploi ultérieur justifient son inclusion dans le guide d'annotation.

Ces cas reflètent la complexité de l'annotation des EN en littérature, exigeant des ajustements constants pour allier rigueur méthodologique et spécificités contextuelles.

## Entrainement d'un nouveau modèle

Nous mettons à profit notre corpus en entraînant un modèle de REN sur celui-ci. Nous nous basons sur deux modèles CamemBERT pré-entrainés (Martin et al., 2020) : l'un basé sur CamemBERT-base (100 millions de paramètres), l'autre sur CamemBERT-large (335 millions de paramètres). Nous leur ajoutons une couche neuronale de classification, et formalisons la tâche de REN comme une tâche de classification de tokens en nous basant sur le format BIO (Ramshaw et Marcus, 1995). Nous ajustons finement nos modèles sur notre corpus complet durant trois cycles d'apprentissage avec un taux d'apprentissage de $2×10^{-5}$ et un dropout de 0,1 (Devlin et al., 2019). Pendant l'entraînement et l'inférence, le modèle prédit les entités présentes dans chaque exemple sans contexte supplémentaire. Ce modèle est disponible en ligne.

## Évaluation

Afin d'évaluer la performance de notre modèle, nous procédons par validation croisée en 7 blocs : nous produisons 7 modèles différents, chacun entraîné sur un ensemble unique de 6 livres et évalué sur le livre restant. Nous utilisons la librairie [segeval](https://segeval.org/) en mode "défaut" pour mesurer la performance en termes de Précision, Rappel et F1-score. Le tableau suivant indique les résultats obtenus.
<table><thead><tr><td>Roman</td><td>F1-score</td></tr></thead><tbody><tr><td>Le rouge et le noir</td><td>91,85</td></tr><tr><td>Madame Bovary</td><td>91,55</td></tr><tr><td>Bel-Ami</td><td>91,27</td></tr><tr><td>Germinal</td><td>89,93</td></tr><tr><td>Eugénie Grandet</td><td>85,69</td></tr><tr><td>Notre-Dame de Paris</td><td>78,66</td></tr><tr><td>Les trois mousquetaires</td><td>66,33</td></tr></tbody></table>

Dans l'ensemble, la performance est cohérente avec les résultats obtenus précédemment par CamemBERT sur d'autres corpus français, comme sur le French Treebank (Martin et al., 2020). Deux romans semblent cependant poser plus de difficultés : "Notre-Dame de Paris" et "Les trois mousquetaires". Nous avons analysé manuellement les résultats et observé que le modèle rencontre des difficultés importantes à reconnaître certaines entités comme le personnage principal D'Artagnan. Cela reflète la difficulté déjà mentionnée concernant l'usage de noms communs comme substituts pour désigner certains personnages, ainsi que les observations précédentes de Dekker et al. (2019). Ces résultats sous-estiment probablement les performances du modèle final, entraîné sur l'intégralité du corpus.

Compte tenu du manque de jeux de données littéraires en français, ce modèle constitue une contribution pour la communauté en permettant une bonne performance d'inférence sur ce type de textes.

## Conclusion et perspectives

Le corpus de textes littéraires, entièrement annoté, constitue une ressource essentielle développée dans cette étude. S'appuyant sur ce gold standard, nous avons également conçu un modèle de NER adapté, produisant des résultats précis malgré les défis stylistiques propres à ces œuvres.
Pour l'avenir, l'amélioration de la résolution des coréférences et l'adaptation à d'autres périodes ou langues offriront des perspectives prometteuses. Le modèle pourra également être appliqué à l'analyse des réseaux narratifs et aux outils pédagogiques en humanités numériques.

## Remerciements

Nous remercions Una Faller et Romaric Parnasse qui ont participé à l'annotation du corpus.

## References

Enter your references here:

Alrahabi, M., Brando, C., Frontini, F., Provenier, A., Jalabert, R., Bordry, M., Koskas, C., & Gawley, J. (2024). "Guide d'annotation manuelle d'entités nommées dans des corpus littéraires" (version 2).

Amalvy, A., Labatut, V., & Dufour, R. (2023). "The Role of Global and Local Context in Named Entity Recognition". In Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers) (pp. 714–722). Toronto, Canada: ACL.

Bamman, D., Popat, S., & Shen, S. (2019). "An Annotated Dataset of Literary Entities". In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (Volume 1: Long and Short Papers) (pp. 2138–2144).

Dekker, N., Kuhn, T., & van Erp, M. (2019). "Evaluating Named Entity Recognition Tools for Extracting Social Networks from Novels". PeerJ Computer Science, 5, e189.

Devlin, J., Chang, M.-W., Lee, K., & Toutanova, K. (2019). "BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding". In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (Volume 1: Long and Short Papers) (pp. 4171–4186).

Frontini, F., Brando, C., Byszuk, J., Galleron, I., Santos, D., & Stanković, R. (2020). "Named Entity Recognition for Distant Reading in ELTeC." In Proceedings of the CLARIN Annual Conference 2020. Virtual Event, France.

Kababgi, D., Grisot, G., Pennino, F., & Herrmann, B. (2024). "Recognising Non-Named Spatial Entities in Literary Texts: A Novel Spatial Entities Classifier." In Proceedings of the Computational Humanities Research Conference 2024 (CHR 2024) (pp. 472–481). Aarhus, Denmark.

Labatut, V., & Bost, X. (2019). "Extraction and Analysis of Fictional Character Networks: A Survey". ACM Computing Surveys, 52(5), 89.

Le, H., Vauquier, T., Antoine, J.-Y., Colin, I., Emeriau, M., & Schwab, D. (2020). "FlauBERT: Unsupervised Language Model Pre-training for French". In Proceedings of the 12th International Conference on Language Resources and Evaluation (LREC).
Martin, L., Muller, B., Suárez, P. J. O., Dupont, Y., Romary, L., de la Clergerie, É., Seddah, D., & Sagot, B. (2020). "CamemBERT: A Tasty French Language Model". In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics (pp. 7203–7219).

Mayhew, S., Blevins, T., Liu, S., Šuppa, M., Gonen, H., Imperial, J. M., Karlsson, B., Lin, P., Ljubešić, N., Miranda, L. J., Plank, B., Riabi, A., & Pinter, Y. (2024). "Universal NER: A Gold-Standard Multilingual Named Entity Recognition Benchmark". In Proceedings of the 2024 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (Volume 1: Long Papers) (pp. 4322–4337).

Ramshaw, L., & Marcus, M. (1995). "Text Chunking Using Transformation-Based Learning". In Third Workshop on Very Large Corpora.

Sims, M., & Bamman, D. (2020). "Measuring Information Propagation in Literary Social Networks". In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP) (pp. 642–652).

Tay, Y., Dehghani, M., Abnar, S., Shen, Y., Bahri, D., Pham, P., Rao, J., Yang, L., Ruder, S., & Metzler, D. (2021). "Long Range Arena: A Benchmark for Efficient Transformers". In Proceedings of the International Conference on Learning Representations.