# Propriétés linguistiques fines et interprétation des performances des systèmes pour la reconnaissance des entités nommées

Marina Seghier, Alice Millour, Jean-Yves Antoine

► To cite this version:

Marina Seghier, Alice Millour, Jean-Yves Antoine. Propriétés linguistiques fines et interprétation des performances des systèmes pour la reconnaissance des entités nommées. LIFT-2, Nov 2024, Orléans, France. hal-05115242

HAL Id: hal-05115242

https://hal.science/hal-05115242v1

Submitted on 16 Jun 2025

HAL is a multi-disciplinary open access
archive for the deposit and dissemination of sci-
entific research documents, whether they are pub-
lished or not. The documents may come from
teaching and research institutions in France or
abroad, or from public or private research centers.

L'archive ouverte pluridisciplinaire HAL, est
destinée au dépôt et à la diffusion de documents
scientifiques de niveau recherche, publiés ou non,
émanant des établissements d'enseignement et de
recherche français ou étrangers, des laboratoires
publics ou privés.

<figure><img src="image_1.png" /></figure>

Distributed under a Creative Commons Attribution 4.0 International License
# Propriétés linguistiques fines et interprétation des performances des systèmes pour la reconnaissance des entités nommées

Marina Seghier¹ Alice Millour¹ Jean-Yves Antoine² ³

(1) LIASD - Université Paris 8, 2 rue de l'Université, 93526 Saint-Denis, France

(2) LIFAT - Université de Tours, 64 avenue Jean Portalis, 37200 Tours, France

(3) LIFO - Université d'Orléans, 6 Rue Léonard de Vinci, 45067 Orléans, France

ms@up8.edu, am@up8.edu, jean-yves.antoine@univ-tours.fr

**MOTS-CLÉS** : variation textuelle, évaluation, reconnaissance des entités nommées.

**KEYWORDS:** textual variation, evaluation, named entities recognition.

La profusion actuelle de modèles toujours plus performants dans le domaine du TAL rend difficile l'identification (i) des cas particuliers qui affectent leurs performances, et (ii) de ce qui les différencie. L'évaluation avec des métriques uniques telles que la F-mesure ou le score BLEU ne permet pas une lecture fine de la performance. Par ailleurs, les scores issus d'évaluations sur des données de validation réduites ne permettent pas de rendre compte avec fiabilité de leurs performances sur des données nouvelles et inconnues du système. Nous nous intéressons ici à la tâche de reconnaissance des entités nommées (REN), pour laquelle un système doit repérer dans le texte les portions contenant une entité nommée (d'un ou plusieurs tokens) et les typer parmi les étiquettes du jeu d'étiquettes choisi. Un outil est ainsi évalué sur les frontières de chaque segment annoté (segmentation) et sur l'étiquette qui lui est attribué (typage).

Les systèmes étant de plus en plus opaques et les données d'entraînement n'étant pas systématiquement accessibles, nous nous proposons ici d'étudier la corrélation entre performances des outils de REN et traits linguistiques caractéristiques de la variation observée.

## 1 État de l'art

Millour et al. (2022) ont observé en évaluant 4 outils de REN en français (CasEN (Maurel et al., 2011), CamemBERT-ner (Martin et al., 2020), Flair (Akbik et al., 2018), SpaCy (Honnibal & Montani, 2017)) sur le corpus de référence multi-genres FENEC annoté avec le schéma Quæro (Rosset et al., 2011) des différentiels de performances entre outils, mais également entre les types de textes. Les entités appartenant aux sous-genres 'encyclopédique' et 'journalistique' sont par exemple mieux reconnues par les systèmes à base d'apprentissage que celles appartenant au sous-genre 'poétique'. Ces différentiels dépendent de la nature du système, des éventuelles données d'entraînement auxquelles il a été exposé.
Afin d'améliorer l'interprétabilité de l'évaluation de la tâche de REN en anglais, Fu et al. (2020) ont proposé une méthode consistant à extraire pour chaque entité 8 propriétés aux niveaux **local** (longueur de l'entité, longueur de la phrase, densité OOV, densité de l'entité) et **global** (consistance de l'étiquette d'un token, fréquence d'un token, consistance de l'étiquette de l'entité, fréquence de l'entité), et à évaluer leur corrélation avec les performances de différents systèmes de REN.

Leurs travaux ont mis en évidence que la longueur de l'entité et les consistances des étiquettes étaient des propriétés influant sur les performances, tout comme la longueur de la phrase et la fréquence des tokens constituant l'entité dans une moindre mesure. De plus, ils ont noté qu'avec l'ajout de phrases contextuelles, la détection des entités peu consistantes au niveau global obtenaient de meilleurs résultats. Cependant, l'ajout de contexte altérait la détection des entités longues pour trois jeux de données sur cinq, soit 60% des données.

# 2 Méthodologie

## 2.1 Corpus de travail

FENEC (FrEnch Named-entity Evaluation Corpus, 15 000 tokens environ) (Millour et al., 2022) est un corpus d'évaluation<fnref n="1" /> pour la tâche de REN en français. Annoté manuellement en entités nommées selon le schéma d'annotation Quæro, et adapté aux jeux d'étiquettes des outils évalués, il est composé de 15 documents appartenant à 6 catégories textuelles différentes : poésie, prose, parole transcrite, encyclopédie, information, multi-sources.

## 2.2 Extraction de propriétés caractéristiques

Pour faire émerger une corrélation entre les caractéristiques spécifiques des entités et les performances des 4 outils utilisés dans l'évaluation menée par (Millour et al., 2022), CasEN, CamemBERT-ner, Flair et SpaCy, nous avons procédé à une représentation vectorielle de chaque entité présente dans le corpus FENEC. Par exemple, les 28 caractéristiques calculées pour l'entité **Elizabeth II** dans la phrase "Il a été anobli par la reine Elizabeth II." sont réparties comme suit :

1. 3 propriétés **linguistiques intrinsèques** (au niveau de l'entité) :

- eLen : longueur de l'entité en tokens : eLen(#token("Elizabeth II")) = 2;

- eLabelFreq : fréquence de l'étiquette de l'entité dans le corpus : eLabelFreq("Elizabeth II") = \frac{\#PER}{\#labelEntities} = 0,28;

<footnote n="1">1. Disponible ici : https://github.com/alicemillour/FENEC.</footnote>
<figure><img src="image_2.png" /><figcaption>FIGURE 1 – Analyse en composantes principales : entités par document.</figcaption></figure>

## 3 Résultats

Sur la figure 1, nous observons les propriétés projetées sous forme de flèches, et les entités nommées du corpus sous forme de points, les couleurs étant propres à chaque document classé par genre.

Sur la partie gauche du graphique, nous retrouvons la longueur des phrases, les faux négatifs de CasEN, Flair, CamemBERT et SpaCy. La capacité des outils à détecter des entités nommées semble liée à la longueur des phrases, CasEN y étant moins sensible. La figure 2 nous permet d'observer les entités nommées du document l'Est Républicain (genre information) face à toutes les autres : il se trouve que les phrases de cet échantillon de texte sont particulièrement longues.

Dans la partie supérieure, nous observons la longueur des entités et l'erreur de frontière 2 de CasEN, Flair, SpaCy, et la densité des entités et l'erreur type+frontière de CamemBERT, Flair et SpaCy. On observe ici la corrélation entre longueur, densité des entités au sein d'une phrase et la capacité à typer mais surtout à segmenter correctement les entités nommées.

Enfin, nous retrouvons sur la partie droite du graphique l'erreur de type de CamemBERT, Flair et SpaCy. Confrontés à des entités ambiguës, ces 3 systèmes font des erreurs de typage tandis que CasEN ne les repère pas.
<figure><img src="image_3.png" /><figcaption>FIGURE 2 – Analyse en composantes principales : entités du document l’Est Républicain.</figcaption></figure>

# 4 Conclusion et perspectives

À l'instar de Fu et al. (2020), l'expérience que nous avons menée a permis de retrouver une corrélation entre performances des systèmes et caractéristiques linguistiques : notamment entre le taux de faux négatifs et la longueur des phrases. Nos propriétés actuelles ne suffisent cependant pas à expliquer la chute des performances sur certains genres, comme la poésie ou la parole transcrite. Ces premiers résultats nous encouragent à approfondir nos travaux en ajoutant de nouvelles propriétés telles que la fréquence des parties du discours du texte et des entités.

# Références

AKBIK A., BLYTHE D. & VOLLGRAF R. (2018). Contextual string embeddings for sequence labeling. In *Proceedings of the 27th International Conference on Computational Linguistics*, p. 1638–1649, Santa Fe, Nouveau Mexique, USA : Association for Computational Linguistics. https://huggingface.co/flair/ner-french.

FU J., LIU P. & NEUBIG G. (2020). Interpretable multi-dataset evaluation for named entity recognition. In *Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP)*, p. 6058–6069, Online : Association for Computational Linguistics. DOI : 10.18653/v1/2020.emnlp-main.489.

HONNIBAL M. & MONTANI I. (2017). spaCy 2 : Natural language understanding with Bloom embeddings, convolutional neural networks and incremental parsing. *To appear*.
7(1), 411-420. https://spacy.io/api/entityrecognizer.

MARTIN L., MULLER B., ORTIZ SUÁREZ P. J., DUPONT Y., ROMARY L., DE LA CLERGERIE É. V., SEDDAH D. & SAGOT B. (2020). Camembert : a tasty french language model. In *Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics*. https://huggingface.co/Jean-Baptiste/camembert-ner.

MAUREL D., FRIBURGER N., ANTOINE J.-Y., ESHKOL-TARAVELLA I. & NOUVEL D. (2011). Cascades de transducteurs autour de la reconnaissance des entités nommés. https://tln.lifat.univ-tours.fr/version-francaise/ressources/casen.

MILLOUR A., DUPONT Y., JOUGLAR A. & FORT K. (2022). FENEC : un corpus équilibré pour l'évaluation des entités nommées en français (FENEC : a balanced sample corpus for French named entity recognition). In *Actes de la 29e Conférence sur le Traitement Automatique des Langues Naturelles. Volume 1 : conférence principale*, p. 82-94, Avignon, France : ATALA.

ROSSET S., GROUIN C. & ZWEIGENBAUM P. (2011). *Entités Nommées Structurées : guide d'annotation Quaero*. Notes et Documents LIMSI N° : 2011-04. LIMSI-Centre national de la recherche scientifique. http://www.quaero.org/media/files/bibliographie/quaero-guide-annotation-2011.pdf.