FENEC : un corpus équilibré pour l’évaluation des entités nommées en français ( FENEC : a balanced sample corpus for F rench named entity recognition ) (2022)

Abstract: Nous présentons ici FENEC (FrEnch Named-entity Evaluation Corpus), un corpus à échantillons équilibrés contenant six genres, annoté en entités nommées selon le schéma fin Quæro. Les caractéristiques de ce corpus nous permettent d’évaluer et de comparer trois outils d’annotation automatique — un à base de règles et deux à base de réseaux de neurones — en jouant sur trois dimensions : la finesse du jeu d’étiquettes, le genre des corpus, et les métriques d’évaluation.

## introduction la tâche de reconnaissance d'entités nommées (ren) comprend deux volets : la segmentation et la classification (ou typage) des entités. la spécificité des outils de reconnaissance automatique repose à la fois sur le type de technologie utilisé et sur le schéma d'annotation pour lequel ils ont été élaborés. pour pouvoir apprécier et comparer la performance de différents outils, il est donc nécessaire de les confronter à différentes métriques et sur un corpus d'évaluation suffisamment riche (en termes de taille, de finesse d'annotation, de genre). c'est dans cette perspective que nous introduisons fenec 1 (french named-entity evaluation corpus) : un nouveau corpus de référence pour le français librement disponible, à échantillons équilibrés appartenant à six genres différents, et annoté avec le schéma fin quaero @xcite . nous présentons ensuite un échantillon des possibilités d'évaluation offerte par le corpus en y confrontant trois outils de reconnaissance d'entités nommées (en) : casen @xcite , un système à base de transducteurs, puis spacy @xcite et flair @xcite , des modèles entraînés tous deux sur la section française de wikiner @xcite . notre corpus le permettant, nous proposons à la fois une évaluation globale et individuelle de ces outils. ## travaux connexes corpus existants et accessibles pour le français il existe plus d'une dizaine de corpus annotés en entités nommées (en) pour le français foot_0 . seuls certains de ces corpus contiennent plusieurs genres, nous les présentons dans cette section. nous pouvons notamment citer les corpus des campagnes ester @xcite , etape @xcite , et les corpus quaero @xcite pour la parole transcrite. etape contient quatre sous-corpus : les actualités, débats et divertissement télévisuels, ainsi que les émissions radio. quaero contient quant à lui deux sous-corpus : presse ancienne et actualités télé-radio-diffusées. nous pouvons y ajouter le corpus quaero médical @xcite , annoté selon le même schéma d'annotation. pour l'écrit, nous pouvons citer le corpus polycorp @xcite , un corpus d'échantillons équilibrés qui contient deux sources textuelles de 2 000 tokens chacune : un texte littéraire et un rapport scientifique. le cadre de création de ce corpus étant l'étude des expressions polylexicales, les en ne sont pas typées. plus récemment, candito et al. (2020) ont proposé une annotation en en du corpus sequoia @xcite qui contient quatre sources textuelles : europarl français, l'est républicain, wikipédia français et l'agence européenne du médicament. le schéma d'annotation utilisé sur ce corpus s'apparente à un schéma quaero simplifié où ne sont gardés que les types non numériques, et où le typage utilisé est à « gros grain ». une différence majeure avec quaero vient de l'utilisation d'annotations discontinues : par exemple, « m. et mme. chirac » contient deux mentions, dont une discontinue. à notre connaissance, il n'existait donc pas pour le français de ressource à la fois variée et accessible. c'est pourquoi, afin de faciliter la reproductibilité de notre expérience et des évaluations ultérieures, nous avons fait le choix de proposer un corpus provenant de différentes sources libres, et pouvant ainsi être redistribué et réutilisé. le corpus fenec est donc la première ressource librement disponible pour le français contenant une variété de genres (six, dont de la prose, de la poésie et de la parole transcrite), présents en proportions similaires. outre ces spécificités, nous proposons par ailleurs dans ce corpus un typage fin des entités nommées permettant d'enrichir le cadre de l'évaluation. évaluation de l'annotation en en il existe différentes métriques prenant en compte l'évaluation de différents cas de figure. chinchor & sundheim (1993) ont introduit cinq mesures de comparaison document période genre nb. phrases (nb. tokens) licence 42131-0 (traité sur la tolérance, voltaire) xviiie prose 40 (1 020) project gutenberg foot_1 pg6470 (le ventre de paris, émile zola) xixe 51 (1 002) project gutenberg pg6099 (les fleurs du mal, baudelaire) xixe poésie 30 (1 014) project gutenberg 56708-0 (oeuvres d'arthur rimbaud -vers et proses) xixe 52 (1 027) project gutenberg ud french gsd xxie multisources 35 (1 021) cc by-sa 4.0 sequoia (candito & seddah, 2012) xxie 44 (1 002) licence lgpl-lr french question bank (seddah & candito, 2016) xxie 102 (1 006) licence lgpl-lr apil (office du tourisme othe-armance) xxie informations 29 (1 002) licence lgpl-lr wikinews xxie 46 (1 024) cc by 2.5 wikiner français xxie encyclopédie 36 (1 003) cc by 4.0 spoken (rhapsodie (lacheret et al., 2014)) xxie parole 70 (1 028) cc by-sa 4.0 ## annotation selon le schéma quaero le choix des documents du corpus a été guidé par deux contraintes visant à obtenir un corpus (i) équilibré et (ii) pouvant être redistribué sous forme annotée. le tableau 1 indique la composition du corpus, formé de 11 documents totalisant 11 149 tokens et appartenant à six genres principaux. la détermination de ces genres a été réalisée en fonction du contenu des textes. la principale faiblesse de cette catégorisation est que nous avons dû créer une catégorie spécifique pour les corpus multisources, alors que ceux-ci contiennent de l'encyclopédique et des informations (news). nous avons utilisé une version allégée du schéma d'annotation quaero @xcite . plus précisément, nous avons annoté uniquement les entités du schéma et pas les composants. nous avons également annoté le type event, un type optionnel du schéma d'annotation, absent de la campagne d'évaluation quaero (voir figure 1 ). les annotations ont été réalisées au cours de deux années académiques sur la plateforme we-banno (de castilho et al., 2014) par des étudiants en master linguistique et informatique de sorbonne université ayant à leur disposition le guide d'annotation quaero 4 et ayant reçu une brève formation à amount event func loc org pers prod time 8 % 3 % 9 % 31 % 8 % 20 % 7 % 14 % en prenant en compte l'ensemble des annotateurs sur la première campagne, nous avons obtenu un α de krippendorff @xcite moyen avec un intervalle de confiance de 0,95 de 0,78±0,06. en supprimant l'annotateur ayant le plus faible accord général, nous avons obtenu un α moyen de 0,82±0,03. pour la seconde campagne, plus petite et contenant des textes du genre poétique difficiles à annoter, nous avons obtenu un α moyen de 0,35±0,43 foot_3 . la seconde campagne montre la difficulté supplémentaire de la tâche de ren sur des types de textes plus spécialisés. après validation, 875 entités ont ainsi été annotées avec 31 étiquettes différentes pouvant être regroupées en 23 sous-types et huit types principaux. nous donnons dans le tableau 2 la répartition des entités parmi ces derniers. ## évaluation des systèmes nous avons choisi de comparer trois systèmes de reconnaissance des en. le premier est casen @xcite , un système à base de cascades de transducteurs initialement évalué sur le corpus eslo 1 @xcite , un corpus oral de 300 heures d'interviews réalisées à orléans, et la campagne ester 2 @xcite . le deuxième système utilisé est spacy @xcite , à base de réseaux de neurones. nous avons utilisé le modèle fr_core_news_lg qui a les meilleurs résultats rapportés sur la partie française de wikiner. enfin, nous avons aussi évalué le modèle flair/ner-french, mis à disposition par flair @xcite via la plateforme hugging face foot_4 , qui utilise un réseau neuronal de type long short-term memory (lstm) @xcite bidirectionnel et des plongements contextuels. comme celui de spacy, ce modèle a été entraîné sur la partie française de wikiner. 4.1 faire correspondre les schémas d'annotation méta-étiquettes et corpus d'évaluation afin d'évaluer individuellement les trois outils sur le corpus présenté, nous avons construit deux jeux de méta-étiquettes à l'intersection du schéma d'annotation quaero (huit types permettant d'annoter 875 entités) et des jeux d'étiquettes utilisés par casen d'une part (huit types permettant d'annoter 843 entités) 7 et par spacy et flair d'autre part (jeu minimal de quatre types permettant d'annoter 678 entités). le schéma d'annotation correspondant au jeu minimal repose sur le guide de la campagne conll-2003 8 (tjong kim sang & de meulder, 2003). les jeux de méta-étiquettes et leur correspondance avec les jeux d'origine sont donnés dans les annexes a et b. pour mener une comparaison stricte des trois outils, nous avons également réalisé une troisième mise en correspondance des étiquettes produites par casen vers le jeu minimal de quatre types. le schéma quaero étant le plus complet, on constate une diminution du nombre d'entités après transformation du corpus d'évaluation selon les différents jeux de méta-étiquettes. en particulier, les entités de types montants et dates ont été retirées des évaluations pour spacy et flair. comparaison des schémas d'annotation l'évaluation d'outils ayant été entraînés sur des corpus spécialisés sur un nouveau corpus pose le problème de l'adéquation des schémas d'annotation utilisés pour l'entraînement et pour l'évaluation respectivement. afin de mesurer cette correspondance de schémas, nous avons comparé un échantillon du corpus wikiner ayant été annoté semi-automatiquement et utilisé pour l'entraînement de spacy avec deux échantillons annotés manuellement avec (i) le jeu quaero, et (ii) le jeu minimal. le tableau 3 permet d'observer la forte précision entre les deux schémas : une entité du wikiner est généralement une entité du schéma quaero. le rappel augmente naturellement lorsque la comparaison est menée sur le jeu minimal moins couvrant. échantillon strict partiel p r f p r f