ELITEC : un corpus de conversations en microposts français annoté pour le liage d’entités W ikidata (2025)

Abstract: Nous présentons un corpus de microposts en français pour l’évaluation de la tâche de liage des mentions présentes dans le texte à des entités de Wikidata. Ce corpus est annoté à la fois pour la reconnaissance des mentions (Named Entity Recognition - NER) et leur liaison à des entités de Wikidata (Entity Linking - EL). Il s’agit d’une collection de 2 500 microposts, ciblés sur des termes liés à la vie en ville et regroupés en 618 conversations. Construit en suivant les conventions d’annotation de Impresso-Quaero, ce corpus a été pseudo-anonymisé afin d’être mis librement à disposition de la communauté. Nommé ELITEC (EL for mIcroposTs in FrEnCh), son objectif est de compléter les ressources spécifiques au français. ELITEC sert de base de tests pour les tâches NER et EL, et nous l’avons utilisé pour l’évaluation d’un système d’EL que nous avons développé.

## introduction les réseaux sociaux permettant la production de microposts représentent des sources de données volumineuses utilisées dans un large éventail de tâches d'apprentissage automatique (ml). en effet, la plupart des tâches de ml trouvent des applications pratiques sur ces plateformes, notamment les tâches de traitement du langage naturel (tal) telles que la reconnaissance d'entités nommées (ner), la résolution des coréférences (cr) ou l'analyse des sentiments (sa). toutes nécessitent des ressources d'évaluation pour estimer les performances des algorithmes développés. pour l'anglais, plusieurs corpus bien établis existent, tels que le broad twitter corpus (btc) @xcite et le edinburgh twitter corpus @xcite . ces ensembles de données ont été construits selon une méthodologie rigoureuse et sont largement reconnus au sein de la communauté tal, facilitant ainsi l'évaluation des systèmes. pour la langue française, et en se concentrant sur la tâche spécifique d'entity linking (el) (i.e. l'identification et l'extraction des entités nommées (nes) dans un texte et la liaison aux entités correspondantes au sein d'une base de connaissances (kb)), on observe un manque de ressources facilement disponibles. à notre connaissance, un seul corpus existant a tenté de combler cette lacune : un sous-ensemble du corpus microposts @xcite . cependant, en considérant les principes fair (findable, accessible, interoperable, reusable), il présente des lacunes en termes d'accessibilité et de réutilisabilité, car ses microposts sources ne sont plus disponibles. pour la tâche de ner, à notre connaissance, une seule ressource satisfisant aux besoins existe : cap 2017 @xcite . elle sert de base de comparaison pour évaluer la qualité du corpus elitec présenté dans cet article. elitec est un corpus français de microposts conçu pour l'évaluation de l'el. ce corpus est construit à partir de conversations liées à la vie en ville entre des utilisateurs de plateforme de type micropost et permet d'évaluer les algorithmes d'el à la fois au niveau de la conversation et du post. elitec présente une concentration plus élevée d'entités par rapport à cap 2017 et s'appuie sur un guide et un processus d'annotation rigoureux. la création de ce corpus a été initiée dans le cadre du projet france 2030 cloud platform for smart cities (cp4sc), dont l'objectif est de collecter et analyser des données liées aux environnements urbains à partir de différentes sources (par exemple des réseaux sociaux ou des réseaux de capteurs). elitec a été utilisé pour la mise au point d'un algorithme original d'el pour microposts @xcite . la section 2 détaille le processus de collecte des données. la section 3 se concentre sur les lignes directrices d'annotation qui ont été suivies. la section 4 décrit le processus d'annotation, sur la base de ces lignes directrices. la section 5 présente le contenu du corpus librement distribué 1 et le compare au corpus cap 2017. la fiabilité de l'annotation est discutée dans la section 6, ainsi que les caractéristiques du corpus. ## collecte des données les données ont été collectées à partir des api twitter (désormais x) et mastodon en utilisant des noms de villes françaises comme mots-clés. les mots-clés utilisés sont "toulouse", "paris", "bordeaux" et "nice", noms de villes suffisamment grandes pour nous permettre de recueillir une quantité significative de données. 2 500 tweets ont été extraits, répartis en 668 conversations. nous avons exclu les conversations constituées d'un seul micropost, car notre intérêt porte sur les échanges comprenant au moins deux microposts. cette décision repose sur la richesse des informations contextuelles contenues dans des échanges de microposts plus longs. l'objectif de ce corpus est d'évaluer de manière cohérente les algorithmes au niveau conversationnel, ce qui nécessite la conservation des conversations offrant suffisamment d'informations contextuelles. en ce qui concerne x, les données ont été collectées avant les modifications des politiques d'accès à l'api et en utilisant un accès universitaire officiel. pour les deux api, nous avons opté pour une méthode d'interrogation simple visant à capturer des données se rapprochant le plus possible de l'utilisation des mots-clés. nous avons utilisé une structure de requête reposant uniquement sur le mot-clé, tout en intégrant des critères d'exclusion pour filtrer le contenu multimédia ainsi que les cas où le mot-clé apparaît dans des hashtags (i.e. #mot) ou des mentions d'utilisateurs (i.e. @nomutilisateur). nous soutenons que de telles occurrences apportent plus d'ambiguïté que d'information, en raison de la nature incohérente de la construction et de l'utilisation des noms d'utilisateur et des hashtags. le format de requête utilisé correspond au modèle suivant : "keyword lang :fr place_country :fr -has :media -is :nullcast". les données issues des réseaux sociaux proviennent dans notre cas de deux sources principales : twitter et mastodon. une première partie du corpus a été collectée à partir de twitter, via un accès universitaire accordé dans le cadre du programme twitter api for academic research. cet accès permettait, jusqu'en 2023, de consulter de larges volumes de données à des fins de recherche, conformément à une procédure de demande formelle. il convient de souligner que ce programme n'est désormais plus accessible, la politique d'accès aux données de twitter ayant été profondément modifiée à la suite de changements structurels opérés sur la plateforme. la seconde partie des données a été extraite de l'instance piaille.fr, un serveur mastodon public hébergé en france foot_0 . cette instance repose sur le logiciel libre mastodon, distribué sous licence agplv3. conformément à sa politique de confidentialité foot_1 , les contenus publiés en mode public peuvent être consultés librement via l'api, dans le respect du cadre fixé par l'instance et des droits des utilisateurs. seuls les statuts explicitement publics ont été collectés, à l'exclusion de toute information privée. l'ensemble de la collecte a été réalisé dans une démarche éthique et conforme aux bonnes pratiques en vigueur dans le domaine de la recherche en traitement automatique des données sociales. les données ont été pseudonymisées conformément aux recommandations cnil foot_2 . pour mastodon, seuls les messages publics ont été extraits, les auteurs ont été supprimés, et les textes sont modifiés afin d'éviter toute réidentification. cette approche est compatible avec la diffusion sous licence cc by. ## méthodologie d'annotation le processus d'annotation est divisé en deux parties : l'annotation ner et l'annotation nel.pour l'annotation ner, nous avons suivi les lignes directrices fournies par impresso @xcite , qui est un sous-ensemble du projet plus large quaero @xcite . ces deux initiatives ont introduit une stratégie d'annotation structurée complète s'appuyant sur un cadre hiérarchique englobant différents types et composants. pour illustrer le schéma d'annotation utilisé dans impresso, considérons l'exemple de l'annotation de "le roi mohamed vi." dans ce cas, le processus d'annotation divise le texte en composants distincts, chacun étant associé à une paire type/sous-type spécifique ainsi qu'à un composant. le terme "roi" est annoté avec la balise "<func.@xmath0, indiquant son rôle fonctionnel. "mohamed vi" est annoté avec "<pers.@xmath1, et chacune de ses parties constitutives est également annotée : "mohamed" est annoté avec "<name.@xmath2, et "vi" est annoté avec "<@xmath3, soulignant ainsi sa fonction de composant qualifiant au sein de l'entité. dans les données de type micropost, les entités nommées (ne) sont relativement rares et il existe peu d'opportunités pour mettre en oeuvre une structure hiérarchique aussi détaillée. en utilisant le contexte disponible dans ces données, nous ne disposons pas d'assez d'informations pour désambiguïser les niveaux d'annotation inférieurs (e.g. org.ent) par rapport aux catégories générales (e.g. loc, org, pers) de l'organisation hiérarchique définie dans impresso. en nous basant sur impresso, nous avons annoté une entité avec un type principal et avons également annoté chacun de ses composants. par exemple, "emmanuel macron" est annoté avec le type d'entité pers, "emmanuel" étant désigné comme le composant firstname et "macron" comme le composant lastname. cette décision a conduit à la création de nouvelles lignes directrices d'annotation 5 . de plus, notre approche diffère significativement des autres corpus de micropost existants pour le ner sur un point fondamental : nous avons délibérément choisi de ne pas annoter les noms d'utilisateur (@user) et les hashtags (#hashtag). cette décision repose sur l'observation que les microposts présentent généralement une utilisation incohérente de ces deux attributs, les rendant ainsi peu fiables comme indicateurs d'entités référencées. par conséquent, ils ne sont pas considérés comme pertinents pour les tâches de ner. bien que les noms d'utilisateur et les hashtags puissent occasionnellement contenir du contenu informatif (e.g. @emmanuelmacron, @elonmusk, #covid19), la majorité des occurrences de ces éléments tend à manquer d'information substantielle, présenter des formes instables ou être dépourvues de pertinence contextuelle (e.g. cmlyon, omso). concernant la partie nel, nous avons choisi la base de connaissances wikidata 6 pour ses qualités de bonne couverture, en particulier des entités d'actualité (les microposts sont essentiellement à propos de l'actualité), son caractère disponible et ouvert et ses mises à jour très régulières grâce à une communauté de contributeurs importante. il est à noter que l'annotation nel n'a pas représenté un défi majeur, car les entités nommées réellement ambiguës étaient relativement peu nombreuses. ## processus d'annotation le processus d'annotation s'est déroulé en deux phases distinctes, correspondant aux deux sources de données : twitter et mastodon. la première phase a porté sur les données issues de twitter. elle a été réalisée par deux annotateurs : une annotatrice expérimentée, ayant déjà participé à une campagne d'annotation similaire avec les mêmes lignes directrices, et un annotateur débutant, spécifiquement formé par cette dernière. un corpus pilote a d'abord été annoté afin d'identifier d'éventuels problèmes logiciels ou ambiguïtés dans les catégories, et de garantir une compréhension partagée des lignes directrices. à l'issue de chaque sous-ensemble annoté, une phase de curation était menée. en cas de désaccord persistant entre les annotateurs, un médiateur expert extérieur au processus d'annotation intervenait pour décider. cette personne jouait un rôle essentiel d'arbitrage et de validation finale. la seconde phase d'annotation, réalisée ultérieurement, visait à intégrer les données extraites de l'instance mastodon piaille.fr. elle a mobilisé deux nouveaux annotateurs débutants, encadrés par un groupe de trois personnes, incluant le médiateur de la première phase. grâce à sa connaissance fine des lignes directrices, ce dernier assurait la cohérence des décisions, tranchait les divergences, et garantissait l'alignement méthodologique entre les deux phases. à noter qu'à ce jour, il n'existe pas de mesure d'accord inter-annotateurs spécifiquement conçue pour évaluer de manière satisfaisante la fiabilité de l'annotation de la segmentation textuelle en unités -qu'il s'agisse d'entités nommées ou d'autres types d'unités. les travaux de krippendorff et al. @xcite constituent une contribution notable sur ce sujet, notamment à travers la métrique γ, qui permet d'estimer de manière relative la fiabilité entre deux annotations. toutefois, comme le souligne mathet @xcite , cette métrique ne permet pas d'évaluer de façon absolue la qualité intrinsèque d'une annotation isolée. nous n'avons donc pas calculé de mesure d'accord inter-annotateurs pour cet aspect-là. notons que des gains d'efficacité ont été observés au fur et à mesure de l'avancement de l'annotation à travers les quatre sous-ensembles : les deux annotateurs ont construit une connaissance partagée qui s'est enrichie tout au long du processus d'annotation, réduisant ainsi le temps nécessaire à l'annotation. il est important de noter que la grande majorité des erreurs d'ambiguïté provient de la difficulté à attribuer le bon type entre lieu et organisation. en particulier dans notre corpus, lorsque l'on parle de sport et de villes, il est fréquent d'utiliser le nom d'une ville pour faire référence à une de ses équipes sportives. cela peut entraîner une forte ambiguïté, car il est nécessaire, à partir du contexte, de comprendre ce qui est réellement référencé derrière la mention. model recall precision f1-score bertweetfr_ner 0,664 0,783 0,719 roberta-large-ner 0,681 0,761 0,718 davlan_bert-base-multilingual-cased-ner-hrl 0,613 0,746 0,672 magbert 0,634 0,679 0,656 jb-camembert-ner 0,623 0,644 0,634 distilcamembert-base-ner 0,598 0,607 0,603 wikineural-multilingual-ner 0,525 0,570 0,546 jb-camembert-ner-with-dates 0,537 0,521 0,529 distilbertmultilingual 0,477 0,580 0,524 camembert-base-finetuned-ner 0,433 0,398 0,415 julian-schelb_roberta-ner-multilingual 0,388 0,377 0,383