DWIE - FR : Un nouveau jeu de données en français annoté en entités nommées (2023)

Abstract: Ces dernières années, les contributions majeures qui ont eu lieu en apprentissage automatique supervisé ont mis en evidence la nécessité de disposer de grands jeux de données annotés de haute qualité. Les recherches menées sur la tâche de reconnaissance d’entités nommées dans des textes en français font face à l’absence de jeux de données annotés “à grande échelle” et avec de nombreuses classes d’entités hiérarchisées. Dans cet article, nous proposons une approche pour obtenir un tel jeu de données qui s’appuie sur des étapes de traduction puis d’annotation des données textuelles en anglais vers une langue cible (ici au français). Nous évaluons la qualité de l’approche proposée et mesurons les performances de quelques modèles d’apprentissage automatique sur ces données.

## introduction les technologies d'apprentissage automatique ont connu une forte accélération et ont montré de nettes améliorations sur différentes tâches de compréhension des langues naturelles. alors que l'effort est principalement porté sur les algorithmes d'apprentissage, les jeux de données demeurent rares pour le français. c'est notamment le cas pour la tâche de reconnaissance d'entités nommées @xcite . les entités nommées, définies comme « toute expression linguistique qui réfère à une entité unique du modèle de manière autonome dans le corpus » @xcite , et la reconnaissance de ces entités ont fait l'objet de nombreuses études et de campagnes d'évaluation @xcite , clef @xcite , etape @xcite , quaero @xcite ). la tâche consiste généralement à repérer et à classer les tokens automatiquement selon une typologie prédéfinie. les typologies proposées reprennent généralement le triptyque « personne », « lieu », « organisation » ou sont spécifiques à un domaine (par exemple la santé) et ne participent pas au développement de systèmes d'analyse de texte tous domaines confondus. les expériences réalisées sur cette tâche sont donc limitées par l'absence de jeux de données en français qui soient à la fois de grande taille et annotés avec une vaste typologie. des scores excellents (car comparables à un annotateur humain) sont désormais obtenus sur l'anglais @xcite obtient un micro f1 à 91.4 sur ontonotes 5.0, un jeu contenant 18 classes différentes), soutenus par la disponibilité de jeux de données annotés, tels que fewnerd @xcite , @xcite @xcite ou encore dwie @xcite . sur le français, les f1-scores atteignent des résultats de l'ordre de 85.7 @xcite pour un nombre de classes limité. créer de nouveaux jeux de données se différenciant des précédents sur un certain nombre de critères devrait permettre d'améliorer les modèles. dans cet article, nous montrons d'abord à travers le recensement des jeux de données français (section 2) qu'un jeu de données volumineux et annoté avec de nombreuses classes manque au panorama des jeux de données. nous proposons une traduction automatisée et maîtrisée du corpus anglophone dwie @xcite , qui préserve les types d'entités (section 3) dont la qualité est maîtrisée et rend possible l'entraînement de modèles pour la reconnaissance d'entités nommées (section 4). nous montrons la capacité d'apprentissage de modèles sur ce corpus et fournissons des métriques de qualité. nous espérons que la mise à disposition de ce jeu de données permettra d'améliorer la qualité des systèmes francophones à court terme. ## travaux antérieurs de nombreux jeux de données en français annotés en entités nommées ont été publiés. certains sont commercialisés (par exemple ester 1 ), d'autres sont inaccessibles (par exemple dawt @xcite ) ou distribués à usage non commercial uniquement (par exemple wikineural @xcite ). enfin, certains sont annotés avec les uri dbpedia mais pas directement avec les types d'entités (par exemple @xcite ) et sont plutôt destinés à une tâche de liage d'entités. notons finalement que des approches permettent de générer des jeux de données annotés en entités nommées « à la volée » en fonction de certains critères (par exemple gener @xcite ). nous avons finalement recensé neuf jeux de données en français qui sont à la fois accessibles et libres d'utilisation (cf. tab. 1). huit des neuf jeux de données sont annotés avec un nombre de classes compris entre trois et quinze. sur cet aspect, le jeu de données wikipedia-ner @xcite se distingue des autres puisqu'il contient 41 classes bien qu'il soit limité en taille (21855 tokens). il apparaît ainsi qu'il n'existe aucun grand jeu de données en français annoté avec plusieurs dizaines de classes alors que de tels jeux de données existent pour l'anglais notamment, par exemple fewnerd @xcite ou encore dwie @xcite . l'objectif de ce travail est de proposer un tel jeu de données (cf. section 3).