Un corpus libre, évolutif et versionné en entités nommées du Français (A free, evolving and versioned french named entity recognition corpus) (2019)

Abstract: Les corpus annotés sont des ressources difficiles à créer en raison du grand effort humain qu’elles impliquent. Une fois rendues disponibles, elles sont difficilement modifiables et tendent à ne pas évoluer pas dans le temps. Dans cet article, nous présentons un corpus annoté pour la reconnaissance des entités nommées libre et évolutif en utilisant les textes d’articles Wikinews français de 2016 à 2018, pour un total de 1191 articles annotés. Nous décrivons succinctement le guide d’annotation avant de situer notre corpus par rapport à d’autres corpus déjà existants. Nous donnerons également un accord intra-annotateur afin de donner un indice de stabilité des annotations ainsi que le processus global pour poursuivre les travaux d’enrichissement du corpus.

## introduction la reconnaissance des entités nommées est une tâche importante du tal. elle permet « l'accès à l'information » @xcite pour d'autres tâches, comme par exemple la construction d'une base de connaissances @xcite ou les systèmes de questions-réponses @xcite . la notion d'entité nommée a évolué avec le temps. tout d'abord considérées comme « tous les noms propres et quantités d'intérêt » dans la campagne muc-6 @xcite , où les entités cibles étaient les personnes, lieux, organisations, temps et pourcentages, leur reconnaissance devait aider au remplissage automatique de formulaire. la campagne ace @xcite a donné comme périmètre aux entités nommées les personnes, les organisations, les lieux, les bâtiments, les armes, les véhicules et les entités géo-politiques, dans le cadre de la détection d'événements. @xcite , quant à eux, définissent 150 types d'entités nommées organisés de façon hiérarchique, afin de couvrir un maximum de cas d'utilisation. ils préconisaient d'élaguer la hiérarchie afin de correspondre au mieux au cas d'usage particuliers. @xcite proposent également une définition d'entités nommées généraliste et couvrante. ils définissent, en plus des types d'entités, leurs composants ainsi que leur structuration. les entités nommées ont un caractère référentiel et, comme nous venons de le voir, ont également une visée applicative très concrète et sont fortement liées à leur corpus. un définition rendant compte de toutes ces caractéristiques est celle d @xcite : « étant donnés un modèle applicatif et un corpus, on appelle entité nommée toute expression linguistique qui réfère à une entité unique du modèle de manière autonome dans le corpus. ». un inconvénient des corpus actuellement disponibles est leur côté figé dans le temps. en effet, le ftb @xcite annoté en entités nommées @xcite contient des phrases extraites d'articles du monde de 1989 à 1995, la partie anglaise du corpus @xcite est un extrait du corpus reuters d'août 1996 à août 1997, la partie allemande comprend, elle, des textes de l'année 1992. des corpus sur des données plus récentes existent, comme par exemple le corpus d'oral transcrit ester2 @xcite qui couvre les années 1999 à 2003, dont les transcriptions ont été utilisées pour le corpus quaero @xcite . il nous parait important de diffuser des corpus dont les sources sont aussi récentes que possible, pour plusieurs raisons. la première est d'élargir l'éventail des entités couvertes dans les corpus que nous avons à notre disposition, en effet, de nombreuses nouvelles entités nommées apparaissent régulièrement dans les textes journalistiques et il est important de pouvoir les attester. un autre intérêt, qui découle du précédent, est que cela permet d'évaluer les systèmes construits pour ces tâches particulières et d'évaluer dans des conditions réalistes leur qualité et leur robustesse. au-delà des divergences définitoires, comme le fait d'annoter ou non le titre d'une personne, les corpus annotés ne sont pas exempts d'erreurs. il existe divers articles les évoquant ou les corrigeant, nous pouvons citer @xcite pour le corpus genia @xcite et @xcite pour ester2. pourtant, il a été montré que les erreurs humaines étaient une source d'erreur pour les systèmes à base d'apprentissage @xcite . pour ces raisons, il semble important de créer des ressources évolutives pour qu'elles soient capables de rendre compte des phénomènes émergeant, plus ouvertes afin de faciliter leur mise à jour. il semble aussi important de créer des ressources versionnées, afin d'intégrer au mieux les corrections d'erreurs trouvées au fil des travaux. nous proposons ici un corpus libre et évolutif annoté en entités nommées foot_0 afin de remédier au mieux aux problèmes cités plus haut. ce corpus contient des textes très récents. nous nous plaçons donc ici dans la continuité des travaux effectués par salmon-alt et al. (2004); hernandez & boudin (2013) , dont l'idée est de fournir des corpus annotés libres. nous nous plaçons dans la continuation des travaux d @xcite en décidant d'annoter des données issues de la partie française de wikinews, et que l'annotation en entités nommées que nous proposons se veut enrichir celle en parties-du-discours déjà présente. cependant, nous nous en distinguons de par le type d'annotations que nous effectuons, nous avons ici privilégié une annotation manuelle sur une partie plus petite. nous souhaitons, à terme, que ce corpus puisse être utilisé afin d'entraîner des systèmes automatiques pour des tâches d'extraction d'information, qui impliquent souvent d'effectuer en amont la reconnaissance des entités nommées, l'entity linking ainsi que l'extraction des relations qui lient les entités nommées. le corpus contient actuellement les contenus textuels des articles de wikinews français des années 2016 à 2018, pour un total de 1191 articles. nous avons pris l'ensemble des articles wikinews, à l'exception d'un certain type de document : les tableaux de résultats sportifs. ces documents contiennent typiquement une unique phrase décrivant la compétition ayant eu lieu suivi d'un tableau de scores. un unique annotateur ayant de fortes connaissances dans la reconnaissance des entités nommées a annoté l'ensemble des documents. afin d'accélérer le processus d'annotation, nous avons utilisé un outil spécifique codé en python avec la librairie tkinter @xcite . l'outil permet de sélectionner des empans de texte et de leur attribuer un type d'une simple touche de clavier, avec la possibilité de diffuser l'annotation à l'échelle du document. afin d'accélérer encore le processus d'annotation, nous avons également régulièrement entraîné un système par apprentissage afin de donner une pré-annotation pour un document. nous nous sommes inspirés des systèmes décrits par @xcite , qui donnent à notre connaissance des performances état-de-l'art sur le ftb. plus précisément, nous avons utilisé le modèle utilisant des crf @xcite . nous avons fait ce choix en prenant en compte le rapport entre la correction et le temps de traitement. bien que la correction du système utilisant les bi-lstm-crf @xcite soit meilleure, la rapidité à l'entraînement et à l'annotation du système utilisant des crf permettaient d'avoir un processus d'annotation des documents globalement plus rapide. @xcite indiquent que la pré-annotation « introduit un biais en faveur de la correction des pré-annotations, au détriment de la recherche de nouvelles en ». pour réduire ce biais, nous avons procédé à l'annotation de chaque document pré-annoté en deux temps : un premier temps où les pré-annotations ont été corrigées et un second où le document était repris depuis le début à la recherche d'annotations manquées. une fois le corpus annoté, nous avons utilisé un script pour détecter de potentielles incohérences. le script crée d'abord un lexique par type d'entités en utilisant les différentes mentions annotés comme entrées. le lexique ainsi créé est alors appliqué sur le corpus, les différences en type ou en frontière sont alors indiquées pour vérification par l'annotateur. grâce à l'ensemble de ces méthodes afin d'accélérer le processus d'annotation, l'annotation manuelle, c'est-à-dire sans compter les temps d'entraînement du modèle par apprentissage, a pris une semaine à l'annotateur. une révision manuelle de l'ensemble des annotations du corpus n'a pas encore été effectuée. nous avons annoté le corpus en nous basant sur un jeu simplifié des étiquettes du quaero. nous avons annoté les types suivants : les dates, les événements, les heures, les lieux, les organisations, les personnes et les produits (sans hiérarchie). notre ensemble d'étiquette est globalement un sousensemble du jeu d'étiquettes défini par quaero. ce jeu d'étiquettes est comparable à celui de conll-2003, où des entités temporelles et les événements remplacent le type "misc". les dates sont ici des dates dites absolues, c'est-à-dire que nous annotons uniquement les dates référant à un jour unique (1er janvier 2019), référant à un jour ou un mois identifiable sur un calendrier (1er janvier, janvier, janvier 2019), les décennies, les siècles, millénaires et les périodes clairement identifiées (par exemple, « les trente glorieuses » désignent une période précise). nous n'annotons cependant pas les dates relatives comme « la veille », « le mois prochain ». dans le cas d'une date relative par rapport à une date absolue (selon la définition précédente) comme « 1er janvier prochain », il a été décidé d'annoter « 1er janvier » comme une date absolue. la notion d'événements dans notre corpus est identique à celle de quaero. elle désigne, entre autres, les tournois sportifs (championnats du monde de patinage), les congrès, les événements annuels, les fêtes. nous avons décidé d'annoter les événements climatiques ainsi que les affaires politico-juridiques, ces derniers étant laissés à l'appréciation de l'annotateur. nous avons donc ici décidé d'être le plus couvrant possible, ce qui permet de simplifier le travail d'annotation en réduisant les incertitudes par rapport à certains types d'événements. les heures sont, à l'instar des dates, les heures dites absolues. les lieux ici sont équivalents à l'ensemble des types de lieux définis dans le quaero. les organisations correspondent ici aux types « organisation » et « entreprise ». les personnes désignent les personnes aussi bien réelles que fictives. nous n'annotons que les prénoms, noms et surnoms. les titres, fonctions, nationalités, etc. ne sont pas annotés. ne sont pas annotés non plus les groupes de personnes, comme les familles lorsqu'elles sont désignées par leur nom de famille. les produits désignent les différents produits qui sont présents dans le jeu d'étiquettes quaero. parmi eux, nous trouvons principalement les objets physiques (airbus a380), les logiciels (jeux vidéos, etc.) et les produits médiatiques (émission de radio, tv, etc.). la mise en ligne d'une nouvelle version majeure du corpus implique que ce dernier soit révisé. si des portions du corpus ont déjà été vérifiées pour une version précédente du corpus et n'ont pas été modifiées depuis, leur vérification est optionnelle. une version majeure du corpus ne pourra plus se voir attribuer de nouveaux documents, mais pourra toujours recevoir des patchs afin d'améliorer la correction des annotations. des versions béta du corpus peuvent être diffusées de manière régulière selon l'avancement des annotations. à l'heure actuelle, nous souhaitons que ces versions béta correspondent à l'ajout d'années "pleines" (mois ou années) afin de limiter le nombre de sorties. ces versions béta peuvent contenir des annotations non révisées.