Étude comparative des plongements lexicaux pour l’extraction d’entités nommées en français (2023)

Abstract: Dans ce papier nous présentons une étude comparative des méthodes de plongements lexicaux pour le français sur la tâche de Reconnaissance d’entités nommées (REN). L’objectif est de comparer la performance de chaque méthode sur la même tâche et sous les mêmes conditions de travail. Nous utilisons comme corpus d’étude la proportion française du corpus WikiNER. Il s’agit d’un corpus de 3,5 millions tokens avec 4 types d’entités. 10 types de plongements lexicaux sont étudiés, y compris les plongements non-contextuels, des contextuels et éventuellement ceux à base de transformer. Pour chaque plongement, nous entraînons un BiLSTM-CRF comme classifieur. Pour les modèles à base de transformer, nous comparons également leur performance sous un autre cas d’usage: fine-tuning.

## introduction en traitement automatique des langues (tal), une entité nommée est définie comme étant un syntagme nominal se référant à un objet réel du monde. ce syntagme est appelé la "mention" de l'entité en question. une entité peut avoir plusieurs mentions. par exemple "france" et "république française" sont deux mentions renvoyant à l'entité "france". ces objets peuvent être abstraits ou concrets, en fonction des besoins de chaque cas d'application. il est important que la mention permette aux lecteurs d'identifier l'entité cible de manière précise et unique. ceci sous entend qu'une mention ne peut être associée qu'à une seule entité. quelques exemples courants d'entités nommées correspondent à des noms de personnes ou d'entreprises, des endroits, des dates, des évènements, etc. la tâche de reconnaissance d'entités nommées (ren) consiste à identifier ces entités dans un texte non structuré et à leur attribuer une liste de catégories prédéfinies. la tâche @xcite en est un exemple bien connu. elle propose deux corpus annotés en anglais et en allemand. quatre types d'entités sont traités : personne (per, person), endroit (loc, location), organisation (org, organization) et divers (misc, miscellaneous). la ren est non seulement une tâche importante en soi, mais elle constitue aussi un composant clé pour des tâches plus complexes comme l'extraction de relations sémantiques, le résumé automatique, la fouille d'opinion, etc. historiquement, la tâche ren est abordée avec des méthodes à base de règles. ces règles sont développées par des experts du domaine correspondant. plusieurs pistes peuvent être suivies, par exemple en s'appuyant sur les caractéristiques morphologiques des entités (majuscule, minuscule, expressions régulières...), les informations lexicales et syntaxiques des mots, et éventuellement des ressources complémentaires (dictionnaires terminologiques, bases de connaissance...). un des premiers travaux publiés de ce genre est @xcite , où l'auteure résout un problème de détection de noms d'entreprise par un système de règles symboliques. la méthode repose sur la mise en oeuvre de règles empiriques, et elle est peu coûteuse en temps de calcul. cependant, elle est dépendante d'une intervention humaine importante et de ressources lexicales propres au domaine traité, ce qui constitue sa principale faiblesse. ces ressources peuvent être coûteuses à produire. il n'est pas toujours aisé d'y accéder, pour des raisons de propriétés intellectuelles et de moyen d'acquisition. par ailleurs, les règles, ainsi que les ressources lexicales, nécessitent des mises à jour régulières, ce qui constitue un travail fastidieux. les approches plus récentes pour la ren privilégient les méthodes par apprentissage automatique. elles prennent en entrée du texte brut, le vectorisent et utilisent un modèle de classification pour produire des annotations d'entité au niveau du token. on entend par "token" une séquence continue de caractères non vides, qui constitue l'unité minimale prise en compte lors du traitement automatique des données textuelles. au début, ce vecteur de token se définit manuellement. nous choisissons des caractéristiques et/ou des heuristiques permettant de capturer les spécificités d'un token, et leur valeur constitue alors le vecteur du token. nous entraînons ensuite un annotateur automatique, tels que svm et crf, qui classifie les tokens en fonction de leur vecteur @xcite . dans cette étude, nous nous intéressons à une méthode qui consiste à projeter les tokens dans un espace vectoriel continu, et ce de manière automatique. cette méthode, que nous appellerons plongement lexical dans le reste de l'article, permettent d'encoder plus ou moins efficacement l'espace sémantique d'un token et éventuellement d'un texte entier. cet article présente une étude comparative, pour la langue française, des méthodes de plongement issues de l'état de l'art sur une tâche de ren, en exploitant une même méthode de classification au niveau token. cette étude permet d'analyser quantitativement l'impact des différents plongements lexicaux sur les résultats obtenus. ## résultats le tableau 5 présente nos résultats. le meilleur résultat pour chaque type de plongement est en gras, et le meilleur résultat sur l'ensemble des plongements est donné en bas du tableau en gras italique.