Reconnaissance d’Entités Nommées fondée sur des Modèles de Langue Enrichis avec des Définitions des Types d’Entités (2023)

Abstract: Des études récentes ont identifié de nouveaux défis dans la tâche de reconnaissance d’entités nommées (NER), tels que la reconnaissance d’entités complexes qui ne sont pas des phrases nominales simples et/ou figurent dans des entrées textuelles courtes, avec une faible quantité d’informations contextuelles. Cet article propose une nouvelle approche qui relève ce défi, en se basant sur des modèles de langues pré-entraînés par enrichissement des définitions des types d’entités issus d’une base de connaissances. Les expériences menées dans le cadre de la tâche MultiCoNER I de SemEval ont montré que l’approche proposée permet d’atteindre des gains en performance par rapport aux modèles de référence de la tâche.

## introduction la reconnaissance d'entités nommées (ner, named entity recognition) @xcite consiste à détecter des groupes de mots en tant qu'entités nommées dans une phrase donnée et à identifier leur type à partir d'une liste a priori de types d'entités. selon la taille de cette liste, la tâche de ner est classée en i) granularité grossière lorsque la liste des types est petite (comme les noms de personnes, d'organisations et de lieux, tels que proposés dans la tâche conll @xcite ) ou ii) granularité fine pour une liste plus étendue @xcite . de plus, nous pouvons distinguer différentes classes d'entités nommées, qualifiées comme traditionnelles (ex. personne, lieu) et non traditionnelles (ex. titres d'oeuvres, tels qu'un livre ou une chanson). des études récentes ont identifié de nouveaux défis dans la tâche de ner @xcite , particulièrement pour les entités non traditionnelles, dites complexes @xcite car très évolutives et non identifiables par des expressions nominales (ex. titres de films comme avatar) ou alors présentes dans une phrase textuelle courte présentant un faible contexte @xcite . les systèmes classiques de ner ne sont pas performants dans ces cas de figure, ne permettant pas ainsi de relever ces défis @xcite . par conséquent, de nouveaux cadres d'évaluation, dont multiconer dans semeval, ont été proposés pour évaluer les performances des modèles dans ces conditions difficiles de ner @xcite . parmi les approches proposées dans le but de relever ce défi, on trouve l'utilisation de techniques d'augmentation de données @xcite ou l'augmentation de la phrase d'entrée en s'appuyant sur des bases de connaissances @xcite . ces travaux se concentrent sur l'exploitation de représentations contextualisées de la phrase d'entrée, qui impliquent des coûts élevés pour l'encodage de représentations textuelles de longueur importante. cependant, à notre connaissance, les travaux à ce jour ne se sont pas focalisés sur la représentation des types d'entités. dans ce travail, nous soutenons l'idée que les représentations contextualisées des types d'entités peuvent influencer positivement les performances d'un modèle de ner, en particulier pour une taxonomie d'entités à granularité fine, où certaines classes sont généralement sous-représentées. cet article propose ainsi une nouvelle approche qui exploite des définitions des types d'entités contextualisées, riches et pertinentes, pour enrichir un modèle de langue pré-entraîné (plm) utilisé comme une base d'un classifieur ner. nous créons manuellement ces définitions pour plusieurs langues et proposons une architecture de modèle pour exploiter ces représentations. notre intuition est d'associer les entités de la phrase d'entrée à une définition détaillée et contextualisée de leurs types d'entités, conduisant à un espace de représentation adapté où les entités partageant le même type auront des représentations plus proches. notre modèle comprend deux configurations différentes pour l'entraînement et le test. pour la configuration d'entraînement, nous avons entraîné un plm, xlm-roberta, qui calcule des représentations contextualisées pour la phrase et les définitions des types d'entités associés obtenus à partir des annotations. ensuite, nous avons aligné et agrégé les deux types de représentations. les représentations finales des mots (token) sont ensuite transmises en entrée d'une couche de type champ aléatoire conditionnel en chaîne linéaire (crf, conditional random fields) @xcite pour la prédiction des entités nommées. pour la configuration de test, nous évaluons notre modèle en n'utilisant que le plm enrichi et la couche crf. nous avons testé nos modèles pour quatre langues : l'anglais, l'espagnol, le français et le portugais. nos expérimentations ont montré que l'injection de cette connaissance aide à améliorer la performance du modèle et montre un gain constant par rapport à un modèle standard entraîné pour la tâche. ## travaux connexes ces dernières années, les plm tels que bert @xcite ou xlm-roberta @xcite ont démontré leur efficacité pour améliorer les performances de la reconnaissance d'entités nommées dans plusieurs cadres d'évaluation @xcite @xcite . cependant, des études récentes ont montré que ces méthodes présentent des performances limitées pour faire face aux défis du monde réel @xcite , tels que les entrées textuelles courtes avec un contexte limité @xcite et les entités complexes, dont les nouvelles entités émergentes telles que les titres de livres, films et chansons qui sont publiés chaque semaine @xcite . par conséquent, des travaux récents ont proposé de nouveaux cadres d'évaluation pour relever ces défis, dont la tâche multiconer dans semeval @xcite . l'ajout de contexte pertinent à la phrase d'entrée avec des ressources lexicales externes, telles que des bases de connaissances, a contribué à créer des représentations de tokens améliorées qui ont eu un impact positif sur les performances de la tâche de ner @xcite . de même, des travaux antérieurs ont proposé de pré-entraîner des plm enrichis en fusionnant des représentations avec celles issues des bases de connaissances pour améliorer les représentations de tokens, ce qui s'est avéré utile dans des tâches de nlp connexes @xcite . néanmoins, ces techniques sont coûteuses en termes de calcul en raison des architectures neuronales supplémentaires impliquées. une autre ligne de travaux a exploré l'utilisation de plm comme bases de connaissances pour extraire @xcite et injecter des faits @xcite de ces ressources externes en les transformant en énoncés textuels et en appliquant la tâche de pré-entraînement du plm à ces énoncés. sur la base de ces approches, nous proposons une nouvelle méthode qui utilise une définition de type d'entité comme représentation textuelle d'un fait de base de connaissances. nous visons à extraire puis injecter cette information pour enrichir un plm dans le cadre d'une configuration d'entraînement peu coûteuse. ## méthodologie cette section présente le système global de notre modèle ner ainsi que sa mise en oeuvre détaillée, y compris la construction de définitions de types d'entités et l'architecture du modèle.