Sélection globale de segments pour la reconnaissance d’entités nommées (2023)

Abstract: La reconnaissance d’entités nommées est une tâche importante en traitement automatique du langage naturel avec des applications dans de nombreux domaines. Dans cet article, nous décrivons une nouvelle approche pour la reconnaissance d’entités nommées, dans laquelle nous produisons un ensemble de segmentations en maximisant un score global. Pendant l’entraînement, nous optimisons notre modèle en maximisant la probabilité de la segmentation correcte. Pendant l’inférence, nous utilisons la programmation dynamique pour sélectionner la meilleure segmentation avec une complexité linéaire. Nous prouvons que notre approche est supérieure aux modèles champs de Markov conditionnels et semi-CMC pour la reconnaissance d’entités nommées.

## introduction la reconnaissance d'entités nommées (ren) est une tâche cruciale du traitement du langage naturel dont le but est d'identifier et de classer les entités pertinentes dans les textes telles que les personnes, les organisations et les lieux. la reconnaissance de telles entités est avantageuse pour des applications telles que l'extraction de relations @xcite et la construction de taxanomie @xcite . il existe deux paradigmes principaux pour la reconaissance d'entités : l'étiquetage de séquences (es) @xcite @xcite et les approches basées sur les segments (abs) @xcite @xcite . l'es considère la reconaissance d'entités comme une prédiction au niveau du jeton, en utilisant par exemple les schémas bio @xcite ou bilou @xcite , tandis que les abs considèrent les segments (segments contigus de jetons) comme des unités de base au lieu des jetons et effectuent une classification au niveau du segment en attribuant une étiquette à chaque entité et une étiquette spéciale null aux segments sans entités (aussi segments non-entités). l'es est généralement réalisé en représentant les jetons à l'aide de modèles d'apprentissage profond, puis en utilisant un champ aléatoire conditionnel @xcite comme couche de sortie. la meilleure séquence d'étiquettes est calculée à l'aide de l'algorithme de viterbi et l'apprentissage maximise typiquement la vraisemblance des séquences de référence. en revanche, les abs énumèrent tous les segments candidats d'un texte d'entrée et calculent leur représentation avant de les fournir à une couche softmax pour la classification. l'un des avantages des abs est qu'elles permettent une représentation plus riche des segments en comparaison à l'es, puisque les caractéristiques au niveau des segments sont apprises de bout en bout. cependant, ces modèles basés sur les segments unstructurés prédisent l'étiquette de chaque segment indépendamment. ils ont tendance à produire des entités qui se chevauchent, ce qui est interdit dans la reconaissance d'entités plate et imbriquée. les travaux antérieurs utilisaient un algorithme de décodage @xcite @xcite pour obtenir un ensemble d'entités non chevauchantes. les entités ayant obtenu le meilleur score sont sélectionnées de manière itérative tant qu'elles ne chevauchent pas avec celles sélectionnées précédemment. le décodage glouton est efficace mais tend à souffrir d'un biais de myopie. le fait de choisir des segments sans tenir compte des décisions futures peut conduire à des ensembles d'entités sous-optimaux. une formulation alternative de la ren sous forme de segmentation et d'étiquetage joints avec des semi-champs de markov conditionnels (semi-crf) a été proposée dans la littérature : @xcite @xcite . cette approche présente deux avantages : (a) elle utilise un modèle globalement normalisé pour calculer la probabilité de chaque segmentation étiquetée, au lieu d'évaluer chaque segment indépendamment ; et (2) elle garantit le non-chevauchement des entités de sortie en utilisant une variante de l'algorithme de viterbi pour le décodage. néanmoins, les semi-crf sont moins performants en pratique, comme nous le montrons dans nos expériences. nous supposons que l'évaluation de segmentations composées d'entités et de non-entités à la fois est la principale faiblesse. tout d'abord, les segments sans entités peuvent être segmentés de plusieurs façons, toutes aussi valides les unes que les autres, mais une seule d'entre elles est appliquée par les semi-crf, à la fois pendant l'apprentissage et l'inférence. de plus, la majorité des segments ne comportant pas d'entité, une masse considérable de probabilité est gaspillée sur des segmentations inintéressantes. dans cet article, nous proposons une nouvelle formulation pour la ren basée sur les segments qui combine des idées provenant d'approches en deux étapes (filtrage et décodage) et de modèles basés sur des champs de markov conditionnels (crf) globalement normalisés. notre approche commence par le filtrage de tous les segments sans entités à l'aide d'un classificateur de segments et la construction d'un graphe (chevauchant) des segments restants. un modèle globalement normalisé est ensuite utilisé pour calculer la probabilité de chaque ensemble indépendant maximal (eim) dans le graphe. chacun de ces ensembles correspond à une sélection d'entités non chevauchantes. l'apprentissage et l'inférence peuvent être réalisés efficacement en utilisant la programmation dynamique, comme nous l'expliquons dans la section 2.2. de plus, nous entraînons le classificateur de segments et le modèle global de sélection d'entités de manière jointe en utilisant un objectif multi-tâches. nous montrons que notre approche surpasse à la fois l'es et les semi-crf sur toutes les tâches et surpasse les modèles sur les deux étapes du filtrage et du décodage glouton dans la plupart des cas. ## la ren basée sur les segments en deux étapes les approches de la littérature basées sur les segments utilisent un classificateur de segments non structuré et localement normalisé pour filtrer les segments non-entités, suivi d'un décodage glouton pour sélectionner un ensemble d'entités non chevauchantes @xcite . nous décrivons ces deux étapes dans cette section. ## conclusion dans ce travail, nous proposons une nouvelle approche de reconnaissance d'entités nommées basée sur les segments. notre modèle atténue le biais myope de l'approche standard et obtient de meilleurs résultats que les modèles structurés tels que les crf ou les semi-crf. des travaux futurs pourraient explorer l'interaction entre les segments pour améliorer davantage les performances.