Reconnaissance d’entités cliniques en few-shot en trois langues (2024)

Abstract: Les grands modèles de langage deviennent la solution de choix pour de nombreuses tâches de traitement du langage naturel, y compris dans des domaines spécialisés où leurs capacités few-shot devraient permettre d’obtenir des performances élevées dans des environnements à faibles ressources. Cependant, notre évaluation de 10 modèles auto-régressifs et 16 modèles masqués montre que, bien que les modèles auto-régressifs utilisant des prompts puissent rivaliser en termes de reconnaissance d’entités nommées (REN) en dehors du domaine clinique, ils sont dépassés dans le domaine clinique par des taggers biLSTM-CRF plus légers reposant sur des modèles masqués. De plus, les modèles masqués ont un bien moindre impact environnemental que les modèles auto-régressifs. Ces résultats, cohérents dans les trois langues étudiées, suggèrent que les modèles à apprentissage few-shot ne sont pas encore adaptés à la production de REN dans le domaine clinique, mais pourraient être utilisés pour accélérer la création de données annotées de qualité.

## introduction les documents cliniques représentent d'importantes sources d'informations @xcite , souvent présentées sous forme de texte non structuré @xcite . l'extraction efficace des informations de ces documents vers une forme plus structurée peut améliorer la recherche actes de jep-taln-recital 2024 toulouse, france, 8 au 12 juillet 2024 31ème conférence sur le traitement automatique des langues naturelles, volume 1 : articles longs et prises de position, pages @xcite cette oeuvre est mise à disposition sous licence attribution 4.0 international. la reconnaissance d'entités nommées (ren) constitue une étape cruciale de cette extraction d'informations. elle consiste à identifier et à typer des mentions d'intérêt dans un texte. dans le cadre de l'extraction d'informations cliniques, il s'agit notamment des entités cliniques telles que les maladies ou les médicaments. l'extraction de ces entités peut grandement faciliter la normalisation des concepts @xcite @xcite et l'interprétation du profilage et du phénotypage des patients @xcite . alors que la ren dans le domaine général (identification des entités telles que les personnes et les lieux) a été largement étudiée dans la communauté du traitement automatique des langues (tal), la ren clinique est souvent considérée comme plus complexe : les entités cliniques sont souvent exprimées en jargon ou en termes ambigus, et les textes cliniques présentent une structure grammaticale non standard @xcite . les modèles de langues sont progressivement devenus l'approche principale pour aborder la @xcite . des travaux antérieurs se sont concentrés sur la ren générale @xcite ainsi que sur la ren clinique @xcite . ces travaux peuvent être principalement divisés en deux approches, selon le type de modèles de langues utilisés. la première approche consiste à utiliser des modèles de langues masqués (mlm) pré-entraînés. ce type de modèles est d'abord pré-entraîné pour prédire des mots masqués sélectionnés au hasard dans de grands corpus de textes à l'aide d'une représentation vectorielle dense de chaque token (mot, par exemple) dans le texte @xcite . pour utiliser ces modèles pour la ren, on apprend généralement une projection linéaire à transformer les représentations vectorielles des mots en étiquettes désignant les entités nommées dans la phrase. en parallèle, on ajuste (fine-tune) également les paramètres du modèle de langues pour la tâche de ren. cette approche a fait l'objet d'une grande attention de la part de la communauté, et est devenue la solution de référence pour la construction de systèmes de ren robustes. toutefois, cette approche rencontre deux principaux obstacles dans le contexte de la ren clinique. tout d'abord, en raison de la nature sensible des documents cliniques, les corpus publics sont rares, soumis à des licences restrictives et peu disponibles dans des langues autres que l'anglais. cela contraint la communauté à utiliser des solutions construites sur des mlm pré-entraînés principalement sur des corpus de domaine général, ce qui peut entraîner des problèmes de changement de domaine (domain shift). deuxièmement, pour que l'entraînement soit efficace, de grands corpus de textes annotés dans le domaine d'intérêt sont nécessaires @xcite . or, les campagnes d'annotation de ren clinique sont très coûteuses en temps et en ressources, nécessitant un haut niveau d'expertise du domaine pour être menées à bien @xcite @xcite . de plus, en raison de la diversité des cas cliniques, les données annotées pour une application biomédicale ne sont pas nécessairement transférables à une autre. d'où la nécessité de développer des approches de ren clinique efficaces en termes de données, également connues sous le nom de ren en few-shot (en peu d'exemples). la deuxième approche, plus récente, consiste à utiliser des modèles de langues causaux (clm) pré-entraînés. ces modèles, considérablement plus grands, sont pré-entraînés sur des corpus (souvent plus importants) en tant que modèles génératifs et auto-régressifs. en d'autres termes, le modèle reçoit en entrée une série de tokens ou prompt et estime la série de tokens suivante la plus probable. pour exploiter ces modèles de langues dans des tâches telles que la ren, il est possible de formuler la tâche en langage naturel dans un prompt. le prompt est conçu de manière à ce que la continuité du texte implique la résolution de la tâche. le modèle de langue est ensuite utilisé pour prédire cette continuité. ce processus est souvent appelé « in-context learning » (icl) @xcite . éventuellement, il est possible de créer un prompt comprenant quelques exemples résolus de la tâche pour d'autres instances (dans ce cas, des instances annotées en entités nommées, spécifiques à la tâche), avant la nouvelle instance de test @xcite . le modèle produit ainsi une estimation de l'étiquetage en entités nommées le plus probable pour l'instance de test. alors que les mlm ont été étudiés pour la ren en few-shot @xcite , les clm semblent plus naturellement adaptés à ce contexte. l'apprentissage icl a en fait démontré un succès particulier avec les clm dans l'apprentissage en few-shot, montrant des résultats prometteurs dans un large éventail de tâches de tal @xcite @xcite . cependant, la supériorité des clm sur les mlm pour la ren en few-shot est discutable. de nombreux efforts étudiant l'apprentissage en « few-shot » avec des clm choisissent les prompts en fonction de leurs performances sur de grands jeux de données de validation @xcite @xcite . cela pose un problème car il a été démontré que l'icl dépendait fortement de la structure du prompt : un petit changement dans la formulation de la tâche, les exemples présentés, l'ordre des exemples ou le format d'étiquetage peut affecter la performance. par conséquent, faire ces choix en supposant l'existence d'un grand jeu de données de validation annotées conduit à des résultats qui s'avèrent trop optimistes @xcite et impossibles à trouver dans un cadre réel de quelques exemples annotées. deuxièmement, la plupart de ces études se sont principalement concentrées sur la langue anglaise et sur des modèles basés sur gpt @xcite @xcite . cela peut conduire à des prompts trop adaptés à cette langue et à ce modèle de langue. il est donc nécessaire de mener une étude systématique, indépendante du modèle, sur l'élaboration des prompts dans le contexte clinique et pour des langues autres que l'anglais. les contributions de ce travail sont les suivantes : 1. nous présentons et comparons les techniques de prompting appliquées à la ren les plus récentes lorsqu'elles sont appliquées à la ren clinique dans trois langues : l'anglais, le français et l'espagnol. à notre connaissance, il s'agit du premier travail axé sur les prompts de ren pour les langues autres que l'anglais, et du premier travail comparant les prompts pour la ren clinique. 2. nous accordons une attention particulière aux prompts de balisage, une technique proposée récemment (wang et al., 2023b), et nous mesurons les améliorations qu'elle apporte. 3. nous offrons une comparaison juste avec les mlm les plus performants dans un cadre fewshot, à travers les langues, les modèles et les structures de prompts, lorsqu'ils sont appliqués à la ren clinique. 4. nous menons des expériences facilement reproductibles, en utilisant des méthodes faciles à mettre en oeuvre, exclusivement sur des ensembles de données et des modèles de langues publiquement accessibles. 2 etat de l'art reconnaissance d'entité nommées en few-shot avec les mlm pré-entraînés la méthode classique pour utiliser les mlm dans la ren est de les utiliser comme encodeurs. habituellement, une couche d'étiquetage ren est entraînée à partir de zéro pour projeter l'encodage du texte dans l'éti-quetage ren de ses tokens (devlin et al., 2019). d'autres approches adaptent les mlm au contexte few-shot. l'apprentissage de métrique (fritzler et al., 2019; yang & katiyar, 2020; huang et al., 2021a) propose d'entraîner les systèmes à apprendre une métrique sur l'espace de sortie, permettant de classer de nouvelles instances en fonction de leur distance par rapport aux instances étiquetées. l'encodage des types d'entités (aly et al., 2021; ma et al., 2022a; hou et al., 2020) exploite les noms ou descriptions des types d'entités pour mieux les étiqueter. reconnaissance d'entité nommées en few-shot avec les clm pré-entraînés récemment, la construction de prompts a suscité l'intérêt de la communauté (brown et al., 2020; liu et al., 2023). les travaux connexes se sont concentrés sur l'étude de la formulation du prompt (wei et al., 2022; ashok & lipton, 2023; vilar et al., 2023; wang et al., 2023b), également connue sous le nom de « prompt engineering », d'autres travaux ont proposé une optimisation continue du prompt (ma et al., 2022b; layegh et al., 2023; hu et al., 2023a). il n'existe pas de méthode standard, largement adoptée, pour construire les prompts de ren @xcite . trois familles de prompts principales émergent : le prompting contraint tente de mieux formuler la tâche ren en contraignant la génération à remplir des patrons spécifiques créés à la main, généralement adaptés aux mlms @xcite @xcite . les prompts de listage consistent simplement à faire prédire au modèle de langues les entités sous forme de liste @xcite . les prompts de balisage ont été étudiés plus récemment par @xcite . ils font en sorte que le modèle de langues entoure les mentions d'entités avec des balises spéciales. reconnaissance d'entité nommées clinique en few-shot peu d'études se sont concentrées sur la ren en few-shot clinique basée sur les clm. dans (hu et al., 2023b), gpt-3 et chatgpt sont évalués sur la tâche i2b2/va 2010 (uzuner et al., 2011) dans un contexte few-shot. dans (jimenez gutierrez et al., 2022), gpt-3 est évalué sur un ensemble de tâches d'extraction d'informations biomédicales, y compris le ncbi-disease (dogan et al., 2014). une autre approche intéressante consiste à affiner en partie (liao et al., 2023) un clm de domaine général sur des textes cliniques (han et al., 2023; toma et al., 2023), et à prompter le clm qui en résulte. les mlms ont également été explorés pour la ren en few-shot dans le domaine biomédical (ge et al., 2023). l'apprentissage de métrique (yang & katiyar, 2020) et l'encodage des types (aly et al., 2021; ma et al., 2022a) ont été étudiés, ainsi que d'autres approches telles que l'apprentissage actif (kormilitzin et al., 2021), le pré-apprentissage supervisé (huang et al., 2021b) et le in-context learning basé sur les mlms (lee et al., 2022). les performances de l'in-context learning varient considérablement en fonction de la formulation exacte du prompt @xcite . en outre, le choix optimal de chacune de ces caractéristiques peut varier en fonction du modèle utilisé. par exemple, intuitivement, les modèles dont le pré-entraînement est fortement concentrés sur la langue anglaise ont tendance à être plus performants avec un prompt en anglais qu'avec un prompt dans la langue du corpus.