# Reconnaissance d'entités cliniques en few-shot en trois langues

Marco Naguib, Aurélie Névéol, Xavier Tannier

► To cite this version:

Marco Naguib, Aurélie Névéol, Xavier Tannier. Reconnaissance d'entités cliniques en few-shot en trois langues. 31ème Conférence sur le Traitement Automatique des Langues Naturelles (TALN 2024), Jul 2024, Toulouse, France. pp.169-197. [hal-04623016v2](https://hal-04623016v2)

HAL Id: hal-04623016

https://inria.hal.science/hal-04623016v2

Submitted on 31 Jul 2024

HAL is a multi-disciplinary open access
archive for the deposit and dissemination of sci-
entific research documents, whether they are pub-
lished or not. The documents may come from
teaching and research institutions in France or
abroad, or from public or private research centers.

L'archive ouverte pluridisciplinaire HAL, est
destinée au dépôt et à la diffusion de documents
scientifiques de niveau recherche, publiés ou non,
émanant des établissements d'enseignement et de
recherche français ou étrangers, des laboratoires
publics ou privés.

<figure><img src="image_1.png" /></figure>

Distributed under a Creative Commons Attribution 4.0 International License
# Reconnaissance d'entités cliniques en *few-shot* en trois langues

Marco Naguib¹ Aurélie Névéol¹ Xavier Tannier²

(1) Université Paris-Saclay, CNRS, LISN, 91405 Orsay cedex, France

(2) Sorbonne Université, Inserm, Université Sorbonne Paris Nord, LIMICS, 75006 Paris, France

marco.naguib@lisn.upsaclay.fr, aurelie.neveol@lisn.upsaclay.fr,

xavier.tannier@sorbonne-universite.fr

## RÉSUMÉ

Les grands modèles de langues deviennent la solution de choix pour de nombreuses tâches de traitement du langage naturel, y compris dans des domaines spécialisés où leurs capacités *few-shot* devraient permettre d'obtenir des performances élevées dans des environnements à faibles ressources. Cependant, notre évaluation de 10 modèles causaux (auto-régressifs) et 16 modèles masqués montre que, bien que les modèles causaux utilisant des prompts puissent rivaliser en termes de reconnaissance d'entités nommées (REN) en dehors du domaine clinique, ils sont dépassés dans le domaine clinique par des *taggers* biLSTM-CRF plus légers reposant sur des modèles masqués. De plus, les modèles masqués ont un bien moindre impact environnemental que les modèles causaux. Ces résultats, cohérents dans les trois langues étudiées, suggèrent que les modèles à apprentissage *few-shot* ne sont pas encore adaptés à la production de REN dans le domaine clinique, mais pourraient être utilisés pour accélérer la création de données annotées de qualité.

## ABSTRACT

*Few-shot learning for clinical entity recognition in three languages.*

Large language models have become the preferred solution for many natural language processing tasks, including specialized domains where their few-shot capabilities should deliver high performance in low-resource environments. However, our evaluation of 10 auto-regressive models and 16 masked models shows that while prompt-based auto-regressive models can compete in named entity recognition (NER) outside the clinical domain, they are outperformed within the clinical domain by lighter biLSTM-CRF taggers based on masked models. Additionally, masked models have a much lower environmental impact than auto-regressive models. These consistent results across the three languages studied suggest that few-shot learning models are not yet suited for NER production in the clinical domain but could be used to expedite the creation of quality annotated data.

**MOTS-CLÉS** : Apprentissage en *few-shot* ; modèles de langues ; reconnaissance d'entités nommées.

**KEYWORDS:** *few-shot* learning ; large language models ; named entity recognition.

## 1 Introduction

Les documents cliniques représentent d'importantes sources d'informations (Demner-Fushman et al., 2009), souvent présentées sous forme de texte non structuré (Escudié et al., 2017). L'extraction efficace des informations de ces documents vers une forme plus structurée peut améliorer la recherche
clinique, la surveillance de la santé publique et l'aide à la décision clinique automatique (Wang et al., 2018).

La reconnaissance d'entités nommées (REN) constitue une étape cruciale de cette extraction d'informations. Elle consiste à identifier et à typer des mentions d'intérêt dans un texte. Dans le cadre de l'extraction d'informations cliniques, il s'agit notamment des entités cliniques telles que les maladies ou les médicaments. L'extraction de ces entités peut grandement faciliter la normalisation des concepts (Cho et al., 2017; Wajsbürt et al., 2021; Sung et al., 2022) et l'interprétation du profilage et du phénotypage des patients (Gérardin et al., 2022). Alors que la REN dans le domaine général (identification des entités telles que les personnes et les lieux) a été largement étudiée dans la communauté du traitement automatique des langues (TAL), la REN clinique est souvent considérée comme plus complexe : les entités cliniques sont souvent exprimées en jargon ou en termes ambigus, et les textes cliniques présentent une structure grammaticale non standard (Luo et al., 2020; Leaman et al., 2015).

Les modèles de langues sont progressivement devenus l'approche principale pour aborder la REN (Li et al., 2022; Wang et al., 2022). Des travaux antérieurs se sont concentrés sur la REN générale (Devlin et al., 2019) ainsi que sur la REN clinique (Gérardin et al., 2022; Sun et al., 2021). Ces travaux peuvent être principalement divisés en deux approches, selon le type de modèles de langues utilisés.

La première approche consiste à utiliser des **modèles de langues masqués (MLM)** pré-entraînés. Ce type de modèles est d'abord pré-entraîné pour prédire des mots masqués sélectionnés au hasard dans de grands corpus de textes à l'aide d'une représentation vectorielle dense de chaque token (mot, par exemple) dans le texte (Devlin et al., 2019; Peters et al., 2018). Pour utiliser ces modèles pour la REN, on apprend généralement une projection linéaire à transformer les représentations vectorielles des mots en étiquettes désignant les entités nommées dans la phrase. En parallèle, on ajuste (fine-tune) également les paramètres du modèle de langues pour la tâche de REN. Cette approche a fait l'objet d'une grande attention de la part de la communauté, et est devenue la solution de référence pour la construction de systèmes de REN robustes.

Toutefois, cette approche rencontre deux principaux obstacles dans le contexte de la REN clinique. Tout d'abord, en raison de la nature sensible des documents cliniques, les corpus publics sont rares, soumis à des licences restrictives et peu disponibles dans des langues autres que l'anglais. Cela contraint la communauté à utiliser des solutions construites sur des MLM pré-entraînés principalement sur des corpus de domaine général, ce qui peut entraîner des problèmes de changement de domaine (domain shift). Deuxièmement, pour que l'entraînement soit efficace, de grands corpus de textes annotés dans le domaine d'intérêt sont nécessaires (Jia et al., 2019; Liu et al., 2021). Or, les campagnes d'annotation de REN clinique sont très coûteuses en temps et en ressources, nécessitant un haut niveau d'expertise du domaine pour être menées à bien (Luo et al., 2020; Névéol et al., 2014; Doğan et al., 2014; Báez et al., 2020). De plus, en raison de la diversité des cas cliniques, les données annotées pour une application biomédicale ne sont pas nécessairement transférables à une autre. D'où la nécessité de développer des approches de REN clinique efficaces en termes de données, également connues sous le nom de REN en few-shot (en peu d'exemples).

La deuxième approche, plus récente, consiste à utiliser des **modèles de langues causaux (CLM)** pré-entraînés. Ces modèles, considérablement plus grands, sont pré-entraînés sur des corpus (souvent plus importants) en tant que modèles génératifs et auto-régressifs. En d'autres termes, le modèle reçoit en entrée une série de tokens ou *prompt* et estime la série de tokens suivante la plus probable. Pour exploiter ces modèles de langues dans des tâches telles que la REN, il est possible de formuler la tâche
en langage naturel dans un *prompt*. Le *prompt* est conçu de manière à ce que la continuité du texte implique la résolution de la tâche. Le modèle de langue est ensuite utilisé pour prédire cette continuité. Ce processus est souvent appelé « *in-context learning* » (ICL) (Brown *et al.*, 2020). Éventuellement, il est possible de créer un *prompt* comprenant quelques exemples résolus de la tâche pour d'autres instances (dans ce cas, des instances annotées en entités nommées, spécifiques à la tâche), avant la nouvelle instance de test (Lee *et al.*, 2022). Le modèle produit ainsi une estimation de l'étiquetage en entités nommées le plus probable pour l'instance de test. Alors que les MLM ont été étudiés pour la REN en *few-shot* (Du *et al.*, 2021), les CLM semblent plus naturellement adaptés à ce contexte. L'apprentissage ICL a en fait démontré un succès particulier avec les CLM dans l'apprentissage en *few-shot*, montrant des résultats prometteurs dans un large éventail de tâches de TAL (Shin *et al.*, 2022; Wei *et al.*, 2022; Srivastava *et al.*, 2023).

Cependant, la supériorité des CLM sur les MLM pour la REN en *few-shot* est discutable. De nombreux efforts étudiant l'apprentissage en « *few-shot* » avec des CLM choisissent les *prompts* en fonction de leurs performances sur de grands jeux de données de validation (Brown *et al.*, 2020; Tam *et al.*, 2021; Radford *et al.*, 2021; Qin & Eisner, 2021). Cela pose un problème car il a été démontré que l'ICL dépendait fortement de la structure du *prompt* : un petit changement dans la formulation de la tâche, les exemples présentés, l'ordre des exemples ou le format d'étiquetage peut affecter la performance. Par conséquent, faire ces choix en supposant l'existence d'un grand jeu de données de validation annotées conduit à des résultats qui s'avèrent trop optimistes (Perez *et al.*, 2021) et impossibles à trouver dans un cadre réel de quelques exemples annotées. Deuxièmement, la plupart de ces études se sont principalement concentrées sur la langue anglaise et sur des modèles basés sur GPT (Wang *et al.*, 2023b; Ashok & Lipton, 2023; Hu *et al.*, 2023b; Jimenez Gutierrez *et al.*, 2022). Cela peut conduire à des *prompts* trop adaptés à cette langue et à ce modèle de langue. Il est donc nécessaire de mener une étude systématique, indépendante du modèle, sur l'élaboration des *prompts* dans le contexte clinique et pour des langues autres que l'anglais. Les contributions de ce travail sont les suivantes :

1. Nous présentons et comparons les techniques de *prompting* appliquées à la REN les plus récentes lorsqu'elles sont appliquées à la REN clinique dans trois langues : l'anglais, le français et l'espagnol. À notre connaissance, il s'agit du premier travail axé sur les *prompts* de REN pour les langues autres que l'anglais, et du premier travail comparant les *prompts* pour la REN clinique.

2. Nous accordons une attention particulière aux *prompts* de balisage, une technique proposée récemment (Wang *et al.*, 2023b), et nous mesurons les améliorations qu'elle apporte.

3. Nous offrons une comparaison juste avec les MLM les plus performants dans un cadre *few-shot*, à travers les langues, les modèles et les structures de *prompts*, lorsqu'ils sont appliqués à la REN clinique.

4. Nous menons des expériences facilement reproductibles, en utilisant des méthodes faciles à mettre en œuvre, exclusivement sur des ensembles de données et des modèles de langues publiquement accessibles.

## 2 État de l'art

**Reconnaissance d'entité nommées en few-shot avec les MLM pré-entraînés** La méthode classique pour utiliser les MLM dans la REN est de les utiliser comme encodeurs. Habituellement, une couche d'étiquetage REN est entraînée à partir de zéro pour projeter l'encodage du texte dans l'éti-
quetage REN de ses tokens (Devlin et al., 2019). D'autres approches adaptent les MLM au contexte few-shot. L'apprentissage de métrique (Fritzler et al., 2019; Yang & Katiyar, 2020; Huang et al., 2021a) propose d'entraîner les systèmes à apprendre une métrique sur l'espace de sortie, permettant de classer de nouvelles instances en fonction de leur distance par rapport aux instances étiquetées. L'encodage des types d'entités (Aly et al., 2021; Ma et al., 2022a; Hou et al., 2020) exploite les noms ou descriptions des types d'entités pour mieux les étiqueter.

**Reconnaissance d'entité nommées en few-shot avec les CLM pré-entraînés** Récemment, la construction de prompts a suscité l'intérêt de la communauté (Brown et al., 2020; Liu et al., 2023). Les travaux connexes se sont concentrés sur l'étude de la formulation du prompt (Wei et al., 2022; Ashok & Lipton, 2023; Vilar et al., 2023; Wang et al., 2023b), également connue sous le nom de «prompt engineering», d'autres travaux ont proposé une optimisation continue du prompt (Ma et al., 2022b; Layegh et al., 2023; Hu et al., 2023a).

Il n'existe pas de méthode standard, largement adoptée, pour construire les prompts de REN (Liu et al., 2023). Trois familles de prompts principales émergent : Le prompting contraint tente de mieux formuler la tâche REN en contraignant la génération à remplir des patrons spécifiques créés à la main, généralement adaptés aux MLMs (Cui et al., 2021; Shen et al., 2023; Ye et al., 2023; Schick & Schütze, 2021). Les prompts de listing consistent simplement à faire prédire au modèle de langues les entités sous forme de liste (Ashok & Lipton, 2023). Les prompts de balisage ont été étudiés plus récemment par (Wang et al., 2023b). Ils font en sorte que le modèle de langues entoure les mentions d'entités avec des balises spéciales.

**Reconnaissance d'entité nommées clinique en few-shot** Peu d'études se sont concentrées sur la REN en few-shot clinique basée sur les CLM. Dans (Hu et al., 2023b), GPT-3 et ChatGPT sont évalués sur la tâche i2b2/VA 2010 (Uzuner et al., 2011) dans un contexte few-shot. Dans (Jimenez Gutierrez et al., 2022), GPT-3 est évalué sur un ensemble de tâches d'extraction d'informations biomédicales, y compris le NCBI-Disease (Doğan et al., 2014). Une autre approche intéressante consiste à affiner en partie (Liao et al., 2023) un CLM de domaine général sur des textes cliniques (Han et al., 2023; Toma et al., 2023), et à prompter le CLM qui en résulte. Les MLMs ont également été explorés pour la REN en few-shot dans le domaine biomédical (Ge et al., 2023). L'apprentissage de métrique (Yang & Katiyar, 2020) et l'encodage des types (Aly et al., 2021; Ma et al., 2022a) ont été étudiés, ainsi que d'autres approches telles que l'apprentissage actif (Kormilitzin et al., 2021), le pré-apprentissage supervisé (Huang et al., 2021b) et le in-context learning basé sur les MLMs (Lee et al., 2022).

# 3 Expérimentation

**Corpus utilisés** Afin d'évaluer les modèles, nous utilisons 14 corpus annotés en entités nommées, accessibles publiquement. Pour chaque langue, nous avons choisi deux corpus hors domaine et deux ou trois corpus dans le domaine clinique, visant des ressources comparables (même genre, mêmes types, mêmes schémas d'annotation) entre les langues, dans la mesure du possible. Nous utilisons les sous-ensembles officiels d'entraînement, de validation et de test de chaque corpus, quand ceux-ci sont disponibles.

WikiNER (Nothman et al., 2013) est un corpus multilingue annoté en entités nommées, extrait de
Wikipédia fin 2010 dans neuf langues, annotant automatiquement les hyperliens vers personnes, lieux ou organisations. Nous utilisons les versions anglaise, française et espagnole.

**CoNLL-2002** (Tjong Kim Sang, 2002) et **CoNLL-2003** (Tjong Kim Sang & De Meulder, 2003) sont des corpus multilingues annotés manuellement en entités nommées de types personnes, lieux et organisations, publiés pour les tâches partagées CoNLL. Nous utilisons les données espagnoles de 2002 (une collection d'articles tirés de la presse espagnole) et les données anglaises de 2003 (articles de presse de Reuters).

**Quaero French Press** (Grouin *et al.*, 2011) est un corpus annoté manuellement d'émissions radiophoniques francophones, avec des annotations pour 5 types d'entités : les personnes, lieux, organisations, fonctions et installations.

**E3C** (Magnini *et al.*, 2021) est un corpus multilingue européen de textes cliniques collectés à partir de multiples sources telles que PubMed<fnref n="1" /> et SciELO<fnref n="2" />. Nous utilisons les versions anglaise, française et espagnole de ce corpus, annotées sémantiquement en types d'entités, acteurs, parties du corps, événements, RMLs (mesures et résultats de tests) et entités cliniques.

La tâche partagée **n2c2-2019** (Luo *et al.*, 2020) se concentre sur la normalisation des concepts médicaux à partir du corpus MCN (Luo *et al.*, 2019), composé de compte-rendus d'hospitalisation tirés de deux établissements hospitaliers dans le Massachusetts. Nous utilisons les identifiants uniques de concept (CUI) pour associer les mentions aux groupes sémantiques UMLS. (Lindberg *et al.*, 1993; McCray *et al.*, 2001).

Le corpus **NCBI-Disease** (Doğan *et al.*, 2014) corpus rassemble des résumés PubMed où les mentions de maladies sont annotées en quatre types selon leur syntaxe : maladies spécifiques, classes de maladies, mentions composites et modificateurs.

**QuaeroFrenchMed** (Névéol *et al.*, 2014) se compose de deux parties : **EMEA**, une collection de notices patient concernant des médicaments commercialisés en Europe, et **MEDLINE**, de titres d'articles scientifiques indexés dans MEDLINE. Ces deux parties sont annotées en 10 types d'entités nommées, correspondant aux groupes sémantiques UMLS.

Le corpus **The Chilean Waiting List** (Báez *et al.*, 2020) contient ordonnances anonymisées pour des consultations à partir de la liste d'attente dans les hôpitaux publics chiliens, annotées manuellement avec 10 types d'entités : abréviations, parties du corps, résultats cliniques, procédure de diagnostic, maladies, membres de la famille, résultats de laboratoire ou de test, procédures de laboratoire, médicaments, procédures, signes ou symptômes et procédures thérapeutiques. Notons que ces types peuvent être redondants (par exemple, toutes les procédures de diagnostic sont également annotées en tant que procédures).

**Configuration de l'apprentissage en few-shot** Pour simuler le contexte de few-shot, nous fournissons aux modèles seulement quelques exemples annotés, représentant l'ensemble des exemples autorisés pour l'apprentissage, le prompting et la validation. Dans cette étude, nous choisissons de nous concentrer principalement sur *k* = 100 phrases, ce qui correspond à une à deux heures d'annotation dans le domaine clinique (Névéol *et al.*, 2014; Campillos *et al.*, 2018). Nous utilisons une graine aléatoire fixe *p* pour choisir *k* exemples parmi tous ceux disponibles dans le corpus réel. Dans la section 5.2, nous discutons de l'effet du choix de *k* et du choix de *p*.

<footnote n="1">1. http://pubmed.ncbi.nlm.nih.gov/</footnote>

<footnote n="2">2. https://scielo.org/</footnote>
En outre, nous testons les modèles les plus performants avec l'entièreté des annotations à disposition
pour une comparaison à la *skyline*.

**Modèles de langues** Nous évaluons 10 modèles causaux et 16 modèles masqués sur les tâches de REN précisées ci-dessus. Ces modèles sont listés dans le tableau de résultats 1 et décrits en plus de détail dans l'annexe 1. Alors que le français et l'espagnol sont couverts par de certains des modèles causaux, nous pouvons observer que l'anglais est omniprésent. La plupart des modèles de type BERT sont monolingues, à l'exception des modèles multilingues mBERT et XLM-RoBERTa.

**REN avec des modèles de langues masqués** Comme mentionné dans la section 2, les modèles de langues masqués ont été adaptés à l'apprentissage en *few-shot* dans des architectures adaptées aux contextes *few-shot*. Cependant, dans ce travail, nous souhaitons comparer la nouvelle approche CLM à l'utilisation standard et plus répandue des MLM sans adaptation pour le contexte *few-shot*. Nous utilisons NLStruct (Wajsbürt, 2021), une bibliothèque Python open-source³ qui met en œuvre l'approche standard du *fine-tuning*. NLStruct utilise les représentations fournies par le modèle de langues pour encoder l'entrée, puis utilise un décodeur LSTM bidirectionnel et un CRF pour prédire itérativement les entités présentes dans l'entrée encodée, comme décrit par Gérardin et al. (2022). Cette démarche permet à NLStruct de traiter efficacement les entités imbriquées, très présentes dans certains des corpus d'étude. Nous entraînons le modèle pendant 20 epochs sur 80 % des données et utilisons les 20 % restants pour valider l'early stopping.

**REN avec des modèles de langues causaux** Dans nos expériences, nous invitons les modèles à baliser les mentions, et non de les lister. Nous discutons de ce choix plus en détail dans la section 5.2. La partie supérieure de la figure 1 montre un exemple de *prompt* de balisage, en mettant en évidence les différentes sections de celui-ci. Ci-dessous, nous décrivons 9 caractéristiques de formulation du *prompt* et de sélection des exemples qui y figurent.

1. **Langue du prompt** : Par défaut, nous construisons les *prompts* en anglais, car il s'agit de la langue la plus répandue dans tous les corpus d'apprentissage. Cette caractéristique consiste à faire plutôt aligner la langue du *prompt* sur celle de la phrase de test.

2. **Phases supplémentaires** : Par défaut, nous présentons 5 phrases annotées dans les annotées. Cette caractéristique permet de présenter 5 phrases supplémentaires (soit 10 phrases au total). La partie 5.2 discute de ce choix, ainsi que de la possibilité de présenter plus de démonstrations dans le *prompt*.

3. **Auto-vérification** : Par défaut, nous sélectionnons les 5 (ou 10) phrases les plus proches de la phrase test en termes de distance TF-IDF. Les mentions étiquetées par le modèle sont alors considérées comme les prédicitions finales du modèle. Cette fonctionnalité sélectionne plutôt les 5 phrases contenant le plus d'entités du type ciblé et les présente dans un *prompt* initial. Intuitivement, ce *prompt* se traduit par un rappel plus élevé et une précision plus faible. Un deuxième *prompt* d'« auto-vérification » est ensuite construit sur les prédicitions initiales du modèle afin d'éliminer les faux positifs. Un exemple de *prompt* d'auto-vérification est présenté dans la partie inférieure de la figure 1. Le nombre de démonstrations suit celui du *prompt* principal.
<figure><img src="image_2.png" /></figure>

<figure><img src="image_3.png" /><figcaption>FIGURE 1 – Exemple d'un *prompt* de balisage, utilisée dans l'expérience principale (en haut) et d'un *prompt* d'auto-vérification (en bas) pour détecter les mentions DISO dans n2c2-2019</figcaption></figure>

4. **Baliseurs** : Par défaut, nous suivons Wang *et al.* (2023b) qui invite le modèle à entourer les mentions de @@ et ##. Cette caractéristique l' invite plutôt à entourer les mentions de guillemets « et ».

5. **S'addresser à un spécialiste** : Par défaut, la première phrase est la description de la tâche présentée dans la figure 1. Cette caractéristique fait commencer le *prompt* par You are an excellent <specialist>. You can identify all the mentions of <entity-type> in a sentence, by putting them in a specific format. Here are some examples you can handle : à la place. Le <specialist> est un linguist ou un clinician, suivant le domaine de la tâche.

6. **Inclure les descriptions des types dans le prompt** : Cette caractéristique ajoute une description d'une phrase pour chaque type d'entité. Les descriptions complètes des entités utilisées figurent à l'annexe 3.

7. **Phrase d'introduction pour l'instance de test** : Par défaut, les démonstrations sont immédiatement suivies de l'instance de test. Cette fonctionnalité consiste à la précéder par *Identify all the mentions of <entity-type> in the following sentence, by putting <begin-tag> in front and a <end-tag> behind each of them*.

8. **Demander une réponse longue pour l'auto-vérification** : Par défaut, le *prompt* d'auto-vérification demander *Yes* (respectivement *No*) comme réponse. Cette fonctionnalité demande <mention> is a(n) <entity-type>, yes. (respectivement <mention> is not a(n) <entity-type>, no.).
9. **Format dialogue** : Cette fonction remplace les *Input* : et *Output* : du *prompt* par des tirets pour imiter un format de dialogue.

Les performances de l'in-context learning varient considérablement en fonction de la formulation exacte du *prompt* (Lu *et al.*, 2022; Min *et al.*, 2022). En outre, le choix optimal de chacune de ces caractéristiques peut varier en fonction du modèle utilisé. Par exemple, intuitivement, les modèles dont le pré-entraînement est fortement concentrés sur la langue anglaise ont tendance à être plus performants avec un *prompt* en anglais qu'avec un *prompt* dans la langue du corpus.

Notre système vise à rechercher la meilleure combinaison de caractéristique pour chaque modèle, mais un *grid search* sur ces caractéristique nécessiterait $2^9 = 512$ expériences pour chaque modèle et pour chaque corpus. Afin de construire un système plus léger, nous avons choisi d'effectuer un *greedy search*. Nous itérons sur les caractéristiques dans cet ordre, en testant la valeur qui n'est pas celle par défaut et en la conservant si elle est plus performante que la valeur par défaut. Dans la section 5.2, nous comparons cette approche à un *grid search* pour un modèle sur un corpus.

De nombreux travaux sur l'apprentissage en « few-shot » avec les CLM optimisent les *prompts* sur de grands jeux de données de validation (Brown *et al.*, 2020; Tam *et al.*, 2021; Radford *et al.*, 2021; Qin & Eisner, 2021). Cela conduit à des résultats qui se révèlent (Perez *et al.*, 2021) trop optimistes. Une comparaison équitable entre les MLM et les CLM devrait les comparer avec l'accès au même (petit) nombre d'instances annotées, ce qui correspond à notre *k* = 100. Dans ce contexte d'absence d'entraînement, nous suivons Perez *et al.* (2021) en optimisant ces caractéristiques par une validation LOOCV (leave-one-out cross-validation).

**Mesures** Nous évaluons la performance des modèles à l'aide de deux mesures. Pour des raisons de simplicité, nous évaluons les modèles sur la base d'un score de performance global, la **micro-F1**. Il est calculé comme la micro-moyenne des F1-mesures de la détection de chaque type d'entité. Nous mesurons également l'**empreinte carbone** de chacune des approches. Nous utilisons GreenAlgorithms v2.2 (Lannelongue *et al.*, 2021)<fnref n="4" /> pour estimer l'empreinte carbone de chaque expérience, sur la base de facteurs tels que la durée d'exécution, le matériel informatique et le lieu de production de l'électricité utilisée par notre installation informatique.

# 4 Résultats et discussion

**Mesures** Le tableau 1 et la figure 2 décrivent les performances des modèles testés. L'annexe 4 détaille les estimations des émissions carbone pour toutes nos expériences. En particulier, nous estimons que l'expérience utilisant Mistral-7B sur CoNLL-2003 a généré 41 g d'équivalent CO2. (6 g pour l'optimisation du *prompt* et 35 g pour l'inférence sur l'ensemble de test). LLaMA-2-70B, environ 10 fois plus grand, est estimé avoir généré 191 g d'équivalent CO2. (44 g pour l'optimisation du *prompt* et 147 g pour l'inférence sur l'ensemble de test). L'expérience sur le modèle de langue masqué BERT-large est quant à elle estimée avoir généré 6 g d'équivalent CO2. (2 g pour le fine-tuning et l'entraînement et 4 g pour l'inférence sur l'ensemble de test).

Au total, on estime que les expériences décrites dans cet article ont généré environ 27 kg d'équivalent CO2 (25 kg pour les expériences principales et 2 kg pour l'ablation).

<footnote n="4">4. http:// calculator.green-algorithms.org/</footnote>
<table><caption>TABLE 1 – Mesures micro-F1 obtenues. Nous évaluons les modèles masqués monolingues uniquement dans les langues sur lesquelles ils ont été entraînés.</caption><thead><tr><th rowspan="2">#</th><th rowspan="2">Modèle</th><th colspan="5">Anglais</th><th colspan="4">Français</th><th colspan="3">Espagnol</th></tr><tr><th>WikiNER</th><th>CoNLL2003</th><th>E3C</th><th>n2c2</th><th>NCBI</th><th>WikiNER</th><th>QFP</th><th>E3C</th><th>EMEA</th><th>MEDLINE</th><th>WikiNER</th><th>CoNLL2002</th><th>E3C</th><th>CWL</th></tr></thead><tbody><tr><td colspan="16">Approches few-shot</td></tr><tr><td rowspan="10">Causal</td><td>1</td><td>LLAMA-2-70B</td><td>0.728</td><td>0.721</td><td>0.312</td><td>0.309</td><td>0.400</td><td>0.740</td><td>0.400</td><td>0.483</td><td>0.201</td><td>0.312</td><td>0.805</td><td>0.616</td><td>0.021</td><td>0.339</td></tr><tr><td>2</td><td>Mistral-7B</td><td>0.754</td><td>0.646</td><td>0.488</td><td>0.291</td><td>0.395</td><td>0.727</td><td>0.428</td><td>0.590</td><td>0.229</td><td>0.333</td><td>0.720</td><td>0.707</td><td>0.083</td><td>0.374</td></tr><tr><td>3</td><td>BLOOM-7B1</td><td>0.524</td><td>0.657</td><td>0.279</td><td>0.113</td><td>0.151</td><td>0.148</td><td>0.206</td><td>0.320</td><td>0.197</td><td>0.120</td><td>0.470</td><td>0.419</td><td>0.051</td><td>0.117</td></tr><tr><td>4</td><td>Falcon-40B</td><td>0.686</td><td>0.708</td><td>0.280</td><td>0.279</td><td>0.305</td><td>0.662</td><td>0.456</td><td>0.378</td><td>0.279</td><td>0.283</td><td>0.720</td><td>0.543</td><td>0.072</td><td>0.267</td></tr><tr><td>5</td><td>GPT-J-6B</td><td>0.521</td><td>0.493</td><td>0.167</td><td>0.179</td><td>0.238</td><td>0.423</td><td>0.244</td><td>0.334</td><td>0.080</td><td>0.177</td><td>0.005</td><td>0.142</td><td>0.021</td><td>0.162</td></tr><tr><td>6</td><td>OPT-66B</td><td>0.608</td><td>0.495</td><td>0.227</td><td>0.157</td><td>0.234</td><td>0.624</td><td>0.406</td><td>0.019</td><td>0.206</td><td>0.283</td><td>0.166</td><td>0.273</td><td>0.043</td><td>0.204</td></tr><tr><td>7</td><td>Vicuna-13B</td><td>0.657</td><td>0.708</td><td>0.355</td><td>0.236</td><td>0.300</td><td>0.677</td><td>0.350</td><td>0.399</td><td>0.207</td><td>0.326</td><td>0.744</td><td>0.250</td><td>0.040</td><td>0.213</td></tr><tr><td>8</td><td>Vicuna-7B</td><td>0.594</td><td>0.489</td><td>0.259</td><td>0.147</td><td>0.172</td><td>0.591</td><td>0.277</td><td>0.439</td><td>0.152</td><td>0.296</td><td>0.659</td><td>0.569</td><td>0.042</td><td>0.151</td></tr><tr><td>9</td><td>Medalpaca-7B</td><td>0.537</td><td>0.586</td><td>0.272</td><td>0.138</td><td>0.132</td><td>0.529</td><td>0.142</td><td>0.259</td><td>0.162</td><td>0.252</td><td>0.581</td><td>0.490</td><td>0.088</td><td>0.220</td></tr><tr><td>10</td><td>Vigogne-13B</td><td>0.593</td><td>0.655</td><td>0.252</td><td>0.176</td><td>0.309</td><td>0.515</td><td>0.250</td><td>0.464</td><td>0.099</td><td>0.142</td><td>0.580</td><td>0.561</td><td>0.010</td><td>0.198</td></tr><tr><td colspan="16">Skyline en utilisant toutes les données à disposition</td></tr><tr><td rowspan="10">Masked</td><td>11</td><td>mBERT</td><td>0.768</td><td>0.804</td><td>0.624</td><td>0.378</td><td>0.401</td><td>0.801</td><td>0.728</td><td>0.741</td><td>0.588</td><td>0.428</td><td>0.812</td><td>0.760</td><td>0.324</td><td>0.432</td></tr><tr><td>12</td><td>XLM-R-large</td><td>0.786</td><td>0.826</td><td>0.637</td><td>0.462</td><td>0.471</td><td>0.811</td><td>0.781</td><td>0.762</td><td>0.629</td><td>0.531</td><td>0.797</td><td>0.781</td><td>0.325</td><td>0.528</td></tr><tr><td>13</td><td>BERT-large</td><td>0.776</td><td>0.835</td><td>0.626</td><td>0.435</td><td>0.422</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td></tr><tr><td>14</td><td>RoBERTa-large</td><td>0.790</td><td>0.862</td><td>0.626</td><td>0.462</td><td>0.552</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td></tr><tr><td>15</td><td>Bio_ClinicalBERT</td><td>0.528</td><td>0.542</td><td>0.621</td><td>0.469</td><td>0.420</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td></tr><tr><td>16</td><td>ClinicalBERT</td><td>0.462</td><td>0.597</td><td>0.622</td><td>0.480</td><td>0.397</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td></tr><tr><td>17</td><td>MedBERT</td><td>0.613</td><td>0.673</td><td>0.607</td><td>0.478</td><td>0.504</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td></tr><tr><td>18</td><td>CamemBERT-large</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>0.829</td><td>0.793</td><td>0.768</td><td>0.661</td><td>0.577</td><td>-</td><td>-</td><td>-</td><td>-</td></tr><tr><td>19</td><td>FlaBERT-large</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>0.826</td><td>0.778</td><td>0.760</td><td>0.635</td><td>0.542</td><td>-</td><td>-</td><td>-</td><td>-</td></tr><tr><td>20</td><td>DrBERT-4GB</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>0.587</td><td>0.599</td><td>0.730</td><td>0.602</td><td>0.486</td><td>-</td><td>-</td><td>-</td><td>-</td></tr><tr><td>21</td><td>CamemBERT-bio</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>0.782</td><td>0.761</td><td>0.779</td><td>0.636</td><td>0.549</td><td>-</td><td>-</td><td>-</td><td>-</td></tr><tr><td>22</td><td>BETO</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>0.794</td><td>0.732</td><td>0.352</td><td>0.522</td></tr><tr><td>23</td><td>PatanaBERT</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>0.802</td><td>0.769</td><td>0.343</td><td>0.487</td></tr><tr><td>24</td><td>TulioBERT</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>0.804</td><td>0.798</td><td>0.340</td><td>0.482</td></tr><tr><td>25</td><td>BSC-BioEHR</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>0.804</td><td>0.758</td><td>0.354</td><td>0.578</td></tr><tr><td>26</td><td>BSC-Bio</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>0.804</td><td>0.775</td><td>0.358</td><td>0.552</td></tr></tbody></table>

<figure><img src="image_4.png" /><figcaption>FIGURE 2 – Performance dans les domaines général vs. clinique des modèles étudiés</figcaption></figure>

**Comparaison des performances des modèles**
Nous avons comparé différents modèles de langues masqués (MLM) et causaux (CLM) pour la reconnaissance d'entités nommées en nous concentrant sur les contextes à faibles ressources, typiques des applications biomédicales. Les résultats montrent que les modèles masqués de type BERT, bien que plus petits et nécessitant théoriquement une plus grande quantité de données d'apprentissage, surpassent systématiquement les CLM. Cette performance s'accompagne d'un impact environnemental beaucoup plus faible (les émissions de CO2 sont 10 à 50 fois inférieures pour les MLM par rapport aux CLM), et d'une plus grande consistance (par exemple, sur la tâche généraliste WikiNER en anglais, les 4 modèles du domaine général testés ont
obtenu des scores F1 compris entre 0,768 et 0,79). Par ailleurs, les MLMs spécialisés dans le domaine
biomédical apportent peu d'amélioration significative dans les tâches spécialisées. Ce commentaire
doit cependant être pondéré par la différence de taille entre les modèles : tous les modèles spécialisés
ont seulement 110 millions de paramètres.

La reconnaissance d'entités nommées basée sur des représentations de type BERT a reçu beaucoup d'attention ces dernières années, et est sans aucun doute plus mature que l'utilisation des CLMs pour cette tâche. Nous avons exploré les techniques de reconnaissance d'entités nommées basées sur les CLMs existantes dans la littérature, avec nos connaissances actuelles. De nouvelles approches pourraient améliorer les performances à l'avenir, mais cette tâche reste difficile pour un modèle génératif en raison de ses contraintes syntaxiques et d'évaluation spécifiques. Ces résultats ne reflètent pas nécessairement les performances sur d'autres tâches, comme la classification.

**Usage pratique des modèles de langues pour la REN à peu de ressources** Nos expériences indiquent que les modèles de langues pour la reconnaissance des entités nommées cliniques ont actuellement des performances sous-optimales. Même les modèles MLM, *fine-tunés* simplement avec le peu de données à disposition, ne rivalisent pas avec les modèles entièrement supervisés. Les grands modèles entraînés avec l'ensemble de chaque corpus d'entraînement surpassent systématiquement les meilleurs résultats en *few-shot*, de 5 à 16 % pour le domaine général et de 8 à 48 % pour le domaine biomédical (skylines Table 1). Cependant, les performances peuvent suffire pour une utilisation en pré-annotation, accélérant ainsi l'annotation manuelle, par exemple dans un contexte d'*online learning* ou d'*active learning*.

**Bruit aléatoire** Dans les expériences MLM, les paramètres de la couche d'étiquetage REN ajoutée au modèle pré-entraîné sont initialisés de manière aléatoire. De même, dans les expériences CLM, les démonstrations dans les *prompts* sont ordonnées de façon aléatoire et les exemples négatifs dans les *prompts* d'auto-vérification sont sélectionnés de manière aléatoire, introduisant potentiellement du bruit dans nos mesures de performance. Répliquer toutes les expériences renforcerait nos conclusions (Reimers & Gurevych, 2017), mais il serait coûteux (25kg de CO2eq et 56 heures de calcul par réplication). Le grand nombre de modèles testés et de tâches traitées peut toutefois conforter les principales observations de cet article. Par exemple, nous utilisons l'ordre presque stochastique (ASO)<fnref n="5" /> (Dror et al., 2019) avec $\alpha = 0,05$ pour mesurer la significativité de la supériorité des MLM sur les CLM pour chaque ensemble de données séparément. Les MLM ne montrent pas toujours une supériorité significative sur les CLM pour la REN dans le domaine général (0,54 et 0,121 respectivement pour WikiNER anglais et CoNLL2003). Pour la REN clinique, les MLM sont nettement supérieurs aux CLM : les MLM dominent stochastiquement les CLM ($\epsilon_{min}=0$) pour tous les corpus cliniques.

**Conclusion** Cette étude a évalué les performances de deux types de modèles de langues pour la reconnaissance d'entités en *few-shot* dans trois langues. Nos expériences révèlent que la performance du *few-shot learning* est significativement plus faible dans le domaine clinique que dans le domaine

<footnote n="5">5. Étant donné les scores de performance de deux algorithmes A et B, chacun étant exécuté plusieurs fois avec des paramètres différents, l'ASO calcule une valeur spécifique au test ($\epsilon_{min}$) qui indique à quel point l'algorithme A est loin d'être significativement meilleur que l'algorithme B. Si la distance $\epsilon_{min} = 0,0$, on peut affirmer que A domine stochastiquement B avec le niveau de signification prédéfini. La littérature interprète généralement $\epsilon_{min} < 0,5$ comme un indicateur de supériorité significative de A sur B.</footnote>
général. Alors que les modèles de langues masqués surpassent les modèles de langues causaux (avec une F1-mesure plus élevée et des émissions de CO2 plus faibles), leur utilisation devrait être restreinte à la pré-annotation plutôt qu’à l’extraction d’informations efficace.

## Remerciements

Ces travaux ont bénéficié d'un accès aux moyens de calcul de l'IDRIS au travers de l'allocation de ressources 2023-AD011014533 attribuée par GENCI. Les auteurs remercient Dr Juan Manual Coria pour son aide dans la formulation des prompts en espagnol.

## Références

ALSENTZER E., MURPHY J., BOAG W., WENG W.-H., JINDI D., NAUMANN T. & MCDERMOTT M. (2019). Publicly available clinical BERT embeddings. In A. RUMSHISKY, K. ROBERTS, S. BETHARD & T. NAUMANN, Éds., *Proceedings of the 2nd Clinical Natural Language Processing Workshop*, p. 72–78, Minneapolis, Minnesota, USA : Association for Computational Linguistics. DOI: 10.18653/v1/W19-1909.

ALY R., VLACHOS A. & MCDONALD R. (2021). Leveraging type descriptions for zero-shot named entity recognition and classification. In C. ZONG, F. XIA, W. LI & R. NAVIGLI, Éds., *Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers)*, p. 1516–1528, Online : Association for Computational Linguistics. DOI: 10.18653/v1/2021.acl-long.120.

ASHOK D. & LIPTON Z. (2023). Promptner : Prompting for named entity recognition.

BÁEZ P., VILLENA F., ROJAS M., DURÁN M. & DUNSTAN J. (2020). The Chilean waiting list corpus : a new resource for clinical named entity recognition in Spanish. In *Proceedings of the 3rd Clinical Natural Language Processing Workshop*, p. 291–300, Online : Association for Computational Linguistics. DOI: 10.18653/v1/2020.clinicalnlp-1.32.

BENAMARA F., HATOUT N., MULLER P. & OZDOWSKA S., Éds. (2007). *Actes de TALN 2007 (Traitement automatique des langues naturelles)*, Toulouse. ATALA, IRIT.

BROWN T., MANN B., RYDER N., SUBBIAH M., KAPLAN J. D., DHARIWAL P., NEELAKANTAN A., SHYAM P., SASTRY G., ASKELL A. et al. (2020). Language models are few-shot learners. *Advances in neural information processing systems*, **33**, 1877–1901.

CAMPILLOS L., DELÉGER L., GROUIN C., HAMON T., LIGOZAT A.-L. & NÉVÉOL A. (2018). A french clinical corpus with comprehensive semantic annotations : development of the medical entity and relation limsi annotated text corpus (merlot). *Language Resources and Evaluation*, **52**, 571–601.

CARRINO C. P., LLOP J., PÀMIES M., GUTIÉRREZ-FANDIÑO A., ARMENGOL-ESTAPÉ J., SILVEIRA-OCAMPO J., VALENCIA A., GONZALEZ-AGIRRE A. & VILLEGAS M. (2022). Pretrained biomedical language models for clinical NLP in Spanish. In *Proceedings of the 21st Workshop on Biomedical Language Processing*, p. 193–199, Dublin, Ireland : Association for Computational Linguistics. DOI: 10.18653/v1/2022.bionlp-1.19.
CAÑETE J., CHAPERON G., FUENTES R., HO J.-H., KANG H. & PÉREZ J. (2020). Spanish pre-trained bert model and evaluation data. In *PML4DC at ICLR 2020*.

CHO H., CHOI W. & LEE H. (2017). A method for named entity normalization in biomedical articles: Application to diseases and plants. *BMC Bioinformatics*, **18**. DOI: 10.1186/s12859-017-1857-8.

CONNEAU A., KHANDELWAL K., GOYAL N., CHAUDHARY V., WENZEK G., GUZMÁN F., GRAVE E., OTT M., ZETTLEMOYER L. & STOYANOV V. (2020). Unsupervised cross-lingual representation learning at scale. In D. JURAFSKY, J. CHAI, N. SCHLUTER & J. TETREAULT, Éds., *Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics*, p. 8440–8451, Online: Association for Computational Linguistics. DOI: 10.18653/v1/2020.acl-main.747.

CUI L., WU Y., LIU J., YANG S. & ZHANG Y. (2021). Template-based named entity recognition using BART. In C. ZONG, F. XIA, W. LI & R. NAVIGLI, Éds., *Findings of the Association for Computational Linguistics: ACL-IJCNLP 2021*, p. 1835–1845, Online: Association for Computational Linguistics. DOI: 10.18653/v1/2021.findings-acl.161.

DEMNER-FUSHMAN D., CHAPMAN W. W. & MCDONALD C. J. (2009). What can natural language processing do for clinical decision support? *Journal of Biomedical Informatics*, **42**(5), 760–772. Biomedical Natural Language Processing, DOI: https://doi.org/10.1016/j.jbi.2009.08.007.

DEVLIN J., CHANG M.-W., LEE K. & TOUTANOVA K. (2019). Bert: Pre-training of deep bidirectional transformers for language understanding. In *North American Chapter of the Association for Computational Linguistics*.

DIAS G., Éd. (2015). *Actes de TALN 2015 (Trajetoy automatique des langues naturelles)*, Caen. ATALA, HULTECH.

DOĞAN R. I., LEAMAN R. & LU Z. (2014). Ncbi disease corpus: A resource for disease name recognition and concept normalization. *Journal of Biomedical Informatics*, **47**, 1–10. DOI: https://doi.org/10.1016/j.jbi.2013.12.006.

DROR R., SHLOMOV S. & REICHART R. (2019). Deep dominance - how to properly compare deep neural models. In A. KORHONEN, D. R. TRAUM & L. MÀRQUEZ, Éds., *Proceedings of the 57th Conference of the Association for Computational Linguistics, ACL 2019, Florence, Italy, July 28-August 2, 2019, Volume 1: Long Papers*, p. 2773–2785: Association for Computational Linguistics. DOI: 10.18653/v1/p19-1266.

DU S. S., HU W., KAKADE S. M., LEE J. D. & LEI Q. (2021). Few-shot learning via learning the representation, provably.

ESCUDIÉ J.-B., RANCE B., MALAMUT G., KHATER S., BURGUN A., CELLIER C. & JANNOT A.-S. (2017). A novel data-driven workflow combining literature and electronic health records to estimate comorbidities burden for a specific disease: a case study on autoimmune comorbidities in patients with celiac disease. *BMC medical informatics and decision making*, **17**(1), 1–10.

FRITZLER A., LOGACHEVA V. & KRETOV M. (2019). Few-shot classification in named entity recognition task. In *Proceedings of the 34th ACM/SIGAPP Symposium on Applied Computing, SAC '19*, p. 993–1000, New York, NY, USA: Association for Computing Machinery. DOI: 10.1145/3297280.3297378.

GAO L., BIDERMAN S., BLACK S., GOLDING L., HOPPE T., FOSTER C., PHANG J., HE H., THITE A., NABESHIMA N. et al. (2020). The pile: An 800gb dataset of diverse text for language modeling. *arXiv preprint arXiv:2101.00027*.

GE Y., GUO Y., DAS S., AL-GARADI M. A. & SARKER A. (2023). Few-shot learning for medical text: A review of advances, trends, and opportunities. *Journal of Biomedical Informatics*, **144**, 104458. DOI: https://doi.org/10.1016/j.jbi.2023.104458.
GROUIN C., ROSSET S., ZWEIGENBAUM P., FORT K., GALIBERT O. & QUINTARD L. (2011). Proposal for an extension of traditional named entities: From guidelines to evaluation, an overview. In N. IDE, A. MEYERS, S. PRADHAN & K. TOMANEK, Éds., *Proceedings of the 5th Linguistic Annotation Workshop*, p. 92–100, Portland, Oregon, USA: Association for Computational Linguistics.

GUPTA S., GARDNER M. & SINGH S. (2023). Coverage-based example selection for in-context learning. In H. BOUAMOR, J. PINO & K. BALI, Éds., *Findings of the Association for Computational Linguistics: EMNLP 2023*, p. 13924–13950, Singapore: Association for Computational Linguistics. DOI: 10.18653/v1/2023.findings-emnlp.930.

GÉRARDIN C., WAJSBÜRT P., VAILLANT P., BELLAMINE A., CARRAT F. & TANNIER X. (2022). Multilabel classification of medical concepts for patient clinical profile identification. *Artificial Intelligence in Medicine*, **128**, 102311. DOI: https://doi.org/10.1016/j.artmed.2022.102311.

HAN T., ADAMS L. C., PAPAIOANNOU J.-M., GRUNDMANN P., OBERHAUSER T., LÖSER A., TRUHN D. & BRESSEM K. K. (2023). Medalpaca–an open-source collection of medical conversational ai models and training data. *arXiv preprint arXiv:2304.08247*.

HOU Y., CHE W., LAI Y., ZHOU Z., LIU Y., LIU H. & LIU T. (2020). Few-shot slot tagging with collapsed dependency transfer and label-enhanced task-adaptive projection network. In D. JURAFSKY, J. CHAI, N. SCHLUTER & J. TETREAULT, Éds., *Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics*, p. 1381–1393, Online: Association for Computational Linguistics. DOI: 10.18653/v1/2020.acl-main.128.

HU N., ZHOU X., XU B., LIU H., XIE X. & ZHENG H.-T. (2023a). Vpn: Variation on prompt tuning for named-entity recognition. *Applied Sciences*, **13**(14). DOI: 10.3390/app13148359.

HU Y., AMEER I., ZUO X., PENG X., ZHOU Y., LI Z., LI Y., LI J., JIANG X. & XU H. (2023b). Zero-shot clinical entity recognition using chatgpt. *arXiv preprint arXiv:2303.16416*.

HUANG J., LI C., SUBUDHI K., JOSE D., BALAKRISHNAN S., CHEN W., PENG B., GAO J. & HAN J. (2021a). Few-shot named entity recognition: An empirical baseline study. In M.-F. MOENS, X. HUANG, L. SPECIA & S. W.-T. YIH, Éds., *Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing*, p. 10408–10423, Online and Punta Cana, Dominican Republic: Association for Computational Linguistics. DOI: 10.18653/v1/2021.emnlp-main.813.

HUANG J., LI C., SUBUDHI K., JOSE D., BALAKRISHNAN S., CHEN W., PENG B., GAO J. & HAN J. (2021b). Few-shot named entity recognition: An empirical baseline study. In M.-F. MOENS, X. HUANG, L. SPECIA & S. W.-T. YIH, Éds., *Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing*, p. 10408–10423, Online and Punta Cana, Dominican Republic: Association for Computational Linguistics. DOI: 10.18653/v1/2021.emnlp-main.813.

JIA C., LIANG X. & ZHANG Y. (2019). Cross-domain NER using cross-domain language modeling. In A. KORHONEN, D. TRAUM & L. MÀRQUEZ, Éds., *Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics*, p. 2464–2474, Florence, Italy: Association for Computational Linguistics. DOI: 10.18653/v1/P19-1236.

JIANG A. Q., SABLAYROLLES A., MENSCH A., BAMFORD C., CHAPLOT D. S., CASAS D. D. L., BRESSAND F., LENGYEL G., LAMPLE G., SAULNIER L. et al. (2023). Mistral 7b. *arXiv preprint arXiv:2310.06825*.

JIMENEZ GUTIERREZ B., MCNEAL N., WASHINGTON C., CHEN Y., LI L., SUN H. & SU Y. (2022). Thinking about GPT-3 in-context learning for biomedical IE? think again. In Y. GOLDBERG, Z. KOZAREVA & Y. ZHANG, Éds., *Findings of the Association for Computational Linguistics: EMNLP 2022*, p. 4497–4512, Abu Dhabi, United Arab Emirates: Association for Computational Linguistics. DOI: 10.18653/v1/2022.findings-emnlp.329.
JOHNSON A. E., POLLARD T. J., SHEN L., LEHMAN L.-W. H., FENG M., GHASSEMI M., MOODY B., SZOLOVITS P., ANTHONY CELI L. & MARK R. G. (2016). Mimic-iii, a freely accessible critical care database. *Scientific data*, **3**(1), 1–9.

KORMILITZIN A., VACI N., LIU Q. & NEVADO-HOLGADO A. (2021). Med7 : A transferable clinical natural language processing model for electronic health records. *Artificial Intelligence in Medicine*, **118**, 102086. DOI : https://doi.org/10.1016/j.artmed.2021.102086.

LABRAK Y., BAZOGE A., DUFOUR R., ROUVIER M., MORIN E., DAILLE B. & GOURRAUD P.-A. (2023). DrBERT : A robust pre-trained model in French for biomedical and clinical domains. In A. ROGERS, J. BOYD-GRABER & N. OKAZAKI, Éds., *Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers)*, p. 16207–16221, Toronto, Canada : Association for Computational Linguistics. DOI : 10.18653/v1/2023.acl-long.896.

LAIGNELET M. & RIOULT F. (2009). Repérer automatiquement les segments obsolescents à l'aide d'indices sémantiques et discursifs. In A. NAZARENKO & T. POIBEAU, Éds., *Actes de TALN 2009 (Traitement automatique des langues naturelles)*, Senlis : ATALA LIPN.

LANGLAIS P. & PATRY A. (2007). Enrichissement d'un lexique bilingue par analogie. In (Benamara *et al.*, 2007), p. 101–110.

LANNELONGUE L., GREALEY J. & INOUYE M. (2021). Green algorithms : quantifying the carbon footprint of computation. *Advanced science*, **8**(12), 2100707.

LAURENÇON H., SAULNIER L., WANG T., AKIKI C., VILLANOVA DEL MORAL A., LE SCAO T., VON WERRA L., MOU C., GONZÁLEZ PONFERRADA E., NGUYEN H. *et al*. (2022). The bigscience roots corpus : A 1.6 tb composite multilingual dataset. *Advances in Neural Information Processing Systems*, **35**, 31809–31826.

LAYEGH A., PAYBERAH A. H., SOYLU A., ROMAN D. & MATSKIN M. (2023). Contrastner : Contrastive-based prompt tuning for few-shot ner. *arXiv preprint arXiv:2305.17951*.

LE H., VIAL L., FREJ J., SEGONNE V., COAVOUX M., LECOUTEUX B., ALLAUZEN A., CRABBÉ B., BESACIER L. & SCHWAB D. (2020). FlauBERT : Unsupervised language model pre-training for French. In N. CALZOLARI, F. BÉCHET, P. BLACHE, K. CHOUKRI, C. CIERI, T. DECLERCK, S. GOGGI, H. ISAHARA, B. MAEGAARD, J. MARIANI, H. MAZO, A. MORENO, J. ODIJK & S. PIPERIDIS, Éds., *Proceedings of the Twelfth Language Resources and Evaluation Conference*, p. 2479–2490, Marseille, France : European Language Resources Association.

LEAMAN R., KHARE R. & LU Z. (2015). Challenges in clinical natural language processing for automated disorder normalization. *Journal of Biomedical Informatics*, **57**, 28–37. DOI : https://doi.org/10.1016/j.jbi.2015.07.010.

LEE D.-H., KADAKIA A., TAN K., AGARWAL M., FENG X., SHIBUYA T., MITANI R., SEKIYA T., PUJARA J. & REN X. (2022). Good examples make a faster learner : Simple demonstration-based learning for low-resource NER. In S. MURESAN, P. NAKOV & A. VILLAVICENCIO, Éds., *Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers)*, p. 2687–2700, Dublin, Ireland : Association for Computational Linguistics. DOI : 10.18653/v1/2022.acl-long.192.

LI J., SUN A., HAN J. & LI C. (2022). A survey on deep learning for named entity recognition. *IEEE Trans. on Knowl. and Data Eng.*, **34**(1), 50–70. DOI : 10.1109/TKDE.2020.2981314.

LIAO B., MENG Y. & MONZ C. (2023). Parameter-efficient fine-tuning without introducing new latency. In A. ROGERS, J. BOYD-GRABER & N. OKAZAKI, Éds., *Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers)*, p. 4242–4260, Toronto, Canada : Association for Computational Linguistics. DOI : 10.18653/v1/2023.acl-long.233.
LINDBERG D. A., HUMPHREYS B. L. & MCCRAY A. T. (1993). The unified medical language system. *Yearbook of medical informatics*, **2**(01), 41–51.

LIU P., YUAN W., FU J., JIANG Z., HAYASHI H. & NEUBIG G. (2023). Pre-train, prompt, and predict : A systematic survey of prompting methods in natural language processing. *ACM Computing Surveys*, **55**(9), 1–35.

LIU Y., OTT M., GOYAL N., DU J., JOSHI M., CHEN D., LEVY O., LEWIS M., ZETTLEMOYER L. & STOYANOV V. (2019). Roberta : A robustly optimized bert pretraining approach. *arXiv preprint arXiv:1907.11692*.

LIU Z., XU Y., YU T., DAI W., JI Z., CAHYAWIJAYA S., MADOTTO A. & FUNG P. (2021). Crossner : Evaluating cross-domain named entity recognition. *Proceedings of the AAAI Conference on Artificial Intelligence*, **35**(15), 13452–13460. DOI : 10.1609/aaai.v35i15.17587.

LU Y., BARTOLO M., MOORE A., RIEDEL S. & STENETORP P. (2022). Fantastically ordered prompts and where to find them : Overcoming few-shot prompt order sensitivity. In S. MURESAN, P. NAKOV & A. VILLAVICENCIO, Éds., *Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers)*, p. 8086–8098, Dublin, Ireland : Association for Computational Linguistics. DOI : 10.18653/v1/2022.acl-long.556.

LUO Y.-F., HENRY S., WANG Y., SHEN F., UZUNER O. & RUMSHISKY A. (2020). The 2019 n2c2/UMass Lowell shared task on clinical concept normalization. *Journal of the American Medical Informatics Association*, **27**(10), 1529–e1. DOI : 10.1093/jamia/ocaa106.

LUO Y.-F., SUN W. & RUMSHISKY A. (2019). Mcn : A comprehensive corpus for medical concept normalization. *Journal of Biomedical Informatics*, **92**, 103132. DOI : https://doi.org/10.1016/j.jbi.2019.103132.

MA J., BALLESTEROS M., DOSS S., ANUBHAI R., MALLYA S., AL-ONAIZAN Y. & ROTH D. (2022a). Label semantics for few shot named entity recognition. In S. MURESAN, P. NAKOV & A. VILLAVICENCIO, Éds., *Findings of the Association for Computational Linguistics: ACL 2022*, p. 1956–1971, Dublin, Ireland : Association for Computational Linguistics. DOI : 10.18653/v1/2022.findings-acl.155.

MA R., ZHOU X., GUI T., TAN Y., LI L., ZHANG Q. & HUANG X. (2022b). Template-free prompt tuning for few-shot NER. In M. CARPUAT, M.-C. DE MARNEFFE & I. V. MEZA RUIZ, Éds., *Proceedings of the 2022 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies*, p. 5721–5732, Seattle, United States : Association for Computational Linguistics. DOI : 10.18653/v1/2022.naacl-main.420.

MAGNINI B., ALTUNA B., LAVELLI A., SPERANZA M. & ZANOLI R. (2021). The e3c project : European clinical case corpus. *Language*, **1**(L2), L3.

MARTIN L., MULLER B., ORTIZ SUÁREZ P. J., DUPONT Y., ROMARY L., DE LA CLERGERIE É., SEDDAH D. & SAGOT B. (2020). CamemBERT : a tasty French language model. In D. JURAFSKY, J. CHAI, N. SCHLUTER & J. TETREAULT, Éds., *Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics*, p. 7203–7219, Online : Association for Computational Linguistics. DOI : 10.18653/v1/2020.acl-main.645.

MCCRAY A., BURGUN A. & BODENREIDER O. (2001). Aggregating umls semantic types for reducing conceptual complexity. *Studies in health technology and informatics*, **84**, 216–20. DOI : 10.3233/978-1-60750-928-8-216.

MIN S., LYU X., HOLTZMAN A., ARTETXE M., LEWIS M., HAJISHIRZI H. & ZETTLEMOYER L. (2022). Rethinking the role of demonstrations : What makes in-context learning work ? In Y. GOLDBERG, Z. KOZAREVA & Y. ZHANG, Éds., *Proceedings of the 2022 Conference on Empirical
*Methods in Natural Language Processing*, p. 11048–11064, Abu Dhabi, United Arab Emirates : Association for Computational Linguistics. DOI: 10.18653/v1/2022.emnlp-main.759.

NÉVÉOL A., GROUIN C., LEIXA J., ROSSET S. & ZWEIGENBAUM P. (2014). The quaero french medical corpus : A ressource for medical entity recognition and normalization. *Proc of BioTextMining Work*, p. 24–30.

NOTHMAN J., RINGLAND N., RADFORD W., MURPHY T. & CURRAN J. R. (2013). Learning multilingual named entity recognition from wikipedia. *Artificial Intelligence*, **194**, 151–175. Artificial Intelligence, Wikipedia and Semi-Structured Resources, DOI: https://doi.org/10.1016/j.artint.2012.03.006.

PENEDO G., MALARTIC Q., HESSLOW D., COJOCARU R., CAPPELLI A., ALOBEIDLI H., PANNIER B., ALMAZROUEI E. & LAUNAY J. (2023). The refinedweb dataset for falcon llm : outperforming curated corpora with web data, and web data only. *arXiv preprint arXiv:2306.01116*.

PEREZ E., KIELA D. & CHO K. (2021). True few-shot learning with language models. In A. BEYGELZIMER, Y. DAUPHIN, P. LIANG & J. W. VAUGHAN, Éds., *Advances in Neural Information Processing Systems*.

PETERS M. E., NEUMANN M., IYYER M., GARDNER M., CLARK C., LEE K. & ZETTLEMOYER L. (2018). Deep contextualized word representations. In M. WALKER, H. JI & A. STENT, Éds., *Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics : Human Language Technologies, Volume 1 (Long Papers)*, p. 2227–2237, New Orleans, Louisiana : Association for Computational Linguistics. DOI: 10.18653/v1/N18-1202.

QIN G. & EISNER J. (2021). Learning how to ask : Querying LMs with mixtures of soft prompts. In K. TOUTANOVA, A. RUMSHISKY, L. ZETTLEMOYER, D. HAKKANI-TUR, I. BELTAGY, S. BETHARD, R. COTTERELL, T. CHAKRABORTY & Y. ZHOU, Éds., *Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics : Human Language Technologies*, p. 5203–5212, Online : Association for Computational Linguistics. DOI: 10.18653/v1/2021.nacl-main.410.

RADFORD A., KIM J. W., HALLACY C., RAMESH A., GOH G., AGARWAL S., SASTRY G., ASKELL A., MISHKIN P., CLARK J., KRUEGER G. & SUTSKEVER I. (2021). Learning transferable visual models from natural language supervision. In M. MEILA & T. ZHANG, Éds., *Proceedings of the 38th International Conference on Machine Learning*, volume 139 de *Proceedings of Machine Learning Research*, p. 8748–8763 : PMLR.

REIMERS N. & GUREVYCH I. (2017). Reporting score distributions makes a difference : Performance study of LSTM-networks for sequence tagging. In M. PALMER, R. HWA & S. RIEDEL, Éds., *Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing*, p. 338–348, Copenhagen, Denmark : Association for Computational Linguistics. DOI: 10.18653/v1/D17-1035.

SCHICK T. & SCHÜTZE H. (2021). It's not just size that matters : Small language models are also few-shot learners. In K. TOUTANOVA, A. RUMSHISKY, L. ZETTLEMOYER, D. HAKKANI-TUR, I. BELTAGY, S. BETHARD, R. COTTERELL, T. CHAKRABORTY & Y. ZHOU, Éds., *Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics : Human Language Technologies*, p. 2339–2352, Online : Association for Computational Linguistics. DOI: 10.18653/v1/2021.nacl-main.185.

SERETAN V. & WEHRLI E. (2007). Collocation translation based on sentence alignment and parsing. In (Benamara *et al.*, 2007), p. 401–410.

SHEN Y., TAN Z., WU S., ZHANG W., ZHANG R., XI Y., LU W. & ZHUANG Y. (2023). Prompt-NER : Prompt locating and typing for named entity recognition. In A. ROGERS, J. BOYD-GRABER
& N. OKAZAKI, Éds., *Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers)*, p. 12492–12507, Toronto, Canada : Association for Computational Linguistics. DOI : 10.18653/v1/2023.acl-long.698.

SHIN S., LEE S.-W., AHN H., KIM S., KIM H., KIM B., CHO K., LEE G., PARK W., HA J.-W. & SUNG N. (2022). On the effect of pretraining corpora on in-context learning by a large-scale language model. In M. CARPUAT, M.-C. DE MARNEFFE & I. V. MEZA RUIZ, Éds., *Proceedings of the 2022 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies*, p. 5168–5186, Seattle, United States : Association for Computational Linguistics. DOI: 10.18653/v1/2022.naacl-main.380.

SRIVASTAVA A., RASTOGI A., RAO A. & CO AUTHORS (2023). Beyond the imitation game : Quantifying and extrapolating the capabilities of language models. *Transactions on Machine Learning Research*.

SUÁREZ P. J. O., ROMARY L. & SAGOT B. (2020). A monolingual approach to contextualized word embeddings for mid-resource languages. *arXiv preprint arXiv:2006.06202*.

SUN C., YANG Z., WANG L., ZHANG Y., LIN H. & WANG J. (2021). Biomedical named entity recognition using bert in the machine reading comprehension framework. *Journal of Biomedical Informatics, 118*, 103799. DOI: https://doi.org/10.1016/j.jbi.2021.103799.

SUNG M., JEONG M., CHOI Y., KIM D., LEE J. & KANG J. (2022). BERN2 : an advanced neural biomedical named entity recognition and normalization tool. *Bioinformatics*, **38**(20), 4837–4839.
DOI: 10.1093/bioinformatics/btac598.

TAM D., R. MENON R., BANSAL M., SRIVASTAVA S. & RAFFEL C. (2021). Improving and simplifying pattern exploiting training. In M.-F. MOENS, X. HUANG, L. SPECIA & S. W.-T. YIH, Éds., *Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing*, p. 4980–4991, Online and Punta Cana, Dominican Republic : Association for Computational Linguistics. DOI: 10.18653/v1/2021.emnlp-main.407.

TIEDEMANN J. (2012). Parallel data, tools and interfaces in OPUS. In N. CALZOLARI, K. CHOUKRI, T. DECLERCK, M. U. DOĞAN, B. MAEGAARD, J. MARIANI, A. MORENO, J. ODIJK & S. PIPERIDIS, Éds., *Proceedings of the Eighth International Conference on Language Resources and Evaluation (LREC’12)*, p. 2214–2218, Istanbul, Turkey : European Language Resources Association (ELRA).

TJONG KIM SANG E. F. (2002). Introduction to the CoNLL-2002 shared task : Language-independent named entity recognition. In *COLING-02 : The 6th Conference on Natural Language Learning 2002 (CoNLL-2002)*.

TJONG KIM SANG E. F. & DE MEULDER F. (2003). Introduction to the CoNLL-2003 shared task : Language-independent named entity recognition. In *Proceedings of the Seventh Conference on Natural Language Learning at HLT-NAACL 2003*, p. 142–147.

TOMA A., LAWLER P. R., BA J., KRISHNAN R. G., RUBIN B. B. & WANG B. (2023). Clinical camel : An open-source expert-level medical language model with dialogue-based knowledge encoding. *arXiv preprint arXiv:2305.12031*.

TOUCHENT R., ROMARY L. & DE LA CLERGERIE E. (2023). CamemBERT-bio : Un modèle de langue français savoureux et meilleur pour la santé. In C. SERVAN & A. VILNAT, Éds., *18e Conférence en Recherche d'Information et Applications 16e Rencontres Jeunes Chercheurs en RI*

*30e Conférence sur le Traitement Automatique des Langues Naturelles*

*25e Rencontre des Étudiants Chercheurs en Informatique pour le Traitement Automatique des Langues*, p. 323–334, Paris, France : ATALA. HAL : hal-04130187.
TOUVRON H., MARTIN L., STONE K., ALBERT P., ALMAHAIRI A., BABAEI Y., BASHLYKOV N., BATRA S., BHARGAVA P., BHOSALE S. et al. (2023). Llama 2: Open foundation and fine-tuned chat models. *arXiv preprint arXiv:2307.09288*.

UZUNER Ö., SOUTH B. R., SHEN S. & DUVALL S. L. (2011). 2010 i2b2/va challenge on concepts, assertions, and relations in clinical text. *Journal of the American Medical Informatics Association, 18*(5), 552–556.

VASANTHARAJAN C., TUN K. Z., THI-NGA H., JAIN S., RONG T. & SIONG C. E. (2022). Medbert: A pre-trained language model for biomedical named entity recognition. In *2022 Asia-Pacific Signal and Information Processing Association Annual Summit and Conference (APSIPA ASC)*, p. 1482–1488. DOI: 10.23919/APSIPAASC55919.2022.9980157.

VILAR D., FREITAG M., CHERRY C., LUO J., RATNAKAR V. & FOSTER G. (2023). Prompting PaLM for translation: Assessing strategies and performance. In *Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers)*, p. 15406–15427, Toronto, Canada: Association for Computational Linguistics. DOI: 10.18653/v1/2023.acl-long.859.

WAJSBÜRT P. (2021). *Extraction and normalization of simple and structured entities in medical documents*. Theses, Sorbonne Université. HAL: tel-03624928.

WAJSBÜRT P., SARFATI A. & TANNIER X. (2021). Medical concept normalization in french using multilingual terminologies and contextual embeddings. *Journal of Biomedical Informatics, 114*, 103684. DOI: https://doi.org/10.1016/j.jbi.2021.103684.

WANG B. & KOMATSUZAKI A. (2021). GPT-J-6B: A 6 Billion Parameter Autoregressive Language Model. https://github.com/kingoflolz/mesh-transformer-jax.

WANG G., LIU X., YING Z., YANG G., CHEN Z., LIU Z., ZHANG M., YAN H., LU Y., GAO Y. et al. (2023a). Optimized glycemic control of type 2 diabetes with reinforcement learning: a proof-of-concept trial. *Nature Medicine*, p. 1–10.

WANG S., SUN X., LI X., OUYANG R., WU F., ZHANG T., LI J. & WANG G. (2023b). Gpt-ner: Named entity recognition via large language models.

WANG Y., TONG H., ZHU Z. & LI Y. (2022). Nested named entity recognition: A survey. *ACM Trans. Knowl. Discov. Data, 16*(6). DOI: 10.1145/3522593.

WANG Y., WANG L., RASTEGAR-MOJARAD M., MOON S., SHEN F., AFZAL N., LIU S., ZENG Y., MEHRABI S., SOHN S. & LIU H. (2018). Clinical information extraction applications: A literature review. *Journal of Biomedical Informatics, 77*, 34–49. DOI: https://doi.org/10.1016/j.jbi.2017.11.011.

WEI J., WANG X., SCHUURMANS D., BOSMA M., XIA F., CHI E., LE Q. V., ZHOU D. et al. (2022). Chain-of-thought prompting elicits reasoning in large language models. *Advances in Neural Information Processing Systems, 35*, 24824–24837.

WORKSHOP B., SCAO T. L., FAN A., AKIKI C., PAVLICK E., ILIĆ S., HESSLOW D., CASTAGNÉ R., LUCCIONI A. S., YVON F. et al. (2022). Bloom: A 176b-parameter open-access multilingual language model. *arXiv preprint arXiv:2211.05100*.

YANG Y. & KATIYAR A. (2020). Simple and effective few-shot named entity recognition with structured nearest neighbor learning. In B. WEBBER, T. COHN, Y. HE & Y. LIU, Éds., *Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP)*, p. 6365–6375. Online: Association for Computational Linguistics. DOI: 10.18653/v1/2020.emnlp-main.516.

YE F., HUANG L., LIANG S. & CHI K. (2023). Decomposed two-stage prompt learning for few-shot named entity recognition. *Information, 14*(5). DOI: 10.3390/info14050262.
ZHANG S., ROLLER S., GOYAL N., ARTETXE M., CHEN M., CHEN S., DEWAN C., DIAB M., LI X., LIN X. V. *et al.* (2022). Opt : Open pre-trained transformer language models. *arXiv preprint arXiv:2205.01068*.

ZHENG L., CHIANG W.-L., SHENG Y., ZHUANG S., WU Z., ZHUANG Y., LIN Z., LI Z., LI D., XING E. *et al.* (2023). Judging llm-as-a-judge with mt-bench and chatbot arena. *arXiv preprint arXiv:2306.05685*.

ZHU Y., KIROS R., ZEMEL R., SALAKHUTDINOV R., URTASUN R., TORRALBA A. & FIDLER S. (2015). Aligning books and movies : Towards story-like visual explanations by watching movies and reading books. In *Proceedings of the IEEE international conference on computer vision*, p. 19–27.

# 5 Annexes

## 5.1 Modèles évalués
<table><caption>TABLE 2 – Caractérisation des modèles de langage utilisés dans nos expériences en termes de paramètres et de corpus d’entraînement. Les modèles marqués avec [en] (respectivement [fr], [es]) sont fortement entraînés en anglais (respectivement en français, en espagnol). Les CLMs marqués avec * sont des versions affinées d’autres CLMs.</caption><thead><tr><th>#</th><th>Modèle</th><th>Nombre de paramètres</th><th>Taille des données d'entraînement</th><th>Corpus d'entraînement</th></tr></thead><tbody><tr><td>1</td><td>LLAMA-2-70B<sup>[en]</sup> (Tou-vron et al., 2023)</td><td>70B</td><td>2 billions de tokens</td><td>Un mélange de corpus disponibles publiquement, principalement en anglais</td></tr><tr><td>2</td><td>Mistral-7B<sup>[?]</sup> (Jiang et al., 2023)</td><td>7B</td><td>Non divulgué</td><td>Non divulgué</td></tr><tr><td>3</td><td>BLOOM-7B<sup>[en] [fr] [es]</sup> (Workshop et al., 2022)</td><td>7B</td><td>1,6 To</td><td>ROOTS (Laurençon et al., 2022), un mélange de corpus et de données pseudo-crawlées dans 59 langues</td></tr><tr><td>4</td><td>Falcon-40B<sup>[en] [fr] [es]</sup></td><td>40B</td><td>1 billion de tokens</td><td>RefinedWeb (Penedo et al., 2023), un ensemble de données de Web filtrées et dédoblonnées</td></tr><tr><td>5</td><td>GPT-J-6B<sup>[en]</sup> (Wang & Ko-matsuzaki, 2021)</td><td>6B</td><td>825 Gio</td><td>The Pile (Gao et al., 2020), un mélange de corpus publics et de données Web en anglais</td></tr><tr><td>6</td><td>OPT-66B<sup>[en]</sup> (Zhang et al., 2022)</td><td>66B</td><td>180 milliards de tokens</td><td>Données crawlées sur le Web, principalement en anglais</td></tr><tr><td>7</td><td>Vicuna-13B<sup>[en] *</sup> (Zheng et al., 2023)</td><td>13B</td><td>125K conversations</td><td>LLAMA 2, affiné sur des conversations collectées sur ShareGPT.com, principalement en anglais</td></tr><tr><td>8</td><td>Vicuna-7B<sup>[en] *</sup> (Zheng et al., 2023)</td><td>7B</td><td>125K conversations</td><td>LLAMA 2, affiné sur des conversations collectées sur ShareGPT.com, principalement en anglais</td></tr><tr><td>9</td><td>Medalpaca-7B<sup>[en] *</sup> (Han et al., 2023)</td><td>7B</td><td>400K paires Q.R.</td><td>LLAMA 2, affiné sur des paires de questions-réponses médicales semi-générées en anglais</td></tr><tr><td>10</td><td>Vigogne-13B<sup>[fr] [en] *</sup></td><td>13B</td><td>52K instructions</td><td>LLAMA 2, affiné sur des instructions en anglais automatiquement traduites en français</td></tr><tr><td rowspan="10">Causal</td><td>11</td><td>mBERT<sup>[en] [fr] [es]</sup> (Devlin et al., 2019)</td><td>110M</td><td>Non divulgué</td><td>Un corpus comprenant 104 langues construit à partir de sources non divulguées</td></tr><tr><td>12</td><td>XLM-R-large<sup>[en] [fr] [es]</sup> (Conneau et al., 2020)</td><td>355M</td><td>2,5 To</td><td>Données CommonCrawl filtrées contenant 100 langues</td></tr><tr><td>13</td><td>BERT-large<sup>[en]</sup> (Devlin et al., 2019)</td><td>345M</td><td>3,3 milliards de mots</td><td>BookCorpus (Zhu et al., 2015), un corpus composé de livres non publiés et de Wikipédia en anglais.</td></tr><tr><td>14</td><td>RoBERTa-large<sup>[en]</sup> (Liu et al., 2019)</td><td>355M</td><td>160 Gio</td><td>BooksCorpus (Zhu et al., 2015), Wikipédia en anglais, et données Web crawlées</td></tr><tr><td>15</td><td>Bio_ClinicalBERT<sup>[en]</sup> (Al-sentzer et al., 2019)</td><td>110M</td><td>2 millions de notes cliniques</td><td>MIMIC-III (Johnson et al., 2016), une base de données contenant des dossiers médicaux électroniques de patients en soins intensifs hospitalisés</td></tr><tr><td>16</td><td>ClinicalBERT<sup>[en]</sup> (Wang et al., 2023a)</td><td>110M</td><td>1,2 milliard de mots</td><td>non divulgué</td></tr><tr><td>17</td><td>MedBERT<sup>[en]</sup> (Vasantharajan et al., 2022)</td><td>110M</td><td>57 millions de mots</td><td>Plusieurs corpus publics (y compris N2C2 (Luo et al., 2020)) et articles médicaux crawlés depuis Wikipédia</td></tr><tr><td>18</td><td>CamemBERT-large<sup>[fr]</sup> (Martin et al., 2020)</td><td>335M</td><td>64 milliards de tokens</td><td>OSCAR (Suárez et al., 2020), un corpus de données Web en français</td></tr><tr><td>19</td><td>FlauBERT-large<sup>[fr]</sup> (Le et al., 2020)</td><td>335M</td><td>13 milliards de tokens</td><td>Un mélange de Wikipédia français, de livres français et de données Web français</td></tr><tr><td>20</td><td>DrBERT-4GB<sup>[fr]</sup> (Labrak et al., 2023)</td><td>110M</td><td>1 milliard de mots</td><td>Un mélange de corpus biomédicaux disponibles publiquement en français (dont QuaeroFrenchMed (Névéol et al., 2014)).</td></tr><tr><td rowspan="6">Masked</td><td>21</td><td>CamemBERT-bio<sup>[fr]</sup> (Touchent et al., 2023)</td><td>110M</td><td>413 millions de mots</td><td>Un mélange de corpus biomédicaux disponibles publiquement en français (dont E3C (Magnini et al., 2021)).</td></tr><tr><td>22</td><td>BETO<sup>[es]</sup> (Cañete et al., 2020)</td><td>110M</td><td>3 milliards de mots</td><td>Wikipédia en espagnol et données espagnoles d'OPUS (Tiedemann, 2012)</td></tr><tr><td>23</td><td>PatanaBERT<sup>[es]</sup></td><td>110M</td><td>Non divulgué</td><td>Espagnol</td></tr><tr><td>24</td><td>TulioBERT<sup>[es]</sup></td><td>110M</td><td>Non divulgué</td><td>Espagnol</td></tr><tr><td>25</td><td>BSC-BioEHR<sup>[es]</sup> (Carrino et al., 2022)</td><td>110M</td><td>1,1 milliard de tokens</td><td>Un mélange de corpus biomédicaux, y compris des documents EHR et des données crawlées en espagnol</td></tr><tr><td>26</td><td>BSC-BioEHR<sup>[es]</sup> (Carrino et al., 2022)</td><td>110M</td><td>963 millions de tokens</td><td>Un mélange de corpus biomédicaux et de données crawlées en espagnol</td></tr></tbody></table>
## 5.2 Ablation

Pour mieux comprendre la contribution de chaque étape de notre approche, nous avons mené une série d'expériences complémentaires.

**Prompts de listing** Dans cette section, nous comparons les prompts de balisage adoptés aux prompts de listing. Dans les prompts de listing, les démonstrations listent simplement les mentions étiquetées. Le séparateur de liste est optimisé (de la même manière que les baliseurs) entre une virgule et un retour à la ligne. Le cas échéant, les phrases introductives demandent de lister les entités (et non de les baliser). Les résultats présentés dans le tableau 3 corroborent davantage notre choix de nous concentrer uniquement sur les prompts de balisage.

<table><caption>TABLE 3 – F1-mesures obtenues avec les prompts de listing vs. balisage</caption><thead><tr><th rowspan="2">Modèle</th><th colspan="4">Anglais</th><th colspan="4">Français</th><th colspan="4">Espagnol</th></tr><tr><th>WikiNER</th><th>CoNLL2003</th><th>E3C</th><th>n2c2</th><th>NCBI</th><th>WikiNER</th><th>QFP</th><th>E3C</th><th>EMEA</th><th>MEDLINE</th><th>WikiNER</th><th>CoNLL2002</th><th>E3C</th><th>CWL</th></tr></thead><tbody><tr><td colspan="16"><em>Prompts de listing</em></td></tr><tr><td>Mistral-7B</td><td>0.659</td><td>0.533</td><td>0.417</td><td>0.281</td><td>0.340</td><td>0.676</td><td>0.083</td><td>0.451</td><td>0.169</td><td>0.403</td><td>0.697</td><td>0.620</td><td>0.211</td><td>0.273</td></tr><tr><td colspan="16"><em>Prompts de balisage</em></td></tr><tr><td>Mistral-7B</td><td>0.754</td><td>0.646</td><td>0.488</td><td>0.291</td><td>0.395</td><td>0.727</td><td>0.428</td><td>0.590</td><td>0.229</td><td>0.333</td><td>0.720</td><td>0.707</td><td>0.083</td><td>0.374</td></tr></tbody></table>

**Échantillon et taille de l'échantillon** Nous avons testé notre approche avec différents échantillons et différentes tailles d'échantillon pour un MLM : XLM-RoBERTa-large, et un CLM : Mistral-7B. Les résultats sont présentés dans le tableau 4. On peut noter que, bien que l'écart-type par rapport à *p* soit assez élevé, une différence significative est systématiquement observée entre les deux modèles sur des échantillons de même taille. Nous observons également que, lorsque le nombre d'instances annotées diminue, les performances du MLM chutent plus rapidement que celles du CLM.

<table><caption>TABLE 4 – 1-mesures obtenues avec différents échantillons et différentes tailles d'échantillons.</caption><thead><tr><th></th><th colspan="3">CoNLL2003</th><th colspan="3">n2c2</th></tr><tr><th></th><th colspan="6">100 exemples annotés</th></tr><tr><th></th><th>p=1</th><th>p=2</th><th>p=3</th><th>p=1</th><th>p=2</th><th>p=3</th></tr></thead><tbody><tr><th>Mistral-7B</th><td>0.646</td><td>0.626</td><td>0.714</td><td>0.291</td><td>0.178</td><td>0.215</td></tr><tr><th>XLM-R-large</th><td>0.826</td><td>0.814</td><td>0.786</td><td>0.462</td><td>0.478</td><td>0.526</td></tr><tr><th></th><th colspan="6">50 exemples annotés</th></tr><tr><th></th><th>p=1</th><th>p=2</th><th>p=3</th><th>p=1</th><th>p=2</th><th>p=3</th></tr><tr><th>Mistral-7B</th><td>0.615</td><td>0.648</td><td>0.637</td><td>0.278</td><td>0.176</td><td>0.106</td></tr><tr><th>XLM-R-large</th><td>0.697</td><td>0.77</td><td>0.714</td><td>0.431</td><td>0.476</td><td>0.35</td></tr><tr><th></th><th colspan="6">25 exemples annotés</th></tr><tr><th></th><th>p=1</th><th>p=2</th><th>p=3</th><th>p=1</th><th>p=2</th><th>p=3</th></tr><tr><th>Mistral-7B</th><td>0.509</td><td>0.599</td><td>0.52</td><td>0.152</td><td>0.252</td><td>0.116</td></tr><tr><th>XLM-R-large</th><td>0.487</td><td>0.588</td><td>0.637</td><td>0.393</td><td>0.361</td><td>0.283</td></tr></tbody></table>

**Grid search des caractéristiques** Afin d'évaluer la qualité du greedy search adopté pour trouver la meilleure combinaison de caractéristiques à incorporer dans le prompt, nous comparons cette méthode à un grid search naïf sur ces caractéristiques. Nous testons les 512 combinaisons des 9 caractéristiques identifiées, pour Mistral-7B sur CoNLL2003. Les scores trouvés par LOOCV varient entre 0,0 et 0,656 avec une valeur moyenne de 0,387 et une médiane de 0,46. La combinaison la plus
performante est : *phrases supplémentaires, auto-vérification, phrase d'introduction pour l'instance de test et demander une réponse longue pour l'auto-vérification*, qui est précisément la combinaison que nous avons trouvée initialement par le biais d'un *greedy search*, qui est environ 20 fois plus rapide et moins consommateur.

**Nombre de démonstrations** Le choix de limiter le nombre d'exemples annotés présentés aux modèles causaux, dans le *prompt*, à 10 maximum est dicté par deux contraintes.

Tout d'abord, les modèles imposent une limite sur le nombre de *tokens* passés en entrée, sur lesquels l'attention est calculée. La plupart des modèles utilisés ont 2048 *tokens* comme limite, mais Mistral-7B autorise jusqu'à 8096 *tokens*. Cette limite se traduit par une limite du nombre de phrases présentables dans le *prompt*, entre 40 et 50 pour Mistral-7B et entre 10 et 15 pour les modèles moins permissifs, selon les corpus et les *tokenizers*. Par exemple, considérons la tâche de détection de parties du corps dans la partie française d'E3C. Si l'on utilise Mistral-7B (et son *tokenizer*), la limite pratique est autour de 40 exemples, ce qui fait un *prompt* de 7779.5 *tokens* en moyenne. Si l'on utilise Bloom-7b1 (et son *tokenizer*), elle se situe autour de 11 exemples, ce qui fait 1851.5 *tokens* en moyenne.

En outre, l'amélioration apportée par l'ajout d'exemples ne semble pas conséquente, comme on peut l'observer dans le tableau 5, qui montre les résultats obtenus avec Mistral-7B en triplant le nombre d'exemples annotés. Notons que les améliorations marginales obtenues en triplant le nombre d'exemples, viennent à un coût considérable, surtout dans le contexte d'une complexité quadratique en fonction de la longueur du *prompt*.

Nous choisissons donc de limiter le prompt à 5/10 exemples, choisis selon le critère choisi (proximité TF-IDF à la phrase de référence ou nombre d'entité présentes). Au lieu de sélectionner les exemples de façon indépendante, Gupta *et al.* (2023) proposent de les sélectionner de façon interdépendante, afin d'améliorer la représentativité du *prompt*. Cette piste serait intéressante à implémenter dans notre système dans de futurs travaux.

<table><caption>TABLE 5 – F1-mesures obtenues avec 5/10 exemples vs. avec 15/30 exemples</caption><thead><tr><th rowspan="2">Modèle</th><th colspan="5">Anglais</th><th colspan="4">Français</th><th colspan="3">Espagnol</th></tr><tr><th>WikiNER</th><th>CoNLL2003</th><th>E3C</th><th>n2c2</th><th>NCBI</th><th>WikiNER</th><th>QFP</th><th>E3C</th><th>EMEA</th><th>MEDLINE</th><th>WikiNER</th><th>CoNLL2002</th><th>E3C</th><th>CWL</th></tr></thead><tbody><tr><td colspan="16"><strong>5/10 exemples</strong></td></tr><tr><td>Mistral-7B</td><td>0.754</td><td>0.646</td><td>0.488</td><td>0.291</td><td>0.395</td><td>0.727</td><td>0.428</td><td>0.590</td><td>0.229</td><td>0.333</td><td>0.720</td><td>0.707</td><td>0.083</td><td>0.374</td></tr><tr><td colspan="16"><strong>15/30 exemples</strong></td></tr><tr><td>Mistral-7B</td><td>0.763</td><td>0.692</td><td>0.453</td><td>0.263</td><td>0.377</td><td>0.782</td><td>0.355</td><td>0.587</td><td>0.237</td><td>0.396</td><td>0.785</td><td>0.751</td><td>0.163</td><td>0.413</td></tr></tbody></table>
## 5.3 Description des types d'entités nommées

<table><caption>TABLE 6 – Description des types d'entités nommées utilisées dans nos expériences sur l'anglais.</caption><thead><tr><td>Etiquette</td><td>Nom du type (en singulier)</td><td>Description</td></tr></thead><tbody><tr><td>PER</td><td>person names (a person's name)</td><td>These are names of persons such as real people or fictional characters.</td></tr><tr><td>FAC</td><td>facilities (a facility)</td><td>These are names of man-made structures such as infrastructure, buildings and monuments.</td></tr><tr><td>LOC</td><td>locations (a location)</td><td>These are names of geographical locations such as landmarks, cities, countries and regions.</td></tr><tr><td>ORG</td><td>organizations (an organization)</td><td>These are names of organizations such as companies, agencies and political parties.</td></tr><tr><td>FUNC</td><td>functions and jobs (a function or a job)</td><td>These are words that refer to a profession or a job.</td></tr><tr><td>ACTI</td><td>activities and behaviors (an activity or behavior)</td><td>These are words that refer to human activities, behaviors or events as well as governmental or regulatory activities.</td></tr><tr><td>ANAT</td><td>anatomy (an anatomy)</td><td>These are words that refer to the structure of the human body, its organs and their position, such as body parts or organs, systems, tissues, cells, body substances and embryonic structures.</td></tr><tr><td>CHEM</td><td>chemicals and drugs (a chemical or a drug)</td><td>These are words that refer to a substance or composition that has a chemical characteristic, especially a curative or preventive property with regard to human or animal diseases, such as drugs, antibiotics, proteins, hormones, enzymes and hazardous or poisonous substances.</td></tr><tr><td>CONC</td><td>concepts and ideas (a concept or an idea)</td><td>These are words that refer to a concept or an idea, such as a classification, an intellectual product, a language, a law or a regulation.</td></tr><tr><td>DEVI</td><td>medical devices (a device)</td><td>These are words that refer to a medical device used to administer care or perform medical research.</td></tr><tr><td>DISO</td><td>disorders (a disorder)</td><td>These are words that refer to an alteration of morphology, function or health of a living organism, animal or plant, such as congenital abnormalities, dysfunction, injuries, signs or symptoms or observations.</td></tr><tr><td>GENE</td><td>genes and molecular sequences (a gene or a molecular sequence)</td><td>These are words that refer to a gene, a genome or a molecular sequence.</td></tr><tr><td>GEOG</td><td>geographical areas (a geographical area)</td><td>These are words that refer to a country, a region or a city.</td></tr><tr><td>LIVB</td><td>living beings (a living being)</td><td>These are words that refer to a living being or a group of living beings, such as a person or a group of persons, a plant or a category of plants, an animal or a category of animals.</td></tr><tr><td>OBJC</td><td>objects (an object)</td><td>These are words that refer to anything animate or inanimate that affects the senses, such as physical manufactured objects.</td></tr><tr><td>OCCU</td><td>occupations (an occupation)</td><td>These are words that refer to a professional occupation or discipline.</td></tr><tr><td>ORGA</td><td>organizations (an organization)</td><td>These are words that refer to an organization such as healthcare related organizations.</td></tr></tbody></table>
<table><caption>TABLE 7 – Description des types d'entités nommées utilisées dans nos expériences sur l'anglais, suite.</caption><thead><tr><td>Etiquette</td><td>Nom du type (en singulier)</td><td>Description</td></tr></thead><tbody><tr><td>PHEN</td><td>phenomema (a phenomenon)</td><td>These are words that refer to a phenomenon that occurs naturally or as a result of an activity, such as a biologic function.</td></tr><tr><td>PHYS</td><td>physiology (a physiology)</td><td>These are words that refer to any element that contributes to the mechanical, physical and biochemical functioning or organization of living organisms and their components.</td></tr><tr><td>PROC</td><td>procedures (a procedure)</td><td>These are words that refer to an activity or a procedure that contributes to the diagnosis or treatment of patients, the information of patients, the training of medical personnel or biomedical research.</td></tr><tr><td>EVENT</td><td>events (an event)</td><td>These are words that refer to actions, states, and circumstances that are relevant to the clinical history of a patient such as pathologies and symptoms, or more generally words like "enters", "reports" or "continue".</td></tr><tr><td>TIMEX3</td><td>time expressions (a time expression)</td><td>These are time expressions such as dates, times, durations, frequencies, or intervals.</td></tr><tr><td>RML</td><td>results and measurements (a result or a measurement)</td><td>These are test results, results of laboratory analyses, formulaic measurements, and measure values.</td></tr><tr><td>ACTOR</td><td>actors (an actor)</td><td>These are words that refer patients, healthcare professionals, or other actors relevant to the clinical history of a patient.</td></tr><tr><td>Abbreviation</td><td>abbreviations (an abbreviation)</td><td>These are words that refer to abbreviations.</td></tr><tr><td>Body Part</td><td>body parts (a body part)</td><td>These are words that refer to organs and anatomical parts of persons.</td></tr><tr><td>Clinical Finding</td><td>clinical findings (a clinical finding)</td><td>These are words that refer to observations, judgments or evaluations made about patients.</td></tr><tr><td>Diagnostic Procedure</td><td>diagnostic procedures (a diagnostic procedure)</td><td>These are words that refer to tests that allow determining the condition of the individual.</td></tr><tr><td>Disease</td><td>diseases (a disease)</td><td>These are words that describe an alteration of the physiological state in one or several parts of the body, due to generally known causes, manifested by characteristic symptoms and signs, and whose evolution is more or less predictable.</td></tr><tr><td>Family Member</td><td>family members (a family member)</td><td>These are words that refer to family members.</td></tr><tr><td>Laboratory or Test Result</td><td>laboratory or test results (a laboratory or test result)</td><td>These are words that refer to any measurement or evaluation obtained from a diagnostic support examination.</td></tr><tr><td>Laboratory Procedure</td><td>laboratory procedures (a laboratory procedure)</td><td>These are words that refer to tests that are performed on various patient samples that allow diagnosing diseases by detecting biomarkers and other parameters. Blood, urine, and other fluids and tissues that use biochemical, microbiological and/or cytological methods are considered.</td></tr><tr><td>Medication</td><td>medications (a medication)</td><td>These are words that refer to medications or drugs used in the treatment and/or prevention of diseases, including brand names and generics, as well as names for groups of medications.</td></tr><tr><td>Procedure</td><td>procedures (a procedure)</td><td>These are words that refer to activities derived from the care and care of patients.</td></tr><tr><td>Sign or Symptom</td><td>signs or symptoms (a sign or symptom)</td><td>These are words that refer to manifestations of a disease, determined by medical examination or perceived and expressed by the patient.</td></tr><tr><td>Therapeutic Procedure</td><td>therapeutic procedures (a therapeutic procedure)</td><td>These are words that refer to activities or treatments that are used to prevent, repair, eliminate or cure the individual's disease.</td></tr><tr><td>Composite Mention</td><td>composite mentions of diseases (a composite mention of diseases)</td><td>These are words that refer to mentions of multiple diseases, such as "colorectal, endometrial, and ovarian cancers".</td></tr><tr><td>Disease Class</td><td>disease classes (a disease class)</td><td>These are words that refer to classes of diseases, such as "an autosomal recessive disease".</td></tr><tr><td>Modifier</td><td>modifiers (a modifier of diseases)</td><td>These are words that refer to modifiers of diseases, such as "primary" or "C7-deficient".</td></tr><tr><td>Specific Disease</td><td>diseases (a disease)</td><td>These are words that refer to specific diseases, such as "diastrophic dysplasia".</td></tr></tbody></table>
<table><caption>TABLE 8 – Description des types d'entités nommées utilisées dans nos expériences sur le français.</caption><thead><tr><td>Etiquette</td><td>Nom du type (en singulier)</td><td>Description</td></tr></thead><tbody><tr><td>PER</td><td>de noms de personnes (un nom de personne)</td><td>Il s'agit des noms de personnes, qu'elles soient réelles ou fictives.</td></tr><tr><td>FAC</td><td>de productions humaines (une production humaine)</td><td>Il s'agit des noms de structures faites par les humains comme des infrastructures, des bâtiments ou des monuments.</td></tr><tr><td>LOC</td><td>de lieux (un lieu)</td><td>Il s'agit des noms de lieux comme des endroits, villes, pays ou régions.</td></tr><tr><td>ORG</td><td>d'organisations (une organisation)</td><td>Il s'agit des noms d'organisations comme des entreprises, des agences ou des partis politiques.</td></tr><tr><td>FUNC</td><td>de fonctions et métiers (une fonction ou un métier)</td><td>Il s'agit de mots qui se rapportent à une activité professionnelle.</td></tr><tr><td>ANAT</td><td>d'anatomie (une partie du corps)</td><td>Il s'agit d'une entité se rapportant à la structure du corps humain, ses organes et leur position. Il s'agit principalement des parties du corpus ou organes, des appareils, des tissus, des cellules, des substances corporelles et des organismes embryonaires.</td></tr><tr><td>CHEM</td><td>de médicaments et substances chimiques (un médicament ou une substance chimique)</td><td>Il s'agit d'une substance ou composition présentant des propriétés chimiques caractéristiques, en particulier des propriétés curatives ou préventives à l'égard des maladies humaines ou animales. Il s'agit principalement des médicaments disponibles en pharmacie, des antibiotiques, des proteines, des hormones, des substances dangereuses, des enzymes.</td></tr><tr><td>DEVI</td><td>de matériel (un matériel)</td><td>Il s'agit d'un matériel utilisé pour administrer des soins ou effectuer des recherches médicales.</td></tr><tr><td>DISO</td><td>de problèmes médicaux (un problème médical)</td><td>Il s'agit d'une altération de la morphologie, des fonctions, ou de la santé d'un organisme vivant, animal ou végétal. Il peut s'agir de malformations, de maladies, de blessure, de signe ou symptome ou d'une observation.</td></tr><tr><td>GEOG</td><td>de zones géographiques (une zone géographique)</td><td>Il s'agit d'un pays, une région, ou une ville.</td></tr><tr><td>LIVB</td><td>d'êtres vivants (un être vivant)</td><td>Il s'agit d'un être vivant ou groupe d'êtres vivants. Il peut s'agir d'une personne ou d'un groupe de personnes, d'une plante ou d'une catégorie de végétaux, d'un animal ou d'une catégorie d'animaux.</td></tr><tr><td>OBJC</td><td>d'objets (un objet)</td><td>Il s'agit de tout ce qui, animé ou inanimé, affecte les sens. Ici, il s'agit principalement d'objets physiques manufacturés.</td></tr><tr><td>PHEN</td><td>de phénomènes (un phénomène)</td><td>Il s'agit d'un phénomène qui se produit naturellement ou à la suite d'une activité. Il s'agit principalement de fonctions biologiques.</td></tr><tr><td>PHYS</td><td>de physiologie (une physiologie)</td><td>Il s'agit de tout élément contribuant au fonctionnement ou à l'organisation mécanique, physique et biochimique des organismes vivants et de leurs composants.</td></tr><tr><td>PROC</td><td>de procédures (une procédure)</td><td>Il s'agit d'une activité ou procédure contribuant au diagnostic ou au traitement des patients, à l'information des patients, la formation du personnel médical ou à la recherche biomédicale.</td></tr><tr><td>EVENT</td><td>d'événements (un événement)</td><td>Il s'agit d'une action, d'un état ou d'une circonstance qui est pertinent pour l'histoire clinique d'un patient. Il peut s'agir de pathologies et symptômes, ou plus généralement de mots comme "entre", "rapporte" ou "continue".</td></tr><tr><td>TIMEX3</td><td>d'expressions temporelles (une expression temporelle)</td><td>Il s'agit d'expressions temporelles comme des dates, heures, durées, fréquences, ou intervalles.</td></tr><tr><td>RML</td><td>de résultats et mesures (un résultat ou une mesure)</td><td>Il s'agit de résultats d'analyses de laboratoire, de mesures formelles, et de valeurs de mesure.</td></tr><tr><td>ACTOR</td><td>d'acteurs (un acteur)</td><td>Il s'agit de patients, de professionnels de santé, ou d'autres acteurs pertinents pour l'histoire clinique d'un patient.</td></tr></tbody></table>
<table><caption>TABLE 9 – Description des types d’entités nommées utilisées dans nos expériences sur l’espagnol.</caption><thead><tr><td>Etiquette</td><td>Nom du type (en singulier)</td><td>Description</td></tr></thead><tbody><tr><td>PER</td><td>nombres de personas (un nombre de persona)</td><td>Estos son nombres de personas, ya sean reales o personajes ficticios.</td></tr><tr><td>FAC</td><td>instalaciones (una instalación)</td><td>Estos son nombres de estructuras hechas por el hombre como infraestructura, edificios y monumentos.</td></tr><tr><td>LOC</td><td>lugares (un lugar)</td><td>Estos son nombres de ubicaciones geográficas como hitos, ciudades, países y regiones.</td></tr><tr><td>ORG</td><td>organizaciones (una organización)</td><td>Estos son nombres de organizaciones como empresas, agencias y partidos políticos.</td></tr><tr><td>ACTI</td><td>actividades y comportamientos (una actividad o comportamiento)</td><td>Estos son palabras que se refieren a actividades humanas, comportamientos o eventos, así como actividades gubernamentales o regulatorias.</td></tr><tr><td>ANAT</td><td>anatomía (una anatomía)</td><td>Estos son palabras que se refieren a la estructura del cuerpo humano, sus órganos y su posición, como partes del cuerpo u órganos, sistemas, tejidos, células, sustancias corporales y estructuras embrionarias.</td></tr><tr><td>CHEM</td><td>productos químicos y medicamentos (un producto químico o un medicamento)</td><td>Estos son palabras que se refieren a una sustancia o composición que tiene una característica química, especialmente una propiedad curativa o preventiva con respecto a las enfermedades humanas o animales, como medicamentos, antibióticos, proteínas, hormonas, enzimas y sustancias peligrosas o venenosas.</td></tr><tr><td>CONC</td><td>conceptos e ideas (un concepto o una idea)</td><td>Estos son palabras que se refieren a un concepto o una idea, como una clasificación, un producto intelectual, un idioma, una ley o un reglamento.</td></tr><tr><td>DEVI</td><td>dispositivos médicos (un dispositivo)</td><td>Estos son palabras que se refieren a un dispositivo médico utilizado para administrar atención o realizar investigaciones médicas.</td></tr><tr><td>DISO</td><td>trastornos (un trastorno)</td><td>Estos son palabras que se refieren a una alteración de la morfología, la función o la salud de un organismo vivo, animal o vegetal, como anomalías congénitas, disfunción, lesiones, signos o síntomas u observaciones.</td></tr><tr><td>GENE</td><td>genes y secuencias moleculares (un gen o una secuencia molecular)</td><td>Estos son palabras que se refieren a un gen, un genoma o una secuencia molecular.</td></tr><tr><td>GEOG</td><td>áreas geográficas (un área geográfica)</td><td>Estos son palabras que se refieren a un país, una región o una ciudad.</td></tr><tr><td>LIVB</td><td>seres vivos (un ser vivo)</td><td>Estos son palabras que se refieren a un ser vivo o un grupo de seres vivos, como una persona o un grupo de personas, una planta o una categoría de plantas, un animal o una categoría de animales.</td></tr><tr><td>OBJC</td><td>objetos (un objeto)</td><td>Estos son palabras que se refieren a cualquier cosa animada o inanimada que afecte los sentidos, como objetos físicos fabricados.</td></tr><tr><td>OCCU</td><td>ocupaciones (una ocupación)</td><td>Estos son palabras que se refieren a una ocupación o disciplina profesional.</td></tr><tr><td>ORGA</td><td>organizaciones (una organización)</td><td>Estos son palabras que se refieren a una organización, por ejemplo organizaciones relacionadas con la salud.</td></tr><tr><td>PHEN</td><td>fenómenos (un fenómeno)</td><td>Estos son palabras que se refieren a un fenómeno que ocurre naturalmente o como resultado de una actividad, por ejemplo una función biológica.</td></tr></tbody></table>
<table><caption>TABLE 10 – Description des types d'entités nommées utilisées dans nos expériences sur l'espagnol, suite.</caption><thead><tr><td>Etiquette</td><td>Nom du type (en singulier)</td><td>Description</td></tr></thead><tbody><tr><td>PHYS</td><td>fisiología (una fisiología)</td><td>Estas son palabras que se refieren a cualquier elemento que contribuya al funcionamiento mecánico, físico y bioquímico o la organización de los organismos vivos y sus componentes.</td></tr><tr><td>PROC</td><td>procedimientos (un procedimiento)</td><td>Estas son palabras que se refieren a una actividad o un procedimiento que contribuye al diagnóstico o tratamiento de pacientes, la información de pacientes, la capacitación del personal médico o la investigación biomédica.</td></tr><tr><td>EVENT</td><td>eventos (un evento)</td><td>Estas son palabras que se refieren a acciones, estados y circunstancias que son relevantes para la historia clínica de un paciente, como patologías y síntomas, o más generalmente palabras como "entra", "reporta" o "continúa".</td></tr><tr><td>TIMEX3</td><td>expresiones de tiempo (una expresión de tiempo)</td><td>Estas son expresiones de tiempo como fechas, horas, duraciones, frecuencias o intervalos.</td></tr><tr><td>RML</td><td>resultados y mediciones (un resultado o una medida)</td><td>Estos son resultados de análisis de laboratorio, mediciones formales y valores de medición.</td></tr><tr><td>ACTOR</td><td>actores (un actor)</td><td>Estas son palabras que se refieren a pacientes, profesionales de la salud u otros actores relevantes para la historia clínica de un paciente.</td></tr><tr><td>Abbreviation</td><td>abreviaciones (una abreviación)</td><td>Estas son los casos de siglas y acrónimos.</td></tr><tr><td>Body Part</td><td>partes del cuerpo (una parte del cuerpo)</td><td>Estas son palabras que se refieren a órganos y partes anatómicas de personas.</td></tr><tr><td>Clinical Finding</td><td>hallazgos clínicos (un hallazgo clínico)</td><td>Estas son palabras que se refieren a observaciones, juicios o evaluaciones que se hacen sobre los pacientes.</td></tr><tr><td>Diagnostic Procedure</td><td>procedimientos diagnósticos (un procedimiento diagnóstico)</td><td>Estas son palabras que se refieren a exámenes que permiten determinar la condición del individuo.</td></tr><tr><td>Disease</td><td>enfermedades (una enfermedad)</td><td>Estas son palabras que describen una alteración del estado fisiológico en una o varias partes del cuerpo, por causas en general conocidas, manifestada por síntomas y signos característicos, y cuya evolución es más o menos previsible.</td></tr><tr><td>Family Member</td><td>miembros de la familia (un miembro de la familia)</td><td>Estas son palabras que se refieren a miembros de la familia.</td></tr><tr><td>Laboratory or Test Result</td><td>resultados de exámenes de laboratorio u otras pruebas (un resultado de un examen de laboratorio u otra prueba)</td><td>Estas son palabras que se refieren a cualquier medición o evaluación obtenida a partir de un exámen de apoyo diagnóstico.</td></tr><tr><td>Laboratory Procedure</td><td>procedimientos de laboratorio (un procedimiento de laboratorio)</td><td>Estas son palabras que se refieren a exámenes que se realizan en diversas muestras de pacientes que permiten diagnosticar enfermedades mediante la detección de biomarcadores y otros parámetros. Se consideran los análisis de sangre, orina, y otros fluidos y tejidos que emplean métodos bioquímicos, microbiológicos y/o citológicos.</td></tr><tr><td>Medication</td><td>medicamentos o drogas (un medicamento o una droga)</td><td>Estas son palabras que se refieren a medicamentos o drogas empleados en el tratamiento y/o prevención de enfermedades, incluyendo marcas comerciales y genéricos, así como también nombres para grupos de medicamentos.</td></tr><tr><td>Procedure</td><td>procedimientos (un procedimiento)</td><td>Estas son palabras que se refieren a actividades derivadas de la atención y el cuidado de los pacientes.</td></tr><tr><td>Sign or Symptom</td><td>signos o síntomas (un signo o un síntoma)</td><td>Estas son palabras que se refieren a manifestaciones de una enfermedad, determinadas mediante la exploración médica o percibidas y expresadas por el paciente.</td></tr><tr><td>Therapeutic Procedure</td><td>procedimientos terapéuticos (un procedimiento terapéutico)</td><td>Estas son palabras que se refieren a actividades o tratamientos que es empleado para prevenir, reparar, eliminar o curar la enfermedad del individuo.</td></tr></tbody></table>
## 5.4 Empreinte carbone

<table><caption>TABLE 11 – Ce tableau présente les émissions carbone (en g) de l'optimisation de chaque modèle sur le jeu de validation de chaque corpus. Pour les CLMs, il s'agit du greedy search sur les potentiels caractéristiques du prompt via la validation croisée. Pour les MLM, cela correspond au fine-tuning des paramètres du modèle (et à l'apprentissage des couches de classification introduites).</caption><thead><tr><th rowspan="2">#</th><th rowspan="2">Modèle</th><th colspan="5">Anglais</th><th colspan="4">Français</th><th colspan="3">Espagnol</th></tr><tr><th>WikiNER</th><th>CoNLL2003</th><th>E3C</th><th>n2c2</th><th>NCBI</th><th>WikiNER</th><th>QFP</th><th>E3C</th><th>EMEA</th><th>MEDLINE</th><th>WikiNER</th><th>CoNLL2002</th><th>E3C</th><th>CWL</th></tr></thead><tbody><tr><td colspan="17">Approches few-shot</td></tr><tr><td rowspan="10">Causal</td><td>1</td><td>LLAMA-2-70B</td><td>46</td><td>44</td><td>126</td><td>233</td><td>54</td><td>85</td><td>131</td><td>129</td><td>273</td><td>284</td><td>41</td><td>76</td><td>114</td><td>344</td></tr><tr><td>2</td><td>Mistral-7B</td><td>4</td><td>6</td><td>12</td><td>24</td><td>8</td><td>5</td><td>8</td><td>14</td><td>13</td><td>25</td><td>7</td><td>5</td><td>11</td><td>27</td></tr><tr><td>3</td><td>BLOOM-7B1</td><td>4</td><td>6</td><td>10</td><td>26</td><td>9</td><td>8</td><td>13</td><td>9</td><td>26</td><td>20</td><td>4</td><td>8</td><td>8</td><td>18</td></tr><tr><td>4</td><td>Falcon-40B</td><td>49</td><td>45</td><td>56</td><td>176</td><td>45</td><td>31</td><td>58</td><td>75</td><td>162</td><td>129</td><td>33</td><td>25</td><td>82</td><td>99</td></tr><tr><td>5</td><td>GPT-J-6B</td><td>7</td><td>6</td><td>8</td><td>23</td><td>7</td><td>5</td><td>8</td><td>13</td><td>21</td><td>17</td><td>6</td><td>6</td><td>13</td><td>28</td></tr><tr><td>6</td><td>OPT-66B</td><td>73</td><td>50</td><td>120</td><td>253</td><td>96</td><td>38</td><td>64</td><td>138</td><td>273</td><td>240</td><td>57</td><td>52</td><td>106</td><td>247</td></tr><tr><td>7</td><td>Vicuna-13B</td><td>10</td><td>11</td><td>20</td><td>52</td><td>11</td><td>11</td><td>12</td><td>18</td><td>33</td><td>40</td><td>10</td><td>11</td><td>22</td><td>51</td></tr><tr><td>8</td><td>Vicuna-7B</td><td>6</td><td>8</td><td>14</td><td>17</td><td>6</td><td>5</td><td>10</td><td>10</td><td>24</td><td>14</td><td>8</td><td>6</td><td>13</td><td>27</td></tr><tr><td>9</td><td>Medalpaca-7B</td><td>8</td><td>4</td><td>17</td><td>24</td><td>10</td><td>7</td><td>14</td><td>11</td><td>19</td><td>21</td><td>5</td><td>8</td><td>15</td><td>26</td></tr><tr><td>10</td><td>Vigogne-13B</td><td>14</td><td>14</td><td>29</td><td>37</td><td>11</td><td>13</td><td>20</td><td>26</td><td>36</td><td>39</td><td>11</td><td>14</td><td>32</td><td>44</td></tr><tr><td rowspan="10">Masked</td><td>11</td><td>mBERT</td><td>2</td><td>1</td><td>2</td><td>2</td><td>2</td><td>2</td><td>2</td><td>2</td><td>1</td><td>1</td><td>1</td><td>2</td><td>1</td><td>2</td></tr><tr><td>12</td><td>XLM-R-large</td><td>2</td><td>2</td><td>2</td><td>1</td><td>2</td><td>2</td><td>2</td><td>2</td><td>2</td><td>2</td><td>1</td><td>1</td><td>1</td><td>2</td></tr><tr><td>13</td><td>BERT-large</td><td>2</td><td>1</td><td>2</td><td>2</td><td>2</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td></tr><tr><td>14</td><td>RoBERTa-large</td><td>1</td><td>2</td><td>2</td><td>2</td><td>2</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td></tr><tr><td>15</td><td>Bio_ClinicalBERT</td><td>2</td><td>2</td><td>1</td><td>2</td><td>1</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td></tr><tr><td>16</td><td>ClinicalBERT</td><td>1</td><td>1</td><td>2</td><td>2</td><td>1</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td></tr><tr><td>17</td><td>MedBERT</td><td>2</td><td>2</td><td>1</td><td>1</td><td>1</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td></tr><tr><td>18</td><td>CamemBERT-large</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>1</td><td>1</td><td>1</td><td>2</td><td>2</td><td>-</td><td>-</td><td>-</td><td>-</td></tr><tr><td>19</td><td>FlauBERT-large</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>2</td><td>2</td><td>2</td><td>2</td><td>-</td><td>-</td><td>-</td><td>-</td></tr><tr><td>20</td><td>DrBERT-4GB</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>2</td><td>2</td><td>2</td><td>2</td><td>2</td><td>-</td><td>-</td><td>-</td><td>-</td></tr><tr><td>21</td><td>CamemBERT-bio</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>1</td><td>2</td><td>2</td><td>2</td><td>2</td><td>-</td><td>-</td><td>-</td><td>-</td></tr><tr><td>23</td><td>BETO</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>2</td><td>1</td><td>1</td><td>1</td></tr><tr><td>23</td><td>PatanaBERT</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>2</td><td>2</td><td>2</td><td>2</td></tr><tr><td>24</td><td>TulioBERT</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>1</td><td>2</td><td>2</td><td>1</td></tr><tr><td>25</td><td>BSC-BioEHR</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>2</td><td>2</td><td>2</td><td>2</td></tr><tr><td>26</td><td>BSC-Bio</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>2</td><td>2</td><td>2</td><td>2</td></tr><tr><td colspan="17">Skyline en utilisant toutes les données à disposition</td></tr><tr><td></td><td>RoBERTa-large</td><td>647</td><td>68</td><td>5</td><td>12</td><td>24</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td></tr><tr><td></td><td>CamemBERT-large</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>595</td><td>15</td><td>4</td><td>5</td><td>8</td><td>-</td><td>-</td><td>-</td><td>-</td></tr><tr><td></td><td>BETO</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>579</td><td>41</td><td>3</td><td>21</td></tr></tbody></table>
<table><caption>TABLE 12 – Ce tableau présente les émissions carbone (en g) de l’inférence, en utilisant chaque modèle, sur le jeu de test de chaque corpus.</caption><thead><tr><th rowspan="2">#</th><th rowspan="2">Modèle</th><th colspan="5">Anglais</th><th colspan="4">Français</th><th colspan="3">Espagnol</th></tr><tr><th>WikiNER</th><th>CoNLL2003</th><th>E3C</th><th>n2c2</th><th>NCBI</th><th>WikiNER</th><th>QFP</th><th>E3C</th><th>EMEA</th><th>MEDLINE</th><th>WikiNER</th><th>CoNLL2002</th><th>E3C</th><th>CWL</th></tr></thead><tbody><tr><td colspan="16">Approches few-shot</td></tr><tr><td rowspan="10">Causal</td><td>1</td><td>LLAMA-2-70B</td><td>812</td><td>147</td><td>36</td><td>196</td><td>33</td><td>508</td><td>11</td><td>13</td><td>92</td><td>47</td><td>514</td><td>201</td><td>11</td><td>198</td></tr><tr><td>2</td><td>Mistral-7B</td><td>234</td><td>35</td><td>8</td><td>59</td><td>21</td><td>148</td><td>3</td><td>4</td><td>27</td><td>20</td><td>261</td><td>50</td><td>2</td><td>32</td></tr><tr><td>3</td><td>BLOOM-7B1</td><td>220</td><td>33</td><td>8</td><td>44</td><td>16</td><td>255</td><td>3</td><td>5</td><td>38</td><td>29</td><td>261</td><td>47</td><td>2</td><td>46</td></tr><tr><td>4</td><td>Falcon-40B</td><td>600</td><td>109</td><td>26</td><td>144</td><td>46</td><td>722</td><td>9</td><td>19</td><td>155</td><td>70</td><td>752</td><td>154</td><td>9</td><td>157</td></tr><tr><td>5</td><td>GPT-J-6B</td><td>146</td><td>17</td><td>4</td><td>53</td><td>20</td><td>245</td><td>2</td><td>6</td><td>14</td><td>26</td><td>154</td><td>40</td><td>3</td><td>53</td></tr><tr><td>6</td><td>OPT-6B</td><td>765</td><td>139</td><td>33</td><td>185</td><td>63</td><td>971</td><td>12</td><td>27</td><td>179</td><td>93</td><td>993</td><td>196</td><td>12</td><td>217</td></tr><tr><td>7</td><td>Vicuna-13B</td><td>314</td><td>47</td><td>11</td><td>63</td><td>24</td><td>363</td><td>5</td><td>8</td><td>61</td><td>46</td><td>502</td><td>67</td><td>4</td><td>74</td></tr><tr><td>8</td><td>Vicuna-7B</td><td>146</td><td>17</td><td>4</td><td>53</td><td>20</td><td>246</td><td>2</td><td>6</td><td>14</td><td>26</td><td>155</td><td>65</td><td>3</td><td>53</td></tr><tr><td>9</td><td>Medalpaca-7B</td><td>192</td><td>24</td><td>5</td><td>39</td><td>14</td><td>98</td><td>2</td><td>2</td><td>17</td><td>13</td><td>172</td><td>53</td><td>1</td><td>21</td></tr><tr><td>10</td><td>Vigogne-13B</td><td>322</td><td>49</td><td>11</td><td>65</td><td>24</td><td>245</td><td>5</td><td>6</td><td>44</td><td>33</td><td>361</td><td>68</td><td>3</td><td>66</td></tr><tr><td rowspan="10">Masked</td><td>11</td><td>mBERT</td><td>14</td><td>4</td><td>&lt;1</td><td>2</td><td>&lt;1</td><td>15</td><td>1</td><td>&lt;1</td><td>1</td><td>1</td><td>13</td><td>2</td><td>&lt;1</td><td>2</td></tr><tr><td>12</td><td>XLM-R-large</td><td>14</td><td>4</td><td>&lt;1</td><td>2</td><td>&lt;1</td><td>15</td><td>1</td><td>&lt;1</td><td>1</td><td>1</td><td>13</td><td>2</td><td>&lt;1</td><td>2</td></tr><tr><td>13</td><td>BERT-large</td><td>14</td><td>4</td><td>&lt;1</td><td>2</td><td>&lt;1</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td></tr><tr><td>14</td><td>RoBERTa-large</td><td>14</td><td>4</td><td>&lt;1</td><td>2</td><td>&lt;1</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td></tr><tr><td>15</td><td>Bio_ClinicalBERT</td><td>14</td><td>4</td><td>&lt;1</td><td>2</td><td>&lt;1</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td></tr><tr><td>16</td><td>ClinicalBERT</td><td>14</td><td>4</td><td>&lt;1</td><td>2</td><td>&lt;1</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td></tr><tr><td>17</td><td>MedBERT</td><td>14</td><td>4</td><td>&lt;1</td><td>2</td><td>&lt;1</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td></tr><tr><td>18</td><td>CamemBERT-large</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>15</td><td>1</td><td>&lt;1</td><td>1</td><td>1</td><td>-</td><td>-</td><td>-</td><td>-</td></tr><tr><td>19</td><td>FlauBERT-large</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>15</td><td>1</td><td>&lt;1</td><td>1</td><td>1</td><td>-</td><td>-</td><td>-</td><td>-</td></tr><tr><td>20</td><td>DrBERT-4GB</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>17</td><td>1</td><td>&lt;1</td><td>1</td><td>1</td><td>-</td><td>-</td><td>-</td><td>-</td></tr><tr><td>21</td><td>CamemBERT-bio</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>15</td><td>1</td><td>&lt;1</td><td>1</td><td>1</td><td>-</td><td>-</td><td>-</td><td>-</td></tr><tr><td>22</td><td>BETO</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>13</td><td>2</td><td>&lt;1</td><td>2</td></tr><tr><td>23</td><td>PatanaBERT</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>13</td><td>2</td><td>&lt;1</td><td>2</td></tr><tr><td>24</td><td>TulioBERT</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>13</td><td>2</td><td>&lt;1</td><td>2</td></tr><tr><td>25</td><td>BSC-BioEHR</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>13</td><td>2</td><td>&lt;1</td><td>2</td></tr><tr><td>26</td><td>BSC-Bio</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>13</td><td>2</td><td>&lt;1</td><td>2</td></tr><tr><td colspan="16">Skyline en utilisant toutes les données à disposition</td></tr><tr><td></td><td>RoBERTa-large</td><td>14</td><td>4</td><td>&lt;1</td><td>2</td><td>&lt;1</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td></tr><tr><td></td><td>CamemBERT-large</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>15</td><td>1</td><td>&lt;1</td><td>1</td><td>1</td><td>-</td><td>-</td><td>-</td><td>-</td></tr><tr><td></td><td>BETO</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>13</td><td>2</td><td>&lt;1</td><td>2</td></tr></tbody></table>