La tâche de classification de spams inclut les jeux de données youtube (Alberto et al., 2015) ou sms (Almeida & Hidalgo, 2012). La tâches de classification de relations inclut les jeux de données tels que semeval (Hendrickx et al., 2010). La liste complète des jeux de donnée est en annexe B (Tableau 7).

Les jeux de données sélectionnés sont équilibrés en termes de classes. On considère un jeu de données comme déséquilibré si la classe majoritaire est au moins 2 fois plus grande que la classe minoritaire. Ainsi nous avons choisi le macro F1-score pour les jeux de données déséquilibrés et l'exactitude pour le reste.

**Modèles** Notre étude évalue un total de 72 modèles uniques. Nous sélectionnons à la fois des modèles encodeur-décodeur (comme T5 (Raffel et al., 2020), mT0 (Muennighoff et al., 2023) et Bart (Lewis et al., 2020)) et des modèles uniquement décodeur causal (tels que Llama (Touvron et al., 2023) et Falcon (Penedo et al., 2023)). Nous optons pour différentes tailles pour les mêmes modèles, allant de quelques millions à des centaines de milliards de paramètres. Par exemple, le modèle Bart possède 255M ou 561M de paramètres, Falcon existe en version 7B ou 40B<fnref n="1" />. Ces modèles ont été choisis en fonction de leur prévalence dans la littérature, de leur efficacité rapportée sur des tâches similaires et du fait que des versions adaptées aux instructions étaient disponibles pour certains d'entre eux. L'ajustement sur les instructions fait référence à la stratégie de fine-tuning d'un modèle de langue sur des jeux de données d'instructions (Longpre et al., 2023).

La liste complète des modèles est en annexe A (Tableaux 5 et 6).

**Amorces (Prompts)** Les prompts de nos expériences sont issues de la littérature et conçu pour être simples et répondu par un seul token par le modèle de langue. Les amorces sont soit des traductions de fonctions d'étiquetage issues du benchmark WRENCH (Zhang et al., 2021), soit créées de zéro dans le même style. Elles sont adaptées à chaque tâche, *par exemple* les amorces pour le jeu de données *sms* sont formulées différemment de celles pour le jeu de données *bbcnews*. Ceci permet d'assurer la pertinence par rapport au domaine et maximiser la compréhension du modèle. La liste des amorces par jeux de données est en annexe C, tableau 9.

Ainsi pour *sms*, le couple amorce/verbalisateur est :

Amorce (Prompt)
Is the following message spam? Answer by yes or no.\n"{TEXT}"
Verbalisateur Texte/Classe
{1:"yes", 0:"no"}

Pour bbcnews, le couple amorce/verbalisateur est :

Amorce (Prompt)
"{TEXT}" is about "
Verbalisateur Texte/Classe
{0: "tech", 1: "business", 2: "sport", 3: "entertainment", 4: "politics"}

<footnote n="1">1. Nous n'avons pas testé Falcon 180B, car il n'était pas disponible pendant nos expériences</footnote>
**Scoring Functions** Dans la classification fondée sur les amorces (prompts), l'utilisation d'un ver-
balisateur associant des tokens aux étiquettes de classe est cruciale pour une classification précise.
Comme suggéré par (Holtzman et al., 2022), de nombreuses séquences valides peuvent représenter le
même concept, ceci est appelé *compétition pour la forme de surface*. Par exemple, "+", "positif",
"Plus positif que l'opposé" pourraient être utilisés pour représenter le même concept de po-
sitivité pour la tâche d'analyse des sentiments. Comme cette compétition existe, la manière dont
les verbalisateurs sont conçus influence grandement l'efficacité des approche par prompting pour
la classification. Zhao et al. (2023b) utilisent le k-Plus Proches Voisins pour la construction de
verbalisateur et augmentent leurs verbalisateurs fondés sur la similarité des embeddings.

Dans cette étude nous utilisons plusieurs fonctions de scoring pour évaluer leur impact sur les performances de nos modèles, dont celles proposées par (Holtzman et al., 2022).

<table>
  <tr>
    <td>Probability</td>
    <td>arg max<sub>i</sub> P(y<sub>i</sub> | x')</td>
  </tr>
  <tr>
    <td>DCPMI</td>
    <td>arg max<sub>i</sub> P(y<sub>i</sub> | x' | domain_conditional)</td>
  </tr>
  <tr>
    <td>PMI</td>
    <td>arg max<sub>i</sub> P(y<sub>i</sub> | x' | domain_unconditional)</td>
  </tr>
  <tr>
    <td>Similarity</td>
    <td>arg max<sub>c<sub>i</sub> &isin; C</sub> cos(e(t<sub>0</sub>), e(y<sub>i</sub>))<sup>2</sup></td>
  </tr>
</table>

**Outils pour l'Analyse Statistique** Les trois principaux outils statistiques utilisés sont détaillés ci-après :

**Le Biweight Midcorrelation Coefficient** est une alternative robuste au coefficient de corrélation de Pearson pour quantifier l'association entre deux échantillons. Il est conçu pour être moins sensible aux valeurs aberrantes que d'autres coefficients tels que celui de Pearson.

**Analyse de Covariance - ANCOVA** combine les techniques d'ANOVA et de régression pour évaluer si les moyennes d'une variable dépendante sont égales à travers les niveaux d'une variable indépendante catégorielle tout en contrôlant statistiquement pour les effets d'autres variables continues (covariables).

**Test de Kruskal-Wallis** est une méthode non paramétrique pour tester si des échantillons proviennent de la même distribution. Nous l'avons utilisé comme une méthode non paramétrique, qui ne suppose pas une distribution normale des résidus, contrairement à l'analyse de variance standard à un facteur.

4 Résultats

Sur les jeux de données mentionnés précédemment, nous comparons la performance des modèles de
langue et nous étudions : 1) la relation entre les performances des modèles et leurs tailles (le nombre
de paramètres), 2) les performances et leurs architectures, et 3) les performances et si le modèle a
été fine-tuné sur des jeux de données d'instructions. Ensuite, pour les deux types d'architectures
(encodeur-décodeur et décodeur seul), nous étudions l'impact de l'ajustement sur des instructions.

Le tableau 1 présente les scores de l'état de l'art pour chaque jeu de données <fnref n="3" />.

<footnote n="3">3. Les jeux de données agnews, imdb, yelp, trec sont inclus dans l'entraîement du modèle mT0. Nous ne considérons donc pas ses scores sur ces jeux de données.</footnote>
<table><thead><tr><th>dataset</th><th>SOTA</th><th>Classe</th><th>Maj.</th><th>Meilleur Score</th><th>Modèle</th><th># Paramètres</th></tr></thead><tbody><tr><td>agnews</td><td>0.625</td><td>0.266</td><td></td><td><strong>0.734</strong></td><td>MBZUAI/LaMini-GPT-124M</td><td>163.0 M</td></tr><tr><td>bbcnews</td><td>NaN</td><td>0.236</td><td>0.869</td><td></td><td>bigscience/mt0-large</td><td>1.2 B</td></tr><tr><td>cdr</td><td>NaN</td><td>0.676</td><td>0.717</td><td></td><td>bigscience/bloomz-3b</td><td>3.6 B</td></tr><tr><td>chemprot</td><td>0.172</td><td>0.049</td><td></td><td><strong>0.192</strong></td><td>bigscience/bloomz-3b</td><td>3.6 B</td></tr><tr><td>ethos</td><td>0.667</td><td>0.566</td><td>0.597</td><td></td><td>bigscience/bloomz-1b1</td><td>1.5 B</td></tr><tr><td>financial_phrasebank</td><td>0.528</td><td>0.254</td><td></td><td><strong>0.744</strong></td><td>MBZUAI/LaMini-GPT-774M</td><td>838.4 M</td></tr><tr><td>imdb</td><td>0.718</td><td>0.500</td><td></td><td><strong>0.933</strong></td><td>MBZUAI/LaMini-Flan-T5-783M</td><td>783.2 M</td></tr><tr><td>semeval</td><td>0.435</td><td>0.054</td><td>0.270</td><td></td><td>bigscience/mt0-xx1</td><td>12.9 B</td></tr><tr><td>sms</td><td>0.340</td><td>0.464</td><td></td><td><strong>0.699</strong></td><td>mosaicml/mpt-7b</td><td>6.6 B</td></tr><tr><td>spouse</td><td>0.630</td><td>0.479</td><td>0.521</td><td></td><td>gpt2</td><td>163.0 M</td></tr><tr><td>sst-2</td><td>0.710</td><td>0.501</td><td></td><td><strong>0.956</strong></td><td>bigscience/bloomz-3b</td><td>3.6 B</td></tr><tr><td>sst-5</td><td>0.598</td><td>0.286</td><td>0.485</td><td></td><td>tiiuae/falcon-40b-instruct</td><td>41.8 B</td></tr><tr><td>trec</td><td>NaN</td><td>0.072</td><td>0.324</td><td></td><td>mosaicml/mpt-7b-instruct</td><td>6.6 B</td></tr><tr><td>yelp</td><td>0.888</td><td>0.522</td><td></td><td><strong>0.977</strong></td><td>MBZUAI/LaMini-Flan-T5-783M</td><td>783.2 M</td></tr><tr><td>youtube</td><td>0.468</td><td>0.528</td><td></td><td><strong>0.716</strong></td><td>tiiuae/falcon-40b</td><td>41.8 B</td></tr></tbody></table>

TABLE 1 – Tableau illustrant les mesures de performance pour différents jeux de données :
Les colonnes sont (1) le nom de l'ensemble de données, (2) les scores de l'état de l'art (SOTA), (3) les scores obtenus en prédisant systématiquement la classe majoritaire, (4) les scores les plus élevés (surlignés en rouge lorsqu'ils sont meilleurs), (5) les modèles ayant ces meilleurs scores, et (6) le nombre de paramètres pour chaque modèle.

Notez la présence d'entrées NaN, signifiant des jeux de données pour lesquels les références SOTA n'ont pas été établies ou trouvées.

## 4.1 La taille du modèle n'a pas vraiment d'importance

La Figure 1 présente la relation entre le nombre de paramètres et la performance en termes de scores Acc/F1 à travers divers jeux de données. Nous calculons le Biweight Midcorrelation Coefficient et les p-valeurs associées pour chaque jeu de données. Ces résultats sont détaillés dans le tableau 2.

<table><thead><tr><th>dataset</th><th>correlation coef</th><th>pvalue</th></tr></thead><tbody><tr><td>agnews</td><td>-0.1418</td><td><strong>0.0536</strong></td></tr><tr><td>bbcnews</td><td>0.0489</td><td>0.4877</td></tr><tr><td>cdr</td><td>0.2541</td><td><strong>0.0002</strong></td></tr><tr><td>chemprot</td><td>0.1318</td><td><strong>0.0531</strong></td></tr><tr><td>ethos</td><td>-0.1519</td><td><strong>0.0256</strong></td></tr><tr><td>financial_phrasebank</td><td>0.0419</td><td>0.5406</td></tr><tr><td>imdb</td><td>-0.2862</td><td><strong>0.0001</strong></td></tr><tr><td>semeval</td><td>-0.0506</td><td>0.4595</td></tr><tr><td>sms</td><td>-0.1209</td><td>0.0763</td></tr><tr><td>spouse</td><td>-0.0254</td><td>0.7106</td></tr><tr><td>sst-2</td><td>0.0755</td><td>0.2693</td></tr><tr><td>sst-5</td><td>0.0061</td><td>0.9293</td></tr><tr><td>trec</td><td>-0.1085</td><td>0.1403</td></tr><tr><td>yelp</td><td>-0.0620</td><td>0.4008</td></tr><tr><td>youtube</td><td>-0.0014</td><td>0.9836</td></tr></tbody></table>

TABLE 2 – Biweight Midcorrelation Coefficients et p-valeurs mesurant la relation entre le score et la taille du modèle (log du nombre de paramètres) selon les datasets

D'après notre analyse, 10 des 15 jeux de données présentent des p-valeurs supérieures à 0,05, ce
<figure><img src="image_57.png" /><figcaption>FIGURE 1 – Comparaison de la performance de différentes tailles de modèles à travers les jeux de données. Les ligne en bleu indiquent la tendance générale, les lignes pointillées en rouge indiquent pour les résultats des prédictions de la classe majoritaire, et la ligne verte indique les résultats état de l'art pour les méthodes de prompting zero-shot.</figcaption></figure>

qui suggère qu'il n'y a pas de lien significatif entre les scores de performance et la taille du modèle. Cependant, trois jeux de données présentent des p-valeurs inférieures à 0,05, ce qui indique une corrélation notable. Parmi ceux-ci, la corrélation est positive pour le jeu de données *cdr* mais négative pour *ethos* et *imdb*. Deux jeux de données, à savoir *agnews* et *chemprot*, présentent des p-valeurs proches du seuil de 0,05, ce qui rend leur corrélation peu concluante.

En conclusion, alors que de nombreux jeux de données ne montrent pas de relation directe entre des tailles de modèle plus grandes et une amélioration des performances, des jeux de données comme *cdr*, *ethos*, et *imdb* le font. De plus, la variance du coefficient de corrélation entre les jeux de données suggère que la taille du modèle n'est pas le seul facteur déterminant des performances.

## 4.2 Impact de l'architecture sur les performances

La figure 2 illustre les variations de performances entre les architectures encodeur-décodeur et décodeur seul. En utilisant l'ANCOVA, nous mesurons l'impact du choix de l'architecture sur les scores de performance, tout en contrôlant l'effet de la taille du modèle. Les résultats sont présentés dans le tableau 3.

D'une part, 7 des 15 jeux de données, nommément *agnews*, *bbcnews*, *chemprot*, *semeval*, *sms*, *spouse* et *youtube*, présentent des p-valeurs inférieures à 0,05, ce qui suggère que l'architecture a un impact significatif. En revanche, les jeux de données tels que *cdr*, *ethos* et *financialPhraseBank* ne sont pas affectés par le choix de l'architecture. Le jeu de données *imdb* présente un impact non concluant. En conclusion, bien que la taille du modèle ne soit pas un facteur dominant, le choix de l'architecture a un impact significatif sur les performances dans ces jeux de données spécifiques.
<figure><img src="image_58.png" /><figcaption>FIGURE 2 – Variation des performances entre les différentes architectures.</figcaption></figure>

<table><caption>FIGURE 3 – ANCOVA indiquant l'impact de l'architecture sur les scores selon le dataset</caption><thead><tr><th>Dataset</th><th>statistique</th><th>p-valeur</th><th>Variances Egales</th></tr></thead><tbody><tr><td>agnews</td><td>4.0676</td><td><span style="color:red;">0.0452</span></td><td>True</td></tr><tr><td>bbcnews</td><td>7.0640</td><td><span style="color:red;">0.0085</span></td><td>False</td></tr><tr><td>cdr</td><td>0.2519</td><td>0.6163</td><td>True</td></tr><tr><td>chemprot</td><td>4.4883</td><td><span style="color:red;">0.0353</span></td><td>True</td></tr><tr><td>ethos</td><td>0.3945</td><td>0.5306</td><td>False</td></tr><tr><td>financial_phrasebank</td><td>1.4592</td><td>0.2284</td><td>False</td></tr><tr><td>imdb</td><td>3.6687</td><td>0.0570</td><td>True</td></tr><tr><td>semeval</td><td>8.2301</td><td><span style="color:red;">0.0045</span></td><td>True</td></tr><tr><td>sms</td><td>11.9951</td><td><span style="color:red;">0.0006</span></td><td>False</td></tr><tr><td>spouse</td><td>4.7794</td><td><span style="color:red;">0.0299</span></td><td>True</td></tr><tr><td>sst-2</td><td>0.2501</td><td>0.6175</td><td>True</td></tr><tr><td>sst-5</td><td>0.7852</td><td>0.3766</td><td>True</td></tr><tr><td>trec</td><td>0.3382</td><td>0.5616</td><td>False</td></tr><tr><td>yelp</td><td>0.7103</td><td>0.4004</td><td>True</td></tr><tr><td>youtube</td><td>18.0011</td><td><span style="color:red;">0.0000</span></td><td>False</td></tr></tbody></table>

<figure><img src="image_59.png" /><figcaption>FIGURE 4 – Comparaison des performances des modèles avec ou sans instruction sur l'ensemble des données.</figcaption></figure>

<table><caption>FIGURE 5 – ANCOVA indiquant l'impact de l'instruction fine-tuning sur les scores selon le dataset</caption><thead><tr><th>dataset</th><th>statistique</th><th>p-valeur</th><th>Variances Egales</th></tr></thead><tbody><tr><td>agnews</td><td>10.5411</td><td><span style="color:red;">0.0014</span></td><td>True</td></tr><tr><td>bbcnews</td><td>1.9492</td><td>0.1642</td><td>True</td></tr><tr><td>cdr</td><td>0.1635</td><td>0.6864</td><td>True</td></tr><tr><td>chemprot</td><td>2.3152</td><td>0.1296</td><td>True</td></tr><tr><td>ethos</td><td>5.8015</td><td><span style="color:red;">0.0169</span></td><td>True</td></tr><tr><td>financial_phrasebank</td><td>0.0001</td><td>0.9917</td><td>False</td></tr><tr><td>imdb</td><td>13.6945</td><td><span style="color:red;">0.0003</span></td><td>True</td></tr><tr><td>semeval</td><td>1.4016</td><td>0.2378</td><td>False</td></tr><tr><td>sms</td><td>2.6667</td><td>0.1039</td><td>True</td></tr><tr><td>spouse</td><td>0.3379</td><td>0.5617</td><td>True</td></tr><tr><td>sst-2</td><td>3.0055</td><td>0.0844</td><td>False</td></tr><tr><td>sst-5</td><td>1.8271</td><td>0.1779</td><td>True</td></tr><tr><td>trec</td><td>8.3534</td><td><span style="color:red;">0.0043</span></td><td>False</td></tr><tr><td>yelp</td><td>12.5571</td><td><span style="color:red;">0.0005</span></td><td>True</td></tr><tr><td>youtube</td><td>5.8369</td><td><span style="color:red;">0.0165</span></td><td>True</td></tr></tbody></table>

## 4.3 Impact de l'Instruction Fine-tuning sur les performances

De la même manière que pour l'architecture, nous avons quantifié l'impact de l'ajustement sur des instructions sur les performances tout en contrôlant le nombre de paramètres. Nous avons utilisé l'ANCOVA pour tester si les moyennes de nos scores ACC/F1 sont égales pour toutes les catégories de la variable instruction_ft, tout en contrôlant statistiquement l'effet du nombre de paramètres. Les résultats sont présentés dans le tableau 5.

La figure 4 montre l'impact de l'ajustement sur des instructions sur les scores de performance selon les datasets. L'axe des y de chaque graphique affiche le score de performance (Acc/F1). L'axe des x a deux valeurs : False et True, indiquant si le modèle a été ajusté sur des instructions ou non.

Pour de nombreux jeux de données, le fine-tuning sur les instructions améliore les performances par rapport à l'absence de fine-tuning (agnews, ethos, imdb, trec, yelp, et youtube) comme le suggère les p-valeurs significatives de l'ANCOVA. Une diminution des performances semble survenir lorsque les modèles sont ajustés sur des instructions pour certains jeux de données. Pour bbcnews, youtube et
sms, l'ANCOVA nous indique que cette diminution n'est pas significative, en revanche, pour *ethos*, elle est significative.

Pour les autres jeux de données, bien qu'il puisse y avoir des différences visuelles dans les performances avec et sans fine-tuning sur les instructions, ces différences ne sont pas statistiquement significatives d'après les p-valeurs. Par conséquent, bien que le fine-tuning sur les instructions ait le potentiel d'améliorer les performances des modèles sur de nombreux jeux de données, son impact peut varier en fonction des jeux de données spécifiques.

## 4.4 Relation entre la taille du modèle et les performances par architecture

Le tableau 3 présente les coefficients de corrélation moyenne pondérée entre les tailles de modèle (log du nombre de paramètres) et les scores de performance pour les deux types architectures étudiées. On peut y retrouver une corrélation légère mais significative pour les modèles de décodeurs, mais largement non-significative pour les modèles de encodeur-décodeur. Cela suggère que le décodeur seul pourrait être plus sensible au nombre de paramètres ; un trop grand nombre de paramètres pourrait nuire aux performances.

<table><caption>TABLE 3 – Biweight Midcorrelation Coefficients et p-valeurs mesurant la relation entre le score et la taille du modèle (log du nombre de paramètres) selon les architectures</caption><thead><tr><td>dataset</td><td>correlation coef</td><td>pvalue</td></tr></thead><tbody><tr><td>causal</td><td>-0.0435</td><td>0.0299</td></tr><tr><td>seq2seq</td><td>0.0065</td><td>0.8728</td></tr></tbody></table>

## 4.5 Impact de l'ajustement sur des instructions et des performances par architecture

La figure 6 compare visuellement l'impact de l'ajustement sur des instructions et les scores de performance pour les deux architectures. En ordonnée est le score de performance (Acc/F1), en abscisse une variable à deux modalités indiquant si le modèle a été ajusté sur des instructions.

Une ANCOVA est réalisée pour quantifier l'impact de l'ajustement sur des instructions sur chaque architecture (encodeur-décodeur/décodeur-seul) tout en contrôlant l'effet de la taille du modèle. Le tableau 4 présente les statistiques et les p-valeurs.

Pour l'architecture décodeur-seul, il n'y a pas d'impact significatif de l'ajustement sur des instructions sur les scores. La p-valeur est ici de 0,6693, bien supérieure à 0,05. Pour l'architecture encodeur-décodeurs, il y a un impact significatif de l'ajustement sur des instructions sur les scores. La p-valeur pour l'architecture encodeur-décodeur est surlignée en rouge et s'élève à 0,0086, soit moins de 0,05.

La différence de résultats entre les deux architectures suggère que l'impact de l'ajustement sur des instructions pourrait dépendre de l'architecture. Tant l'analyse graphique que l'ANCOVA montrent un effet de l'ajustement sur des instructions sur l'architecture encodeur-décodeur.
<figure><img src="image_60.png" /><figcaption>FIGURE 6 – Comparaison des performances entre les modèles ajustés par instruction et les modèles non ajustés, selon l’architecture</figcaption></figure>

<table><caption>TABLE 4 – "ANCOVA indiquant l’impact de instruction_ft sur Acc/F1 selon les architectures</caption><thead><tr><td>dataset</td><td>statistique</td><td>p-valeur</td><td>Variances Egales</td></tr></thead><tbody><tr><td>causal</td><td>0.1825</td><td>0.6693</td><td>True</td></tr><tr><td>seq2seq</td><td>6.9406</td><td>0.0086</td><td>False</td></tr></tbody></table>

# 5 Conclusion & Perspectives

Ce travail avait pour but de déterminer si l’utilisation de grands modèles était nécessaire pour aborder les tâches de classification en utilisant des techniques de prompting.

La performance des modèles de langue varie en fonction de multiples facteurs, y compris la taille du modèle, les choix architecturaux et les stratégies de fine-tuning. Si un modèle plus grand entraîne une amélioration des performances, ce n’est pas un facteur clef, le choix d’architecture du modèle a un impact plus notable sur les résultats obtenus sur nos jeux de données. L’impact de l’ajustement sur des instructions est également évident, mais son efficacité dépend de l’architecture. Une étude complète d’autres architectures émergentes, telles que l’architecture RWKV (Peng et al., 2023) ou les modèles fondés sur les states spaces models, pourrait apporter des nuances et des détails à cette analyse. L’impact varié de l’ajustement sur des instructions à travers les jeux de données suggère le besoin de techniques de fine-tuning plus avancées comme l’incorporation de recherche d’informations pour assurer de meilleures performances de classification lors de l’armocage.

# 6 Limitations

Dans cette étude, nous avons limité notre évaluation à des prompts simples, non optimisés pour obtenir les meilleures réponses et nous n’avons pas étudié la variablité des résultats pour différents prompts (test d’un seul prompt pour chaque jeu de données). De plus, nous avons concentré notre étude sur les modèles encodeur-décodeur et décodeurs-seul sans les comparer avec des modèles encodeurs-seul. Nous n’avons pas étudié pas la sensibilité des performances à certains facteurs externes tels que le temps de pré-entraînement, la qualité des données de pré-entraînement ou les biais potentiels dans les jeux de données. Ces facteurs externes pourraient influencer les résultats ou le caractère universel des conclusions. Le choix et les hypothèses des outils statistiques pourraient influencer les résultats. Cette étude n’inclut pas les modèles publiés très récemment. Ainsi le comportement de modèles très récents comme les modèles conversationnels entraînés avec du RLHF/DPO pourrait exhiber des différences dans nos conclusions.
Références

ALBERTO T. C., LOCHTER J. V. & ALMEIDA T. A. (2015). TubeSpam: Comment Spam Filtering on YouTube. *2015 IEEE 14th International Conference on Machine Learning and Applications (ICMLA)*, p. 138–143. DOI: 10.1109/ICMLA.2015.37.

ALMEIDA T. & HIDALGO J. (2012). SMS Spam Collection. UCI Machine Learning Repository. DOI: https://doi.org/10.24432/C5CC84.

BIDERMAN S., SCHOELKOPF H., ANTHONY Q., BRADLEY H., O'BRIEN K., HALLAHAN E., KHAN M. A., PUROHIT S., PRASHANTH U. S., RAFF E., SKOWRON A., SUTAWIKA L. & VAN DER WAL O. (2023). *Pythia: A Suite for Analyzing Large Language Models Across Training and Scaling*. Rapport interne. arXiv:2304.01373 [cs] type: article, DOI: 10.48550/arXiv.2304.01373.

BIGSCIENCE WORKSHOP (2022). BLOOM (revision 4ab0472). DOI: 10.57967/hf/0003.

BROWN T., MANN B., RYDER N., SUBBIAH M., KAPLAN J. D., DHARIWAL P., NEELAKANTAN A., SHYAM P., SASTRY G., ASKELL A., AGARWAL S., HERBERT-VOSS A., KRUEGER G., HENIGHAN T., CHILD R., RAMESH A., ZIEGLER D., WU J., WINTER C., HESSE C., CHEN M., SIGLER E., LITWIN M., GRAY S., CHESS B., CLARK J., BERNER C., MCCANDLISH S., RADFORD A., SUTSKEVER I. & AMODEI D. (2020). Language Models are Few-Shot Learners. In *Advances in Neural Information Processing Systems*, volume 33, p. 1877–1901: Curran Associates, Inc.

CHO H., KIM Y. & LEE S.-G. (2023). *CELDA: Leveraging Black-box Language Model as Enhanced Classifier without Labels*. Rapport interne. arXiv:2306.02693 [cs] type: article.

CHOWDHERY A., NARANG S., DEVLIN J., BOSMA M., MISHRA G., ROBERTS A., BARHAM P., CHUNG H. W., SUTTON C., GEHRMANN S., SCHUH P., SHI K., TSVYASHCHENKO S., MAYNEZ J., RAO A., BARNES P., TAY Y., SHAZEER N., PRABHAKARAN V., REIF E., DU N., HUTCHINSON B., POPE R., BRADBURY J., AUSTIN J., ISARD M., GUR-ARI G., YIN P., DUKE T., LEVSKAYA A., GHEMAWAT S., DEV S., MICHALEWSKI H., GARCIA X., MISRA V., ROBINSON K., FEDUS L., ZHOU D., IPPOLITO D., LUAN D., LIM H., ZOPH B., SPIRIDONOV A., SEPASSI R., DOHAN D., AGRAWAL S., OMERNICK M., DAI A. M., PILLAI T. S., PELLAT M., LEWKOWYCZ A., MOREIRA E., CHILD R., POLOZOV O., LEE K., ZHOU Z., WANG X., SAETA B., DIAZ M., FIRAT O., CATASTA M., WEI J., MEIER-HELLSTERN K., ECK D., DEAN J., PETROV S. & FIEDEL N. (2022). *PaLM: Scaling Language Modeling with Pathways*. Rapport interne. arXiv:2204.02311 [cs] type: article.

CHUNG H. W., HOU L., LONGPRE S., ZOPH B., TAY Y., FEDUS W., LI Y., WANG X., DEHGHANI M., BRAHMA S., WEBSON A., GU S. S., DAI Z., SUZGUN M., CHEN X., CHOWDHERY A., CASTRO-ROS A., PELLAT M., ROBINSON K., VALTER D., NARANG S., MISHRA G., YU A., ZHAO V., HUANG Y., DAI A., YU H., PETROV S., CHI E. H., DEAN J., DEVLIN J., ROBERTS A., ZHOU D., LE Q. V. & WEI J. (2022). *Scaling Instruction-Finetuned Language Models*. Rapport interne. arXiv:2210.11416 [cs] type: article.

CLARKE C., HENG Y., KANG Y., FLAUTNER K., TANG L. & MARS J. (2023). Label Agnostic Pre-training for Zero-shot Text Classification. In *Findings of the Association for Computational Linguistics: ACL 2023*, p. 1009–1021, Toronto, Canada: Association for Computational Linguistics. DOI: 10.18653/v1/2023.findings-acl.64.

DAVIS A. P., GRONDIN C. J., JOHNSON R. J., SCIAKY D., KING B. L., MCMORRAN R., WIEGERS J., WIEGERS T. C. & MATTINGLY C. J. (2016). The comparative toxicogenomics database: update 2017. *Nucleic Acids Res*, **45**(D1), D972–D978.
DEY N., GOSAL G., ZHIMING, CHEN, KHACHANE H., MARSHALL W., PATHRIA R., TOM M. & HESTNESS J. (2023). *Cerebras-GPT: Open Compute-Optimal Language Models Trained on the Cerebras Wafer-Scale Cluster*. Rapport interne. arXiv:2304.03208 [cs] type: article.

FEI Y., MENG Z., NIE P., WATTENHOFER R. & SACHAN M. (2022). Beyond prompting : Making Pre-trained Language Models Better Zero-shot Learners by Clustering Representations. In *Proceedings of the 2022 Conference on Empirical Methods in Natural Language Processing*, p. 8560–8579, Abu Dhabi, United Arab Emirates : Association for Computational Linguistics. DOI: 10.18653/v1/2022.emnlp-main.587.

HENDRICKX I., KIM S. N., KOZAREVA Z., NAKOV P., Ó SÉAGHDHA D., PADÓ S., PEN-NACCHIOTTI M., ROMANO L. & SZPAKOWICZ S. (2010). SemEval-2010 task 8 : Multi-way classification of semantic relations between pairs of nominals. In *Proceedings of the 5th International Workshop on Semantic Evaluation*, p. 33–38, Uppsala, Sweden : Association for Computational Linguistics.

HOFFMANN J., BORGEAUD S., MENSCH A., BUCHATSKAYA E., CAI T., RUTHERFORD E., CASAS D. D. L., HENDRICKS L. A., WELBL J., CLARK A., HENNIGAN T., NOLAND E., MILLICAN K., DRIESSCHE G. V. D., DAMOC B., GUY A., OSINDERO S., SIMONYAN K., ELSEN E., RAE J. W., VINYALS O. & SIFRE L. (2022). *Training Compute-Optimal Large Language Models*. Rapport interne. arXiv:2203.15556 [cs] type: article.

HOLTZMAN A., WEST P., SHWARTZ V., CHOI Y. & ZETTLEMOYER L. (2022). *Surface Form Competition : Why the Highest Probability Answer Isn't Always Right*. Rapport interne. arXiv:2104.08315 [cs] type: article, DOI: 10.48550/arXiv.2104.08315.

HSIEH C.-Y., LI C.-L., YEH C.-K., NAKHOST H., FUJII Y., RATNER A., KRISHNA R., LEE C.-Y. & PFISTER T. (2023). *Distilling Step-by-Step! Outperforming Larger Language Models with Less Training Data and Smaller Model Sizes*. Rapport interne. arXiv:2305.02301 [cs] type: article.

KAPLAN J., MCCANDLISH S., HENIGHAN T., BROWN T. B., CHESS B., CHILD R., GRAY S., RADFORD A., WU J. & AMODEI D. (2020). *Scaling Laws for Neural Language Models*. Rapport interne. arXiv:2001.08361 [cs, stat] type: article, DOI: 10.48550/arXiv.2001.08361.

KRALLINGER M., RABAL O., AKHONDI S., PÉREZ M., SANTAMARÍA J., RODRÍGUEZ G. P., TSATSARONIS G., INTXAURRONDO A., LÓPEZ J. A. B., NANDAL U., BUEL E. V., CHANDRA-SEKHAR A., RODENBURG M., LÆGREID A., DOORNENBAL M. A., OYARZÁBAL J., LOURENÇO A. & VALENCIA A. (2017). Overview of the BioCreative VI chemical-protein interaction Track.

LEWIS M., LIU Y., GOYAL N., GHAZVININEJAD M., MOHAMED A., LEVY O., STOYANOV V. & ZETTLEMOYER L. (2020). BART : Denoising Sequence-to-Sequence Pre-training for Natural Language Generation, Translation, and Comprehension. In *Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics*, p. 7871–7880, Online : Association for Computational Linguistics. DOI: 10.18653/v1/2020.acl-main.703.

LIU H., ZHANG X., FAN L., FU X., LI Q., WU X.-M. & LAM A. Y. (2019a). Reconstructing Capsule Networks for Zero-shot Intent Classification. In *Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP)*, p. 4799–4809, Hong Kong, China : Association for Computational Linguistics. DOI: 10.18653/v1/D19-1486.

LIU P., YUAN W., FU J., JIANG Z., HAYASHI H. & NEUBIG G. (2021). *Pre-train, Prompt, and Predict : A Systematic Survey of Prompting Methods in Natural Language Processing*. Rapport interne. arXiv:2107.13586 [cs] type: article.

LIU T. & LOW B. K. H. (2023). *Goat : Fine-tuned LLaMA Outperforms GPT-4 on Arithmetic Tasks*. Rapport interne. arXiv:2305.14201 [cs] type: article.
LIU Y., OTT M., GOYAL N., DU J., JOSHI M., CHEN D., LEVY O., LEWIS M., ZETTLEMOYER L. & STOYANOV V. (2019b). Roberta: A robustly optimized bert pretraining approach.

LONGPRE S., HOU L., VU T., WEBSON A., CHUNG H. W., TAY Y., ZHOU D., LE Q. V., ZOPH B., WEI J. & ROBERTS A. (2023). The flan collection: Designing data and methods for effective instruction tuning.

LOSHCHILOV I. & HUTTER F. (2019). *Decoupled Weight Decay Regularization*. Rapport interne. arXiv:1711.05101 [cs, math] version: 3 type: article.

LU J., ZHU D., HAN W., ZHAO R., MAC NAMEE B. & TAN F. (2023). What makes pre-trained language models better zero-shot learners? In *Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers)*, p. 2288–2303, Toronto, Canada: Association for Computational Linguistics. DOI: 10.18653/v1/2023.acl-long.128.

LUDAN J. M., MENG Y., NGUYEN T., SHAH S., LYU Q., APIDIANAKI M. & CALLISON-BURCH C. (2023). *Explanation-based Finetuning Makes Models More Robust to Spurious Cues*. Rapport interne. arXiv:2305.04990 [cs] version: 2 type: article.

MAAS A. L., DALY R. E., PHAM P. T., HUANG D., NG A. Y. & POTTS C. (2011). Learning word vectors for sentiment analysis. In *Proceedings of the 49th Annual Meeting of the Association for Computational Linguistics: Human Language Technologies - Volume 1*, HLT '11, p. 142–150, USA: Association for Computational Linguistics.

MALO P., SINHA A., KORHONEN P., WALLENIUS J. & TAKALA P. (2014). Good debt or bad debt: Detecting semantic orientations in economic texts. *Journal of the Association for Information Science and Technology, 65*.

MENG Y., ZHANG Y., HUANG J., XIONG C., JI H., ZHANG C. & HAN J. (2020). Text Classification Using Label Names Only: A Language Model Self-Training Approach. In *Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP)*, p. 9006–9017, Online: Association for Computational Linguistics. DOI: 10.18653/v1/2020.emnlp-main.724.

MOLLAS I., CHRYSOPOULOU Z., KARLOS S. & TSOUMAKAS G. (2022). ETHOS: an Online Hate Speech Detection Dataset. *Complex & Intelligent Systems, 8*(6), 4663–4678. arXiv:2006.08328 [cs, stat], DOI: 10.1007/s40747-021-00608-2.

MOSQUERA A. (2022). Tackling Data Drift with Adversarial Validation: An Application for German Text Complexity Estimation. In *Proceedings of the GermEval 2022 Workshop on Text Complexity Assessment of German Text*, p. 39–44, Potsdam, Germany: Association for Computational Linguistics.

MUENNIGHOFF N., WANG T., SUTAWIKA L., ROBERTS A., BIDERMAN S., SCAO T. L., BARI M. S., SHEN S., YONG Z.-X., SCHOELKOPF H., TANG X., RADEV D., AJI A. F., ALMUBARAK K., ALBANIE S., ALYAFEAI Z., WEBSON A., RAFF E. & RAFFEL C. (2023). *Crosslingual Generalization through Multitask Finetuning*. Rapport interne. arXiv:2211.01786 [cs] type: article, DOI: 10.48550/arXiv.2211.01786.

NITYASYA M. N., WIBOWO H. A., PRASOJO R. E. & AJI A. F. (2021). *Costs to Consider in Adopting NLP for Your Business*. Rapport interne. arXiv:2012.08958 [cs] type: article.

OPENAI (2023). *GPT-4 Technical Report*. Rapport interne. arXiv:2303.08774 [cs] type: article, DOI: 10.48550/arXiv.2303.08774.

OUYANG L., WU J., JIANG X., ALMEIDA D., WAINWRIGHT C. L., MISHKIN P., ZHANG C., AGARWAL S., SLAMA K., RAY A., SCHULMAN J., HILTON J., KELTON F., MILLER L., SIMENS M., ASKELL A., WELINDER P., CHRISTIANO P., LEIKE J. & LOWE R. (2022). *Training language models to follow instructions with human feedback*. Rapport interne. arXiv:2203.02155 [cs] type: article.
PENEDO G., MALARTIC Q., HESSLOW D., COJOCARU R., CAPPELLI A., ALOBEIDLI H., PAN-NIER B., ALMAZROUEI E. & LAUNAY J. (2023). *The RefinedWeb Dataset for Falcon LLM: Outperforming Curated Corpora with Web Data, and Web Data Only*. Rapport interne. arXiv:2306.01116 [cs] type: article, DOI: 10.48550/arXiv.2306.01116.

PENG B., ALCAIDE E., ANTHONY Q., ALBALAK A., ARCADINHO S., CAO H., CHENG X., CHUNG M., GRELLA M., GV K. K., HE X., HOU H., KAZIENKO P., KOCON J., KONG J., KOPTYRA B., LAU H., MANTRI K. S. I., MOM F., SAITO A., TANG X., WANG B., WIND J. S., WOZNIAK S., ZHANG R., ZHANG Z., ZHAO Q., ZHOU P., ZHU J. & ZHU R.-J. (2023). Rwkv: Reinventing rnns for the transformer era.

PILÁN I. & VOLODINA E. (2018). Investigating the importance of linguistic complexity features across different datasets related to language learning. In *Proceedings of the Workshop on Linguistic Complexity and Natural Language Processing*, p. 49–58, Santa Fe, New-Mexico: Association for Computational Linguistics.

QIN C., ZHANG A., ZHANG Z., CHEN J., YASUNAGA M. & YANG D. (2023). *Is ChatGPT a General-Purpose Natural Language Processing Task Solver?* Rapport interne. arXiv:2302.06476 [cs] type: article.

RADFORD A., WU J., CHILD R., LUAN D., AMODEI D. & SUTSKEVER I. (2019). Language models are unsupervised multitask learners.

RAFFEL C., SHAZEER N., ROBERTS A., LEE K., NARANG S., MATENA M., ZHOU Y., LI W. & LIU P. J. (2020). *Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer*. Rapport interne. arXiv:1910.10683 [cs, stat] type: article.

SANH V., WEBSON A., RAFFEL C., BACH S. H., SUTAWIKA L., ALYAFEAI Z., CHAFFIN A., STIEGLER A., SCAO T. L., RAJA A., DEY M., BARI M. S., XU C., THAKKER U., SHARMA S. S., SZCZECHLA E., KIM T., CHHABLANI G., NAYAK N., DATTA D., CHANG J., JIANG M. T.-J., WANG H., MANICA M., SHEN S., YONG Z. X., PANDEY H., BAWDEN R., WANG T., NEERAJ T., ROZEN J., SHARMA A., SANTILLI A., FEVRY T., FRIES J. A., TEEHAN R., BERS T., BIDERMAN S., GAO L., WOLF T. & RUSH A. M. (2022). *Multitask Prompted Training Enables Zero-Shot Task Generalization*. Rapport interne. arXiv:2110.08207 [cs] type: article.

SCHICK T. & SCHÜTZE H. (2021). *Exploiting Cloze Questions for Few Shot Text Classification and Natural Language Inference*. Rapport interne. arXiv:2001.07676 [cs] type: article.

SMITH R., FRIES J. A., HANCOCK B. & BACH S. H. (2022). *Language Models in the Loop: Incorporating Prompting into Weak Supervision*. Rapport interne. arXiv:2205.02318 [cs] type: article.

SOCHER R., PERELYGIN A., WU J., CHUANG J., MANNING C. D., NG A. & POTTS C. (2013). Recursive Deep Models for Semantic Compositionality Over a Sentiment Treebank. In *Proceedings of the 2013 Conference on Empirical Methods in Natural Language Processing*, p. 1631–1642, Seattle, Washington, USA: Association for Computational Linguistics.

SUN Y., DONG L., HUANG S., MA S., XIA Y., XUE J., WANG J. & WEI F. (2023). Retentive network: A successor to transformer for large language models.

TAY Y., DEHGHANI M., TRAN V. Q., GARCIA X., WEI J., WANG X., CHUNG H. W., SHAKERI S., BAHRI D., SCHUSTER T., ZHENG H. S., ZHOU D., HOULSBY N. & METZLER D. (2023). *UL2: Unifying Language Learning Paradigms*. Rapport interne. arXiv:2205.05131 [cs] type: article.

TOUVRON H., LAVRIL T., IZACARD G., MARTINET X., LACHAUX M.-A., LACROIX T., ROZIÈRE B., GOYAL N., HAMBRO E., AZHAR F., RODRIGUEZ A., JOULIN A., GRAVE E. & LAMPLE G. (2023). Llama: Open and efficient foundation language models.
WANG T., ROBERTS A., HESSLOW D., SCAO T. L., CHUNG H. W., BELTAGY I., LAUNAY J. & RAFFEL C. (2022). *What Language Model Architecture and Pretraining Objective Work Best for Zero-Shot Generalization?* Rapport interne. arXiv:2204.05832 [cs, stat] type: article.

WANG Y., YU Z., ZENG Z., YANG L., WANG C., CHEN H., JIANG C., XIE R., WANG J., XIE X., YE W., ZHANG S. & ZHANG Y. (2023). *PandaLM: An Automatic Evaluation Benchmark for LLM Instruction Tuning Optimization*. Rapport interne. arXiv:2306.05087 [cs] type: article.

WEI J., BOSMA M., ZHAO V., GUU K., YU A. W., LESTER B., DU N., DAI A. M. & LE Q. V. (2022). Finetuned Language Models are Zero-Shot Learners.

WU M., WAHEED A., ZHANG C., ABDUL-MAGEED M. & AJI A. F. (2023). Lamini-lm: A diverse herd of distilled models from large-scale instructions. *CoRR*, abs/2304.14402.

XIA C., ZHANG C., YAN X., CHANG Y. & YU P. S. (2018). *Zero-shot User Intent Detection via Capsule Neural Networks*. Rapport interne. arXiv:1809.00385 [cs] type: article, DOI: 10.48550/arXiv.1809.00385.

YEH H.-S., LAVERGNE T. & ZWEIGENBAUM P. (2022). Decorate the Examples: A Simple Method of Prompt Design for Biomedical Relation Extraction. In *Proceedings of the Thirteenth Language Resources and Evaluation Conference*, p. 3780–3787, Marseille, France: European Language Resources Association.

ZHANG J., YU Y., LI Y., WANG Y., YANG Y., YANG M. & RATNER A. J. (2021). WRENCH: A Comprehensive Benchmark for Weak Supervision. *ArXiv*.

ZHANG S., DONG L., LI X., ZHANG S., SUN X., WANG S., LI J., HU R., ZHANG T., WU F. & WANG G. (2023). *Instruction Tuning for Large Language Models: A Survey*. Rapport interne. arXiv:2308.10792 [cs] type: article.

ZHAO W. X., ZHOU K., LI J., TANG T., WANG X., HOU Y., MIN Y., ZHANG B., ZHANG J., DONG Z., DU Y., YANG C., CHEN Y., CHEN Z., JIANG J., REN R., LI Y., TANG X., LIU Z., LIU P., NIE J.-Y. & WEN J.-R. (2023a). *A Survey of Large Language Models*. Rapport interne. arXiv:2303.18223 [cs] type: article.

ZHAO X., OUYANG S., YU Z., WU M. & LI L. (2023b). Pre-trained language models can be fully zero-shot learners. In *Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers)*, p. 15590–15606, Toronto, Canada: Association for Computational Linguistics. DOI: 10.18653/v1/2023.acl-long.869.
A Models

<table><caption>TABLE 5 – Decoder Only Models</caption><thead><tr><th>Model</th><th>Number of Parameters</th><th>Instruction-Tuned</th></tr></thead><tbody><tr><td>bigscience/bloom (?)</td><td>560M, 1B1, 1B7, 3B, 7B1</td><td>No</td></tr><tr><td>bigscience/bloomz (Muennighoff et al., 2023)</td><td>560M, 1B1, 1B7, 3B, 7B1</td><td>Yes</td></tr><tr><td>tiiuae/falcon</td><td>7B, 40B</td><td>Yes/No</td></tr><tr><td>tiiuae/falcon-rw</td><td>7B, 40B</td><td>No</td></tr><tr><td>MBZUAI/LaMini-Cerebras (Wu et al., 2023)</td><td>111M, 256M, 590M, 1.3B</td><td>Yes</td></tr><tr><td>MBZUAI/LaMini-GPT (Wu et al., 2023)</td><td>124M, 774M, 1.5B</td><td>Yes</td></tr><tr><td>mosaicml/mpt</td><td>7B 30b</td><td>Yes/No</td></tr><tr><td>databricks/dolly-v2</td><td>3b, 7B, 12b</td><td>Yes</td></tr><tr><td>EleutherAI/pythia (Biderman et al., 2023)</td><td>70M, 160M, 410M, 1B, 1.4B, 2.8, 6.9B, 12B</td><td>No</td></tr><tr><td>openlm-research/open_lama</td><td>3B 7B 13B</td><td>No</td></tr><tr><td>openlm-research/open_lama_v2</td><td>3B 7B</td><td>No</td></tr><tr><td>pankajmathur/orca_dolly</td><td>3B</td><td>Yes</td></tr><tr><td>pankajmathur/orca_alpaca</td><td>3B</td><td>Yes</td></tr><tr><td>pankajmathur/orca_mini</td><td>7B, 3B, 13B</td><td>Yes</td></tr><tr><td>pankajmathur/orca_mini_v2</td><td>7B, 13B</td><td>Yes</td></tr><tr><td>pankajmathur/orca_mini_v3</td><td>7B, 13B</td><td>Yes</td></tr></tbody></table>

<table><caption>TABLE 6 – Encoder-Decoder Only Models</caption><thead><tr><th>Model</th><th>Number of Parameters</th><th>Instruction-Tuned</th></tr></thead><tbody><tr><td>MBZUAI/LaMini-Flan-T5 (Wu et al., 2023)</td><td>77M, 248M, 783M</td><td>Yes</td></tr><tr><td>T5 vanilla (Raffel et al., 2020)</td><td>77M, 248M, 770M, 3B, 11B</td><td>No</td></tr><tr><td>bigscience/mt0 (Muennighoff et al., 2023)</td><td>300M, 582, 1.2B, 3.8B, 13B</td><td>Yes</td></tr><tr><td>Bart (Lewis et al., 2020)</td><td>255M, 561M</td><td>No</td></tr></tbody></table>
## B Datasets

<table><caption>TABLE 7 – Descriptions des jeux de données</caption><thead><tr><th>Datasets</th><th>Tasks</th><th>#Classes</th><th>#Test Examples</th><th>Balance ratios</th></tr></thead><tbody><tr><td>AGNews</td><td>Topic Classification</td><td>4</td><td>12000</td><td>0.897</td></tr><tr><td>BBCNews</td><td>Topic Classification</td><td>5</td><td>2000</td><td>0.742</td></tr><tr><td>CDR bio</td><td>Relation Classification</td><td>2</td><td>4673</td><td>0.478</td></tr><tr><td>Chemprot</td><td>Chemical Relation Classification</td><td>10</td><td>1607</td><td>0.004</td></tr><tr><td>ETHOS</td><td>Sentiment Classification</td><td>2</td><td>998</td><td>0.766</td></tr><tr><td>financial bolse</td><td>Topic Classification</td><td>3</td><td>2264</td><td>0.218</td></tr><tr><td>IMDB</td><td>Sentiment Classification</td><td>2</td><td>2500</td><td>1.000</td></tr><tr><td>SemEval</td><td>Relation Classification</td><td>9</td><td>600</td><td>0.042</td></tr><tr><td>SMS</td><td>Spam Classification</td><td>2</td><td>500</td><td>0.155</td></tr><tr><td>Spouse</td><td>Relation Classification</td><td>2</td><td>2701</td><td>0.088</td></tr><tr><td>SST2</td><td>Sentiment Classification</td><td>2</td><td>1821</td><td>0.997</td></tr><tr><td>SST5</td><td>Sentiment Classification</td><td>5</td><td>2210</td><td>0.441</td></tr><tr><td>TREC</td><td>Question Classification</td><td>6</td><td>500</td><td>0.065</td></tr><tr><td>Yelp</td><td>Sentiment Classification</td><td>2</td><td>3800</td><td>0.915</td></tr><tr><td>Youtube</td><td>Spam Classification</td><td>2</td><td>250</td><td>0.894</td></tr></tbody></table>

## C Prompts

<table><caption>TABLE 8 – Prompt used</caption><thead><tr><th>dataset</th><th>prompts</th></tr></thead><tbody><tr><td>sms</td><td>Is the following message spam? Answer by yes or no.<br>"TEXT"</td></tr><tr><td>youtube</td><td>Is the following comment spam? Answer by yes or no.<br>"TEXT"</td></tr><tr><td>spouse</td><td>Context: "TEXT"<br>Are ENTITY2 and ENTITY1 married? Answer by yes or no.</td></tr><tr><td>cdr</td><td>Context: "TEXT"<br>Does ENTITY1 induce ENTITY2? Answer by yes or no.</td></tr><tr><td>chemprot</td><td>Context: "TEXT"<br>What is the relation between ENTITY1 and ENTITY2?</td></tr><tr><td>semeval</td><td>Context: "TEXT"<br>What is the relation between ENTITY1 and ENTITY2?</td></tr><tr><td>sst-2</td><td>"TEXT" has a tone that is</td></tr><tr><td>sst-5</td><td>"TEXT" has a tone that is</td></tr><tr><td>yelp</td><td>"TEXT" has a tone that is</td></tr><tr><td>imdb</td><td>"TEXT" has a tone that is</td></tr><tr><td>ethos</td><td>"TEXT" has a tone that is</td></tr><tr><td>financial bolse</td><td>"TEXT" has a tone that is</td></tr><tr><td>trec</td><td>"TEXT" is about</td></tr><tr><td>agnews</td><td>"TEXT" is about</td></tr><tr><td>bbcnews</td><td>"TEXT" is about</td></tr></tbody></table>

<caption>TABLE 9 – Description des amorces et verbalizers</caption>
# Les représentations contextuelles stéréotypées dans les modèles de langue français : mieux les identifier pour ne pas les reproduire

Léandre Adam-Cuvillier¹ Pierre-Jean Larpin¹ Antoine Simoulin²

(1) Capgemini, 11 Rue de Tilsitt, 75017 Paris, France

(2) Université de Paris, Olympe de Gouges, 8 Rue Albert Einstein, 75013 Paris, France
leandre.adamcuvillier@gmail.com, pierre-jean.larpin@capgemini.com, antoine.simoulin@etu.u-paris.fr

## RÉSUMÉ

Nous présentons une étude pour mieux identifier comment les stéréotypes se reflètent dans les modèles de langue française. Nous adaptons le jeu de données StereoSet (Nadeem et al., 2021) à la langue française et suivons le même protocole expérimental que celui utilisé pour l'anglais. Alors que les stéréotypes sont connus pour évoluer en fonction des contextes culturels et temporels, notre étude identifie des similitudes avec les résultats observés pour l'anglais, notamment en ce qui concerne la corrélation entre les capacités linguistiques des modèles et la présence de biais mesurables. Nous étendons notre étude en examinant des architectures de réseaux neuronaux pré-entraînées sur des corpus linguistiques différents. Nos résultats soulignent l'impact crucial des données de pré-entraînement sur les biais constatés dans les modèles français. De plus, nous observons que l'utilisation de corpus multilingues pour le pré-entraînement peut avoir un effet positif sur l'atténuation des biais.

## ABSTRACT

Stereotyped contextual representations in French language models : better identifying them to avoid reproducing them

We present a study to identify better how stereotypes are reflected in French language models. We adapt the StereoSet dataset (Nadeem et al., 2021) to the French language and follow the same experimental protocol used for English. While stereotypes are known to evolve based on cultural and temporal contexts, our study identifies similarities to the findings observed for English, particularly regarding the correlation between the models' language ability and the presence of measurable biases. Furthermore, we extend our investigation by examining neural network architectures pre-trained on different language corpora. Our results highlight the crucial impact of the pretraining data on the biases found in the French models. Moreover, we observe that leveraging multilingual corpora for pretraining can have a positive effect in mitigating biases.

**MOTS-CLÉS** : stéréotype, modèle de langue, pré-entraîné, français.

**KEYWORDS**: stereotype, language model, pre-trained, French.

# 1 Introduction

Un stéréotype est un biais inconscient qui nous amène à déformer la réalité en supposant qu'un groupe de personnes, présentant des caractéristiques similaires—physiques, morales, comportementales, réelles, ou supposées—partagent des attributs communs sans tenir compte des différences individuelles

<figure><img src="image_61.png" /></figure>
et en les réduisant à celles-ci (Katz & Braly, 1933; Allport et al., 1954; Goffman, 1963). Les stéréotypes s'appuient sur des croyances simplificatrices qui s'apprennent et se renforcent par les interactions sociales et d'autres formes de communication. Les modèles de langue pré-entraînés (pLMs) peuvent contribuer à les véhiculer dans nos sociétés (Kirk et al., 2021; Bender et al., 2021; Bommasani et al., 2021) car ils sont susceptibles d'apprendre un modèle probabiliste reflétant les biais statistiques associés aux stéréotypes présents dans les corpus de pré-entraînement (Zhao et al., 2018; Sheng et al., 2019; Jia et al., 2020). Maîtriser les biais des pLMs constitue un enjeu majeur pour prévenir la propagation de stéréotypes susceptibles de perpétuer des préjugés et des comportements discriminatoires.

De nombreuses recherches ont été menées sur les pLMs en anglais. Notre objectif est de voir dans quelle mesure ces résultats peuvent être appliqués aux pLMs pré-entraînés en français. Pour ce faire, nous adaptons le jeu de données StereoSet (Nadeem et al., 2021) en français et suivons le même protocole expérimental pour évaluer les biais statistiques dans divers modèles de langue pré-entraînés en français, tels que BERT, GPT, BART, XGLM et BLOOM. Nous étendons le périmètre des études existantes pour le français en examinant l'effet du corpus de pré-entraînement.

Notre article est organisé comme suit : la section 2 commence par détailler l'adaptation du corpus et rappeler le protocole expérimental correspondant utilisé par Nadeem et al. (2021). Nous détaillons ensuite les travaux connexes (§ 3). Nous présentons nos résultats expérimentaux (§ 4.1) que nous comparons avec ceux obtenus en anglais (§ 4.2) et avec les études menées sur la base d'autres corpus en français (§ 4.3). Finalement nous discutons de pistes permettant de combattre les biais identifiés (§ 4.4) et nous discutons des limites de notre approche (§ 5).

# 2 Méthode

Nous adaptons le jeu de données StereoSet (Nadeem et al., 2021) en français (§ 2.1). Nos contributions ne concernent ni la création du jeu de données original StereoSet, ni le développement de la méthode d'évaluation qui lui est associée. Cette dernière est rappelée brièvement en section 2.2 afin de faciliter la compréhension de la méthode d'adaptation et la lecture des sections suivantes.

## 2.1 Adaptation de StereoSet au français : StereoSet-fr

<figure><img src="image_62.png" /><figcaption>FIGURE 1 – Exemple de test d'association intra-phrastique (gauche) et inter-phrastique (droite).</figcaption></figure>

StereoSet (Nadeem et al., 2021) est un test d'association qui mesure les biais stéréotypés dans les représentations de mots contextuelles. Étant donné un mot cible, par exemple "infirmière", le jeu de données propose trois instances de contexte en langage naturel contenant des classes d'attributs
correspondant à une association stéréotypée, anti-stéréotypée, ou hors sujet. Le jeu de donnée est constitué d'une collection de triplets de phrases complètes (intra-phrastique) et de paires de phrases (inter-phrastique). Nous illustrons un exemple d'instances en FIGURE 1.

Nous avons adapté StereoSet pour le français en trois étapes. Nous avons commencé par un audit du jeu de données original. Nous avons supprimé 11 exemples qui contenaient des erreurs de formes manifestes (par exemple plusieurs mots cibles) ou difficiles à adapter en français<fnref n="1" />. Par ailleurs, nous avons dédupliqué un petit nombre de tests originaux en remplaçant les attributs par des synonymes.

Nous avons ensuite traduit automatiquement les contextes de chacun des exemples en utilisant le logiciel DeepL Pro<fnref n="2" />. Nous avons ensuite revu manuellement chaque contexte pour s'assurer de la cohérence de la structure du jeu de données. En particulier, les tests intra-phrastiques doivent respecter une structure précise selon laquelle chaque contexte doit être identique, à l'exception du mot attribut. Comme nous avons traduit chaque contexte indépendamment, cette structure n'était pas respectée dans près de la moitié des traductions. Nous avons donc uniformisé les traductions des trois contextes de chacun de ces tests intra-phrastiques afin qu'ils ne diffèrent que par le mot attribut.

Nous avons également procédé à des adaptations plus larges pour s'assurer de la validité des tests. Nous avons passé environ 5 % des contextes au pluriel pour éviter des accords en genres différents des adjectifs possessifs<fnref n="3" />. Pour environ 1 % des contextes, nous avons aussi remplacé par des synonymes les mots pour lesquels il n'existe pas de traduction exacte de l'anglais vers le français<fnref n="4" />. Finalement, les exemples hors sujet s'orientaient vers une traduction qui privilégie la cohérence globale de la phrase. Nous avons repris environ 40 % de ces exemples pour qu'ils restent indiscutablement absurdes.

Nous résumons les statistiques descriptives du jeu de données StereoSet-fr en TABLE 1.

<table><caption>TABLE 1 – Statistiques descriptives du jeu de données StereoSet-fr.</caption><thead><tr><th rowspan="2">Domaine</th><th colspan="2">Contextes intra-phrastiques</th><th colspan="2">Contextes inter-phrastiques</th></tr><tr><th># Mots cibles</th><th># Tests</th><th># Mots cibles</th><th># Tests</th></tr></thead><tbody><tr><td>Genre</td><td>11</td><td>256</td><td>10</td><td>242</td></tr><tr><td>Profession</td><td>32</td><td>806</td><td>30</td><td>827</td></tr><tr><td>Origine ethnique</td><td>43</td><td>958</td><td>36</td><td>976</td></tr><tr><td>Religion</td><td>3</td><td>76</td><td>3</td><td>78</td></tr><tr><td>Total</td><td>89</td><td>2 096</td><td>79</td><td>2 123</td></tr></tbody></table>

## 2.2 Méthode d'évaluation

Nadeem et al. (2021) définissent le biais d'une représentation contextuelle—et par extension du modèle sous-jacent—comme la différence dans les probabilités estimées par le modèle des exemples stéréotypés et anti-stéréotypés. Nous avons utilisé la même méthode pour estimer ces probabilités et

<footnote n="1">1. Par exemple si le mot attribut est un adjectif possessif, qui s'accorde en genre avec ce qui est possédé en français : "son cahier", mais avec celui ou celle qui possède en anglais : "his/her notebook".</footnote>

<footnote n="2">2. https://www.deepl.com/</footnote>

<footnote n="3">3. Par exemple "Les Ukrainiens aiment boire des < vodkas/whiskies >." plutôt que "Les Ukrainiens aiment boire de la/du < vodka/whisky >." qui modifient la phrase au delà du mot attribut indiqué entre les chevrons.</footnote>

<footnote n="4">4. Par exemple "nurse" en anglais qui se traduit à la fois par "infirmière" et "infirmier" en français. Nous avons utilisé les termes "soignants" et "sauveurs" dans ce cas.</footnote>
les mêmes scores pour comparer différents modèles français, que nous rappelons brièvement ci-après.

Dans le cas du test intra-phrase, Nadeem et al. (2021) estiment la vraisemblance de chaque attribut en s'appuyant sur la tâche de modèle de langue (LM) utilisée pour le pré-entraînement des modèles. La log-probabilité de chaque token u du contexte est estimée selon l'équation 2 avec h le vecteur d'état caché de la dernière couche du modèle, C le contexte et $W_{lm}$ la matrice de projection du vocabulaire apprise pendant la tâche LM. La log-probabilité de chaque attribut $P_{intra}$ (attribut) est estimée comme une somme des log-probabilités des tokens $u_i$ du mot attribut selon l'équation 2⁵.

$$P(u|C) = \mathrm{softmax}(hW_{lm}^{\top}) \qquad (1)$$

$$\log P_{\text{intra}} (\text{attribut}) = \sum_{i \in \text{attribut}} \log P(u_i|C) \qquad (2)$$

Dans le test inter-phrase, Nadeem et al. (2021) estiment la vraisemblance de chaque attribut en s'appuyant sur la tâche de prédiction de la prochaine phrase (NSP) proposée dans Devlin et al. (2019). Pour chaque modèle, une tête de prédiction $W_{nsp}$ est entraînée à estimer la log-probabilité que deux phrases soient consécutives dans le corpus de pré-entraînement <fnref n="6" />. La log-probabilité $P_{inter}$ (attribut) de l'ensemble de la seconde phrase contenant l'attribut est estimée selon l'équation 3⁷.

$$P_{\text{inter}} (\text{attribut}) = \mathrm{softmax}(hW_{nsp}^{\top}) \qquad (3)$$

Finalement, Nadeem et al. (2021) classent un attribut parmi le triplet sur la base de ces probabilités (en choisissant celui qui a la probabilité la plus élevée). Afin de tester à la fois la conservation de la cohérence et la capacité à éviter les biais d'un modèle, Nadeem et al. (2021) proposent trois scores que nous utilisons directement tels qu'ils ont été définis. Nous rappelons simplement les définitions correspondantes ci-après pour simplifier la lecture des résultats expérimentaux en section 4⁸.

Le **LM score (LMs)** correspond au pourcentage de tests dans lesquels le modèle choisit une proposition qui ne soit pas hors sujet. Il évalue la capacité du modèle à conserver le sens. Le score idéal est 100. Plus le LMs est proche de 100, plus le modèle conserve une cohérence.

Le **Stereo score (Ss)** évalue la prédisposition d'un modèle à s'orienter vers un choix biaisé. Il correspond au pourcentage de tests pour lesquels le modèle choisit une proposition stéréotypique plutôt qu'anti stéréotypique. Le score idéal de 50 est atteint lorsque le modèle n'affiche pas de préférence particulière entre des choix biaisés et non biaisés.

Le **score d'association contextuelle (ACs)** est le score principal. Il combine à la fois le score LMs et le score Ss, afin de représenter la capacité d'un modèle de langue à se comporter de manière impartiale

<footnote n="5">5. Pour les architectures encodeurs, les tokens $i$ de l'attribut sont remplacés par le token `[MASK]`, puis démasqués itérativement les sous-mots de gauche à droite. La probabilité finale est calculée comme la moyenne des probabilités pour chaque sous-mot de l'attribut. Pour les architectures décodeurs, les log-probabilités de l'ensemble des tokens du contexte sont sommées.</footnote>

<footnote n="6">6. Certains modèles comme CamemBERT sont pré-entraînés en utilisant cette tâche mais pas tous. Nous avons donc ré-entraîné cette couche spécifique pour l'ensemble des modèles en reproduisant la procédure et les hyper-paramètres utilisés pour StereoSet sur un extrait de Wikipédia en français. Les modèles avec moins de 360 millions de paramètres ont été entraînés sur deux Nvidia T4 16Gb et ceux plus larges sur une carte Nvidia V100 32Gb.</footnote>

<footnote n="7">7. Pour les architectures encodeurs, $h$ correspond à l'état caché du premier token `[CLS]` de la dernière couche du modèle. Pour les architectures décodeur et encodeur-décodeur, $h$ correspond à la moyenne de tous les états cachés de la dernière couche du modèle. Pour l'évaluation inter-phrastique, nous utilisons le modèle adapté incrémentalement sur la tâche NSP.</footnote>

<footnote n="8">8. Ces scores permettent de comparer plusieurs modèles entre eux, à l'inverse de métriques comme la perplexité.</footnote>
tout en excellent dans la modélisation du langage. Un modèle idéal possède un *ACs* score de 100, et un modèle totalement biaisé possède un *ACs* score de 0. Un modèle aléatoire, quant à lui, aura un *ACs* score de 50. Sa formule est la suivante : $ACs = LMs \times \min(Ss, 100 - Ss)/50$.

# 3 Travaux connexes

Les biais présents dans les plongements lexicaux sont traditionnellement analysés à travers des tests d'analogies et d'associations de mots. Les tests d'analogies transposent une relation syntaxique ou sémantique entre deux mots, par exemple (homme, chirurgien), pour compléter une nouvelle paire, telle que (femme, ·), en effectuant des opérations algébriques sur les plongements lexicaux (Mikolov et al., 2013). Les tests d'association, comme WEAT (Islam et al., 2016), mesurent la similarité relative de deux ensembles de mots cibles—par exemple des noms masculins ou féminins—à deux ensembles de mots attributs—comme des attributs sur la situation professionnelle.

May et al. (2019) étendent la méthode WEAT à des représentations contextuelles (SEAT). À partir d'un terme cible et son attribut, ils créent des phrases de manière semi-automatique selon la forme "Ceci est [cible]." et "Ils sont [attribut]." pour obtenir des plongements lexicaux contextualisés. StereoSet (Nadeem et al., 2021) raffine cette approche en considérant des contextes rédigés en langue naturelle et pas selon une procédure semi-automatique. L'approche s'étend également à l'échelle du discours avec un test d'association considérant des ensembles de phrases plutôt que de mots.

Finalement l'étude la plus proche de la nôtre est celle de Nangia et al. (2020) introduisant CrowS-Pairs, et de Névéol et al. (2022a,b) qui adapte le jeu de données pour le français. CrowS-Pairs analyse les biais stéréotypés en utilisant des paires minimales. Néanmoins, CrowS-Pairs et French CrowS-Pairs n'étudient le biais qu'au sein d'une seule phrase (intra-phrastique). Aussi, StereoSet contient un jeu d'évaluation plus important et permet de mesurer le biais pour les architectures de modèles transformers encodeurs mais aussi décodeur et encodeur-décodeur, tandis que CrowS-Pairs ne mesure le biais que pour les architectures encodeurs.

# 4 Experiences

Cette section détaille les résultats d'évaluation sur StereoSet-fr. Nous présentons les résultats (§ 4.1) que nous comparons avec les métriques du papier original StereoSet (§ 4.2), puis avec des travaux similaires sur le français (§ 4.3), pour finalement analyser des pistes d'atténuations des biais (§ 4.4).

## 4.1 Résultats experimentaux et impact des paramètres du modèle

Nous commençons par présenter les résultats globaux sur les tâches inter-phrastique et intra-phrastique. La TABLE 2 reporte les scores d'évaluations sur StereoSet-fr de plusieurs pLMs français. Nous comparons des modèles entraînés sur des corpus majoritairement français ou multilingues. Nous considérons des modèles encodeurs : FlauBERT (Le et al., 2020b,a), CamemBERT (Martin et al., 2020) et m-BERT (Devlin et al., 2019), décodeurs : GPT-fr (Simoulin & Crabbé, 2021), PAGnol (Launay et al., 2022), XGLM (Lin et al., 2021), et BLOOM (Scao et al., 2022), et encodeur-décodeurs avec mBART (Tang et al., 2020) et Barthez (Kamal Eddine et al., 2021).
<table><thead><tr><th>Modèles</th><th>LMs</th><th>Ss</th><th>Genre</th><th>Profession</th><th>ACs<br>Origine<br>Ethnique</th><th>Religion</th><th>Global</th></tr></thead><tbody><tr><td>FlaubERT</td><td>78,9</td><td>49,7</td><td>54,6</td><td>68,2</td><td>69,8</td><td>68,7</td><td>67,2</td></tr><tr><td>CamemBERT</td><td>87,4</td><td>58,9</td><td>76,6</td><td>70,3</td><td>72,2</td><td>66,4</td><td>71,9</td></tr><tr><td>m-BERT</td><td>73,5</td><td>54,3</td><td>71,0</td><td>62,5</td><td>66,3</td><td>76,4</td><td>66,7</td></tr><tr><td>GPT-fr</td><td>83,2</td><td>58,4</td><td>68,3</td><td>67,9</td><td>69,0</td><td>71,6</td><td>68,7</td></tr><tr><td>PAGnol</td><td>87,6</td><td>59,1</td><td>79,2</td><td>73,9</td><td>69,0</td><td>76,9</td><td>71,8</td></tr><tr><td>BLOOM</td><td>81,9</td><td>40,6</td><td>51,2</td><td>62,2</td><td>55,3</td><td>43,6</td><td>56,9</td></tr><tr><td>XGLM</td><td>87,0</td><td>56,3</td><td>78,4</td><td>73,3</td><td>76,5</td><td>89,8</td><td>76,0</td></tr><tr><td>Barthez</td><td>83,8</td><td>56,7</td><td>69,3</td><td>69,6</td><td>75,4</td><td>74,7</td><td>72,6</td></tr><tr><td>mBART</td><td>80,3</td><td>54,0</td><td>75,8</td><td>71,3</td><td>74,1</td><td>75,4</td><td>73,9</td></tr><tr><td>Moyenne</td><td>82,6</td><td>54,2</td><td>69,2</td><td>68,8</td><td>69,9</td><td>71,5</td><td>69,5</td></tr></tbody></table>

TABLE 2 – Nous reportons la moyenne des scores *LMs*, *Ss* et *ACs* sur les tâches inter-phrastique et intra-phrastique pour FlaubERT-large (Le *et al.*, 2020b,a), CamemBERT-large (Martin *et al.*, 2020), m-BERT-base (Devlin *et al.*, 2019), GPT-fr-base (Simoulin & Crabbé, 2021), PAGnol-large (Launay *et al.*, 2022), Barthez (Kamal Eddine *et al.*, 2021), mBART-50 (Tang *et al.*, 2020), BLOOM-560m (Scao *et al.*, 2022) et XGLM-564M (Lin *et al.*, 2021). Nous soulignons les meilleurs résultats pour chaque score de chaque sous ensemble.

Une première analyse des performances des modèles met en évidence le fait qu’un modèle ne peut pas être défini comme biaisé ou non-biaisé. Cette analyse doit être effectuée sur une typologie précise de biais. En effet, nous observons qu’à score *ACs* équivalent, les modèles CamemBERT et Barthez ont des résultats par type de biais totalement différents. Alors que CamemBERT présente un score *ACs* élevé sur le genre, Barthez présente un score élevé sur l’origine ethnique ou la religion. Ainsi, chaque modèle présente des biais variables, rendant l’analyse de ces derniers difficile à généraliser et plus spécifique à des cas d’utilisation particuliers.

Par ailleurs, nous n’observons pas de relation entre la nature du modèle (encodeur, décodeur) et ses biais. Par exemple, CamemBERT (Encodeur) et PAGnol (Décodeur) présentent des scores élevés pour le genre, alors que m-BERT (Encodeur) et XGLM (Décodeur) présentent un score élevé pour la religion et Barthez (Encodeur-Décodeur) pour l’origine ethnique.

## 4.2 Étude comparée avec Stereoset

À l’instar de Nadeem *et al.* (2021), nous observons que les modèles avec des scores *LMs* plus élevés—indiquant une meilleure capacité à modéliser le français—ont tendance à présenter des *Ss* plus éloignés du score idéal de 50—signalant ainsi une présence accrue de biais. Nous mesurons une corrélation de Spearman (*ρ*) de 0,63 entre les scores *LMs* et les écarts par rapport au scores *Ss* idéaux de 50. La corrélation est moindre que celle de 0,9 mesurée pour StereoSet, mais le test reste significatif avec une p-valeur associée de 0,04 (calculée avec un test de permutation).

Nadeem *et al.* (2021) observent également que plus un modèle a de paramètres, plus sa capacité de modélisation linguistique (*LMs*) augmente et par conséquent plus son score stéréotypé augmente également. Afin de vérifier si cette relation s’applique pour les modèles pré-entraînés en français, nous comparons en TABLE 3 les résultats sur la tâche intra-phrastique pour plusieurs modèles similaires
<table><caption>TABLE 3 – Nous reportons les résultats de la tâche intra-phrastique pour des modèles entraînés avec différents nombres de paramètres. Nous reportons CamemBERT entraîné sur le corpus CCNet (Martin et al., 2020), FlaubERT (Le et al., 2020b,a), PAGnol (Launay et al., 2022), GPT-fr (Simoulin & Crabbé, 2021) et BLOOM (Scao et al., 2022). Nous soulignons les meilleurs résultats pour chaque score et mettons en gras les meilleurs résultats pour chaque architecture de modèle.</caption><thead><tr><th rowspan="2">Modèles</th><th rowspan="2"># Param.<br>(×10<sup>6</sup>)</th><th colspan="3">Tâche intra-phrastique</th></tr><tr><th>LMs</th><th>Ss</th><th>ACs</th></tr></thead><tbody><tr><td>CamemBERT-base</td><td>110</td><td>83.5</td><td>61.0</td><td>65.1</td></tr><tr><td>CamemBERT-large</td><td>335</td><td><strong>84.0</strong></td><td><strong>57.5</strong></td><td><strong>71.4</strong></td></tr><tr><td>FlaubERT-small</td><td>54</td><td>58.3</td><td><strong>52.1</strong></td><td>57.3</td></tr><tr><td>FlaubERT-base</td><td>138</td><td><strong>80.8</strong></td><td>52.8</td><td><strong>76.2</strong></td></tr><tr><td>FlaubERT-large</td><td>373</td><td>80.3</td><td>57.1</td><td>68.9</td></tr><tr><td>PAGnol-small</td><td>124</td><td>87.3</td><td><strong>60.3</strong></td><td><strong>69.4</strong></td></tr><tr><td>PAGnol-medium</td><td>355</td><td><strong>87.6</strong></td><td>60.9</td><td>68.5</td></tr><tr><td>PAGnol-large</td><td>773</td><td>87.3</td><td>61.5</td><td>67.3</td></tr><tr><td>GPT-fr-small</td><td>124</td><td>87.4</td><td><strong>61.5</strong></td><td>67.2</td></tr><tr><td>GPT-fr-base</td><td>1000</td><td><strong>89.2</strong></td><td>62.2</td><td><strong>67.4</strong></td></tr><tr><td>BLOOM-560</td><td>560</td><td>86.9</td><td><strong>56.5</strong></td><td><strong>75.7</strong></td></tr><tr><td>BLOOM-1b1</td><td>1100</td><td><strong>87.2</strong></td><td>60.6</td><td>68.7</td></tr></tbody></table>

mais présentant un nombre différent de paramètres<fnref n="9" />. Cette fois encore, nos résultats sont cohérents avec ceux obtenus pour l'anglais à l'aide de StereoSet. Pour chaque modèle considéré séparément—à l'exception de CamemBERT—l'augmentation du nombre de paramètres du modèle est associée à une augmentation du score Ss. De manière générale, la capacité à modéliser le langage (scores LMs) augmente également avec le nombre de paramètres du modèle. Nous interprétons qu'avec plus de paramètres, le modèle peut mieux capturer la distribution du corpus d'entraînement mais aussi les biais inhérents. L'observation n'est valable que lorsque les modèles sont analysés séparément. Le coefficient de corrélation de rang de Spearman (ρ), pour l'ensemble des modèles de la TABLE 3, entre le nombre de paramètres et les écarts par rapport aux scores Ss optimaux de 50, est de 0,31 (p-valeur associée 0,16). Nous avons calculé des valeurs proches pour les résultats de StereoSet, avec un coefficient ρ de 0,32 (p-valeur associée 0,21).

## 4.3 Étude comparée avec French CrowS-Pairs

Névéol et al. (2022a,b) proposent également une analyse des biais stéréotypés pour les modèles pré-entraînés en français en comparant notamment CamemBERT, FlaubERT et m-BERT. Nous cherchons à vérifier la cohérence de notre analyse en comparant les mêmes modèles. Les résultats de StereoSet-fr ne sont pas directement comparables avec ceux de French CrowS-Pairs car la méthode d'évaluation et la définition des scores diffèrent. Nous comparons ainsi simplement des performances relatives des modèles sur les deux jeux de données sous la forme d'un test de contrôle.

<footnote n="9">9. Les différentes versions de chaque modèle peuvent avoir été pré-entraînés sur des corpus différents. Pour le modèle CamemBERT-base, nous avons sélectionné celui entraîné sur le corpus CCNet 135Gb afin de pouvoir le comparer avec CamemBERT-large qui est entraîné sur le même corpus.</footnote>
<figure><img src="image_63.png" /><figcaption>FIGURE 2 – Ecart relatif des scores Ss pour la tâche intra-phrastique de StereoSet avec un modèle non biaisé (score Ss de 50) avec l’écart relatif des scores de French CrowS-Pairs (Névéol et al., 2022a,b). Il est important de noter que les scores ne sont pas directement comparables car CrowS-Pairs évalue les modèles en utilisant la pseudo-vraisemblance afin de ne pas pénaliser les termes moins frequents.</figcaption></figure>

En FIGURE 2, nous comparons l'écart relatif des scores Ss pour la tâche intra-phrastique de StereoSet-fr avec un modèle théoriquement non biaisé (score Ss de 50) avec l'écart relatif des scores de French CrowS-Pairs. Plus l'écart relatif est important, plus le modèle présente des biais stéréotypés importants dans chacune des deux études. De manière générale, nous observons la même relation d'ordre entre les performances des modèles. Le modèle CamemBERT est celui qui présente les écarts les plus importants au score idéal. Les apparentes mauvaises performances de m-BERT sont à moduler par de mauvais LMs scores. Cette composante montre l'intérêt de la métrique ACs de StereoSet-fr qui permet de quantifier les biais en tenant compte de la capacité du modèle à modéliser le langage.

## 4.4 S'émanciper des biais

Dans cette section, nous explorons des stratégies clés pour réduire les biais stéréotypés dans les modèles de langue français. En particulier, nous examinons l'impact du corpus d'entraînement sur les biais manifestés par le modèle. Nous cherchons ainsi à comparer des modèles similaires qui ne diffèrent que par le corpus utilisé pour le pré-entraînement. À cette fin, la TABLE 4 présente les performances de modèles avec des architectures identiques mais entraînés sur des corpus différents.

Le choix du corpus de pré-entraînement semble jouer un rôle crucial dans la détermination des biais au sein des modèles de langue. Par exemple, les modèles CamemBERT, lorsqu'ils sont entraînés avec le corpus OSCAR, affichent systématiquement de meilleurs scores ACs, en particulier pour les catégories d'origine ethnique et de religion, par rapport à ceux entraînés avec CCNet ou Wikipédia. De plus, nous remarquons une sensibilité accrue aux biais religieux chez les modèles CamemBERT pré-entraînés spécifiquement avec le corpus CCNet.

Nous observons par ailleurs que la taille du corpus d'entraînement peut influencer le biais d'un modèle. Le modèle CamemBERT affiche de meilleurs scores ACs lorsqu'il est entraîné sur des versions plus petites du corpus OSCAR (4GB) et CCNet (4GB) par rapport à leurs versions plus volumineuses (135GB). Cette fois encore, cette observation n'est valable que lorsque l'on considère chaque corpus séparément. Elle n'est pas significative si on mesure le coefficient de corrélation de rang de Spearman,
<table><caption>TABLE 4 – Nous reportons la moyenne des scores ACs sur les tâches inter-phrastique et intra-phrastique pour CamemBERT (Martin et al., 2020) entraîné sur différents corpus d'entraînements, et pour mBART (Liu et al., 2020) et mBART-50 (Tang et al., 2020), pour lesquels le pré-entraînement a été étendu sur des jeux de données supplémentaires. Nous avons estimé les tailles des corpus CC25 et CC25 + 25 à partir des statistiques descriptives des articles originaux. Nous soulignons les meilleurs résultats pour chaque score et mettons en gras les meilleurs résultats pour chaque modèle.</caption><thead><tr><th>Corpus d'entraînement</th><th>Genre</th><th>Profession</th><th>Origine<br>ethnique</th><th>Religion</th><th>Global</th></tr></thead><tbody><tr><td colspan="6" style="text-align: center; font-weight: bold;">CamemBERT</td></tr><tr><td>OSCAR (4 GB)</td><td>80,6</td><td><strong>70,1</strong></td><td><strong>81,5</strong></td><td>71,4</td><td><strong>76,8</strong></td></tr><tr><td>OSCAR (138 GB)</td><td>73,3</td><td>66,5</td><td>80,1</td><td><strong>71,5</strong></td><td>73,8</td></tr><tr><td>CCNet (4 GB)</td><td><strong>82,8</strong></td><td>68,6</td><td>75,9</td><td>63,1</td><td>73,6</td></tr><tr><td>CCNet (135 GB)</td><td><u>71,6</u></td><td>65,0</td><td>72,7</td><td>67,9</td><td>69,5</td></tr><tr><td>Wikipedia (4 GB)</td><td>72,8</td><td>65,4</td><td>70,4</td><td>68,9</td><td>68,8</td></tr><tr><td colspan="6" style="text-align: center; font-weight: bold;">mBART</td></tr><tr><td>CC25 (1 100 GB)</td><td>67,1</td><td>67,5</td><td>73,2</td><td>70,0</td><td>70,6</td></tr><tr><td>CC25 + 25 (1 160 GB)</td><td><strong>75,8</strong></td><td><u>71,3</u></td><td><strong>74,1</strong></td><td><u>75,4</u></td><td><strong>73,9</strong></td></tr></tbody></table>

entre la taille du corpus d'entraînement et les écarts par rapport au Ss idéal de 50, sur l'ensemble des modèles de la TABLE 4. Nous mesurons un coefficient ρ de 0,29 avec une p-valeur associée de 0,35 (calculée avec un test de permutation). Nadeem et al. (2021) affirment ne mesurer aucune corrélation significative entre la taille du corpus et les performances du modèle en termes de scores LMs ou Ss. Il est important de souligner que cette analyse portait sur différents modèles et architectures, alors que nous nous concentrons sur le même modèle CamemBERT entraîné sur divers corpus, modifiant ainsi uniquement ce paramètre. Cela nous amène à conclure que la qualité du jeu d'entraînement prévaut sur la quantité. Cette philosophie guide par exemple le développement du modèle Phi-1, qui est entraîné sur une sélection remarquablement réduite de textes (Gunasekar et al., 2023).

Finalement, pour le modèle mBART, nous constatons que le pré-entraînement sur des corpus multilingues pourrait contribuer à réduire les biais. Ainsi, Le modèle mBART-25, entraîné sur un corpus comprenant 25 langues, montre des scores ACs plus bas comparé au modèle mBART-50, enrichi avec 25 langues supplémentaires. Ceci suggère que les biais, souvent liés à une culture spécifique, sont potentiellement moins prononcés dans les modèles entraînés sur des données multilingues. Cela pourrait s'expliquer par le fait que les données d'entraînement, produites par les locuteurs d'une langue, reflètent les biais culturels associés. En intégrant plusieurs langues, on réduit le risque de renforcer des préjugés propres à une culture particulière. Bien que cette hypothèse demande à être validée par des recherches dédiées, elle ouvre une voie prometteuse pour explorer comment les influences culturelles et historiques façonnent les biais dans les modèles de langue.

# 5 Discussion et limites de notre analyse

Notre étude est basée sur l'adaptation du jeu de données StereoSet, pour lequel Nadeem et al. (2021) ont fait appel à des annnotateurs résidants aux Etats-Unis afin de capturer des variations locales des
stéréotypes. Ainsi, le corpus se concentre sur l'analyse de types de biais stéréotypés, qui peuvent être
spécifiques à chaque contexte culturel, notamment les stéréotypes raciaux et religieux. Au contraire,
les stéréotypes liés au genre et à l'âge ont tendance à présenter des similitudes dans différentes cultures
(Fiske, 2017). Les scores ACs de la TABLE 2 sont ainsi généralement plus élevés pour les catégories
liées à la religion et l'origine ethnique que pour ceux du genre et de la profession. Vraisemblablement,
cet écart reflète une spécificité culturelle des stéréotypes liés à des aspects sociaux et non pas à une
sensibilité moindre des pLMs français aux stéréotypes raciaux et religieux.

Par ailleurs, le jeu de données StereoSet et notre adaptation en français se restreignent à des exemples
sur des biais de genre, origine ethnique, religion et profession qui ne sont pas nécessairement
exhaustifs et représentatifs des biais actuels de notre société. La taille du jeu de données et la nature
des exemples ne permettent en aucun cas d'affirmer qu'un modèle français exhibant des scores élevés
est exempt de biais. Nous cherchons plutôt à analyser les facteurs influant sur la nature des biais dans
les pLMs en français, la mesure dans laquelle ces facteurs se comparent à ceux mis en lumière pour
les études en anglais et des pistes de développements d'atténuation des biais stéréotypés.

Finalement Blodgett et al. (2020) alertent sur la nécessité de définir clairement la notion de biais et des préjudices éventuels que ces derniers peuvent causer. Notre étude se limite à mieux identifier les biais stéréotypés capturés dans les représentations contextuelles des pLMs en français, indépendamment de leur utilisation finale et du contexte social dans lequel ils seront utilisés. Cette étude devra donc être précisée, et le jeu de données adapté, en fonction des cas d'usages et du contexte social dans lequel s'inscrivent les processus que l'on cherche à optimiser ou automatiser à l'aide de ces modèles.

6 Conclusion et travaux futurs

Dans une démarche visant à évaluer et à maîtriser les modèles de langue en français, nous avons
réalisé une étude cherchant à évaluer les stéréotypes qu'ils capturent. Pour ce faire, nous avons
adapté le jeu de données StereoSet (Nadeem et al., 2021) et reproduit la démarche expérimentale
proposée, cette fois pour des modèles français. Nous avons effectué une comparaison entre plusieurs
pLMs français et noté des différences significatives entre eux. Chaque modèle présente des biais qui
varient selon les types de stéréotypes examinés, ce qui rend l'analyse des biais difficile à généraliser
et plus spécifique à des cas d'utilisation particuliers. Malgré ces variations, nous constatons des
tendances similaires à celles observées pour l'anglais, notamment en ce qui concerne la corrélation
entre les compétences linguistiques des modèles et la présence de biais mesurables. Dépassant le
cadre des études existantes en français (Névéol et al., 2022a,b), notre étude compare les mêmes
modèles entraînés sur des corpus distincts. Nos résultats soulignent l'impact crucial des données de
pré-entraînement sur les biais présents dans les modèles. Contrairement à ce qui est observé pour les
modèles anglais, la taille du corpus d'entraînement peut influencer les biais d'un modèle en français.
En général, les modèles français pré-entraînés sur des versions moins volumineuses des corpus sont
moins sujets aux biais que ceux entraînés sur des versions plus larges. De plus, nous remarquons que
l'utilisation de corpus multilingues pour l'entraînement initial peut contribuer à atténuer les biais.
Nous espérons que cette étude permettra de développer des modèles français moins sensibles à ces
comportements indésirables pour des applications académiques et industrielles.
Références

ALLPORT G. W., CLARK K. & PETTIGREW T. (1954). *The nature of prejudice*. Addison-wesley Reading, MA.

BENDER E. M., GEBRU T., MCMILLAN-MAJOR A. & SHMITCHELL S. (2021). On the dangers of stochastic parrots : Can language models be too big ? In M. C. ELISH, W. ISAAC & R. S. ZEMEL, Éds., *FAccT '21 : 2021 ACM Conference on Fairness, Accountability, and Transparency, Virtual Event / Toronto, Canada, March 3-10, 2021*, p. 610-623 : ACM. DOI: 10.1145/3442188.3445922.

BLODGETT S. L., BAROCAS S., III H. D. & WALLACH H. M. (2020). Language (technology) is power : A critical survey of "bias" in NLP. In D. JURAFSKY, J. CHAI, N. SCHLUTER & J. R. TETREAULT, Éds., *Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, ACL 2020, Online, July 5-10, 2020*, p. 5454-5476 : Association for Computational Linguistics. DOI: 10.18653/v1/2020.acl-main.485.

BOMMASANI R., HUDSON D. A., ADELI E., ALTMAN R. B., ARORA S., VON ARX S., BERNSTEIN M. S., BOHG J., BOSSELUT A., BRUNSKILL E., BRYNJOLFSSON E., BUCH S., CARD D., CASTELLON R., CHATTERJI N. S., CHEN A. S., CREEL K., DAVIS J. Q., DEMSZKY D., DONAHUE C., DOUMBOUYA M., DURMUS E., ERMON S., ETCHEMENDY J., ETHAYARAJH K., FEI-FEI L., FINN C., GALE T., GILLESPIE L., GOEL K., GOODMAN N. D., GROSSMAN S., GUHA N., HASHIMOTO T., HENDERSON P., HEWITT J., HO D. E., HONG J., HSU K., HUANG J., ICARD T., JAIN S., JURAFSKY D., KALLURI P., KARAMCHETI S., KEELING G., KHANI F., KHATTAB O., KOH P. W., KRASS M. S., KRISHNA R., KUDITIPUDI R. & ET AL. (2021). On the opportunities and risks of foundation models. CoRR, abs/2108.07258.

DEVLIN J., CHANG M., LEE K. & TOUTANOVA K. (2019). BERT : pre-training of deep bidirectional transformers for language understanding. In J. BURSTEIN, C. DORAN & T. SOLORIO, Éds., *Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics : Human Language Technologies, NAACL-HLT 2019, Minneapolis, MN, USA, June 2-7, 2019, Volume 1 (Long and Short Papers)*, p. 4171-4186 : Association for Computational Linguistics. DOI: 10.18653/v1/n19-1423.

FISKE S. T. (2017). Prejudices in cultural contexts : Shared stereotypes (gender, age) versus variable stereotypes (race, ethnicity, religion). *Perspectives on psychological science*, **12**(5), 791-799.

GOFFMAN E. (1963). *Stigma : Notes on the Management of Spoiled Identity*. Englewood Cliffs : Prentice-Hall.

GUNASEKAR S., ZHANG Y., ANEJA J., MENDES C. C. T., GIORNO A. D., GOPI S., JAVAHERIPI M., KAUFFMANN P., DE ROSA G., SAARIKIVI O., SALIM A., SHAH S., BEHL H. S., WANG X., BUBECK S., ELDAN R., KALAI A. T., LEE Y. T. & LI Y. (2023). Textbooks are all you need. CoRR, abs/2306.11644. DOI: 10.48550/ARXIV.2306.11644.

ISLAM A. C., BRYSON J. J. & NARAYANAN A. (2016). Semantics derived automatically from language corpora necessarily contain human biases. CoRR, abs/1608.07187.

JIA S., MENG T., ZHAO J. & CHANG K. (2020). Mitigating gender bias amplification in distribution by posterior regularization. In D. JURAFSKY, J. CHAI, N. SCHLUTER & J. R. TETREAULT, Éds., *Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, ACL 2020, Online, July 5-10, 2020*, p. 2936-2942 : Association for Computational Linguistics. DOI: 10.18653/v1/2020.acl-main.264.

KAMAL EDDINE M., TIXIER A. & VAZIRGIANNIS M. (2021). BARThez : a skilled pretrained French sequence-to-sequence model. In *Proceedings of the 2021 Conference on Empirical Methods*
in *Natural Language Processing*, p. 9369–9390, Online and Punta Cana, Dominican Republic : Association for Computational Linguistics. DOI: 10.18653/v1/2021.emnlp-main.740.

KATZ D. & BRALY K. (1933). Racial stereotypes of one hundred college students. *The Journal of Abnormal and Social Psychology*, **28**(3), 280.

KIRK H. R., JUN Y., VOLPIN F., IQBAL H., BENUSSI E., DREYER F. A., SHTEDRITSKI A. & ASANO Y. M. (2021). Bias out-of-the-box: An empirical analysis of intersectional occupational biases in popular generative language models. In M. RANZATO, A. BEYGELZIMER, Y. N. DAUPHIN, P. LIANG & J. W. VAUGHAN, Éds., *Advances in Neural Information Processing Systems 34: Annual Conference on Neural Information Processing Systems 2021*, NeurIPS 2021, December 6-14, 2021, virtual, p. 2611–2624.

LAUNAY J., TOMMASONE E. L., PANNIER B., BONIFACE F., CHATELAIN A., CAPPELLI A., POLI I. & SEDDAH D. (2022). Pagnol: An extra-large french generative model. In N. CALZOLARI, F. BÉCHET, P. BLACHE, K. CHOUKRI, C. CIERI, T. DECLERCK, S. GOGGI, H. ISAHARA, B. MAEGAARD, J. MARIANI, H. MAZO, J. ODIJK & S. PIPERIDIS, Éds., *Proceedings of the Thirteenth Language Resources and Evaluation Conference, LREC 2022*, Marseille, France, 20-25 June 2022, p. 4275–4284: European Language Resources Association.

LE H., VIAL L., FREJ J., SEGONNE V., COAVOUX M., LECOUTEUX B., ALLAUZEN A., CRABBÉ B., BESACIER L. & SCHWAB D. (2020a). Flaubert: des modèles de langue contextualisés pré-entraînés pour le français (flaubert: Unsupervised language model pre-training for french). In C. BENZITOUN, C. BRAUD, L. HUBER, D. LANGLOIS, S. OUNI, S. POGODALLA & S. SCHNEIDER, Éds., *Actes de la 6e conférence conjointe Journées d'Études sur la Parole (JEP, 33e édition)*, *Traitement Automatique des Langues Naturelles (TALN, 27e édition)*, *Rencontre des Étudiants Chercheurs en Informatique pour le Traitement Automatique des Langues (RÉCITAL, 22e édition)*. *Volume 2 : Traitement Automatique des Langues Naturelle, Nancy, France, June 8-19, 2020*, p. 268–278 : ATALA et AFCP.

LE H., VIAL L., FREJ J., SEGONNE V., COAVOUX M., LECOUTEUX B., ALLAUZEN A., CRABBÉ B., BESACIER L. & SCHWAB D. (2020b). FlauBERT: Unsupervised language model pre-training for French. In *Proceedings of the Twelfth Language Resources and Evaluation Conference*, p. 2479–2490, Marseille, France: European Language Resources Association.

LIN X. V., MIHAYLOV T., ARTETXE M., WANG T., CHEN S., SIMIG D., OTT M., GOYAL N., BHOSALE S., DU J., PASUNURU R., SHLEIFER S., KOURA P. S., CHAUDHARY V., O'HORO B., WANG J., ZETTLEMOYER L., KOZAREVA Z., DIAB M. T., STOYANOV V. & LI X. (2021). Few-shot learning with multilingual language models. *CoRR*, abs/2112.10668.

LIU Y., GU J., GOYAL N., LI X., EDUNOV S., GHAZVININEJAD M., LEWIS M. & ZETTLEMOYER L. (2020). Multilingual denoising pre-training for neural machine translation. *Trans. Assoc. Comput. Linguistics, 8*, 726–742. DOI: 10.1162/tacl_a_00343.

MARTIN L., MULLER B., ORTIZ SUÁREZ P. J., DUPONT Y., ROMARY L., DE LA CLERGERIE É., SEDDAH D. & SAGOT B. (2020). CamemBERT: a tasty French language model. In *Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics*, p. 7203–7219, Online : Association for Computational Linguistics. DOI: 10.18653/v1/2020.acl-main.645.

MAY C., WANG A., BORDIA S., BOWMAN S. R. & RUDINGER R. (2019). On measuring social biases in sentence encoders. In J. BURSTEIN, C. DORAN & T. SOLORIO, Éds., *Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, NAACL-HLT 2019*, Minneapolis, MN, USA, June 2-7, 2019, *Volume 1 (Long and Short Papers)*, p. 622–628 : Association for Computational Linguistics. DOI: 10.18653/v1/n19-1063.
MIKOLOV T., SUTSKEVER I., CHEN K., CORRADO G. S. & DEAN J. (2013). Distributed representations of words and phrases and their compositionality. In C. J. C. BURGES, L. BOTTOU, Z. GHAHRAMANI & K. Q. WEINBERGER, Éds., *Advances in Neural Information Processing Systems 26: 27th Annual Conference on Neural Information Processing Systems 2013*. *Proceedings of a meeting held December 5-8, 2013, Lake Tahoe, Nevada, United States*, p. 3111–3119.

NADEEM M., BETHKE A. & REDDY S. (2021). Stereoset : Measuring stereotypical bias in pretrained language models. In C. ZONG, F. XIA, W. LI & R. NAVIGLI, Éds., *Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing, ACL/IJCNLP 2021*, (Volume 1 : Long Papers), *Virtual Event, August 1-6, 2021*, p. 5356–5371 : Association for Computational Linguistics. DOI : 10.18653/v1/2021.acl-long.416.

NANGIA N., VANIA C., BHALERAO R. & BOWMAN S. R. (2020). Crows-pairs : A challenge dataset for measuring social biases in masked language models. In B. WEBBER, T. COHN, Y. HE & Y. LIU, Éds., *Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing, EMNLP 2020, Online, November 16-20, 2020*, p. 1953–1967 : Association for Computational Linguistics. DOI : 10.18653/v1/2020.emnlp-main.154.

NÉVÉOL A., DUPONT Y., BEZANÇON J. & FORT K. (2022a). French crows-pairs : Extending a challenge dataset for measuring social bias in masked language models to a language other than english. In S. MURESAN, P. NAKOV & A. VILLAVICENCIO, Éds., *Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1 : Long Papers), ACL 2022, Dublin, Ireland, May 22-27, 2022*, p. 8521–8531 : Association for Computational Linguistics. DOI : 10.18653/v1/2022.acl-long.583.

NÉVÉOL A., DUPONT Y., BEZANÇON J. & FORT K. (2022b). French crows-pairs : Extension à une langue autre que l'anglais d'un corpus de mesure des biais sociétaux dans les modèles de langue masqués (french crows-pairs : Extending a challenge dataset for measuring social bias in masked language models to a language other than english). In Y. ESTÈVE, T. JIMÉNEZ, T. PARCOLLET & M. Z. BOITO, Éds., *Actes de la 29e Conférence sur le Traitement Automatique des Langues Naturelles. Volume 1 : conférence principale, TALN-RECITAL 2022*, Avignon, France, June 27 - July 1, 2022, p. 355–364 : ATALA.

SCAO T. L., FAN A., AKIKI C., PAVLICK E., ILIC S., HESSLOW D., CASTAGNÉ R., LUCCIONI A. S., YVON F., GALLÉ M., TOW J., RUSH A. M., BIDERMAN S., WEBSON A., AMMANAMANCHI P. S., WANG T., SAGOT B., MUENNIGHOFF N., DEL MORAL A. V., RUWASE O., BAWDEN R., BEKMAN S., MCMILLAN-MAJOR A., BELTAGY I., NGUYEN H., SAULNIER L., TAN S., SUAREZ P. O., SANH V., LAURENÇON H., JERNITE Y., LAUNAY J., MITCHELL M., RAFFEL C., GOKASLAN A., SIMHI A., SOROA A., AJI A. F., ALFASSY A., ROGERS A., NITZAV A. K., XU C., MOU C., EMEZUE C., KLAMM C., LEONG C., VAN STRIEN D., ADELANI D. I. & ET AL. (2022). BLOOM : A 176b-parameter open-access multilingual language model. CoRR, abs/2211.05100. DOI : 10.48550/arXiv.2211.05100.

SHENG E., CHANG K., NATARAJAN P. & PENG N. (2019). The woman worked as a babysitter : On biases in language generation. In K. INUI, J. JIANG, V. NG & X. WAN, Éds., *Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing, EMNLP-IJCNLP 2019*, Hong Kong, China, November 3-7, 2019, p. 3405–3410 : Association for Computational Linguistics. DOI : 10.18653/v1/D19-1339.

SIMOULIN A. & CRABBÉ B. (2021). Un modèle transformer génératif pré-entrainé pour le français. In *Actes de la 28e Conférence sur le Traitement Automatique des Langues Naturelles. Volume 1 : conférence principale*, p. 246–255, Lille, France : ATALA.
TANG Y., TRAN C., LI X., CHEN P., GOYAL N., CHAUDHARY V., GU J. & FAN A. (2020). Multilingual translation with extensible multilingual pretraining and finetuning. *CoRR*, abs/2008.00401.

ZHAO J., WANG T., YATSKAR M., ORDONEZ V. & CHANG K. (2018). Gender bias in coreference resolution : Evaluation and debiasing methods. In M. A. WALKER, H. JI & A. STENT, Éds., *Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics : Human Language Technologies, NAACL-HLT, New Orleans, Louisiana, USA, June 1-6, 2018, Volume 2 (Short Papers)*, p. 15–20 : Association for Computational Linguistics.

DOI: 10.18653/v1/n18-2003.

## Remerciements

Ce travail a été soutenu par le Quantlab de Quantmetry part of Capgemini invent. Nous tenons à remercier Nicolas Brunel, Florian Arthur et Gregoire Martinon pour leur relecture et leur précieux commentaires.
# Méta-apprentissage pour l'analyse AMR translingue

Jeongwoo Kang¹,² Maximin Coavoux¹ Cédric Lopez² Didier Schwab¹

(1) Univ. Grenoble Alpes, CNRS, Grenoble INP, LIG, 38000 Grenoble, France

(2) Emvista, Immeuble Le 610, 10 Rue Louis Breguet Bâtiment D, 34830 Jacou, France

¹{prénom}.{nom}@univ-grenoble-alpes.fr

²{prénom}.{nom}@emvista.com

## RÉSUMÉ

L'analyse AMR translingue consiste à prédire des analyses sémantiques AMR dans une langue cible lorsque les données d'entraînement ne sont disponibles que dans une langue source. Cette tâche n'a été étudiée que pour un petit nombre de langues en raison du manque de données multilingues. En s'inspirant de Langedijk et al. (2022), qui appliquent le méta-apprentissage à l'analyse syntaxique en dépendances translingue, nous étudions le méta-apprentissage pour l'analyse AMR translingue. Nous évaluons nos modèles dans des scénarios zero-shot et few-shot en croate, en farsi, en coréen, en chinois et en français. En particulier, nous développons dans le cadre de cet article des données d'évaluation en coréen et en croate, à partir du corpus AMR anglais *Le Petit Prince*. Nous étudions empiriquement cette approche en la comparant à une méthode classique d'apprentissage conjoint.

## ABSTRACT

### Meta learning for cross-lingual AMR parsing

Cross-lingual AMR parsing is the task of predicting AMR graphs in a target language when training data is available only in a source language. Due to limited multilingual data for the task, cross-lingual AMR parsing has only been explored in a small set of languages. Taking inspiration from Langedijk et al. (2022) who used meta-learning for cross-lingual dependency parsing, we investigate the use of meta-learning for cross-lingual AMR parsing. We evaluate our models in zero-shot and few-shot scenarios and assess their effectiveness in Croatian, Farsi, Korean, Chinese, and French. Notably, we develop Korean and Croatian test sets for this work, based on the existing *The Little Prince* AMR corpus, and make it publicly available. We empirically study this approach by comparing it to a classical joint learning method.

**MOTS-CLÉS** : L'analyse AMR translingue, Méta-apprentissage, Apprentissage zéro/few-shot.

**KEYWORDS**: Cross-lingual AMR parsing, Meta-learning, Zero/Few-shot learning.

## 1 Introduction

**Abstract Meaning Representation** (Banarescu et al., 2013, AMR) est un formalisme qui représente le sens des textes sous la forme de graphes acycliques orientés (en anglais *directed acyclic graphs*). Les graphes AMR capturent la sémantique des textes tout en faisant abstraction de leurs réalisations syntaxiques. Le formalisme a été conçu à l'origine pour les textes en anglais uniquement. Cependant, Damonte & Cohen (2018) ont montré qu'AMR pouvait être utilisé pour d'autres langues telles que

<figure><img src="image_64.png" /></figure>
l'espagnol, l'italien, le chinois et l'allemand. AMR est un formalisme non ancré, c'est-à-dire que les tokens de la phrase ne sont pas des nœuds du graphe. Il est donc possible de construire des données multilingues *silver* en utilisant la traduction automatique, une phrase et sa traduction ayant en théorie la même représentation AMR. Depuis lors, de nombreuses approches ont adopté AMR dans le contexte multilingue (Procopio et al., 2021; Blloshmi et al., 2020; Xu et al., 2021; Cai et al., 2021; Sheth et al., 2021). Néanmoins, l'un des principaux verrous de cette tâche est le manque de données. Actuellement, les données d'entraînement ne sont disponibles qu'en anglais (Knight et al., 2017, 2020) et les données d'évaluation pour 6 langues : l'anglais, l'allemand, l'espagnol, l'italien, le chinois (Damonte & Cohen, 2018), langues sur lesquels se concentrent la plupart des travaux en AMR translingue; et plus récemment pour le français (Kang et al., 2023).

Dans cette étude, notre objectif est d'appliquer l'analyse AMR à des langues plus diverses qui ont été peu ou pas étudiées dans les précédentes approches et de remédier au manque de données d'entraînement à l'aide de l'apprentissage *few-shot*. En s'inspirant de Langedijk et al. (2022), qui ont appliqué le méta-apprentissage pour l'analyse syntaxique translingue en *few-shot*, nous appliquons le méta-apprentissage pour l'analyse AMR translingue. Pour examiner la pertinence de cette méthode, nous la comparons à une méthode classique d'apprentissage conjoint (*joint learning*). Pour cela, nous nous concentrons sur plusieurs aspects que nous faisons varier indépendamment des autres : la robustesse du modèle par rapport à la qualité de la traduction d'entrée, la quantité de données d'entraînement, les hyperparamètres utilisés pour l'affinage des modèles finaux (nombres d'exemples d'entraînement – *shots* –, taux d'apprentissage). Nos contributions à l'analyse AMR translingue sont les suivantes :

- Nous présentons le **premier modèle de méta-apprentissage pour l'analyse AMR translingue**;

- Nous entraînons et évaluons notre modèle dans des langues peu ou pas explorées pour l'analyse AMR : le coréen, le croate, le français et le farsi;

- Nous publions de nouvelles données d'évaluation en coréen et en croate, basées sur *Le Petit Prince*;

- Nous publions un analyseur AMR multilingue qui peut être évalué dans de nombreuses langues en zéro-shot. Nous publions également le code permettant d'entraîner et d'évaluer le modèle.

## 2 Contexte scientifique

**Analyse AMR translingue** La tâche d'analyse AMR translingue a pour objectif de prédire des graphes AMR pour une langue cible alors que cette langue est absente des langues sources dans les données d'apprentissage. Les données d'entraînement AMR, des paires composées d'une phrase<fnref n="1" /> et de son graphe AMR, ne sont disponibles qu'en anglais. Par conséquent, les approches précédentes ont soit cherché à créer des données d'entraînement artificielles dans la langue cible, soit à entraîner le modèle à l'aide de données AMR anglaises, puis à l'évaluer dans la langue cible (zéro-shot).

Damonte & Cohen (2018) traduisent automatiquement les données d'entraînement AMR en anglais vers la langue cible. Xu et al. (2021) et Blloshmi et al. (2020) utilisent des corpus parallèles (anglais - langue cible) et utilisent un analyseur AMR anglais pour obtenir des graphes AMR de la partie anglaise du corpus. Ils obtiennent finalement une nouvelle paire de texte cible et son graphe AMR correspondant. Inversement, dans l'approche zéro-shot, la tâche AMR en anglais est considérée

<footnote n="1">1. Le graphe AMR peut être utilisé au-delà du niveau de la phrase (O'Gorman et al., 2018).</footnote>
comme une tâche pivot, et la traduction multilingue entre l'anglais et la langue cible est ajoutée en tant que tâche auxiliaire (Procopio et al., 2021; Xu et al., 2021). La tâche auxiliaire permet à un modèle d'analyser les graphes AMR de la langue cible en zéro-shot.

Cependant, ces approches se concentrent sur un petit ensemble de langues pour lesquelles des données d'entraînement ou d'évaluation sont disponibles, ce qui motive nos efforts pour l'évaluation sur de nouvelles langues. Pour obtenir des données d'entraînement dans différentes langues, nous utilisons la traduction automatique comme Damonte & Cohen (2018). Nous évaluons ensuite notre modèle de manière zéro-shot / few-shot sur cinq langues : Chinois (sino-tibétain), Coréen (coréanique), et trois langues de trois branches de la famille des langues indo-européennes : le français (romane), le farsi (indo-iranienne) et le croate (slave).

## Méta-apprentissage
Le méta-apprentissage est un paradigme d'apprentissage qui permet à un modèle d'apprendre rapidement une nouvelle tâche avec seulement quelques exemples. Cela est possible grâce aux connaissances préalables que le modèle a acquises au cours d'une série de tâches différentes. Parmi les différentes approches du méta-apprentissage, la méthode basée sur l'optimisation est très utilisée dans les applications du TAL (Dingliwal et al., 2021; Hua et al., 2020; Bansal et al., 2020) en raison de son efficacité. En particulier, le méta-apprentissage agnostique envers les modèles (MAML pour model-agnostic meta learning Finn et al., 2017) est très utilisé (Nooralahzadeh et al., 2020; Gu et al., 2018; Singh et al., 2022; Langedijk et al., 2022).

L'idée derrière MAML est de trouver de bons paramètres initiaux θ qui peuvent être ajustés à de nouvelles tâches avec seulement quelques étapes d'optimisation et quelques exemples d'entraînement. Pour cela, MAML procède en simulant l'entraînement et l'évaluation avec peu d'exemples sur des tâches d'entraînement. En outre, le modèle est entraîné avec différentes tâches afin qu'il puisse apprendre à s'adapter rapidement à toutes les tâches similaires<fnref n="2" />. Dans les applications translingues, chaque tâche correspond à une langue différente, ce qui est l'objet de notre étude (cf section 3).

L'approche la plus proche de la nôtre est celle de Langedijk et al. (2022), qui adoptent MAML pour l'analyse syntaxique en dépendances translingue. Ils appliquent MAML pour apprendre de bons paramètres initiaux à partir de langues sources, puis s'évaluent sur un ensemble disjoint de langues cibles. Dans nos travaux, nous nous concentrons plutôt sur une tâche d'analyse sémantique. De plus, ils disposent de données d'entraînement multilingues, alors que nos données n'existent qu'en anglais. AMR est un formalisme non ancré donc une phrase anglaise et sa traduction devraient avoir le même graphe AMR. Par conséquent, nous générons nos données multilingues par la traduction automatique des données anglaises. Une autre approche similaire à la notre est celle de Sherborne & Lapata (2023) qui ont appliqué le méta-apprentissage à l'analyse sémantique SQL translingue. Bien qu'utile pour représenter (et exécuter) des requêtes de base de données exprimées en langage naturel, SQL n'est pas un formalisme sémantique polyvalent comme AMR. À notre connaissance, notre travail est donc le premier à utiliser MAML dans le cadre de l'analyse AMR translingue.

# 3 Meta X-AMR

## Analyse AMR seq2seq
Trois approches d'analyse AMR sont trés utilisées : l'analyse AMR par transitions (Damonte et al., 2017), l'analyse AMR par graphe (graph-based, Zhang et al., 2019; Cai

<footnote n="2">2. Tâches cibles avec une distribution similaire à celle des tâches sources.</footnote>
<figure><img src="image_65.png" /><figcaption>FIGURE 1 – Une étape d’entraînement MAML pour l’analyse AMR translingue.</figcaption></figure>

& Lam, 2019), et l'analyse AMR seq2seq (Bevilacqua et al., 2021). Nous utilisons cette dernière qui considère l'analyse AMR comme la génération d'un graphe AMR à partir de textes d'entrée à l'aide d'un modèle seq2seq. Dans cette approche, les graphes AMR doivent d'abord être linéarisés, c'est-à-dire représentés sous la forme d'une simple chaîne de caractères. Nous adoptons l'algorithme de parcours en profondeur pour la linéarisation comme Bevilacqua et al. (2021).

Nous utilisons le modèle mBart (Tang et al., 2020)<fnref n="3" /> pour entraîner notre analyseur AMR multilingue, comme Procopio et al. (2021). Le modèle mBart est un transformer (Vaswani et al., 2017) pré-entraîné qui se compose de plusieurs couches d'encodeurs et de décodeurs. Comme le résultat de ce modèle est un graphe linéarisé, nous restructurons le graphe AMR par des étapes de post-traitement pour l'évaluation. Nous utilisons le code de van Noord & Bos (2017)<fnref n="4" /> pour la linéarisation et la délinéarisation. Nous renvoyons les lecteurices à van Noord & Bos (2017) pour une description complète du processus.

MAML pour l'analyse AMR translingue
Nous utilisons MAML (Finn et al., 2017) pour entraîner notre analyseur AMR. L'objectif est d'entraîner un modèle qui s'adapte rapidement aux langues cibles avec aucun ou avec quelques exemples. La procédure d'entraînement est décrite ci-dessous et illustrée dans la Figure 1.

Étape 1 - Boucle interne : À chaque étape d’entraînement, le modèle initial (Θ) est copié une fois par langue i. Pour chaque langue i, 2 × K exemples sont échantillonnés aléatoirement à partir de D<sub>i</sub><sup>train</sup> et divisés en ensemble de support (support set) et ensemble de requête (query set) : K exemples pour chacun. En utilisant l’ensemble de support, le modèle est temporairement mis à jour avec une descente de gradient stochastique avec un taux d’apprentissage α (Eq. 1). Cette étape est répétée pendant P étapes d’adaptation afin d’obtenir Φ<sub>i</sub> :

$$
\Phi_i \leftarrow \Theta - \alpha \nabla_{\Theta} \mathcal{L}(\Theta_i). \qquad (1)
$$

Ensuite, la perte est calculée pour évaluer le modèle temporaire Φᵢ sur l'ensemble de requêtes. La perte Lᵢ(Φᵢ) est conservée pour l'étape suivante. L'ensemble de l'étape est appelé "boucle interne" et elle est répétée sur l'ensemble des tâches, c'est-à-dire pour le nombre de langues d'apprentissage. Ce nombre est désigné par I.

<footnote n="3">3. Nous utilisons le modèle facebook/mbart-large-50 via the platforme de transformers (Wolf et al., 2020).</footnote>

<footnote n="4">4. https://github.com/RikVN/AMR</footnote>
**Étape 2 - Boucle externe** : La somme de $\mathcal{L}_i(\Phi_i)$ est calculée sur l'ensemble des langues d'apprentissage afin de mettre à jour le modèle initial $\Theta$ par descente de gradient stochastique avec un taux d'apprentissage $\beta$. L'ensemble de cette étape est appelé "boucle externe" <fnref n="5" /> :

$$ \Theta \leftarrow \Theta - \beta \sum_i \nabla_{\Phi_i} \mathcal{L}_i(\Phi_i). \qquad (2) $$

**Étape 3** : Répéter les étapes 1 et 2 jusqu'à ce que le nombre total d'étapes d'entraînement soit atteint.

**Étape 4** : Une fois l'entraînement terminé, nous évaluons le modèle sur les langues cibles en zéro-shot ou few-shot. C'est-à-dire que le modèle est évalué sur de nouvelles langues cibles qui n'ont pas été vues pendant l'entraînement, sans affinage ou avec un affinage utilisant quelques exemples.

# 4 Expérimentations

## 4.1 Données

Notre méthode est similaire à celle de Langedijk et al. (2022) dans l'application du méta-apprentissage pour une tâche d'analyse translingue en few-shot. Pourtant, les données d'entraînement d'AMR ne sont disponibles qu'en anglais, alors qu'ils disposent de données d'entraînement multilingues pour l'analyse syntaxique en dépendance. Pour créer des données d'entraînement d'AMR multilingues, nous appliquons la traduction automatique comme dans les approches précédentes (Damonte & Cohen, 2018; Xu et al., 2021; Blloshmi et al., 2020). Nous utilisons DeepL<fnref n="6" /> pour la traduction automatique et traduisons les données d'entraînement AMR anglaises (LDC2020T02 Knight et al., 2020) en 13 langues : allemand, italien, roumain, finnois, russe, turc, japonais, tchèque, néerlandais, polonais, suédois, estonien et indonésien. Les 13 langues ont été choisies pour leur diversité linguistique et couvrent 5 familles de langues : indo-européen (germanique, roman, slave), ouralien, turcique, japonique et austronésien. Nous utilisons un total de 14 langues, dont l'anglais, pour nos données d'entraînement.

Pour sauvegarder le meilleur modèle pendant l'entraînement, nous évaluons notre modèle en k-shot. Pour cela, nous avons besoin des données de validation ainsi que de k exemples d'affinage dans la même langue. Pour les données de validation, nous utilisons les données de test en espagnol du corpus AMR 2.0 (Damonte & Cohen, 2020). Pour les données d'affinage, nous traduisons k exemples aléatoires issus des données de validation anglaises vers l'espagnol. Une fois l'entraînement terminée, nous évaluons notre modèle sur les langues cibles : le français, le chinois, le farsi, le coréen, et le croate. Pour les trois premières langues, nous utilisons le corpus AMR du Petit Prince annoté dans chaque langue, respectivement à partir de Kang et al. (2023), https://amr.isi.edu/ et Takhshid et al. (2022)<fnref n="7" />. Pour le croate et le coréen, nous créons nos données de test en alignant manuellement le corpus du Petit Prince dans chaque langue sur les graphes AMR anglais correspondants. Nous mettons

<footnote n="5">5. Notez que dans l'équation 2, nous utilisons $\nabla_{\Phi_i} \mathcal{L}_i(\Phi_i)$ au lieu de $\nabla_{\theta} \mathcal{L}_i(\Phi_i)$ parce que nous appliquons MAML du premier ordre (first-order MAML) pour éviter le calcul très coûteux de la dérivée seconde.</footnote>

<footnote n="6">6. https://www.deepl.com</footnote>

<footnote n="7">7. L'ensemble de données original en farsi consiste en des graphes AMR dont les nœuds sont en farsi. Étant donné que nous utilisons des graphes AMR avec des nœuds en anglais, nous n'utilisons que les textes d'entrée du corpus et les graphes du corpus AMR en anglais.</footnote>
ces données de test à la disposition du public <fnref n="8" />.

## 4.2 Méta-entraînement et évaluation

Nous adoptons le modèle mbart-large-50 (Tang et al., 2020) de la bibliothèque transformers (Wolf et al., 2020) pour entraîner notre analyseur AMR multilingue. Pour mettre en œuvre MAML, nous utilisons la bibliothèque learn2learn (Arnold et al., 2020). Nous entraînons notre modèle pendant 30 000 étapes et l'évaluons toutes les 500 étapes avec les données de validation en espagnol. Nous mettons fin à l'entraînement si le score SMATCH (Cai & Knight, 2013) de validation ne s'améliore pas pendant plus de 7 500 étapes (interruption précoce de l'entraînement, early stopping). Pour la validation et le test, nous utilisons l'évaluation en k-shot, où le modèle est affiné avec k exemples avant d'être évalué sur l'ensemble de test/validation. Le nombre de cycles d'affinage, appelé étape d'adaptation, est noté *P*. Sauf indication contraire, nous fixons *P* = 0 et *k* = 0 (évaluation en 0-shot). MAML nécessite deux taux d'apprentissage, un pour la boucle interne (α) et un pour la boucle externe (β). Nous avons effectué une recherche par quadrillage (grid search) pour identifier un ensemble optimal de taux d'apprentissage et avons utilisé α = 1 × 10⁻⁵, β = 3 × 10⁻⁵ tout au long des expériences. Pour β, nous utilisons un taux d'apprentissage qui croît linéairement jusqu'à β sur les 1 500 premières étapes. Sauf indication contraire, nous appliquons 1 × 10⁻⁵ pour affiner le modèle pendant la validation et le test. À chaque étape d'itération pendant l'entraînement, 2 × *K* sont échantillonnés pour former un lot (batch) à partir des ensemble de requêtes et de support. Par conséquent, la taille de lot *N* est égale à 2 × *K* × *I*, où *I* représente le nombre de langues d'apprentissage. Par défaut, nous attribuons *K* = 8 et *I* = 14, sauf indication contraire. Nous présentons les scores d'évaluation en utilisant SMATCH (Cai & Knight, 2013), une métrique d'évaluation pour les graphes AMR.

## 4.3 Modèle de base avec apprentissage conjoint

Nous entraînons un modèle de base avec une méthode d'apprentissage conjoint où plusieurs tâches sont apprises simultanément afin d'améliorer les performances globales du modèle. Le modèle mbart est utilisé comme décrit à la section 4.2. Pour l'entraînement, nous utilisons les données d'entraînement AMR en 14 langues listées à la section 4.1. Nous concatenons ces données multilingues et à chaque étape d'itération, nous sélectionnons aléatoirement *N* exemples d'entraînement à partir de ces données pour calculer la perte et optimiser le modèle en conséquence. Le modèle est évalué en 0-shot ou *k-shot* selon le cadre de l'expérience (les détails sont décrits dans chaque paragraphe de la section 5). Il convient de noter que notre objectif est de réaliser une étude comparative avec l'approche du méta-apprentissage. Par conséquent, sauf mention contraire, nous appliquons les mêmes hyperparamètres et la même méthode de test/évaluation pour les deux approches (par exemple, la taille des lots, la taille de *k-shot*). Cependant, alors que le méta-apprentissage nécessite deux taux d'apprentissage pour une boucle interne et une boucle externe, le modèle de base ne nécessite qu'un seul taux d'apprentissage pendant l'entraînement. Nous utilisons un taux d'apprentissage uniforme pour l'apprentissage 3 × 10⁻⁵ avec une croissance linéaire pendant les 1 500 premières étapes d'entraînement.

<footnote n="8">8. https://github.com/Emvista/Meta-XAMR-2024</footnote>
<table><caption>TABLE 1 – SMATCH en fonction de la source de traduction.</caption><thead><tr><th></th><th>fr</th><th>zh</th><th>ko</th><th>fa</th><th>hr</th><th>avg</th></tr></thead><tbody><tr><td>base_DeepL</td><td>56.3</td><td>45.6</td><td>42.1</td><td>46.3</td><td><strong>51.4</strong></td><td>48.3</td></tr><tr><td>base_mBart</td><td>56.2</td><td>44.5</td><td>41.2</td><td>46.1</td><td>51.3</td><td>47.8</td></tr><tr><td>MAML_DeepL</td><td><strong>56.5</strong></td><td><strong>46.1</strong></td><td><strong>42.2</strong></td><td><strong>46.7</strong></td><td>50.8</td><td><strong>48.4</strong></td></tr><tr><td>MAML_mBart</td><td>55.6</td><td>45.1</td><td>40.8</td><td>46.1</td><td>48.9</td><td>47.3</td></tr></tbody></table>

# 5 Questions de recherche et discussions

Nous examinons les points forts et les points faibles de notre méthode en répondant aux questions de recherche ci-dessous. Pour l'évaluation, nous faisons varier systématiquement cinq hyperparamètres individuellement tout en gardant les autres paramètres fixes et évaluons leur influence sur la performance du modèle. Nous évaluons chaque modèle en le comparant à son modèle de base adverse et apportons des éléments de réponses à 6 questions. Les questions Q1 et Q2 portent sur la manière dont les deux modèles réagissent à des facteurs spécifiques pendant la phase d'apprentissage, tandis que les questions Q3 à Q5 concernent les phases d'affinage fin et d'évaluation. Les discussions sur les questions conduisent à une discussion finale Q6 sur la question : le méta-apprentissage est-il l'approche optimale pour l'analyse AMR translingue ?

**Q1 : Quelle est la robustesse du modèle en ce qui concerne la qualité de la traduction ?** Pour évaluer l'impact de la traduction sur notre méthode, nous utilisons un autre modèle de traduction pour traduire nos données d'apprentissage. Plus précisément, nous utilisons les modèles de traduction mBart, provenant du hub Huggingface 9, pour traduire nos données d'entraînement en 13 langues. Ensuite, nous utilisons ces données traduites pour entraîner les modèles MAML et les modèles de base. Enfin, nous comparons les résultats de l'évaluation de ces modèles avec ceux entraînés à l'aide du système de traduction automatique DeepL.

**Resultats** Pour les modèles MAML et les modèles de base, l'utilisation d'un modèle de traduction open-source mBart entraîne une baisse des performances (voir tableau 1). Dans les deux cas, le score SMATCH du coréen diminue le plus lors de l'utilisation du modèle de traduction mBart. Le modèle MAML est plus affecté par ce changement. En moyenne, le modèle de base perd 0,9 %, tandis que le modèle MAML perd 2,3 %. Ce résultat montre que le modèle de méta-apprentissage est plus sensible à la qualité des textes traduits que le modèle de base.

**Q2 : Le modèle apprend-il efficacement dans des environnements avec moins de ressources ?** Nous évaluons la robustesse de notre méthode dans les environnements avec moins de ressources où seule une petite partie des données d'apprentissage est disponible. À cette fin, nous échantillonnons au hasard 1 000 exemples pour chaque langue (les mêmes exemples pour toutes les langues) et utilisons uniquement ces données échantillonnées comme données d'entraînement.

**Résultats** Le tableau 2 illustre les scores SMATCH obtenus par les modèles MAML et les modèles de base dans différentes conditions d'entraînement : en utilisant les données complètes (base_full, MAML_full) ou en utilisant seulement 1 000 exemples (base_1000, MAML_1000). Sans surprise, les

<footnote n="9">9. https://huggingface.co/facebook/mbart-large-50-many-to-many-mmt</footnote>
<table><caption>TABLE 2 – SMATCH en fonction de la taille des données d’apprentissage.</caption><thead><tr><th></th><th>fr</th><th>zh</th><th>ko</th><th>fa</th><th>hr</th><th>avg</th></tr></thead><tbody><tr><td>base_full</td><td>56.3</td><td>45.6</td><td>42.1</td><td>46.3</td><td><strong>51.4</strong></td><td>48.3</td></tr><tr><td>base_1000</td><td>41.4</td><td>35.1</td><td>33.3</td><td>36.9</td><td>38.5</td><td>37.0</td></tr><tr><td>MAML_full</td><td><strong>56.5</strong></td><td><strong>46.1</strong></td><td><strong>42.2</strong></td><td><strong>46.7</strong></td><td>50.8</td><td><strong>48.4</strong></td></tr><tr><td>MAML_1000</td><td>38.9</td><td>33.9</td><td>32.8</td><td>36.1</td><td>35.0</td><td>35.3</td></tr></tbody></table>

<figure><img src="image_66.png" /><figcaption>FIGURE 2 – Scores moyens de SMATCH sur les langues cibles en fonction des étapes d’adaptation.</figcaption></figure>

<figure><img src="image_67.png" /><figcaption>FIGURE 3 – Scores moyens de SMATCH sur les langues cibles en fonction du taux d’apprentissage de l’affinage fin.</figcaption></figure>

performances des deux modèles ont considérablement diminué lorsqu’ils ont été entraînés sur un petit ensemble de données. Plus précisément, le modèle MAML connaît une baisse plus importante du score SMATCH, de 27 %, par rapport au modèle de base, qui a enregistré une baisse de 23,3 %. Cette différence suggère que le modèle MAML est plus sensible à la dégradation des performances dans les scénarios à faibles ressources.

**Q3 : De combien d’étapes d’adaptation le modèle a-t-il besoin pour apprendre efficacement une nouvelle tâche ?** Nous affinons nos modèles avec 32 exemples sur les langues cibles, puis nous les évaluons en langues cibles, pour l’évaluation *k-shot*. Étant donné que les données d’affinage ne sont pas disponibles pour les langues cibles, nous utilisons DeepL pour traduire les données de validation anglaises afin d’obtenir des données. Le modèle est ajusté de manière itérative avec les données de l’affinage et le nombre d’étapes d’adaptation est le nombre d’époques lors de l’affinage finale *k-shot*. Pour évaluer l’influence des étapes d’adaptation sur les performances du modèle, nous augmentons le nombre d’itérations et évaluons le modèle en conséquence. Nous échantillonnons 32 exemples de manière aléatoire à trois reprises et utilisons le score moyen des trois processus d’évaluation. Le taux d’apprentissage de l’affinage est fixé à $1 \times 10^{-5}$ dans toutes les expériences.

**Résultats** La figure 2¹⁰ représente visuellement les scores moyens des tests SMATCH dans les langues cibles. Lorsque l’étape d’adaptation est égale à 0, le modèle est évalué en mode zéro-shot. De manière surprenante, les résultats indiquent que les modèles MAML et celui de base sont moins efficaces après l’adaptation. Nous émettons l’hypothèse que le modèle pré-entraîné mBart possède déjà une connaissance suffisante de nos langues cibles, et qu’affiner le modèle avec seulement quelques exemples dans chaque langue peut nuire à la capacité du modèle. Cela peut également être attribué à la différence de domaine entre les données de d’affinage et les données de test. Le premier comprend du contenu provenant de domaines généraux tels que des actualités, des forums en ligne, et des journaux, tandis que le données de test se composent du roman écrit dans les années 1940, Le Petit

<footnote n="10">10. Les données numériques seront également présentées dans l’annexe en version finale</footnote>
<table><caption>TABLE 3 – Scores SMATCH du modèle de base et du modèle MAML en fonction de $k$</caption><thead><tr><th>k_size</th><th>baseline</th><th>MAML</th></tr></thead><tbody><tr><td>0</td><td>48.3</td><td>48.4</td></tr><tr><td>32</td><td>48.2</td><td>47.3</td></tr><tr><td>64</td><td>48.2</td><td>47.7</td></tr><tr><td>128</td><td><strong>48.5</strong></td><td><strong>48.5</strong></td></tr></tbody></table>

<table><caption>TABLE 4 – Scores SMATCH du modèle de base et du modèle MAML (évaluation à zéro-shot).</caption><thead><tr><th></th><th>fr</th><th>zh</th><th>ko</th><th>fa</th><th>hr</th><th>avg</th></tr></thead><tbody><tr><td>baseline</td><td>56.4</td><td>45.6</td><td>42.1</td><td>46.3</td><td><strong>51.4</strong></td><td>48.4</td></tr><tr><td>MAML</td><td><strong>56.5</strong></td><td><strong>46.1</strong></td><td><strong>42.2</strong></td><td><strong>46.7</strong></td><td>50.8</td><td><strong>48.5</strong></td></tr></tbody></table>

*Prince.* Par conséquent, le changement de domaine entre les 2 jeux de données peut avoir contribué à l'incapacité du modèle à s'adapter efficacement au domaine de test. Une autre hypothèse est la taille restreinte des données d'affinage, qui peut avoir entravé la performance du modèle, ou un taux d'apprentissage inadéquat conduisant aux résultats d'affinage indésirables. Nous approfondissons les hypothèses sur le taux d'apprentissage et la taille de $k$ dans les questions suivantes.

**Q4 : Taux d'apprentissage élevé ou faible pour l'affinage ?** Pour examiner les performances du modèle en fonction des différents taux d'apprentissage, nous affinons notre modèle avec différents taux d'apprentissage. Nous appliquons les mêmes paramètres que dans Q4, tels que l'échantillonnage des données trois fois avec une taille $k$ égale à 32.

**Résultats** La figure 3¹¹ présente une représentation visuelle des scores SMATCH moyens du test dans les différentes langues cibles. Le modèle de base et le modèle MAML présentent un comportement similaire, à savoir qu'un taux d'apprentissage plus faible permet d'obtenir de meilleurs résultats. Lorsque le taux d'apprentissage est égal à 0, c'est-à-dire lorsque le modèle n'est pas affiné, les deux modèles affichent les meilleures performances. Cela correspond aux résultats de Q3, mais on peut se demander pourquoi l'affinage dans les langues cibles ne conduit pas à un gain de performance. Cela peut être dû à la petite taille de $k$ et dans la question suivante, nous évoquerons les résultats avec une plus grande taille de $k$.

**Q5 : k-shot, quel est l'effet de la taille de $k$ ?** Pour répondre à cette question, nous utilisons différentes tailles de données d'affinage $k = 0, 32, 64, 128$. Comme pour Q3 et Q4, les données d'affinage sont échantillonnées trois fois et nous utilisons le score moyen. Nous appliquons le taux d'apprentissage $1 \times 10^{-5}$ pour affiner les modèles.

**Résultats** Le tableau 3 montre que pour des valeurs de $32 \le k \le 128$, plus $k$ est grand, plus le score est élevé. Cependant, à l'exception des modèles avec 128 exemples d'affinage, la plupart des modèles ne présentent pas d'amélioration par rapport à l'évaluation 0-shot. Il semble paradoxal qu'un modèle affiné soit moins performant qu'un modèle non affiné. Le modèle MAML est particulièrement affecté par l'étape d'affinage et présente une baisse de performance plus importante que le modèle de base. La baisse la plus importante est observée entre le modèle à 0 shot et le modèle à 32 shot, avec une différence de 2,3 %, alors que le modèle de base à 32 shot ne se dégrade que de 0,2 % par rapport au modèle à 0 shot. Par conséquent, cela nous amène à revoir les hypothèses discutées dans Q3 concernant la connaissance préalable du modèle mBart dans nos langues cibles et le changement de domaine entre les données d'affinage et celles du test.

<footnote n="11">11. Les données numériques seront également présentées dans l'annexe en version finale</footnote>
**Q6 : Comment l'analyse AMR translingue doit-elle être mise en place ?** Le tableau 4 résume les scores SMATCH les plus élevés obtenus par les modèles de base et MAML lors de l'évaluation zéro-shot. La différence de performance entre ces modèles est marginale et varie en fonction de la langue cible. Par conséquent, il est difficile de tirer une conclusion définitive quant à la supériorité de l'une des méthodes. Cependant, notre examen nous a permis de constater que les modèles MAML présentent une plus grande sensibilité aux changements dans les types d'entrée et les tailles des données d'apprentissage. Notamment, leurs performances se détériorent de manière significative dans les scénarios avec peu de ressources ou lors de l'utilisation de différents modèles de traduction pour les entrées. En outre, des incohérences apparaissent lors de l'affinage du modèle avec différentes étapes d'adaptation, ce qui complique l'interprétation des résultats et rend difficile l'identification des perspectives d'amélioration. À l'inverse, nos observations indiquent qu'une approche simple d'apprentissage conjoint permet d'obtenir des performances comparables à celles du modèle MAML. Cela montre que la méthode d'apprentissage conjoint reste un point de départ solide pour l'analyse AMR translingue. Par conséquent, MAML n'apparaît pas comme la solution optimale pour cette tâche, compte tenu de ses performances instables.

**Limites** Notre modèle n'est pas plus performant qu'un simple modèle monolingue entraîné avec les données AMR dans la langue cible traduite par un système de traduction automatique. Cependant, notre approche peut être utilisée pour des langues peu dotées en ressources. En outre, nous n'avons pas appliqué de recherche par quadrillage (grid-search) pour trouver les meilleurs taux d'apprentissage pour les modèles de base et avons utilisé le même taux d'apprentissage que Procopio et al. (2021), qui a également utilisé mBart pour l'analyse AMR translingue en seq2seq. Cela a pu affecter les résultats en faveur du méta-apprentissage. Néanmoins, cela n'affecte pas notre conclusion de l'étude empirique qui révèle la faiblesse de l'approche du méta-apprentissage pour l'analyse AMR translingue.

# 6 Conclusion

Cette étude examine l'efficacité du méta-apprentissage par rapport à l'apprentissage conjoint dans l'analyse AMR translingue. Nous évaluons nos modèles dans des langues peu ou pas étudiées pour l'analyse AMR, notamment le français, le chinois, le coréen, le farsi et le croate. Pour faciliter l'évaluation, nous développons de nouveaux jeux de tests pour le coréen et le croate et publions les données pour promouvoir la diversité des langues d'évaluation pour l'analyse AMR translingue. Nous explorons différents contextes afin d'effectuer une analyse approfondie du méta-apprentissage par rapport à l'apprentissage conjoint. Nos résultats suggèrent que la méthode d'apprentissage conjoint est une approche de base robuste, tandis que le méta-apprentissage semble être une approche non optimale pour l'analyse AMR translingue en raison de ses performances peu robustes aux variations de configurations expérimentales.

# Remerciements

Nous remercions les relecteurces anonymes pour leurs retours. Ces travaux ont bénéficié d'un accès aux moyens de calcul de l'IDRIS au travers de l'allocation de ressources 2023-AD011012853R1 attribuée par GENCI.
Références

ARNOLD S. M. R., MAHAJAN P., DATTA D., BUNNER I. & ZARKIAS K. S. (2020). learn2learn : A library for Meta-Learning research. *arXiv, abs/2008.12284*.

BANARESCU L., BONIAL C., CAI S., GEORGESCU M., GRIFFITT K., HERMJAKOB U., KNIGHT K., KOEHN P., PALMER M. & SCHNEIDER N. (2013). Abstract Meaning Representation for sembanking. In A. PAREJA-LORA, M. LIAKATA & S. DIPPER, Éds., *Proceedings of the 7th Linguistic Annotation Workshop and Interoperability with Discourse*, p. 178–186, Sofia, Bulgaria : Association for Computational Linguistics.

BANSAL T., JHA R. & MCCALLUM A. (2020). Learning to few-shot learn across diverse natural language classification tasks. In D. SCOTT, N. BEL & C. ZONG, Éds., *Proceedings of the 28th International Conference on Computational Linguistics*, p. 5108–5123, Barcelona, Spain (Online) : International Committee on Computational Linguistics. DOI: 10.18653/v1/2020.coling-main.448.

BEVILACQUA M., BLLOSHMI R. & NAVIGLI R. (2021). One spring to rule them both : Symmetric amr semantic parsing and generation without a complex pipeline. *Proceedings of the AAAI Conference on Artificial Intelligence, 35*(14), 12564–12573. DOI: 10.1609/aaai.v35i14.17489.

BLLOSHMI R., TRIPODI R. & NAVIGLI R. (2020). XL-AMR : Enabling cross-lingual AMR parsing with transfer learning techniques. In B. WEBBER, T. COHN, Y. HE & Y. LIU, Éds., *Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP)*, p. 2487–2500, Online : Association for Computational Linguistics. DOI: 10.18653/v1/2020.emnlp-main.195.

CAI D. & LAM W. (2019). Core semantic first : A top-down approach for AMR parsing. In K. INUI, J. JIANG, V. NG & X. WAN, Éds., *Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP)*, p. 3799–3809, Hong Kong, China : Association for Computational Linguistics. DOI: 10.18653/v1/D19-1393.

CAI D., LI X., HO J. C.-S., BING L. & LAM W. (2021). Multilingual AMR parsing with noisy knowledge distillation. In M.-F. MOENS, X. HUANG, L. SPECIA & S. W.-T. YIH, Éds., *Findings of the Association for Computational Linguistics : EMNLP 2021*, p. 2778–2789, Punta Cana, Dominican Republic : Association for Computational Linguistics. DOI: 10.18653/v1/2021.findings-emnlp.237.

CAI S. & KNIGHT K. (2013). Smatch : an evaluation metric for semantic feature structures. In H. SCHUETZE, P. FUNG & M. POESIO, Éds., *Proceedings of the 51st Annual Meeting of the Association for Computational Linguistics (Volume 2 : Short Papers)*, p. 748–752, Sofia, Bulgaria : Association for Computational Linguistics.

DAMONTE M. & COHEN S. (2020). Abstract meaning representation 2.0 - four translations
ldc2020t07.

DAMONTE M. & COHEN S. B. (2018). Cross-lingual Abstract Meaning Representation parsing. In M. WALKER, H. JI & A. STENT, Éds., *Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics : Human Language Technologies, Volume 1 (Long Papers)*, p. 1146–1155, New Orleans, Louisiana : Association for Computational Linguistics. DOI: 10.18653/v1/N18-1104.

DAMONTE M., COHEN S. B. & SATTA G. (2017). An incremental parser for Abstract Meaning Representation. In M. LAPATA, P. BLUNSOM & A. KOLLER, Éds., *Proceedings of the 15th Conference of the European Chapter of the Association for Computational Linguistics : Volume 1, Long Papers*, p. 536–546, Valencia, Spain : Association for Computational Linguistics.
DINGLIWAL S., GAO S., AGARWAL S., LIN C.-W., CHUNG T. & HAKKANI-TUR D. (2021). Few shot dialogue state tracking using meta-learning. In P. MERLO, J. TIEDEMANN & R. TSARFATY, Éds., *Proceedings of the 16th Conference of the European Chapter of the Association for Computational Linguistics : Main Volume*, p. 1730–1739, Online : Association for Computational Linguistics. DOI: 10.18653/v1/2021.eacl-main.148.

FINN C., ABBEEL P. & LEVINE S. (2017). Model-agnostic meta-learning for fast adaptation of deep networks.

GU J., WANG Y., CHEN Y., LI V. O. K. & CHO K. (2018). Meta-learning for low-resource neural machine translation. In E. RILOFF, D. CHIANG, J. HOCKENMAIER & J. TSUJII, Éds., *Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing*, p. 3622–3631, Brussels, Belgium : Association for Computational Linguistics. DOI: 10.18653/v1/D18-1398.

HUA Y., LI Y.-F., HAFFARI G., QI G. & WU T. (2020). Few-shot complex knowledge base question answering via meta reinforcement learning. In B. WEBBER, T. COHN, Y. HE & Y. LIU, Éds., *Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP)*, p. 5827–5837, Online : Association for Computational Linguistics. DOI : 10.18653/v1/2020.emnlp-main.469.

KANG J., COAVOUX M., SCHWAB D. & LOPEZ C. (2023). Analyse sémantique AMR pour le français par transfert translingue. In C. SERVAN & A. VILNAT, Éds., *Actes de CORIA-TALN 2023. Actes de la 30e Conférence sur le Traitement Automatique des Langues Naturelles (TALN)*, volume 2 : travaux de recherche originaux – articles courts, p. 55–62, Paris, France : ATALA.

KNIGHT K., BADARAU B., BARANESCU L., BONIAL C., BARDOCZ M., GRIFFITT K., HERMJA-KOB U., MARCU D., PALMER M., O’GORMAN T. & SCHNEIDER N. (2017). Abstract meaning representation (amr) annotation release 2.0 - linguistic data consortium.

KNIGHT K., BADARAU B., BARANESCU L., BONIAL C., BARDOCZ M., GRIFFITT K., HERMJA-KOB U., MARCU D., PALMER M., O’GORMAN T. & SCHNEIDER N. (2020). Abstract meaning representation (amr) annotation release 3.0 - linguistic data consortium.

LANGEDIJK A., DANKERS V., LIPPE P., BOS S., CARDENAS GUEVARA B., YANNAKOUDAKIS H. & SHUTOVA E. (2022). Meta-learning for fast cross-lingual adaptation in dependency parsing. In S. MURESAN, P. NAKOV & A. VILLAVICENCIO, Éds., *Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1 : Long Papers)*, p. 8503–8520, Dublin, Ireland : Association for Computational Linguistics. DOI: 10.18653/v1/2022.acl-long.582.

NOORALAHZADEH F., BEKOULIS G., BJERVA J. & AUGENSTEIN I. (2020). Zero-shot cross-lingual transfer with meta learning. In B. WEBBER, T. COHN, Y. HE & Y. LIU, Éds., *Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP)*, p. 4547–4562, Online : Association for Computational Linguistics. DOI: 10.18653/v1/2020.emnlp-main.368.

O’GORMAN T., REGAN M., GRIFFITT K., HERMJAKOB U., KNIGHT K. & PALMER M. (2018). AMR beyond the sentence : the multi-sentence AMR corpus. In E. M. BENDER, L. DERCZYNSKI & P. ISABELLE, Éds., *Proceedings of the 27th International Conference on Computational Linguistics*, p. 3693–3702, Santa Fe, New Mexico, USA : Association for Computational Linguistics.

PROCOPIO L., TRIPODI R. & NAVIGLI R. (2021). SGL : Speaking the graph languages of semantic parsing via multilingual translation. In K. TOUTANOVA, A. RUMSHISKY, L. ZETTLEMOYER, D. HAKKANI-TUR, I. BELTAGY, S. BETHARD, R. COTTERELL, T. CHAKRABORTY & Y. ZHOU, Éds., *Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics : Human Language Technologies*, p. 325–337, Online : Association for Computational Linguistics. DOI: 10.18653/v1/2021.nacl-main.30.
SHERBORNE T. & LAPATA M. (2023). Meta-learning a cross-lingual manifold for semantic parsing. *Transactions of the Association for Computational Linguistics, 11*, 49–67. DOI: 10.1162/tacl_a_00533.

SHETH J., LEE Y.-S., FERNANDEZ ASTUDILLO R., NASEEM T., FLORIAN R., ROUKOS S. & WARD T. (2021). Bootstrapping multilingual AMR with contextual word alignments. In P. MERLO, J. TIEDEMANN & R. TSARFATY, Éds., *Proceedings of the 16th Conference of the European Chapter of the Association for Computational Linguistics : Main Volume*, p. 394–404, Online : Association for Computational Linguistics. DOI: 10.18653/v1/2021.eacl-main.30.

SINGH S., WANG R. & HOU F. (2022). Improved meta learning for low resource speech recognition. In *ICASSP 2022 - 2022 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP)*, p. 4798–4802. DOI: 10.1109/ICASSP43922.2022.9746899.

TAKHSHID R., SHOJAEI R., AZIN Z. & BAHRANI M. (2022). Persian abstract meaning representation. *arXiv, abs/2205.07712*.

TANG Y., TRAN C., LI X., CHEN P.-J., GOYAL N., CHAUDHARY V., GU J. & FAN A. (2020). Multilingual translation with extensible multilingual pretraining and finetuning. *arXiv, abs/2008.00401*.

VAN NOORD R. & BOS J. (2017). Neural semantic parsing by character-based translation : Experiments with abstract meaning representations. *Computational Linguistics in the Netherlands Journal*, **7**, 93–108.

VASWANI A., SHAZEER N., PARMAR N., USZKOREIT J., JONES L., GOMEZ A. N., KAISER L. U. & POLOSUKHIN I. (2017). Attention is all you need. In I. GUYON, U. V. LUXBURG, S. BENGIO, H. WALLACH, R. FERGUS, S. VISHWANATHAN & R. GARNETT, Éds., *Advances in Neural Information Processing Systems*, volume 30 : Curran Associates, Inc.

WOLF T., DEBUT L., SANH V., CHAUMOND J., DELANGUE C., MOI A., CISTAC P., RAULT T., LOUF R., FUNTOWICZ M., DAVISON J., SHLEIFER S., VON PLATEN P., MA C., JERNITE Y., PLU J., XU C., SCAO T. L., GUGGER S., DRAME M., LHOEST Q. & RUSH A. M. (2020). Huggingface's transformers : State-of-the-art natural language processing.

XU D., LI J., ZHU M., ZHANG M. & ZHOU G. (2021). XLPT-AMR : Cross-lingual pre-training via multi-task learning for zero-shot AMR parsing and text generation. In C. ZONG, F. XIA, W. LI & R. NAVIGLI, Éds., *Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers)*, p. 896–907, Online : Association for Computational Linguistics. DOI: 10.18653/v1/2021.acl-long.73.

ZHANG S., MA X., DUH K. & VAN DURME B. (2019). AMR parsing as sequence-to-graph transduction. In A. KORHONEN, D. TRAUM & L. MÀRQUEZ, Éds., *Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics*, p. 80–94, Florence, Italy : Association for Computational Linguistics. DOI: 10.18653/v1/P19-1009.
# Recherche de relation à partir d'un seul exemple fondée sur un modèle N-way K-shot : une histoire de distracteurs

Hugo Thomas Guillaume Gravier Pascale Sébillot

Univ Rennes, INSA Rennes, CNRS, Inria, IRISA - UMR 6074

hugo.thomas@irisa.fr, guig@irisa.fr, pascale.sebillot@irisa.fr

## RÉSUMÉ

La recherche de relation à partir d'un exemple consiste à trouver dans un corpus toutes les occurrences d'un type de relation liant deux entités dans une phrase, nommé type cible et caractérisé à l'aide d'un seul exemple. Nous empruntons le scénario d'entraînement et évaluation *N-way K-shot* à la tâche de classification de relations rares qui prédit le type de relation liant deux entités à partir de peu d'exemples d'entraînement, et l'adaptons à la recherche de relation avec un exemple. Lors de l'évaluation, un modèle entraîné pour la classification de relations en *N-way K-shot* est utilisé, dans lequel *K* = 1 pour le type cible, qui constitue l'une des *N* classes (du *N-way*), les *N-1* classes restantes étant des distracteurs modélisant la classe de rejet. Les résultats sur FewRel et TACREV démontrent l'efficacité de notre approche malgré la difficulté de la tâche. L'étude de l'évolution des performances en fonction du nombre de distracteurs et des stratégies de leur choix met en avant une bonne configuration globale, à savoir un nombre élevé de distracteurs à une distance intermédiaire du type de relation cible dans l'espace latent appris par le modèle. Le diagnostic *a posteriori* de notre méthode révèle l'existence de configurations optimales pour chaque type cible que nos analyses actuelles échouent à caractériser, ouvrant la voie à de futurs travaux.

## ABSTRACT

### One-shot relation retrieval based on an N-way K-shot model: a matter of distractors

One-shot relation retrieval consists in searching inside a corpus for all occurrences of a relation type linking two entities in an utterance, called the target type and characterized via a single example. In this paper, we perform this task by diverting the training and testing N-way K-shot scenario commonly used for the few-shot relation classification task, i.e., the prediction of the type of relation linking two entities with few training examples. At test time, our approach uses a model trained for N-way K-shot relation classification, in which *K* = 1 for the target type, which constitutes one of the *N* ways (i.e., *N* classes), the *N-1* others being distractors modeling the rejection class. Results on TACREV and FewRel demonstrate the effectiveness of our approach on the challenging task of one-shot relation retrieval. Investigating the influence of the number of distractors used and of their choice exposes an efficient overall configuration, i.e., a high number of distractors at an intermediate distance from the target relation embedding in the latent space learned by the model. Post-hoc analysis of our framework reveals target-type-dependent optimal configurations which our current experiments fail to characterize, paving the way for future work.

**MOTS-CLÉS** : extraction de relations, apprentissage frugal, apprentissage *N-way K-shot*.

**KEYWORDS:** relation extraction, few-shot learning, *N-way K-shot* learning.

<figure><img src="image_68.png" /></figure>
# 1 Introduction

L'extraction de relations consiste à détecter, dans un texte, les relations liant deux entités (entités nommées ou pronoms leur faisant référence). Conceptuellement, cette tâche se divise en deux sous-tâches : la détection de relations, qui consiste à prédire s'il existe une relation entre deux entités présentes au sein d'une phrase, et la classification de relations, qui suppose l'existence d'une relation et vise à déterminer son type parmi un ensemble prédéfini. En pratique, ces deux sous-tâches sont souvent effectuées conjointement à l'aide d'un modèle qui choisit entre différents types de relations ou une classe de rejet. L'extraction de relations a fait l'objet de nombreux travaux, exploitant notamment des approches neuronales (Zhang et al., 2017; Detroja et al., 2023). Ces avancées restent cependant limitées par la quantité de données annotées nécessaires, conduisant à des performances moindres sur les types de relations rares, c.-à-d. pour lesquels peu d'exemples annotés sont disponibles. Dans cet article, nous nous penchons sur la tâche de recherche de relation avec un exemple. Cette tâche particulière vise à retrouver, dans un grand corpus, toutes les occurrences d'un type de relation cible identifié à l'aide d'un seul exemple. On suppose donc que cet exemple unique suffit à caractériser le type de relation, qui ne possède ni nom ni définition explicites et ne correspond à aucune classe connue d'un modèle. La recherche de relation avec un exemple trouve des cas d'applications concrets par exemple dans un contexte d'analyse de médias, en sociologie ou dans le cadre du journalisme d'enquête, où un utilisateur repère une relation d'intérêt (relation cible) lors de sa recherche et souhaite retrouver d'autres occurrences de ce type de relation dans un corpus.

Dans ce contexte, il n'est pas envisageable de ré-entraîner un nouveau modèle à chaque changement de type de relation cible, pour des questions de temps de calcul et d'absence de données d'entraînement en quantité suffisante. Pour traiter notre problématique, nous nous inspirons des méthodes de classification de relations rares s'appuyant sur des techniques d'apprentissage par transfert (Han et al., 2018) qui permettent d'apprendre à représenter et classifier correctement des types de relations rares grâce à un apprentissage réalisé sur des types de relations fréquents. Ces méthodes sont souvent entraînées et évaluées selon le scénario *N-way K-shot*, dans lequel un *batch* d'entraînement est composé de *N* classes – des types de relations dans notre cas – tirées au hasard parmi des classes connues, chacune d'entre elles étant représentée par un petit nombre *K* de phrases supports issues des données d'entraînement. L'objectif consiste à classifier des énoncés – appelés requêtes – parmi l'une des *N* classes. Ce paradigme d'apprentissage adapté à un faible nombre d'exemples met en avant l'apprentissage de prototypes, c.-à-d. de vecteurs représentant chacun des *N* types de relations et construits à l'aide des *K* exemples disponibles. En pratique, les *N* prototypes d'un *batch* sont utilisés pour classifier chaque requête parmi les *N* types de relations en évaluant la distance – éventuellement apprise lors de l'entraînement – entre ces prototypes et le plongement de la requête appelé vecteur requête. Les modèles réalisant cette procédure sont nommés *modèles d'apprentissage de prototypes*, dont une typologie des architectures est définie par Dopierre et al. (2021).

Si le paradigme *N-way K-shot* est particulièrement pertinent pour la classification de relations rares (Han et al., 2018), il ne répond pas directement à notre problématique de recherche de relation à partir d'un seul exemple et doit être fortement adapté pour ce faire. Dans cet article, nous proposons RaReMUD (Rare Relation Mining Using Distractors), un modèle dérivé de ce paradigme pour traiter cette tâche. Le modèle est d'abord entraîné pour la classification de relations dans le scénario *N-way K-shot* sur des types de relations fréquents afin d'apprendre à construire des prototypes de relations fiables et, le cas échéant, une métrique de comparaison des plongements (prototypes et vecteurs requêtes). Il est ensuite évalué sur des types de relations rares, toujours dans le scénario *N-way K-shot* : une des *N* classes au sein d'un *batch* correspond au type de relation cible représenté grâce à un seul
exemple support, les (prototypes des) N-1 autres classes étant des *distracteurs*<fnref n="1" /> modélisant une classe de rejet, c.-à-d. l'absence du type de relation cible. Cette phase d'évaluation correspond à la recherche d'occurrences du type de relation cible dans un corpus, les requêtes d'un *batch* étant à associer soit au type de relation cible, soit à un des distracteurs et par conséquent à rejeter. Nous évaluons plusieurs déclinaisons de notre méthode RaReMUD, incluant différents modèles d'apprentissage de prototypes en N-way K-shot, sur FewRel et TACREV, démontrant son efficacité sur la tâche de recherche de relation à l'aide d'un seul exemple et établissant une référence pour cette tâche. Nous mesurons l'influence des hyperparamètres de RaReMUD sur ses performances afin de déterminer une configuration globale idéale; nos expériences portent en particulier sur l'impact du nombre de distracteurs utilisés lors de l'évaluation, de la stratégie de leur choix, et du nombre d'exemples pour le type de relation cible. Enfin, le diagnostic *a posteriori* de notre méthode révèle l'existence de configurations optimales pour chaque type cible que nos analyses actuelles échouent à caractériser, mettant en évidence une marge de gain de performances pour RaReMUD.

## 2 Travaux connexes

À notre connaissance, la recherche de relation à partir d'un seul exemple (ou de peu d'exemples) n'a pas été explorée à ce jour. Cette tâche se différencie de la classification de relations rares par deux aspects principaux : d'une part, c'est une tâche de détection et non de classification; d'autre part, elle s'effectue en ensemble ouvert, le type de relation cible n'appartenant pas à un ensemble prédéfini. Si la recherche peut être redéfinie en une tâche de classification binaire (détection vs. rejet), la question-clé de la façon de modéliser l'absence de la relation cible demeure.

Malgré ces différences, les travaux les plus proches de notre problématique sont ceux traitant de la classification de relations rares qui visent la prédiction de types de relations parmi un ensemble prédéfini à l'aide de peu d'exemples d'entraînement. Les plus récents s'appuient sur l'apprentissage profond et tirent parti de modèles comme BERT ou GPT, entraînés et évalués dans le scénario N-way K-shot (Han et al., 2021; Qu et al., 2020; Sainz et al., 2021; Gao et al., 2020; Brody et al., 2021; Chen et al., 2023; Li et al., 2024). Dans ce contexte, plusieurs solutions ont été proposées pour obtenir des modèles capables de rejeter des énoncés ne correspondant à aucun des N types de relations présents dans un *batch* : Tan et al. (2019) effectuent ce rejet par un apprentissage contrastif ; Gao et al. (2019) introduisent la notion de vecteur de rejet en ajoutant un vecteur en plus des N prototypes de relations d'un *batch*. Pendant l'entraînement, ce vecteur est appris directement sans être adossé à des exemples supports, contrairement aux prototypes de relations construits chacun à l'aide de K phrases supports. Cette idée a été étendue par Sabo et al. (2021) qui proposent d'apprendre plusieurs vecteurs de rejet pour mieux modéliser cette classe de rejet. RaReMUD emprunte cette idée de vecteurs de rejet multiples pour modéliser l'absence du type de relation cible, mais fonde son modèle de rejet sur des prototypes de relations réelles – appelés distracteurs – contruits à l'aide des phrases supports existantes et non sur un apprentissage de paramètres du modèle de classification comme Sabo et al. (2021). Ce choix résulte du fait que, dans un contexte d'ensemble ouvert, la classe de rejet dépend du type de relation cible et ne peut être apprise de manière figée.

<footnote n="1">1. Par souci de simplification, nous employons, dans l'article, indifféremment le terme *distracteur* pour faire référence au type de relation concerné ou à son prototype.</footnote>
# 3 Tâche et méthodologie

Dans cette partie, nous introduisons le formalisme de la tâche et rappelons les principes des modèles d'apprentissage de prototypes, avant de détailler notre méthode et nos choix d'implémentation.

## 3.1 Définition de la tâche

En recherche de relation, les exemples de relations sont des quadruplets de la forme $(s, t, r, q)$, où la phrase $s$ est support du type de relation $r \in \mathcal{R}$ entre les entités tête et queue $(t, q) \in \mathcal{E}^2$. Les entités considérées sont des entités nommées ou des pronoms leur faisant référence. Par exemple, la phrase $s = « La capitale de la Bolivie est Sucre. »$ est support du type de relation $r = « capitale de »$ en considérant les entités $t = « Sucre »$ et $q = « Bolivie »$. On suppose qu'un couple d'entités dans une phrase ne peut être support que d'un type de relation mais qu'il peut y avoir autant de relations dans une même phrase qu'il y a de paires d'entités dans celle-ci. En recherche de relation avec un exemple, un seul quadruplet est disponible pour caractériser le type de relation cible $r$, la tâche consistant à rechercher tous les quadruplets de ce même type de relation $r$ dans un corpus.

## 3.2 Apprentissage de prototypes

En apprentissage de prototypes, dans chaque *batch*, un modèle apprend à construire un prototype par type de relation (soit *N* prototypes) en s'appuyant sur la structure des *batches* du scénario *N-way K-shot*. Ces derniers sont composés d'un ensemble support noté *S* et d'un ensemble requête noté *Q*. L'ensemble support $S = \{s_k^i; i \in [1, N], k \in [1, K]\}$ contient *N* types distincts de relations, chacun avec *K* quadruplets supports. L'ensemble requête $Q = \{s_j; j \in [1, L]\}$ est composé de *L* phrases et leurs paires d'entités associées, auxquelles on devra attribuer un des *N* types de relations de l'ensemble support. Les prototypes de relations sont construits grâce aux plongements de leurs exemples supports, appelés vecteurs supports, et chaque requête $s_j \in Q$ est associée à son plongement, appelé vecteur requête. À l'aide de ces vecteurs, le modèle prend une décision de classification fondée sur la distance entre les vecteurs requêtes et les prototypes. Conceptuellement, les approches d'apprentissage de prototypes requièrent les trois composants suivants, dont les paramètres sont ajustés en utilisant une fonction de coût pour la classification fondée sur l'entropie croisée :

- l'encodage de relations qui représente une phrase et sa paire d'entités par un vecteur de relation : vecteur requête pour toute requête de $Q$, et vecteur support (servant à la création d'un prototype) pour chaque support de $S$;

- la construction des prototypes, qui associe *K* vecteurs issus de phrases supports d'un type de relation de *S* à un vecteur unique nommé prototype;

- la comparaison des vecteurs requêtes et des prototypes fondée sur une mesure de distance.

L'apprentissage *N-way K-shot* simule une classification de relations rares au niveau de chaque *batch* mais, globalement, le modèle peut être entraîné sur une grande quantité de données annotées, perdant ainsi la notion de rareté des données. En pratique, deux ensembles de types de relations disjoints sont constitués, $\mathcal{T}_{fr}$ et $\mathcal{T}_{ra}$, et les exemples du jeu de données sont séparés selon ces deux ensembles, formant $\mathcal{D}_{fr}$ et $\mathcal{D}_{ra}$. Les composants du modèle sont entraînés sur le corpus $\mathcal{D}_{fr}$, et évalués sur le corpus $\mathcal{D}_{ra}$ afin de mesurer les performances du modèle sur des types de relations rares en pratique au sein de chaque *batch*.
## 3.3 RaReMUD, une approche *N*-way *K*-shot pour la recherche de relation avec un exemple

Notre approche RaReMUD repose sur un modèle d'apprentissage de prototypes entraîné pour la classification de relations en *N*-way *K*-shot et l'exploite pour la recherche de relation avec un exemple. Comme décrit dans l'introduction, la phase d'apprentissage considère une tâche classique de classification de relations et permet d'apprendre de manière optimale les composants du système listés ci-dessus. Il est ensuite exploité dans un contexte de recherche de relation à partir d'un exemple, ce dernier étant utilisé comme l'une des classes dans une approche *N*-way *K*-shot et complété par *N* – 1 distracteurs modélisant la classe de rejet. Chaque distracteur est construit à l'aide de K exemples supports d'un type de relation fréquent tirés aléatoirement, et est figé durant la recherche ; le choix de fonder les distracteurs sur des types de relations de $T_{fr}$ est justifié par la nécessité d'avoir plusieurs exemples annotés pour construire des prototypes fiables. Le prototype du type de relation cible, quant à lui, correspond au plongement du seul exemple annoté disponible. Lors de la recherche – correspondant à la phase d'évaluation –, RaReMUD détecte la présence ou l'absence du type de relation cible dans chaque requête, en comparant le vecteur de cette requête au prototype du type de relation cible et aux *N*-1 distracteurs.

Décrire une configuration complète de l'approche RaReMUD nécessite de définir (a) les éléments d'architecture du modèle d'apprentissage de prototypes utilisés et (b) le nombre de distracteurs et la stratégie pour les choisir parmi les types de relations de $T_{fr}$. Nous décrivons les quatre architectures étudiées, avant de détailler les choix possibles de distracteurs.

### 3.3.1 Architectures de modèles d'apprentissage de prototypes

Dans toutes les expériences réalisées, l'encodage d'une phrase et de sa paire d'entités en un vecteur de relation se fait selon Soares et al. (2019) : les entités sont délimitées par des balises (`<E1>` et `</E1>`) pour l'entité tête, `<E2>` et `</E2>` pour l'entité queue); les tokens constituant la phrase sont encodés à l'aide d'un modèle transformeur, et le plongement ou vecteur de relation est obtenu en concatenant les vecteurs des tokens `<E1>` et `<E2>`. Le reste de l'architecture suit une des variantes de modèles d'apprentissage de prototypes décrites dans Dopierre et al. (2021), que nous présentons succinctement. Dans ProtoNet, les *N* prototypes sont obtenus en effectuant la moyenne des plongements correspondant aux *K* exemples supports de chaque classe, et la distance cosinus est utilisée pour comparer les vecteurs requêtes aux prototypes. Le modèle ProtoNet++ étend cette idée en améliorant les prototypes grâce à la prise en compte d'exemples non annotés : les vecteurs des exemples non annotés sont ajoutés aux prototypes avec une pondération fondée sur leur similarité cosinus à ces mêmes prototypes. L'approche MatchingNet s'affranchit de la construction des prototypes et compare directement un vecteur requête à chacun des *K* vecteurs supports d'un type de relation : la distance de la requête à ce type de relation est obtenue en moyennant les distances à ses *K* vecteurs supports. Enfin, RelationNet ajoute à ProtoNet un apprentissage de métrique s'appuyant sur un modèle neuronal de tenseurs (Socher et al., 2013) en remplacement de la distance cosinus.

### 3.3.2 Choix des distracteurs

La clé de RaReMUD réside dans le choix, pour un type cible donné, des *N*-1 types de relations de $T_{fr}$ employés comme distracteurs. Une première approche, qui constituera notre référence, consiste
simplement à prendre tous les types de relations de $\mathcal{T}_{fr}$ comme distracteurs. Cette approche semble cependant peu optimale, notamment en termes de temps de calcul. Nous comparons dans la suite différentes stratégies pour choisir un nombre plus restreint de distracteurs adaptés à un type de relation cible défini par une phrase support et son prototype associé :

- un tirage *aléatoire* des types de relations : cette stratégie constitue une référence faible à titre de comparaison pour les stratégies suivantes;

- les types de relations dont les prototypes sont les plus proches du prototype cible dans l'espace latent construit par le modèle : ces distracteurs permettent *a priori* une détection fine du type de relation cible en rapprochant les prototypes de la classe de rejet de celui de la classe cible;

- à l'opposé, les distracteurs les plus éloignés, c.-à-d. les N-1 classes les plus lointaines du type de relation cible dans l'espace latent, représentant un choix moins risqué en assurant de rejeter les exemples éloignés du type de relation cible;

- des distracteurs *intermédiaires*, situés entre les plus proches et les plus éloignés dans l'espace latent : ce choix constitue potentiellement un juste milieu entre la finesse des distracteurs les plus proches et la sécurité des distracteurs les plus lointains;

- des distracteurs *mixtes*, mélange à proportions égales des trois choix précédents de distracteurs, en espérant tirer parti du meilleur des trois.

# 4 Expériences

Les expériences décrites ci-après visent à évaluer RaReMUD et à étudier l'influence de ses hyperparamètres sur ses performances en recherche de relation à partir d'un exemple. Nous décrivons tout d'abord les jeux de données utilisés, puis fournissons des détails d'implémentation des modèles et procédures expérimentales. Nous analysons ensuite, à travers les expériences menées, la dépendance des performances de RaReMUD au choix des distracteurs, plus précisément au nombre de distracteurs employés et aux stratégies pour les choisir parmi $\mathcal{T}_{fr}$. Nous observons les liens entre le nombre d'exemples annotés pour le type de relation cible et les scores obtenus par RaReMUD, avant de mener une analyse *a posteriori* de notre approche étudiant ses performances dans sa configuration optimale.

## 4.1 Jeux de données

Les expériences s'appuient sur deux des jeux de données les plus populaires et récents pour la classification de relations : d'une part, TACREV (Alt et al., 2020), une version revisitée de TACRED, qui contient une variété de types de relations, y compris un pour l'absence de relation (ignoré lors de nos expériences) ; d'autre part, FewRel 1.0 (Han et al., 2018), spécifiquement conçu pour la classification de relations rares. Ces jeux de données subissent les prétraitements suivants : les exemples contenant des entités du jeu de données d'évaluation sont supprimés des données d'entraînement, et les exemples (erronés) dans lesquels une entité est seulement constituée d'un adjectif possessif (*his*, *her*, *their...*) sont retirés. 75 % des types de relations forment l'ensemble $\mathcal{T}_{fr}$ (soit 60 types pour FewRel et 29 pour TACREV), les 25% restants formant $\mathcal{T}_{ra}$ (20 types pour FewRel et 10 pour TACREV). Au final, FewRel contient 47 428 exemples et TACREV 21 773, séparés en trois parties : les exemples supports de types de relations appartenant à $\mathcal{T}_{fr}$ sont répartis en un jeu d'entraînement (70 % de ces exemples, soit 27 146 pour FewRel et 13 012 pour TACREV) et un jeu de validation (soit 6 296 pour FewRel et 5 436 pour TACREV), et les exemples supports de types appartenant à $\mathcal{T}_{ra}$ constituent le jeu d'évaluation (13 986 exemples pour FewRel et 3 325 pour TACREV). Pour chaque type de $\mathcal{T}_{ra}$,
trois exemples supports sont sélectionés afin de construire indépendamment trois prototypes. Ces prototypes et les distracteurs associés sont chacun leur tour comparés au corpus constitué de tous les autres exemples du jeu d'évaluation.

## 4.2 Détails des implémentations

Tous les modèles sont entraînés en N-way K-shot pour la classification de relations puis évalués, dans le cadre RaReMUD, pour la recherche de relation à partir d'un (ou des quelques) exemple(s). L'encodage des relations est réalisé par le modèle RoBERTa<sup>2</sup> (Liu et al., 2019) adapté de manière efficace par LoRA (Hu et al., 2021). L'entraînement est interrompu après trois époques sans amélioration de la mesure F1 sur le jeu de validation. Nous avons expérimentalement fixé pour l'entraînement N = K = 5, compromis efficace entre N et K en tenant en compte de la mémoire disponible<sup>3</sup>. Pour la variante ProtoNet++, le jeu de données New York Times, disponible comme jeu de validation de FewRel 2.0, est utilisé comme données non annotées pour augmenter les prototypes lors de l'apprentissage du modèle, du fait de sa disponibilité et de sa relative proximité du domaine des données d'entraînement. En pratique, la phase d'évaluation correspond à un scénario N-way K-shot avec K = 1 pour le type cible et K = 5 pour les distracteurs, traitant l'ensemble des énoncés requêtes du jeu d'évaluation avec N = R + 1.

Pour la stratégie de choix aléatoire des distracteurs, nous effectuons 5 tirages indépendants par expérience avec une graine aléatoire fixe par souci de reproductibilité. La mesure F1, nommée F-mesure par la suite, est la métrique d'évaluation retenue pour juger de la capacité de RaReMUD à retrouver les occurrences du type de relation cible parmi les requêtes, compromis discutable mais efficace entre précision et rappel. Les expériences présentées dans cet article ont été réalisées sur le banc d'essai Grid'5000, soutenu par un groupement d'intérêt scientifique hébergé par l'Inria et comprenant le CNRS, RENATER et plusieurs universités ainsi que d'autres organisations (voir https://www.grid5000.fr).

## 4.3 Influence du nombre de distracteurs

Nous étudions tout d'abord l'influence du nombre de distracteurs, noté *R*, utilisés lors de la phase d'évaluation. La figure 1 illustre l'évolution de la F-mesure de notre méthode en fonction de *R* sur FewRel pour les 4 modèles étudiés avec un tirage aléatoire des distracteurs. On constate tout d'abord une très forte variabilité de la F-mesure induite par les différences de scores obtenus selon les types de relations cibles, et par la diversité de prototype du type cible créé selon l'unique exemple annoté servant à le construire. Nous avons observé que cette variabilité est principalement due aux types de relations cibles, la diversité des prototypes ayant une influence plus modérée. Par exemple, avec ProtoNet sur FewRel et 20 distracteurs, les types "owned by" et "country", très variables, obtiennent de très faibles scores (resp. 3 % et 4 %) à l'inverse de "crosses" et "league", très spécifiques (~ 95 %). Par ailleurs, la F-mesure médiane pour chaque valeur de *R* est, de manière générale, relativement basse. Ces deux points sont à mettre en regard de la difficulté de la tâche de recherche de relation à partir d'un seul exemple. De manière plus fondamentale, il apparaît que la référence (*R* = 60) obtient une meilleure F-mesure qu'un faible nombre de distracteurs mais n'est pas optimale : les valeurs élevées de *R* inférieures à 60 semblent conduire à de meilleures performances, ce que nous

<footnote n="2">2. Le modèle roberta-base de Huggingface est utilisé.</footnote>

<footnote n="3">3. Une implémentation de RaReMUD est disponible à https://gitlab.inria.fr/huthomas/raremud.</footnote>
<figure><img src="image_69.png" /><figcaption>FIGURE 1 – F-mesure sur FewRel en fonction du nombre de distracteurs pour les différents modèles</figcaption></figure>

<table><caption>TABLE 1 – F-mesure (en %) sur FewRel et TACREV pour 5 stratégies de choix des distracteurs.</caption><thead><tr><th rowspan="2">Stratégie</th><th colspan="4">FewRel 1.0</th><th colspan="4">TACREV</th></tr><tr><th>ProtoNet</th><th>ProtoNet++</th><th>MatchingNet</th><th>RelationNet</th><th>ProtoNet</th><th>ProtoNet++</th><th>MatchingNet</th><th>RelationNet</th></tr></thead><tbody><tr><td>plus proches</td><td>38.6±25.7</td><td>44.4±27.3</td><td>39.0±25.4</td><td>34.9±20.3</td><td>34.2±33.2</td><td>27.9±32.0</td><td>27.1±29.6</td><td>23.6±19.6</td></tr><tr><td>plus éloignés</td><td>42.6±20.6</td><td>41.2±20.2</td><td>41.4±21.7</td><td>40.2±21.3</td><td>35.4±32.6</td><td>34.9±32.1</td><td>35.0±32.8</td><td>30.8±27.8</td></tr><tr><td>intermédiaires</td><td>46.7±22.3</td><td>46.2±22.3</td><td>44.9±22.8</td><td>43.7±21.8</td><td>39.3±35.0</td><td>37.8±34.1</td><td>37.5±35.0</td><td>32.8±28.6</td></tr><tr><td>mixtes</td><td>36.9±24.8</td><td>43.1±26.1</td><td>37.9±24.5</td><td>35.0±20.5</td><td>33.5±32.2</td><td>27.2±30.5</td><td>28.7±30.3</td><td>25.3±20.7</td></tr><tr><td>aléatoires</td><td>43.7±25.0</td><td>46.8±25.4</td><td>44.0±24.5</td><td>39.2±21.3</td><td>37.2±34.3</td><td>34.0±34.6</td><td>32.9±33.4</td><td>28.5±24.1</td></tr></tbody></table>

avons confirmé par un test statistique de comparaison des moyennes de Student au risque de 5%. Les résultats sur TACREV mènent aux mêmes conclusions. En résumé, RaReMUD obtient donc ses meilleures performances lorsqu’un grand nombre de distracteurs sont choisis parmi tous ceux disponibles, sans que ce nombre soit statistiquement discernable du fait de la grande variabilité des résultats.

## 4.4 Influence de la stratégie de choix des distracteurs

Nous comparons ensuite les stratégies de choix des distracteurs. Afin de s'affranchir du choix du nombre de distracteurs pour chaque stratégie, nous moyennons les F-mesures obtenues pour une stratégie de choix en faisant varier *R*. Le tableau 1 rend compte de cette évaluation pour les 4 modèles en fonction de la stratégie utilisée. Malgré la variabilité des résultats (dont les raisons ont été mentionnées en section 4.3), il apparaît que le choix naïf de tirer des distracteurs aléatoires est sous-optimal. La meilleure stratégie moyenne commune à tous les modèles et types de relations cibles semble être celle des distracteurs intermédiaires, constat confirmé par un test de comparaison des moyennes de Student au risque de 5%. Toutefois, certains types de relations cibles obtiennent marginalement de meilleures performances avec des distracteurs aléatoires – le type de relation cible "country of citizenship" de FewRel obtenant p. ex. une F-mesure de 51.54±14.48% avec les distracteurs aléatoires contre 41.15±10.40% avec les intermédiaires pour le modèle ProtoNet – ce qui indique que trouver la stratégie optimale pour un type cible donné reste une question ouverte.
<figure><img src="image_70.png" /><figcaption>FIGURE 2 – F-mesure de ProtoNet sur FewRel en fonction du nombre d'exemples fournis</figcaption></figure>

## 4.5 Influence du nombre d'exemples annotés pour la construction de prototype

Les expériences précédentes étant réalisées dans le cas extrême de recherche de relation avec un seul exemple, nous vérifions l'intérêt, par exemple dans un cadre applicatif, d'annoter plus d'un seul exemple pour un type de relation cible. Sur la figure 2, la F-mesure du modèle ProtoNet – l'utilisation des autres modèles menant aux mêmes conclusions – est mise en relation avec le nombre d'exemples fournis pour le type cible sur le jeu de données FewRel. Il apparaît que l'annotation de deux exemples apporte un gain de F-mesure visible par rapport à celle d'un unique exemple. Ce gain s'estompe toutefois rapidement lorsque des exemples supplémentaires sont annotés. Ces conclusions sont communes aux différentes stratégies de choix de distracteurs et au jeu de données TACREV, ce qui les renforce. Dans un cadre applicatif, l'annotation de deux exemples peut donc être recommandée comme un bon compromis entre gain de performance et temps d'annotation.

## 4.6 Analyse *a posteriori* du choix des distracteurs optimaux

La meilleure configuration globale trouvée jusqu'ici, qui consiste à choisir un nombre élevé de distracteurs à une distance intermédiaire du type de cible, n'est pas nécessairement optimale pour un type de relation cible donné. À des fins de diagnostic de notre approche, nous effectuons l'analyse *a posteriori* suivante : les performances sont évaluées avec toutes les combinaisons possibles de moins de 6 distracteurs – la combinatoire augmentant rapidement avec le nombre de distracteurs – pour chaque type cible afin de déterminer les performances optimales absolues de RaReMUD avec des distracteurs optimaux par type de relation cible. La figure 3 représente la F-mesure sur FewRel de ProtoNet pour plusieurs types de relations cibles avec les distracteurs intermédiaires en quantité *R* idéale révélée par les expériences de la section 4.3 (*R*=55 pour FewRel) en bleu foncé et avec les 6 distracteurs optimaux déterminés *a posteriori* pour chaque type cible (cette quantité étant choisie empiriquement comme optimale parmi les valeurs disponibles) en vert clair ; L'importante marge de progression entre les deux configurations révèle le potentiel considérable de notre approche sur la tâche pourtant difficile de recherche de relation avec un exemple. Par ailleurs, certains types cibles obtiennent des scores relativement faibles dans les deux configurations, indiquant vraisemblablement
<figure><img src="image_71.png" /><figcaption>FIGURE 3 – Comparaison des F-mesures avec des distracteurs optimaux et intermédiaires sur les types de relations rares de FewRel pour le modèle ProtoNet</figcaption></figure>

leur difficulté inhérente ou l'absence de distracteurs disponibles adaptés à ces types de relation. Ces deux constats ouvrent la voie à de futurs travaux.

# 5 Conclusion

Dans cet article, nous avons proposé et étudié RaReMUD (Rare Relation Mining Using Distractors), une approche adaptant le scénario de classification de relations rares N-way K-shot à la recherche de relation à partir d'un seul exemple. Nos résultats sur FewRel et TACREV, en fondant RaReMUD sur plusieurs architectures de modèles d'apprentissage de prototypes, démontrent l'efficacité de notre approche sur cette tâche exigeante. Il ressort aussi de nos expériences qu'un choix des distracteurs est nécessaire à l'optimisation de notre méthode, et reste une décision complexe pouvant dépendre du type de relation cible. Nous montrons qu'une stratégie fiable de choix consiste à conserver un nombre de distracteurs élevé, inférieur au nombre maximal, mêlant des types de relations de l'ensemble d'entraînement ni trop proches ni trop éloignés du type de relation cible dans l'espace des prototypes. L'étude de l'influence sur les performances du nombre d'exemples du type de relation cible disponibles souligne que le simple ajout d'un second exemple contribue à augmenter fortement la F-mesure des modèles, encourageant de potentiels travaux exploitant RaReMUD dans un cadre applicatif à annoter au moins deux exemples. Nos expériences révèlent enfin que la stratégie fiable de sélection des distracteurs que nous avons mise en évidence est sous-optimale puisqu'une évaluation exhaustive des combinaisons possibles de distracteurs peut conduire à un choix de distracteurs plus performant pour un type de relation cible donné ; la façon de faire ce choix *a priori* en se fondant sur le seul exemple support du type de la relation cible reste toutefois une question qu'il convient d'explorer. Des premières expériences sur des indicateurs simples – fréquence de la relation, densité autour du prototype – n'ont pas permis de corréler ces indicateurs au choix optimal des distracteurs. Enfin, à des fins pratiques et de contrôle expérimental, nos expériences ont, jusqu'à présent, été effectuées dans le paradigme de laboratoire N-way K-shot et gagneraient à se rapprocher de conditions d'utilisation réelles. Ceci requiert des approches de fouille plus efficaces que la comparaison exhaustive d'exemples avec N prototypes et des jeux de données dédiés à la tâche de recherche de relations rares, TACREV et FewRel étant conçus pour la classification de relations.
Références

ALT C., GABRYSZAK A. & HENNIG L. (2020). TACRED revisited : A thorough evaluation of the TACRED relation extraction task. In *Annual Meeting of the Association for Computational Linguistics*, p. 1558–1569.

BRODY S., WU S. & BENTON A. (2021). Towards realistic few-shot relation extraction. In *Conference on Empirical Methods in Natural Language Processing*, p. 5338–5345.

CHEN X., WU H. & SHI X. (2023). Consistent prototype learning for few-shot continual relation extraction. In *Annual Meeting of the Association for Computational Linguistics*, p. 7409–7422.

DETROJA K., BHENSDADIA C. & BHATT B. S. (2023). A survey on relation extraction. *Intelligent Systems with Applications, 19*.

DOPIERRE T., GRAVIER C. & LOGERAIS W. (2021). A neural few-shot text classification reality check. In *Conference of the European Chapter of the Association for Computational Linguistics*, p. 935–943.

GAO T., HAN X., XIE R., LIU Z., LIN F., LIN L. & SUN M. (2020). Neural snowball for few-shot relation learning. In *Conference on Artificial Intelligence*, volume 34, p. 7772–7779.

GAO T., HAN X., ZHU H., LIU Z., LI P., SUN M. & ZHOU J. (2019). FewRel 2.0 : Towards more challenging few-shot relation classification. In *Conference on Empirical Methods in Natural Language Processing and International Joint Conference on Natural Language Processing*, p. 6251–6256.

HAN J., CHENG B. & LU W. (2021). Exploring task difficulty for few-shot relation extraction. In *Conference on Empirical Methods in Natural Language Processing*, p. 2605–2616.

HAN X., ZHU H., YU P., WANG Z., YAO Y., LIU Z. & SUN M. (2018). FewRel : A large-scale supervised few-shot relation classification dataset with state-of-the-art evaluation. In *Conference on Empirical Methods in Natural Language Processing*, p. 4803–4809.

HU E. J., SHEN Y., WALLIS P., ALLEN-ZHU Z., LI Y., WANG S. & CHEN W. (2021). Lora : Low-rank adaptation of large language models. CoRR, abs/2106.09685.

LI R., ZHONG J., HU W., DAI Q., WANG C., WANG W. & LI X. (2024). Adaptive class augmented prototype network for few-shot relation extraction. *Neural Networks, 169*, 134–142.

LIU Y., OTT M., GOYAL N., DU J., JOSHI M., CHEN D., LEVY O., LEWIS M., ZETTLEMOYER L. & STOYANOV V. (2019). Roberta : A robustly optimized BERT pretraining approach. CoRR, abs/1907.11692.

QU M., GAO T., XHONNEUX L.-P. & TANG J. (2020). Few-shot relation extraction via Bayesian meta-learning on relation graphs. In *International Conference on Machine Learning*, p. 7867–7876.

SABO O., ELAZAR Y., GOLDBERG Y. & DAGAN I. (2021). Revisiting few-shot relation classification : Evaluation data and classification schemes. *Transactions of the Association for Computational Linguistics, 9*, 691–706.

SAINZ O., DE LACALLE O. L., LABAKA G., BARRENA A. & AGIRRE E. (2021). Label verbalization and entailment for effective zero and few-shot relation extraction. In *Conference on Empirical Methods in Natural Language Processing*, p. 1199–1212.

SOARES L. B., FITZGERALD N., LING J. & KWIATKOWSKI T. (2019). Matching the blanks : Distributional similarity for relation learning. In *Annual Meeting of the Association for Computational Linguistics*, p. 2895–2905.
SOCHER R., CHEN D., MANNING C. D. & NG A. Y. (2013). Reasoning with neural tensor
networks for knowledge base completion. In *Advances in Neural Information Processing Systems*, volume 26, p. 926–934.

TAN M., YU Y., WANG H., WANG D., POTDAR S., CHANG S. & YU M. (2019). Out-of-domain detection for low-resource text classification tasks. In *Conference on Empirical Methods in Natural Language Processing and International Joint Conference on Natural Language Processing*, p. 3566–3572.

ZHANG Q., CHEN M. & LIU L. (2017). A review on entity relation extraction. In *International Conference on Mechanical, Control and Computer Engineering*, p. 178–183.
# Reconnaissance d'entités cliniques en *few-shot* en trois langues

Marco Naguib¹ Aurélie Névéol¹ Xavier Tannier²

(1) Université Paris-Saclay, CNRS, LISN, 91405 Orsay cedex, France

(2) Sorbonne Université, Inserm, Université Sorbonne Paris Nord, LIMICS, 75006 Paris, France

marco.naguib@lisn.upsaclay.fr, aurelie.neveol@lisn.upsaclay.fr,

xavier.tannier@sorbonne-universite.fr

## RÉSUMÉ

Les grands modèles de langues deviennent la solution de choix pour de nombreuses tâches de traitement du langage naturel, y compris dans des domaines spécialisés où leurs capacités *few-shot* devraient permettre d'obtenir des performances élevées dans des environnements à faibles ressources. Cependant, notre évaluation de 10 modèles causaux (auto-régressifs) et 16 modèles masqués montre que, bien que les modèles causaux utilisant des prompts puissent rivaliser en termes de reconnaissance d'entités nommées (REN) en dehors du domaine clinique, ils sont dépassés dans le domaine clinique par des *taggers* biLSTM-CRF plus légers reposant sur des modèles masqués. De plus, les modèles masqués ont un bien moindre impact environnemental que les modèles causaux. Ces résultats, cohérents dans les trois langues étudiées, suggèrent que les modèles à apprentissage *few-shot* ne sont pas encore adaptés à la production de REN dans le domaine clinique, mais pourraient être utilisés pour accélérer la création de données annotées de qualité.

## ABSTRACT

Few-shot learning for clinical entity recognition in three languages.

Large language models have become the preferred solution for many natural language processing tasks, including specialized domains where their few-shot capabilities should deliver high performance in low-resource environments. However, our evaluation of 10 auto-regressive models and 16 masked models shows that while prompt-based auto-regressive models can compete in named entity recognition (NER) outside the clinical domain, they are outperformed within the clinical domain by lighter biLSTM-CRF taggers based on masked models. Additionally, masked models have a much lower environmental impact than auto-regressive models. These consistent results across the three languages studied suggest that few-shot learning models are not yet suited for NER production in the clinical domain but could be used to expedite the creation of quality annotated data.

**MOTS-CLÉS** : Apprentissage en *few-shot* ; modèles de langues ; reconnaissance d'entités nommées.

**KEYWORDS**: *few-shot* learning ; large language models ; named entity recognition.

## 1 Introduction

Les documents cliniques représentent d'importantes sources d'informations (Demner-Fushman et al., 2009), souvent présentées sous forme de texte non structuré (Escudié et al., 2017). L'extraction efficace des informations de ces documents vers une forme plus structurée peut améliorer la recherche

<figure><img src="image_72.png" /></figure>
clinique, la surveillance de la santé publique et l'aide à la décision clinique automatique (Wang et al., 2018).

La reconnaissance d'entités nommées (REN) constitue une étape cruciale de cette extraction d'informations. Elle consiste à identifier et à typer des mentions d'intérêt dans un texte. Dans le cadre de l'extraction d'informations cliniques, il s'agit notamment des entités cliniques telles que les maladies ou les médicaments. L'extraction de ces entités peut grandement faciliter la normalisation des concepts (Cho et al., 2017; Wajsbürt et al., 2021; Sung et al., 2022) et l'interprétation du profilage et du phénotypage des patients (Gérardin et al., 2022). Alors que la REN dans le domaine général (identification des entités telles que les personnes et les lieux) a été largement étudiée dans la communauté du traitement automatique des langues (TAL), la REN clinique est souvent considérée comme plus complexe : les entités cliniques sont souvent exprimées en jargon ou en termes ambigus, et les textes cliniques présentent une structure grammaticale non standard (Luo et al., 2020; Leaman et al., 2015).

Les modèles de langues sont progressivement devenus l'approche principale pour aborder la REN (Li et al., 2022; Wang et al., 2022). Des travaux antérieurs se sont concentrés sur la REN générale (Devlin et al., 2019) ainsi que sur la REN clinique (Gérardin et al., 2022; Sun et al., 2021). Ces travaux peuvent être principalement divisés en deux approches, selon le type de modèles de langues utilisés.

La première approche consiste à utiliser des **modèles de langues masqués (MLM)** pré-entraînés. Ce type de modèles est d'abord pré-entraîné pour prédire des mots masqués sélectionnés au hasard dans de grands corpus de textes à l'aide d'une représentation vectorielle dense de chaque token (mot, par exemple) dans le texte (Devlin et al., 2019; Peters et al., 2018). Pour utiliser ces modèles pour la REN, on apprend généralement une projection linéaire à transformer les représentations vectorielles des mots en étiquettes désignant les entités nommées dans la phrase. En parallèle, on ajuste (fine-tune) également les paramètres du modèle de langues pour la tâche de REN. Cette approche a fait l'objet d'une grande attention de la part de la communauté, et est devenue la solution de référence pour la construction de systèmes de REN robustes.

Toutefois, cette approche rencontre deux principaux obstacles dans le contexte de la REN clinique. Tout d'abord, en raison de la nature sensible des documents cliniques, les corpus publics sont rares, soumis à des licences restrictives et peu disponibles dans des langues autres que l'anglais. Cela contraint la communauté à utiliser des solutions construites sur des MLM pré-entraînés principalement sur des corpus de domaine général, ce qui peut entraîner des problèmes de changement de domaine (domain shift). Deuxièmement, pour que l'entraînement soit efficace, de grands corpus de textes annotés dans le domaine d'intérêt sont nécessaires (Jia et al., 2019; Liu et al., 2021). Or, les campagnes d'annotation de REN clinique sont très coûteuses en temps et en ressources, nécessitant un haut niveau d'expertise du domaine pour être menées à bien (Luo et al., 2020; Névéol et al., 2014; Doğan et al., 2014; Báez et al., 2020). De plus, en raison de la diversité des cas cliniques, les données annotées pour une application biomédicale ne sont pas nécessairement transférables à une autre. D'où la nécessité de développer des approches de REN clinique efficaces en termes de données, également connues sous le nom de REN en few-shot (en peu d'exemples).

La deuxième approche, plus récente, consiste à utiliser des **modèles de langues causaux (CLM)** pré-entraînés. Ces modèles, considérablement plus grands, sont pré-entraînés sur des corpus (souvent plus importants) en tant que modèles génératifs et auto-régressifs. En d'autres termes, le modèle reçoit en entrée une série de tokens ou *prompt* et estime la série de tokens suivante la plus probable. Pour exploiter ces modèles de langues dans des tâches telles que la REN, il est possible de formuler la tâche
en langage naturel dans un *prompt*. Le *prompt* est conçu de manière à ce que la continuité du texte implique la résolution de la tâche. Le modèle de langue est ensuite utilisé pour prédire cette continuité. Ce processus est souvent appelé « *in-context learning* » (ICL) (Brown *et al.*, 2020). Éventuellement, il est possible de créer un *prompt* comprenant quelques exemples résolus de la tâche pour d'autres instances (dans ce cas, des instances annotées en entités nommées, spécifiques à la tâche), avant la nouvelle instance de test (Lee *et al.*, 2022). Le modèle produit ainsi une estimation de l'étiquetage en entités nommées le plus probable pour l'instance de test. Alors que les MLM ont été étudiés pour la REN en *few-shot* (Du *et al.*, 2021), les CLM semblent plus naturellement adaptés à ce contexte. L'apprentissage ICL a en fait démontré un succès particulier avec les CLM dans l'apprentissage en *few-shot*, montrant des résultats prometteurs dans un large éventail de tâches de TAL (Shin *et al.*, 2022; Wei *et al.*, 2022; Srivastava *et al.*, 2023).

Cependant, la supériorité des CLM sur les MLM pour la REN en *few-shot* est discutable. De nombreux efforts étudiant l'apprentissage en « *few-shot* » avec des CLM choisissent les *prompts* en fonction de leurs performances sur de grands jeux de données de validation (Brown *et al.*, 2020; Tam *et al.*, 2021; Radford *et al.*, 2021; Qin & Eisner, 2021). Cela pose un problème car il a été démontré que l'ICL dépendait fortement de la structure du *prompt* : un petit changement dans la formulation de la tâche, les exemples présentés, l'ordre des exemples ou le format d'étiquetage peut affecter la performance. Par conséquent, faire ces choix en supposant l'existence d'un grand jeu de données de validation annotées conduit à des résultats qui s'avèrent trop optimistes (Perez *et al.*, 2021) et impossibles à trouver dans un cadre réel de quelques exemples annotées. Deuxièmement, la plupart de ces études se sont principalement concentrées sur la langue anglaise et sur des modèles basés sur GPT (Wang *et al.*, 2023b; Ashok & Lipton, 2023; Hu *et al.*, 2023b; Jimenez Gutierrez *et al.*, 2022). Cela peut conduire à des *prompts* trop adaptés à cette langue et à ce modèle de langue. Il est donc nécessaire de mener une étude systématique, indépendante du modèle, sur l'élaboration des *prompts* dans le contexte clinique et pour des langues autres que l'anglais. Les contributions de ce travail sont les suivantes :

1. Nous présentons et comparons les techniques de *prompting* appliquées à la REN les plus récentes lorsqu'elles sont appliquées à la REN clinique dans trois langues : l'anglais, le français et l'espagnol. À notre connaissance, il s'agit du premier travail axé sur les *prompts* de REN pour les langues autres que l'anglais, et du premier travail comparant les *prompts* pour la REN clinique.

2. Nous accordons une attention particulière aux *prompts* de balisage, une technique proposée récemment (Wang *et al.*, 2023b), et nous mesurons les améliorations qu'elle apporte.

3. Nous offrons une comparaison juste avec les MLM les plus performants dans un cadre *few-shot*, à travers les langues, les modèles et les structures de *prompts*, lorsqu'ils sont appliqués à la REN clinique.

4. Nous menons des expériences facilement reproductibles, en utilisant des méthodes faciles à mettre en œuvre, exclusivement sur des ensembles de données et des modèles de langues publiquement accessibles.

## 2 Etat de l'art

**Reconnaissance d'entité nommées en few-shot avec les MLM pré-entraînés** La méthode clas-
sique pour utiliser les MLM dans la REN est de les utiliser comme encodeurs. Habituellement, une
couche d'étiquetage REN est entraînée à partir de zéro pour projeter l'encodage du texte dans l'éti-
quetage REN de ses tokens (Devlin et al., 2019). D'autres approches adaptent les MLM au contexte few-shot. L'apprentissage de métrique (Fritzler et al., 2019; Yang & Katiyar, 2020; Huang et al., 2021a) propose d'entraîner les systèmes à apprendre une métrique sur l'espace de sortie, permettant de classer de nouvelles instances en fonction de leur distance par rapport aux instances étiquetées. L'encodage des types d'entités (Aly et al., 2021; Ma et al., 2022a; Hou et al., 2020) exploite les noms ou descriptions des types d'entités pour mieux les étiqueter.

**Reconnaissance d'entité nommées en few-shot avec les CLM pré-entraînés** Récemment, la construction de prompts a suscité l'intérêt de la communauté (Brown et al., 2020; Liu et al., 2023). Les travaux connexes se sont concentrés sur l'étude de la formulation du prompt (Wei et al., 2022; Ashok & Lipton, 2023; Vilar et al., 2023; Wang et al., 2023b), également connue sous le nom de « prompt engineering », d'autres travaux ont proposé une optimisation continue du prompt (Ma et al., 2022b; Layegh et al., 2023; Hu et al., 2023a).

Il n'existe pas de méthode standard, largement adoptée, pour construire les prompts de REN (Liu et al., 2023). Trois familles de prompts principales émergent : Le prompting contraint tente de mieux formuler la tâche REN en contraignant la génération à remplir des patrons spécifiques créés à la main, généralement adaptés aux MLMs (Cui et al., 2021; Shen et al., 2023; Ye et al., 2023; Schick & Schütze, 2021). Les prompts de listage consistent simplement à faire prédire au modèle de langues les entités sous forme de liste (Ashok & Lipton, 2023). Les prompts de balisage ont été étudiés plus récemment par (Wang et al., 2023b). Ils font en sorte que le modèle de langues entoure les mentions d'entités avec des balises spéciales.

**Reconnaissance d'entité nommées clinique en few-shot** Peu d'études se sont concentrées sur la REN en few-shot clinique basée sur les CLM. Dans (Hu et al., 2023b), GPT-3 et ChatGPT sont évalués sur la tâche i2b2/VA 2010 (Uzuner et al., 2011) dans un contexte few-shot. Dans (Jimenez Gutierrez et al., 2022), GPT-3 est évalué sur un ensemble de tâches d'extraction d'informations biomédicales, y compris le NCBI-Disease (Doğan et al., 2014). Une autre approche intéressante consiste à affiner en partie (Liao et al., 2023) un CLM de domaine général sur des textes cliniques (Han et al., 2023; Toma et al., 2023), et à prompter le CLM qui en résulte. Les MLMs ont également été explorés pour la REN en few-shot dans le domaine biomédical (Ge et al., 2023). L'apprentissage de métrique (Yang & Katiyar, 2020) et l'encodage des types (Aly et al., 2021; Ma et al., 2022a) ont été étudiés, ainsi que d'autres approches telles que l'apprentissage actif (Kormilitzin et al., 2021), le pré-apprentissage supervisé (Huang et al., 2021b) et le in-context learning basé sur les MLMs (Lee et al., 2022).

# 3 Expérimentation

**Corpus utilisés** Afin d'évaluer les modèles, nous utilisons 14 corpus annotés en entités nommées, accessibles publiquement. Pour chaque langue, nous avons choisi deux corpus hors domaine et deux ou trois corpus dans le domaine clinique, visant des ressources comparables (même genre, mêmes types, mêmes schémas d'annotation) entre les langues, dans la mesure du possible. Nous utilisons les sous-ensembles officiels d'entraînement, de validation et de test de chaque corpus, quand ceux-ci sont disponibles.

WikiNER (Nothman et al., 2013) est un corpus multilingue annoté en entités nommées, extrait de
Wikipédia fin 2010 dans neuf langues, annotant automatiquement les hyperliens vers personnes, lieux ou organisations. Nous utilisons les versions anglaise, française et espagnole.

**CoNLL-2002** (Tjong Kim Sang, 2002) et **CoNLL-2003** (Tjong Kim Sang & De Meulder, 2003) sont des corpus multilingues annotés manuellement en entités nommées de types personnes, lieux et organisations, publiés pour les tâches partagées CoNLL. Nous utilisons les données espagnoles de 2002 (une collection d'articles tirés de la presse espagnole) et les données anglaises de 2003 (articles de presse de Reuters).

**Quaero French Press** (Grouin et al., 2011) est un corpus annoté manuellement d'émissions radiophoniques francophones, avec des annotations pour 5 types d'entités : les personnes, lieux, organisations, fonctions et installations.

**E3C** (Magnini et al., 2021) est un corpus multilingue européen de textes cliniques collectés à partir de multiples sources telles que PubMed<fnref n="1" /> et SciELO<fnref n="2" />. Nous utilisons les versions anglaise, française et espagnole de ce corpus, annotées sémantiquement en types d'entités, acteurs, parties du corps, événements, RMLs (mesures et résultats de tests) et entités cliniques.

La tâche partagée **n2c2-2019** (Luo et al., 2020) se concentre sur la normalisation des concepts médicaux à partir du corpus MCN (Luo et al., 2019), composé de compte-rendus d'hospitalisation tirés de deux établissements hospitaliers dans le Massachusetts. Nous utilisons les identifiants uniques de concept (CUI) pour associer les mentions aux groupes sémantiques UMLS. (Lindberg et al., 1993; McCray et al., 2001).

Le corpus **NCBI-Disease** (Doğan et al., 2014) corpus rassemble des résumés PubMed où les mentions de maladies sont annotées en quatre types selon leur syntaxe : maladies spécifiques, classes de maladies, mentions composites et modificateurs.

**QuaeroFrenchMed** (Névéol et al., 2014) se compose de deux parties : **EMEA**, une collection de notices patient concernant des médicaments commercialisés en Europe, et **MEDLINE**, de titres d'articles scientifiques indexés dans MEDLINE. Ces deux parties sont annotées en 10 types d'entités nommées, correspondant aux groupes sémantiques UMLS.

Le corpus **The Chilean Waiting List** (Báez et al., 2020) contient ordonnances anonymisées pour des consultations à partir de la liste d'attente dans les hôpitaux publics chiliens, annotées manuellement avec 10 types d'entités : abréviations, parties du corps, résultats cliniques, procédure de diagnostic, maladies, membres de la famille, résultats de laboratoire ou de test, procédures de laboratoire, médicaments, procédures, signes ou symptômes et procédures thérapeutiques. Notons que ces types peuvent être redondants (par exemple, toutes les procédures de diagnostic sont également annotées en tant que procédures).

**Configuration de l'apprentissage en few-shot** Pour simuler le contexte de few-shot, nous fournissons aux modèles seulement quelques exemples annotés, représentant l'ensemble des exemples autorisés pour l'apprentissage, le prompting et la validation. Dans cette étude, nous choisissons de nous concentrer principalement sur *k* = 100 phrases, ce qui correspond à une à deux heures d'annotation dans le domaine clinique (Névéol et al., 2014; Campillos et al., 2018). Nous utilisons une graine aléatoire fixe *p* pour choisir *k* exemples parmi tous ceux disponibles dans le corpus réel. Dans la section 5.2, nous discutons de l'effet du choix de *k* et du choix de *p*.

<footnote n="1">1. http://pubmed.ncbi.nlm.nih.gov/</footnote>

<footnote n="2">2. https://scielo.org/</footnote>
En outre, nous testons les modèles les plus performants avec l'entièreté des annotations à disposition
pour une comparaison à la *skyline*.

**Modèles de langues** Nous évaluons 10 modèles causaux et 16 modèles masqués sur les tâches de REN précisées ci-dessus. Ces modèles sont listés dans le tableau de résultats 1 et décrits en plus de détail dans l'annexe 1. Alors que le français et l'espagnol sont couverts par de certains des modèles causaux, nous pouvons observer que l'anglais est omniprésent. La plupart des modèles de type BERT sont monolingues, à l'exception des modèles multilingues mBERT et XLM-RoBERTa.

**REN avec des modèles de langues masqués** Comme mentionné dans la section 2, les modèles de langues masqués ont été adaptés à l'apprentissage en *few-shot* dans des architectures adaptées aux contextes *few-shot*. Cependant, dans ce travail, nous souhaitons comparer la nouvelle approche CLM à l'utilisation standard et plus répandue des MLM sans adaptation pour le contexte *few-shot*. Nous utilisons NLStruct (Waisbürt, 2021), une bibliothèque Python open-source<fnref n="3" /> qui met en œuvre l'approche standard du *fine-tuning*. NLStruct utilise les représentations fournies par le modèle de langues pour encoder l'entrée, puis utilise un décodeur LSTM bidirectionnel et un CRF pour prédire itérativement les entités présentes dans l'entrée encodée, comme décrit par Gérardin *et al.* (2022). Cette démarche permet à NLStruct de traiter efficacement les entités imbriquées, très présentes dans certains des corpus d'étude. Nous entraînons le modèle pendant 20 epochs sur 80 % des données et utilisons les 20 % restants pour valider l'*early stopping*.

**REN avec des modèles de langues causaux** Dans nos expériences, nous invitons les modèles à baliser les mentions, et non de les lister. Nous discutons de ce choix plus en détail dans la section 5.2. La partie supérieure de la figure 1 montre un exemple de *prompt* de balisage, en mettant en évidence les différentes sections de celui-ci. Ci-dessous, nous décrivons 9 caractéristiques de formulation du *prompt* et de sélection des exemples qui y figurent.

1. **Langue du prompt** : Par défaut, nous construisons les *prompts* en anglais, car il s'agit de la langue la plus répandue dans tous les corpus d'apprentissage. Cette caractéristique consiste à faire plutôt aligner la langue du *prompt* sur celle de la phrase de test.

2. **Phases supplémentaires** : Par défaut, nous présentons 5 phrases annotées dans les annotées. Cette caractéristique permet de présenter 5 phrases supplémentaires (soit 10 phrases au total). La partie 5.2 discute de ce choix, ainsi que de la possibilité de présenter plus de démonstrations dans le *prompt*.

3. **Auto-vérification** : Par défaut, nous sélectionnons les 5 (ou 10) phrases les plus proches de la phrase test en termes de distance TF-IDF. Les mentions étiquetées par le modèle sont alors considérées comme les prédictions finales du modèle. Cette fonctionnalité sélectionne plutôt les 5 phrases contenant le plus d'entités du type ciblé et les présente dans un *prompt* initial. Intuitivement, ce *prompt* se traduit par un rappel plus élevé et une précision plus faible. Un deuxième *prompt* d'« auto-vérification » est ensuite construit sur les prédictions initiales du modèle afin d'éliminer les faux positifs. Un exemple de *prompt* d'auto-vérification est présenté dans la partie inférieure de la figure 1. Le nombre de démonstrations suit celui du *prompt* principal.

<footnote n="3">3. https://github.com/percevalw/nlstruct</footnote>
<figure><img src="image_73.png" /></figure>

<figure><img src="image_74.png" /><figcaption>FIGURE 1 – Exemple d'un *prompt* de balisage, utilisée dans l'expérience principale (en haut) et d'un *prompt* d'auto-vérification (en bas) pour détecter les mentions DISO dans **n2c2-2019**</figcaption></figure>

4. **Baliseurs** : Par défaut, nous suivons Wang *et al.* (2023b) qui invite le modèle à entourer les mentions de @@ et ##. Cette caractéristique l' invite plutôt à entourer les mentions de guillemets « et ».

5. **S'addresser à un spécialiste** : Par défaut, la première phrase est la description de la tâche présentée dans la figure 1. Cette caractéristique fait commencer le *prompt* par You are an *excellent* <specialist>. You can identify all the mentions of <entity-type> in a sentence, by putting them in a specific format. Here are some examples you can handle : à la place. Le <specialist> est un *linguist* ou un *clinician*, suivant le domaine de la tâche.

6. **Inclure les descriptions des types dans le prompt** : Cette caractéristique ajoute une description d'une phrase pour chaque type d'entité. Les descriptions complètes des entités utilisées figurent à l'annexe 3.

7. **Phrase d'introduction pour l'instance de test** : Par défaut, les démonstrations sont immédiatement suivies de l'instance de test. Cette fonctionnalité consiste à la précéder par *Identify all the mentions of <entity-type> in the following sentence, by putting <begin-tag> in front and a <end-tag> behind each of them..*.

8. **Demander une réponse longue pour l'auto-vérification** : Par défaut, le *prompt* d'auto-vérification demander *Yes* (respectivement *No*) comme réponse. Cette fonctionnalité demande *<mention> is a(n) <entity-type>*, *yes*. (respectivement *<mention> is not a(n) <entity-type>*, *no*.).