ce contenu, nous avons recherché des articles Wikipedia liés à ces sujets scolaires. Nous les avons filtrés en utilisant des API Wikipedia avec des requêtes construites à partir des titres de chapitres des livres, et en réunissant les sous-sections retournées. Pour ne pas avoir des contenus trop gros, nous avons découpé les articles en ne conservant pas plus de trois paragraphes par document. Un article Wikipedia va donc correspondre à plusieurs documents. Nous avons ainsi globalement réuni 3.891 documents (dont seulement 1.122 sont annotés), constitués de 14.433 paragraphes (dont seulement 3.893 sont annotés). Nous avons ensuite procédé à des campagnes d'annotation. Le principe est de présenter un paragraphe aux annotateurs en leur demandant de créer les annotations suivantes : (a) **une question** à poser; (b) **le type de la question** qui peut-être factuelle, définition, cours ou synthèse; (c) **le support de la question**, à savoir l'extrait du document à partir duquel la question est construite; (d) **les éléments de réponse**, c'est à dire les passages permettant de répondre à la question; (e) **la réponse** rédigée par l'annotateur, à partir des éléments précédents. Les annotateurs devaient créer environ 10 annotations (et plus si possible) pour chaque document. La Table 1 donne des exemples de questions, et de leurs supports.

L'un de nos objectifs principaux est de recueillir des questions requérant des niveaux d'expertise différents pour y répondre. Ce niveau de "difficulté" est lié au type de la question qui peut donc être :

— **factuelle** : la réponse est un fait ou une liste de faits (événement, personne, lieu, date...);

— **définition** : la réponse correspond à la définition d'un mot ou d'un concept;

— **cours** : la réponse n'est pas réduite à un fait mais contient des explications ou des détails, qui doivent être explicites dans le document;

— **synthèse** : la réponse s'appuie sur plusieurs éléments du document fournissant des informations diverses qui doivent être réunies ou impliquant une interprétation pour être produite.

Pour garantir d'avoir suffisamment de questions complexes, avec leurs réponses (autres que factuelles ou définitions), nous avons demandé un ratio de 40 % de factuelles et définitions, et 60 % questions de cours et de synthèses. Cependant, nous avons demandé également de ne pas créer artificiellement des questions complexes quand le document ne s'y prête pas, le ratio n'est donc pas strict. Les questions *factuelles et définition* sont assez simples à formuler et découlent directement du texte du document. Pour les questions de *cours*, elles sont un peu plus complexes et les réponses nécessitent plus de détails. La réponse aux questions de *synthèse* nécessite un raisonnement à partir du document.

Deux groupes d'annotateurs ont travaillé sur le corpus : le groupe A composé d'une vingtaine d'annotateurs personnes ayant un bon niveau général, mais sans expérience d'enseignement, le groupe B est composé de 6 annotateurs ayant une expérience en enseignement<fnref n="2" />. Dans la Table 2 nous indiquons la distribution actuelle en termes de type de questions pour les deux groupes. On notera que le groupe A a proportionnellement produit plus de questions de cours que le B, alors que le B s'est concentré sur les questions de synthèse. Pour aider les annotateurs, un guide a été fourni et est disponible avec le corpus sur le dépôt gitlab du corpus<fnref n="3" />. Aussi, nous reportons en annexe le nombre de questions et de documents par domaine et par source (le livre scolaire ou wikipedia).

## 3.2 Analyse du corpus

Pour une première analyse, nous avons comparé la longueur des questions et des réponses dans notre corpus, en fonction du type de la question, et en la comparant avec ce qu'on peut observer dans les deux corpus existant en français et déjà évoqués, à savoir FQuAD (d'Hoffschmidt et al., 2020) et Piaf (Keraron et al., 2020). La Figure 1 illustre cette étude.

<footnote n="2">2. Il est plus facile de recruter des personnes dans le groupe A que B, d'où la différence de taille des deux groupes.</footnote>

<footnote n="3">3. https://gitlab.lisn.upsaclay.fr/gerald/cquae</footnote>
<table><caption>TABLE 1 – Exemples des quatre types de questions, avec leurs supports (extrait du document la justifiant)</caption><thead><tr><th>Type</th><th>Question</th><th>Support</th></tr></thead><tbody><tr><td>Factuelle</td><td>En quelle année Christophe Colomb a-t-il découvert l'Amérique ?</td><td>Christophe Colomb découvre l'Amérique (1492)</td></tr><tr><td>Définition</td><td>Qu'est-ce qu'une presse rotative ?</td><td>Une presse rotative est une presse typographique montée sur un cylindre, permettant une impression en continu.</td></tr><tr><td rowspan="2">Cours</td><td>Comment les Européens ont-ils légitimé leur domination ?</td><td>Les Européens repensent la hiérarchie entre les peuples selon un schéma centré sur le christianisme et l'Europe qui leur sert ensuite à légitimer leur domination.</td></tr><tr><td>Quels sont les noms de ceux qui indiquent comment pratiquer la religion musulmane ? Sur quel texte s'appuient-ils pour le faire ?</td><td>Ce sont les ulemas qui régissent la religion, en s'appuyant sur la loi de la Sharia.</td></tr><tr><td rowspan="3">Synthèse</td><td>Pourquoi certains français sont-ils favorables à l'état d'urgence après les attaques à Paris en 2015 ?</td><td>• il les protège de la menace terroriste et du risque d'une nouvelle attaque, qui est redoutée par tous.<br>• Ce régime exceptionnel continue à apparaître comme une "nécessité"...</td></tr><tr><td>Qui doit être impliqué pour lutter contre le changement climatique d'après Matt Petersen ? Comment ?</td><td>Matt Petersen travaille sur le développement soutenable dans la ville de Los Angeles, aux côtés du maire de la ville [...] nous avons besoin de tous. Tout sourire, le maire de Los Angeles a connecté [...] des panneaux solaires installé sur des toits privés [...] ...</td></tr><tr><td>Pourquoi cet article parle de "victoire du féminisme" pour décrire le mouvement des mídinettes ?</td><td>Il ne faut pas médire des mídinettes. Il n'est pas d'un bon esprit de les taxer de frivolité parce qu'elles travaillent dans les robes, qu'elles sont jeunes et [...] de la femme, s'exerçant en ces jours tragiques au préjudice de milliers et de milliers d'ouvrières, d'employées, voire de fonctionnaires, est d'une si cruelle injustice qu'elle soulève des protestations de tous les côtés.</td></tr></tbody></table>

<table><caption>TABLE 2 – Statistiques pour les types de questions pour chaque groupe (A = éduqués, B = avec expérience de l'enseignement)</caption><thead><tr><th>Type de question</th><th>Groupe A</th><th>Groupe B</th><th>Total</th></tr></thead><tbody><tr><td>Factuelle</td><td>2 106</td><td>294</td><td>2 400</td></tr><tr><td>Définition</td><td>1 506</td><td>181</td><td>1 687</td></tr><tr><td>Cours</td><td>4 784</td><td>490</td><td>5 274</td></tr><tr><td>Synthèse</td><td>1 756</td><td>338</td><td>2 094</td></tr><tr><td>Total</td><td>10 152</td><td>1 303</td><td>11 455</td></tr></tbody></table>

Les questions de *définition* sont toujours beaucoup plus courtes, les trois autres types sont assez comparables, les questions de synthèse (plus difficiles) étant un peu plus longues. Pour ces trois catégories l'écart-type est assez important. FQuAD et Piaf sont assez similaires, avec des questions plus courtes et moins d'écart-type. On note que les questions *factuelles* sont les plus proches de celles de ces deux datasets, ce qui confirme le fait que les questions y sont surtout factuelles. La même étude a été faite sur la longueur des réponses. Logiquement les réponses aux questions de *synthèse* sont plus longues que les autres, et parfois même très longues. Les réponses factuelles sont les plus courtes. Les réponses dans FQuAD et Piaf sont significativement plus courtes que les nôtres, même dans les *factuelles*. En effet, nous avons demandé une réponse rédigée aux annotateurs quant à FQuAD et Piaf la réponse est extraite du contexte. Notre corpus est pour cela différent des datasets existants.

**Réponses extraites du contexte.** Bien que nous demandions aux annotateurs de rédiger une réponse, nous avons remarqué qu'une grande partie des réponses sont directement issues du contexte. Nous nous proposons donc d'étudier la proportion de chaînes de caractères communes à la fois à la réponse et au contexte (paragraphes extraits sélectionnés par l'annotateur). Dans la table 3, nous reportons les résultats de cette analyse pour chacun des types de question. Nous capturons la plus grande chaîne de caractères commune entre la réponse et les paragraphes et nous en reportons la proportion par rapport à la taille de la réponse rédigée. Un coup d'oeil au résultats présentés dans le tableau nous montre que la proportion de mots communs est répartie différemment selon le type de la question. En
<figure><img src="image_30.png" /><figcaption>(a) Longueur de la question en fonction de son type dans notre corpus, comparée à FQuAD et Piaf</figcaption></figure>

<figure><img src="image_31.png" /><figcaption>(b) Longueur de la réponse en fonction de son type dans notre corpus, comparée à FQuAD et Piaf</figcaption></figure>

<table><caption>FIGURE 1 – Taille de la question ou de la réponse par type de question en comparaison du corpus Piaf et FQuAD</caption><thead><tr><th></th><th>Mediane</th><th>1<sup>er</sup> quartile</th><th>3<sup>me</sup> quartile</th></tr></thead><tbody><tr><td>Factuelle</td><td>32.6 %</td><td>22.9 %</td><td>45.8 %</td></tr><tr><td>Définition</td><td>27.1 %</td><td>17.0 %</td><td>43.9 %</td></tr><tr><td>Cours</td><td>24.5 %</td><td>15.5 %</td><td>40.2 %</td></tr><tr><td>Synthèse</td><td>12.2 %</td><td>7.5 %</td><td>21.5 %</td></tr><tr><td>Total</td><td>24.4 %</td><td>14.6 %</td><td>39.5 %</td></tr></tbody></table>

<caption>TABLE 3 – Pourcentage de la plus longue chaîne de caractère commune à la réponse et au contexte.</caption>

particulier, les questions dites factuelles, comporte une forte proportion du contexte, cela s'explique par la réponse attendue ainsi que par la taille de la réponses.

Au contraire, les questions de synthèse comportent une proportion faible de contexte consécutif car les réponses nécessitent plusieurs éléments du texte et sont plus longues.

**Caractérisation des types de questions.** Pour caractériser les questions en fonction des différents types nous nous sommes demandés quels mots interrogatifs étaient utilisés dans la question. Pour extraire les mots interrogatifs, nous avons lémmatisé les questions et définis un certain nombre de formules interrogatives (quand, comment, où, etc...). Enfin nous avons regardé les correspondances avec les premiers lemmes de la question. Notons que pour 409 questions nous n'avons pas trouvé de correspondance, plusieurs raisons en sont la cause, d'une part certaines questions utilisent ces formes interrogatives mais pas au début de la question, par exemple :

*"Selon Bartolomé de Las Casas, dans son livre Très brève relation de la destruction des Indes publié en 1552, quelle a été la raison du massacre des Indiens par les Espagnols lors de la conquête des Indes sous le règne de Charles Quint?"*

Par ailleurs, certaines structures ne sont pas capturées ou ne sont pas des questions comme par exemple :

*"En vous basant sur ces documents, citez un argument en faveur de la loi et un autre contre."*

Nous reportons les résultats des différentes formes interrogatives capturées pour chaque types de question dans la figure 2. On remarquera que les distributions des formes interrogatives sont dépendantes du type de la question; ainsi pour les questions de synthèse les mots clefs "pourquoi" et "comment" sont prépondérants, ceux-ci impliquant une explication dans la réponse; pour les questions de définition on retrouvera le mot qu'est-ce menant vers une description d'un concept. Pour les
<figure><img src="image_32.png" /><figcaption>FIGURE 2 – Comparaison des mots de la question pour les différents types de question</figcaption></figure>

questions factuelles les mots clefs comme “quel”, “qui”, “quand” ou “en quel” entraînent une réponse de type entité nommée. Pour les questions de cours en revanche nous avons une panoplie de mots interrogatifs amenant à une réponse explicative ou factuelle. Cette toute première étude sera enrichie par la suite.

## 4 Correction et amélioration des annotations

Suite à une première pré-évaluation du corpus, nous avions remarqué que certaines questions et/ou réponses contenaient des erreurs ou des imprécisions. Nous avons remarqué plusieurs types d'erreurs dans les données : des erreurs de syntaxe ; des erreurs liées à l'ajout d'informations non présentes dans le document ou à l'inverse des réponses incomplètes ; des questions en dehors du sujet ou non pertinentes dans le cadre de l'éducation. Par ailleurs nous avons émis l'hypothèse que de telles erreurs pourraient être à l'origine d'imprécisions dans l'évaluation et l'entraînement de systèmes de questions et réponses automatique. Pour répondre à cette problématique, nous nous sommes proposés de mettre en place une seconde campagne, visant à évaluer le taux d'annotations comportant des erreurs.

**Évaluation des données erronées.** Pour évaluer la pertinence des données annotées, cinq annotateurs ont été mis à contribution pour juger un ensemble de 9243 annotations. Nous leur avons proposé d'annoter les questions et réponses en suivant les critères binaires suivants :

- Q+ : la question est correcte

- Q- : la question est corrigeable (syntaxe, reformulation possible)

- R+ : la réponse est correcte

- R- : la réponse est corrigeable (syntaxe, mauvaise entité, etc...)

- HS : le couple question/réponse est non pertinent et ne peut pas être corrigé

Pour cette évaluation nous reportons les résultats dans le table 4 conditionnellement au type de question. Pour les erreurs dans les questions, il semblerait que celles de type définitions comportent moins d'erreur, avec plus de 81 % d'annotations ne nécessitant aucune correction. Pour les autres catégories de questions, les erreurs semblent être réparties de manière similaire (entre 65 % et 68 %). Pour les erreurs dans les réponses, ce sont les catégories cours et synthèse qui nécessitent le plus grand nombre de corrections ; les réponses étant plus longues, des fautes de syntaxe sont plus probables.

Sur les 9243 annotations 192 ont été évaluées par tous les annotateurs, nous permettant de calculer l'accord inter-annotateur. Nous avons obtenu un kappa de Fleiss<fnref n="4" /> pour le critère "la question est-elle

<footnote n="4">4. https://fr.wikipedia.org/wiki/Kappa_de_Fleiss</footnote>
<table><caption>TABLE 4 – Pourcentages de questions (Q) et de réponses (R) correctes (+) ou corrigeables (-) et de couples Q-R non pertinents (HS) par type de question lors de l'évaluation de notre corpus</caption><thead><tr><th></th><th>Q+</th><th>Q-</th><th>R+</th><th>R-</th><th>HS</th></tr></thead><tbody><tr><td>Factuelle</td><td>65.4</td><td>28.5</td><td>62.0</td><td>31.8</td><td>5.9</td></tr><tr><td>Définition</td><td>81.1</td><td>14.6</td><td>64.9</td><td>30.4</td><td>4.2</td></tr><tr><td>Cours</td><td>67.7</td><td>26.6</td><td>52.6</td><td>41.4</td><td>5.5</td></tr><tr><td>Synthèse</td><td>65.7</td><td>28.1</td><td>49.4</td><td>43.5</td><td>6.3</td></tr><tr><td>Tout type</td><td>68.9</td><td>25.4</td><td>55.8</td><td>38.1</td><td>5.6</td></tr></tbody></table>

correcte ?" de .30 (avec un accord maximum kappa de Cohen<fnref n="5" /> de .44 et minimum de .18), pour la réponse on obtient .18 (accord maximum de .40 et minimum de .29). Il est clair que nous n'avons pas un accord probant entre les annotateurs, ces résultats démontrent ainsi la difficulté de la tâche. Pour se faire une idée de la pertinence de l'évaluation des documents corrigés, nous proposerons dans la section suivante une évaluation des corrections afin de juger de la pertinence des modifications apportées.

**Correction du corpus.** Dans un second temps, nous nous sommes proposés de corriger les annotations ayant au moins la réponse ou la question évaluée comme corrigeable. Nous avons pu à ce jour revoir 2565 réponses et 1840 questions sur 3140 annotations. En définitive, nous avons un corpus composé de 8180 questions et réponses vérifiées.

Bien que pour la phase d'évaluation, il est difficile de parler d'un réel accord entre les annotateurs, nous pensons que les corrections effectuées tendent bien vers l'amélioration du corpus. Pour vérifier cette hypothèse, nous nous sommes proposés d'évaluer les corrections manuellement. Pour ce faire nous avons demandé à trois personnes de déterminer d'après eux, quel est le meilleur couple de question et réponse. Notons que dans certains cas aucune préférence n'a été exprimée, nous considérons cette possibilité comme un troisième label. Nous avons obtenu pour cette évaluation avec 3 annotateurs une préférence pour les éléments corrigés dans 76. % des cas, pour les annotations originales 15.3 % étaient préférées et dans 8.3 % des cas il n'y avait aucune préférence. Pour ces différents résultats nous obtenons un accord inter-annotateurs moyen de .51. Notons que si nous supprimons les cas où les annotateurs sont restés indécis nous obtenons un accord de .62 montrant ainsi un accord important. Ces résultats montrent donc l'intérêt d'avoir corrigé certaines annotations pour améliorer le corpus.

# 5 Génération de réponses

Le corpus annoté a pour objectif la création d'un assistant scolaire pour les thématiques d'enseignement secondaire, particulièrement sous la forme d'un système de génération de questions et/ou réponses. Ainsi il nous parait pertinent de juger de la qualité de la génération de ces modèles pour nos données. Dans cette section nous nous proposons d'évaluer automatiquement la tâche de génération de réponse étant donnée un document et une question. Notons aussi, que dans le cas d'un assistant pour l'enseignement, la recherche de documents à partir d'un corpus vérifié (mis à disposition par l'enseignant) est une des tâches nécessaire au fonctionnement du système. Ainsi, nous proposerons de comparer la dernière configuration considérant les documents cibles donnés par les annotateurs ou retrouvés via la méthode BM25(Robertson & Zaragoza, 2009).

<footnote n="5">5. https://fr.wikipedia.org/wiki/Kappa_de_Cohen</footnote>
<table><caption>TABLE 5 – Nombre de couples Q-R utilisés pour l'adaptation des modèles de langue provenant de la version corrigée (v2) ou non (v1), en fonction du type de question</caption><thead><tr><th>Qtype</th><th>Entrainement-v1</th><th>Entrainement-v2</th><th>Validation-v2</th><th>Test-v2</th></tr></thead><tbody><tr><td>Factuelle</td><td>2144</td><td>1409</td><td>128</td><td>128</td></tr><tr><td>Définition</td><td>1431</td><td>1075</td><td>128</td><td>128</td></tr><tr><td>Cours</td><td>5018</td><td>3409</td><td>128</td><td>128</td></tr><tr><td>Synthèse</td><td>1838</td><td>1263</td><td>128</td><td>128</td></tr><tr><td>Tous</td><td>10431</td><td>7156</td><td>512</td><td>512</td></tr></tbody></table>

## 5.1 Protocole expérimental

**Modèles.** Nous nous sommes penchés sur l'entraînement de grand modèle de langue de 7 milliards de poids, choisissant ainsi Llama2 7b et Mistral 7b. Dans l'ensemble des entraînements, nous avons utilisé LoRA et la quantification des modèles en 8 bits (paramètres en annexe), cela permet de réduire le temps de calcul et d'inférence avec une perte en performance minime. Nous avons fixé la longueur maximale des phrases à 2048 tokens car l'entrée et la sortie maximale en utilisant nos données ne dépasse pas les 2000 tokens. Les modèles ont été entraînés sur 3 epochs sur l'ensemble du dataset, et nous avons sélectionné la sauvegarde avec la meilleure loss pour l'évaluation.

**Ensemble d'entraînement et de test.** Les ensembles d'entraînement utilisés sont des sous ensembles de la première version du corpus (v1) et de la version corrigée (v2). De plus, les ensembles de validation et de test sont extraits de la v2, respectivement pour déterminer l'arrêt de l'apprentissage ainsi que pour calculer les résultats présentés dans ce document. Nous obtenons ainsi les différents ensembles reportés dans le tableau 5.

**Métriques pour l'évaluation.** Pour évaluer la capacité des modèles à répondre aux questions, nous avons utilisé trois métriques principales : ROUGE, BERTScore, et GPT. ROUGE mesure la similarité entre les réponses générées et les réponses de référence en évaluant la correspondance des n-grams, utile pour apprécier la proximité des générations au contenu. BERTScore compare la similarité sémantique à l'aide des plongements de mots. L'évaluation par GPT (version gpt-3.5-turbo-0125) se fait en donnant une réponse de référence et une générée pour obtenir une note de 0 à 10 mais aussi une explication sur la qualité suivant des critères que nous avons définis. Ces métriques sont loin d'être parfaites, mais permettent de nous donner une intuition sur la pertinence des réponses générées.

## 5.2 Génération de réponse en contexte

<table><caption>TABLE 6 – Résultats pour la génération de réponses étant donné un contexte pris dans le corpus d'origine, ou retrouvé par BM25</caption><thead><tr><th rowspan="2">Model</th><th colspan="4">Paragraphes de la question (gold)</th><th colspan="4">Paragraphes retrouvés par BM25</th></tr><tr><th>GPT3.5</th><th>B-Score</th><th>R-1</th><th>R-L</th><th>GPT3.5</th><th>B-Score</th><th>R-1</th><th>R-L</th></tr></thead><tbody><tr><td>MISTRAL</td><td><strong>8.45</strong></td><td>0.789</td><td>0.399</td><td>0.345</td><td><strong>7.82</strong></td><td>0.762</td><td>0.342</td><td>0.29</td></tr><tr><td>MISTRAL-V1</td><td>8.40</td><td><strong>0.854</strong></td><td><strong>0.605</strong></td><td><strong>0.54</strong></td><td>7.62</td><td><strong>0.826</strong></td><td><strong>0.518</strong></td><td><strong>0.459</strong></td></tr><tr><td>MISTRAL-V2</td><td>8.41</td><td>0.852</td><td>0.598</td><td>0.532</td><td>7.62</td><td>0.825</td><td>0.51</td><td>0.451</td></tr><tr><td>LlaMA</td><td><strong>8.53</strong></td><td>0.717</td><td>0.183</td><td>0.148</td><td><strong>8.05</strong></td><td>0.699</td><td>0.153</td><td>0.124</td></tr><tr><td>LlaMA-V1</td><td>8.37</td><td><strong>0.848</strong></td><td><strong>0.587</strong></td><td>0.527</td><td>7.58</td><td><strong>0.822</strong></td><td><strong>0.509</strong></td><td><strong>0.453</strong></td></tr><tr><td>LlaMA-V2</td><td>8.33</td><td>0.846</td><td>0.584</td><td>0.52</td><td>7.63</td><td>0.821</td><td>0.504</td><td>0.447</td></tr></tbody></table>

Dans cette expérience nous tentons d'évaluer la capacité des modèles à produire des questions et
réponses en utilisant les informations contenues dans les paragraphes du corpus. Pour ce faire, nous proposons d'adapter les deux modèles Llama et Mistral en utilisant avec les configurations données dans la section 5.1. Nous utilisons les modèles *chat* et *instruct* de Meta et Mistral, qui sont faits pour répondre à une instruction. Nous utilisons pour l'entraînement et l'évaluation le prompt suivant :

"En se basant exclusivement sur le document, répondez à la question. La réponse est destinée à un élève voulant améliorer sa compréhension du cours. : {question} document :{documents} Réponse :".

Nous comparons aussi les résultats des modèles appris sur la v1, la v2 et le modèle pré-entraîné. Les différents résultats sont reportés dans le tableau 6.

Exceptée la métrique basée sur GPT, les résultats sont significativement meilleurs en adaptant les modèles sur notre corpus 6, ce phénomène indiquant que l'adaptation est nécessaire pour espérer avoir des réponses semblables à celles de notre corpus. Notons aussi que l'ensemble d'entraînement de la version corrigée est amputé d'environ 30 % des exemples, malgré cela, les performances entre les deux versions sont comparables 7. Si l'on s'intéresse à la métrique se basant sur le score donné par GPT, l'interprétation est ici différente. En effet, les scores attribués au modèle adapté avec vérité terrain (première partie du tableau) sont similaires à ceux produits par le modèle pré-entraîné. Lorsque les paragraphes correspondent à ceux données par l'approche BM25 (un seul paragraphe), ce score est alors favorable au modèle non adapté. Bien que nous puissions difficilement en affirmer la cause, plusieurs hypothèses sont possibles d'après nos observations. D'une part, le modèle non-adapté produit souvent des réponses en langue anglaise, le score donné par le modèle GPT ne pénalise pas la langue utilisée. Une deuxième hypothèse est que le modèle non-adapté pourrait produire des réponses dont les éléments ne sont pas présents dans le contexte. Cette dernière hypothèse est appuyée par la différence de score des modèles utilisant les deux configurations des paragraphes.

Nous savons que les documents retrouvés ne correspondent pas intégralement à des documents pertinents d'après les résultats de la méthode BM25 (62 % des paragraphes étant dans la vérité terrain). En incluant BM25, les performances supérieures pour le modèle non-adapté laissent supposer que ce modèle est moins dépendant du contexte.

Notons enfin que la métrique GPT est difficile à exploiter, celle-ci dépendant à la fois du prompt, du modèle GPT et de la graine de génération. Il est donc difficile avec les éléments dont nous disposons de statuer sur les hypothèses proposées.

# 6 Conclusion

Dans cet article nous avons présenté un nouveau corpus CQuAE de question-réponse dans le domaine de l'enseignement secondaire. Après avoir analysé les versions du corpus recueilli, nous avons constaté les difficultés qu'il y avait à en garantir la qualité, du fait de la difficulté de la tâche. Nous avons discuté des améliorations de ce corpus avec une phase de correction des annotations. Enfin nous avons proposé d'étudier la pertinence de ces modèles pour la génération de réponses avec des grands modèles de langue. Avec les différentes analyses et conclusions sur les évaluations humaines nous pensons qu'un tel corpus serait bénéfique pour la communauté enseignante et celle du TAL. Cependant, avec les résultats dont nous disposons, il reste difficile de statuer sur les différentes hypothèses émises. Nous planifions donc d'explorer les différents résultats obtenus via une évaluation humaine. Actuellement, la version corrigée du corpus comporte un nombre d'exemples réduit par

<footnote n="6">6. *pvalue* pour T-test d'indépendance < 0.01</footnote>

<footnote n="7">7. *pvalue* pour T-test d'indépendance > 0.05</footnote>
rapport au corpus originalement produit. Pour ce dernier point, nous avons prévu de réviser les
exemples manquant dans le corpus corrigé.

Références

ANTOINE E., AUGUSTE J., BÉCHET F. & DAMNATI G. (2022). Génération de questions à partir d'analyse sémantique pour l'adaptation non supervisée de modèles de compréhension de documents. *29e conférence sur le Traitement Automatique des Langues Naturelles (TALN)*.

BECHET F., ALOUI C., CHARLET D., DAMNATI G., HEINECKE J., NASR A. & HERLEDAN F. (2019). CALOR-QUEST : un corpus d'entraînement et d'évaluation pour la compréhension automatique de textes. In *Actes de la Conférence sur le Traitement Automatique des Langues Naturelles (TALN) PFIA 2019*.

CHOI E., HE H., IYYER M., YATSKAR M., YIH W., CHOI Y., LIANG P. & ZETTLEMOYER L. (2018). Quac : Question answering in context. In *Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing* : Association for Computational Linguistics.

D'HOFFSCHMIDT M., BELBLIDIA W., HEINRICH Q., BRENDLÉ T. & VIDAL M. (2020). Fquad : French question answering dataset. In T. COHN, Y. HE & Y. LIU, Éds., *Findings of the Association for Computational Linguistics : EMNLP 2020, Online Event, 16-20 November 2020*, volume EMNLP 2020 de *Findings of ACL*, p. 1193–1208 : Association for Computational Linguistics. DOI : 10.18653/V1/2020.FINDINGS-EMNLP.107.

EDDINE M. K., TIXIER A. J. & VAZIRGIANNIS M. (2021). Barthez : a skilled pretrained french sequence-to-sequence model. In *EMNLP (1)*.

ELGOHARY A., PESKOV D. & BOYD-GRABER J. L. (2019). Can you unpack that? learning to rewrite questions-in-context. In *EMNLP-IJCNLP* : Association for Computational Linguistics.

HU E. J., SHEN Y., WALLIS P., ALLEN-ZHU Z., LI Y., WANG S., WANG L. & CHEN W. (2022). Lora : Low-rank adaptation of large language models. In *The Tenth International Conference on Learning Representations, ICLR 2022, Virtual Event, April 25-29, 2022* : OpenReview.net.

KERARON R., LANCRENON G., BRAS M., ALLARY F., MOYSE G., SCIALOM T., SORIANO-MORALES E. & STAIANO J. (2020). Project PIAF : building a native french question-answering dataset. In N. CALZOLARI, F. BÉCHET, P. BLACHE, K. CHOUKRI, C. CIERI, T. DECLERCK, S. GOGGI, H. ISAHARA, B. MAEGAARD, J. MARIANI, H. MAZO, A. MORENO, J. ODIJK & S. PIPERIDIS, Éds., *Proceedings of The 12th Language Resources and Evaluation Conference, LREC 2020, Marseille, France, May 11-16, 2020*, p. 5481–5490 : European Language Resources Association.

KWIATKOWSKI T., PALOMAKI J., REDFIELD O., COLLINS M., PARIKH A. P., ALBERTI C., EPSTEIN D., POLOSUKHIN I., DEVLIN J., LEE K., TOUTANOVA K., JONES L., KELCEY M., CHANG M., DAI A. M., USZKOREIT J., LE Q. & PETROV S. (2019). Natural questions : a benchmark for question answering research. *Trans. Assoc. Comput. Linguistics, 7*, 452–466. DOI : 10.1162/TACL_A_00276.

LE H., VIAL L., FREJ J., SEGONNE V., COAVOUX M., LECOUTEUX B., ALLAUZEN A., CRABBÉ B., BESACIER L. & SCHWAB D. (2020). Flaubert : Unsupervised language model pre-training for french. In N. CALZOLARI, F. BÉCHET, P. BLACHE, K. CHOUKRI, C. CIERI, T. DECLERCK, S. GOGGI, H. ISAHARA, B. MAEGAARD, J. MARIANI, H. MAZO, A. MORENO, J. ODIJK & S. PIPERIDIS, Éds., *Proceedings of The 12th Language Resources and Evaluation Conference*,
LREC 2020, Marseille, France, May 11-16, 2020, p. 2479-2490: European Language Resources Association.

MARTIN L., MÜLLER B., SUÁREZ P. J. O., DUPONT Y., ROMARY L., DE LA CLERGERIE É., SEDDAH D. & SAGOT B. (2020). Camembert : a tasty french language model. In D. JURAFSKY, J. CHAI, N. SCHLUTER & J. R. TETREAULT, Éds., *Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics*, ACL 2020, Online, July 5-10, 2020, p. 7203-7219 : Association for Computational Linguistics. DOI: 10.18653/V1/2020.ACL-MAIN.645.

NGUYEN T., ROSENBERG M., SONG X., GAO J., TIWARY S., MAJUMDER R. & DENG L. (2016). MS MARCO : A human generated machine reading comprehension dataset. In T. R. BESOLD, A. BORDES, A. S. D'AVILA GARCEZ & G. WAYNE, Éds., *Proceedings of the Workshop on Cognitive Computation : Integrating neural and symbolic approaches 2016 co-located with the 30th Annual Conference on Neural Information Processing Systems (NIPS 2016)*, Barcelona, Spain, December 9, 2016, volume 1773 de CEUR Workshop Proceedings : CEUR-WS.org.

PFEIFFER J., RÜCKLÉ A., POTH C., KAMATH A., VULIĆ I., RUDER S., CHO K. & GUREVYCH I. (2020). AdapterHub : A framework for adapting transformers. In *Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing : System Demonstrations*, p. 46-54, Online : Association for Computational Linguistics. DOI: 10.18653/v1/2020.emnlp-demos.7.

RAJPURKAR P., ZHANG J., LOPYREV K. & LIANG P. (2016). Squad : 100, 000+ questions for machine comprehension of text. In J. SU, X. CARRERAS & K. DUH, Éds., *Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, EMNLP 2016*, Austin, Texas, USA, November 1-4, 2016, p. 2383-2392 : The Association for Computational Linguistics. DOI: 10.18653/V1/D16-1264.

ROBERTSON S. & ZARAGOZA H. (2009). The probabilistic relevance framework : Bm25 and beyond. *Found. Trends Inf. Retr.*, 3(4), 333-389. DOI: 10.1561/1500000019.

SCAO T. L., FAN A., AKIKI C., PAVLICK E., ILIC S., HESSLOW D., CASTAGNÉ R., LUCCIONI A. S., YVON F., GALLÉ M., TOW J., RUSH A. M., BIDERMAN S., WEBSON A., AMMANAMANCHI P. S., WANG T., SAGOT B., MUENNIGHOFF N., DEL MORAL A. V., RUWASE O., BAWDEN R., BEKMAN S., MCMILLAN-MAJOR A., BELTAGY I., NGUYEN H., SAULNIER L., TAN S., SUAREZ P. O., SANH V., LAURENÇON H., JERNITE Y., LAUNAY J., MITCHELL M., RAFFEL C., GOKASLAN A., SIMHI A., SOROA A., AJI A. F., ALFASSY A., ROGERS A., NITZAV A. K., XU C., MOU C., EMEZUE C., KLAMM C., LEONG C., VAN STRIEN D., ADELANI D. I. & ET AL. (2022). BLOOM : A 176b-parameter open-access multilingual language model. *CoRR*, abs/2211.05100. DOI: 10.48550/ARXIV.2211.05100.

VASWANI A., SHAZEER N., PARMAR N., USZKOREIT J., JONES L., GOMEZ A. N., KAISER L. & POLOSUKHIN I. (2017). Attention is all you need. In I. GUYON, U. VON LUXBURG, S. BENGIO, H. M. WALLACH, R. FERGUS, S. V. N. VISHWANATHAN & R. GARNETT, Éds., *Advances in Neural Information Processing Systems 30 : Annual Conference on Neural Information Processing Systems 2017*, December 4-9, 2017, Long Beach, CA, USA, p. 5998-6008.
# 7 Annexe

## 7.1 Sources et domaines

Dans la table 7 nous reportons le nombre de questions et de documents en fonction de la source, "lelivrescolaire" (préfixé par lls) et "wikipedia" (préfixé par wik), du domaine (géographie, histoire, svt) et du niveau.

<table><caption>TABLE 7 – Nombre de questions et documents par source et par domaine</caption><thead><tr><th>Source</th><th>domaine-niveau</th><th>Version</th><th>nombre de questions</th><th>nombre de documents</th></tr></thead><tbody><tr><td rowspan="2">lls</td><td rowspan="2">geographie-premiere</td><td>V1</td><td>572</td><td>48</td></tr><tr><td>V2</td><td>409</td><td>48</td></tr><tr><td rowspan="2">lls</td><td rowspan="2">geographie-seconde</td><td>V1</td><td>716</td><td>64</td></tr><tr><td>V2</td><td>533</td><td>64</td></tr><tr><td rowspan="2">lls</td><td rowspan="2">histoire-geographie-cinquieme</td><td>V1</td><td>816</td><td>86</td></tr><tr><td>V2</td><td>588</td><td>86</td></tr><tr><td rowspan="2">lls</td><td rowspan="2">histoire-geographie-sixieme</td><td>V1</td><td>814</td><td>89</td></tr><tr><td>V2</td><td>599</td><td>89</td></tr><tr><td rowspan="2">lls</td><td rowspan="2">histoire-premiere</td><td>V1</td><td>945</td><td>101</td></tr><tr><td>V2</td><td>687</td><td>101</td></tr><tr><td rowspan="2">lls</td><td rowspan="2">histoire-seconde</td><td>V1</td><td>1146</td><td>103</td></tr><tr><td>V2</td><td>782</td><td>102</td></tr><tr><td rowspan="2">lls</td><td rowspan="2">svt-cinquieme</td><td>V1</td><td>107</td><td>9</td></tr><tr><td>V2</td><td>78</td><td>9</td></tr><tr><td rowspan="2">lls</td><td rowspan="2">svt-seconde</td><td>V1</td><td>204</td><td>18</td></tr><tr><td>V2</td><td>148</td><td>18</td></tr><tr><td rowspan="2">wik</td><td rowspan="2">geographie-premiere</td><td>V1</td><td>1786</td><td>193</td></tr><tr><td>V2</td><td>1260</td><td>189</td></tr><tr><td rowspan="2">wik</td><td rowspan="2">geographie-seconde</td><td>V1</td><td>546</td><td>51</td></tr><tr><td>V2</td><td>374</td><td>50</td></tr><tr><td rowspan="2">wik</td><td rowspan="2">histoire-premiere</td><td>V1</td><td>1160</td><td>132</td></tr><tr><td>V2</td><td>849</td><td>130</td></tr><tr><td rowspan="2">wik</td><td rowspan="2">histoire-seconde</td><td>V1</td><td>1996</td><td>155</td></tr><tr><td>V2</td><td>1390</td><td>155</td></tr><tr><td rowspan="2">wik</td><td rowspan="2">histoire-geographie-cinquieme</td><td>V1</td><td>170</td><td>15</td></tr><tr><td>V2</td><td>118</td><td>14</td></tr><tr><td rowspan="2">wik</td><td rowspan="2">histoire-geographie-sixieme</td><td>V1</td><td>184</td><td>17</td></tr><tr><td>V2</td><td>139</td><td>17</td></tr><tr><td rowspan="2">wik</td><td rowspan="2">svt-cinquieme</td><td>V1</td><td>158</td><td>18</td></tr><tr><td>V2</td><td>118</td><td>18</td></tr><tr><td rowspan="2">wik</td><td rowspan="2">svt-seconde</td><td>V1</td><td>135</td><td>23</td></tr><tr><td>V2</td><td>108</td><td>23</td></tr></tbody></table>

## 7.2 Comparaison des distributions du corpus avec FQuAD et PIAF

Les figures 3 et 4 décrivent les distributions des mots de la question pour les deux versions du corpus. Dans la figure 5 nous observons la distribution des mots de la question pour les corpus FQuAD (d'Hoffschmidt et al., 2020) et Piaf (Keraron et al., 2020). On pourra remarquer la similitude entre les distribution Piaf et FQuAD avec les questions "factuelles". Sur les autres types, définition, cours, synthèse les distributions sont éloignées.
<figure><img src="image_33.png" /><figcaption>FIGURE 3 – Comparaison des mots de la question pour les différents types de question sur la première version du corpus (voir section 3.2)</figcaption></figure>

<figure><img src="image_34.png" /><figcaption>FIGURE 4 – Comparaison des mots de la question pour les différents types de question sur la seconde version du corpus (voir section 3.2)</figcaption></figure>

<figure><img src="image_35.png" /><figcaption>FIGURE 5 – Mots de la question pour les corpus FQuAD et Piaf</figcaption></figure>
# Évaluation automatique des biais de genre dans des modèles de langue auto-régressifs

Fanny Ducel¹, Aurélie Névéol¹, Karën Fort²

(1) Université Paris-Saclay, CNRS, LISN, 91400, Orsay, France

(2) Sorbonne Université / Université de Lorraine, CNRS, Inria, LORIA, F-54000 Nancy, France

fanny.ducel@lisn.fr, aurelie.neveol@lisn.fr, karen.fort@loria.fr

## RÉSUMÉ

Nous proposons un outil pour mesurer automatiquement les biais de genre dans des textes générés par des grands modèles de langue dans des langues flexionnelles. Nous évaluons sept modèles à l'aide de 52 000 textes en français et 2 500 textes en italien, pour la rédaction de lettres de motivation. Notre outil s'appuie sur la détection de marqueurs morpho-syntaxiques de genre pour mettre au jour des biais. Ainsi, les modèles favorisent largement la génération de masculin : le genre masculin est deux fois plus présent que le féminin en français, et huit fois plus en italien. Les modèles étudiés exacerbent des stéréotypes attestés en sociologie en associant les professions stéréotypiquement féminines aux textes au féminin, et les professions stéréotypiquement masculines aux textes au masculin.

## ABSTRACT

**Automatically Assessing Gender Biases in Autoregressive Language Models.**

We propose a framework to automatically measure gender biases in generated texts, for inflected languages. We evaluate seven language models, on over 52,000 texts in French and 2,500 texts in Italian, for cover letter writing. Our tool relies on the detection of morpho-syntactic gender markers to uncover biases. Thus, models are strongly biased towards the generation of masculine markers : generated texts contain twice as many masculine (vs. feminine) markers in French, and eight times as many in Italian. The models we study also exacerbate gender stereotypes that are evidenced in social science studies and associate feminine inflections with stereotypically feminine occupations, whereas stereotypically masculine occupations are strongly associated with masculine markers.

**MOTS-CLÉS** : Biais, Stéréotype, Genre, Modèle de langue (LLM), Français, Italien.

**KEYWORDS:** Bias, Stereotype, Gender, Language Model (LLM), French, Italian.

# 1 Introduction

Au cours des dernières années, les grands modèles de langue (Large Language Models, ou LLM) sont devenus l'approche privilégiée pour la plupart des tâches de traitement automatique des langues (TAL) telles que la classification de textes, la reconnaissance d'entités nommées ou la traduction automatique (Howard & Ruder, 2018; Epure & Hennequin, 2022; Peng et al., 2023), y compris pour des applications destinées au grand public. Néanmoins, ces modèles non seulement reproduisent, mais amplifient les biais stéréotypés (Gehman et al., 2020; Dhamala et al., 2021; Kirk et al., 2021) qu'il est important de détecter et d'évaluer afin d'éviter qu'ils ne perpétuent des discriminations.

<figure><img src="image_36.png" /></figure>
<table><caption>TABLE 1 – Description des modèles de langue testés (m : million, M : milliard)</caption><thead><tr><td>Modèle</td><td>Type</td><td>Taille</td><td>Langue(s)</td><td>Référence</td></tr></thead><tbody><tr><td>xglm</td><td>Base</td><td>2,9M</td><td>FR, IT (Multi.)</td><td>(Lin et al., 2022)</td></tr><tr><td>gpt2-fr</td><td>Base</td><td>1M</td><td>FR</td><td>(Simoulin & Crabbé, 2021)</td></tr><tr><td>vigogne-2-instruct</td><td>Affiné (LLAMA)</td><td>7M</td><td>FR</td><td>(Huang, 2023)</td></tr><tr><td>BLOOM</td><td>Base</td><td>560m, 3M, 7M1</td><td>FR (Multi)</td><td>(Scao et al., 2022)</td></tr><tr><td>cerbero</td><td>Affiné (MISTRAL)</td><td>7M</td><td>IT</td><td>(Galatolo & Cimino, 2023)</td></tr></tbody></table>

Les contributions de ce travail sont les suivantes : (i) un outil (framework) détectant les biais de genre dans des langues flexionnelles à partir d'indices morpho-syntaxiques et pour un cas d'utilisation réaliste, l'aide à la rédaction de lettres de motivation ; (ii) un système de détection automatique des marqueurs de genre pour le français et l'italien<fnref n="1" /> ; (iii) une étude des biais dans sept modèles de langue en français et en italien, en utilisant l'outil proposé et des études sociologiques.

## 2 État de l'art

**Les biais stéréotypés dans les modèles de langue** Des corpus ont été créés par la communauté pour découvrir différents types de biais stéréotypés dans les systèmes de TAL, avec un accent récent sur les modèles de langue (Nangia et al., 2020; Li et al., 2020; Nadeem et al., 2021; Névéol et al., 2022; Parrish et al., 2022). Les biais sont ensuite mesurés à l'aide de métriques qui visent les représentations internes aux modèles, en utilisant par exemple la probabilité des tokens masqués comme dans Nangia et al. (2020), ou les biais présents dans les sorties du système (De-Arteaga et al., 2019; Nozza et al., 2021; de Vassimon Manela et al., 2021). Cette deuxième catégorie de métriques, dite extrinsèque, est supposée plus robuste (Delobelle et al., 2022). Notre outil est également extrinsèque, mais présente une nouveauté : il utilise des flexions morpho-syntaxiques pour détecter le genre et estimer les biais, résultant en une approche plus objective et exhaustive que les travaux fondés sur des listes de mots.

**Les associations stéréotypées entre genre et profession** Les sciences sociales ont démontré l'impact de l'association des professions à un genre. Ainsi, Bossé & Guégnard (2007) ont mené une enquête sur les perceptions d'adolescents français à l'égard de diverses professions. Ces derniers pensent que certaines qualités sont intrinsèquement féminines, comme le fait d'être maternel, doux et compréhensif, alors que le fait d'être fort, courageux et puissant est associé à la masculinité. Par conséquent, les professions liées aux soins et au nettoyage sont considérées comme féminines et ne méritant pas de hauts salaires, car elles requièrent des compétences supposées naturelles, « moins difficiles et peu valorisantes ». Ces stéréotypes conduisent également à une « ségrégation professionnelle fondée sur le genre », comme l'affirment Couppié & Epiphane (2006).

## 3 Génération et évaluation automatiques de biais genrés

L'outil que nous avons développé vise à évaluer automatiquement les biais sexistes dans les lettres de motivation générées par les modèles. À partir d'un modèle de langue pré-entraîné capable de générer du texte dans des langues flexionnelles, des modèles d'invites (prompts) sont créés pour déclencher la génération d'une lettre de motivation. Les marqueurs de genre sont ensuite détectés dans le texte afin d'attribuer un genre à l'auteur présumé de la lettre. Notre outil prend ainsi la forme d'un ensemble de

<footnote n="1">1. Le code et les données nécessaires à la reproduction de l'expérience sont librement disponibles : https://github.com/FannyDucel/GenderBiasCoverLetter.</footnote>
<table><caption>TABLE 2 – Modèles d’invites neutres, pour $FR_{Neutre}$ et $IT_{Neutre}$.</caption><thead><tr><th></th><th>FR-Neutre</th><th>IT-Neutre</th></tr></thead><tbody><tr><td>(1)</td><td>Je finis actuellement mes études de _<br>et je suis à la recherche d'un emploi.<br>Je pense correspondre à votre offre car ...</td><td>Attualmente sto terminando gli studi di _ e sono<br>alla ricerca di un lavoro. Penso di essere la persona<br>giusta per il vostro posto di lavoro perché...</td></tr><tr><td>(2)</td><td>Je possède un diplôme de _<br>et je suis à la recherche d'un emploi.<br>Je pense correspondre à votre offre car ...</td><td>Ho una laurea in _ e sto cercando un lavoro.<br>Penso di essere la persona giusta per il vostro<br>posto di lavoro perché...</td></tr><tr><td>(3), (4)</td><td>En réponse à votre offre d'emploi, j'ai le plaisir<br>de vous soumettre ma candidature. + (1)/(2)</td><td>In risposta alla vostra offerta di lavoro, sono felice<br>di presentare la mia candidatura. + (1)/(2)</td></tr></tbody></table>

codes et de données permettant de créer les invites, de générer les textes, de détecter leurs marqueurs de genre et de mesurer leurs biais.

Nous avons appliqué notre outil à deux langues et à deux stratégies d’invites. La première et principale stratégie consiste à utiliser des invites neutres en termes de genre, afin d’évaluer le genre favorisé par les modèles de langue. Les contextes $FR_{Neutre}$ et $IT_{Neutre}$ comprennent de telles invites, respectivement pour le français et l’italien. La seconde stratégie consiste à utiliser des invites genrées, afin d’évaluer si les modèles génèrent des textes cohérents vis à vis du genre. Seul le contexte $FR_{Genre}$ inclut des invites genrées, à titre d’expérience complémentaire<fnref n="2" />.

Nos expériences visent principalement le français, en tant qu’exemple de langue flexionnelle. Nous menons également des expériences, à plus petite échelle, sur l’italien afin de prouver l’adaptabilité de notre outil. Le tableau 1 présente les sept modèles évalués.

## 3.1 Création d’invites pour des lettres de motivation

Les invites à trou utilisées pour $FR_{Neutre}$ et $IT_{Neutre}$, qui ne contiennent aucun marqueur de genre et ont été rédigées par des locuteurs natifs, sont présentées dans le Tableau 2. Elles sont complétées avec des noms de domaines professionnels issus de listes officielles. Pour le français, nous extrayons 203 domaines professionnels de l’intersection de deux classifications françaises des métiers<fnref n="3" />. Pour l’italien, nous sélectionnons 55 éléments d’une classification de l’activité économique nationale italienne<fnref n="4" />. Pour chaque domaine professionnel, chaque modèle de langue génère 24 lettres de motivation (trois par invite et par combinaison d’hyperparamètres). Un filtre automatique est ajouté pour exclure les textes générés non pertinents (moins de cinq tokens uniques ou aucun pronom de première personne). Au total, le corpus $FR_{Neutre}$ contient 26 694 lettres de motivation générées pour 2 505 dans $IT_{Neutre}$. La figure 1a présente un exemple d’ invite et de lettre générée en français. Le domaine professionnel est en italique et les mots qui incluent des marqueurs de genre (féminins) sont en gras.

Le même processus est appliqué pour $FR_{Genre}$, mais les invites sont des variantes de la phrase neutre (2) dans laquelle on remplace *Je possède un diplôme* par *Je suis diplômé/diplômée/diplômé(e)/diplômé-e*. Le corpus résultant contient 26 693 lettres de motivation.

<footnote n="2">2. Entre la soumission et la publication, l’expérience genrée a été conduite sur l’italien. Les résultats sont sur Github.</footnote>

<footnote n="3">3. Classification nationale française des métiers et Répertoire national des certifications professionnelles et répertoire spécifique. Nous filtrons les domaines trop vagues (industrie) ou trop spécifiques (conduite de machine de transformation et de finition des cuirs et peaux).</footnote>

<footnote n="4">4. https://www.istat.it/en/archive/17959. Nous utilisons les éléments ayant un code à quatre chiffres.</footnote>
<figure><img src="image_37.png" /><figcaption>FIGURE 1 – Exemple de génération et illustration de la détection.</figcaption></figure>

## 3.2 Évaluation automatique des biais genrés

**Système de détection** Notre système de détection du genre exploite les informations morpho-syntaxiques relatives à la première personne du singulier pour déduire le genre de l'auteur présumé. Par conséquent, les marqueurs féminins sont associés aux textes supposément écrits par des femmes, et les marqueurs masculins aux textes écrits par des hommes.<fnref n="5" /> La figure 1b présente notre approche hybride qui combine à la fois des règles linguistiques écrites manuellement et un outil automatique, spaCy (Honnibal & Johnson, 2015), pour obtenir des étiquettes morpho-syntaxiques.

Les marqueurs de genre sont identifiés à l'aide des règles suivantes : (i) le token doit dépendre d'un pronom ou d'un marqueur de la première personne du singulier ; (ii) le token est un nom qui fait référence à un agent humain inclus dans la ressource sémantique (afin de sélectionner *boulanger* mais pas *table*), ou il doit s'agir d'un adjectif ou d'un participe passé qui caractérise un agent humain ou un pronom de la première personne du singulier ; et (iii) si le token est épicène, il doit être précédé d'un déterminant genré. Si ces règles sont respectées, le genre du marqueur est pris en compte. Le genre de la majorité des marqueurs est attribué au texte. Si aucun marqueur de genre n'est détecté, le texte est étiqueté *Neutre*. S'il présente autant de marqueurs masculins que féminins, il est marqué *Ambigu*.

**Ressources linguistiques** Pour le français, nous utilisons spaCy avec le modèle Camembert (Martin et al., 2020). Les informations morpho-syntaxiques intégrées sont fondées sur la version UNIVERSAL DEPENDENCIES (Nivre et al., 2020) du corpus SEQUOIA (Candito & Seddah, 2012; Candito et al., 2014). La ressource sémantique a été réalisée en combinant différentes ressources sémantiques existantes pour le français : DELA<fnref n="6" />, DÉMONETTE (Hathout & Namer, 2014), FRSEMCOR (Barque et al., 2020), et la partie lexique de l'ouvrage Becquer & Jospin (1999). La ressource française ainsi créée et manuellement corrigée contient un total de 7 230 noms.

Pour l'italien, spaCy est utilisé dans sa version large (Bosco et al., 2013). La ressource sémantique pour l'italien est composée de l'intersection des parties italiennes des ressources multilingues MATS (Mickus et al., 2023), MUST-SHE (v1.2.1) (Savoldi et al., 2022; Bentivogli et al., 2020) et

<footnote n="5">5. Nous reconnaissions que les marqueurs de genre utilisés par un individu peuvent ne pas refléter son identité de genre dans toute sa complexité, mais il semble raisonnable d'admettre que la majorité des personnes qui utilisent des marqueurs féminins s'identifient à un genre proche du féminin, et qu'elles seraient perçues comme telles par le lectorat, et inversement pour les marqueurs masculins.</footnote>

<footnote n="6">6. https://unitexgramlab.org/fr/language-resources</footnote>
LIVINGNER (Miranda-Escalada et al., 2022). Après correction manuelle de cette combinaison de corpus, il reste 388 paires de noms masculins-féminins qui se réfèrent à des entités masculines <fnref n="7" />.

**Évaluation des systèmes de détection** Pour le français, une autrice a annoté manuellement un sous-corpus de 600 textes générés. Les deux autres autrices <fnref n="8" /> ont annoté 60 instances chacun, ce qui a permis de calculer un taux d'accord inter-annotateur par paires, en utilisant le Kappa de Cohen (Cohen, 1960). Il est de 82,8 % entre les annotateurs 1 et 2, et de 87,1 % entre les annotateurs 1 et 3 <fnref n="9" />. Le système de détection du genre a été évalué sur ce corpus et atteint une exactitude de 92,8 %.

Pour l'italien, une locutrice native a annoté 120 documents et un annotateur de niveau B2 100 documents, avec un chevauchement de 20 documents. Leur accord est de 70,14 % de Kappa de Cohen <fnref n="10" />. Le système de détection adapté pour l'italien a une exactitude de 96 % sur ces 200 textes.

## 3.3 Indicateurs pour l'évaluation des biais

Les biais sont analysés à l'aide de trois indicateurs. Une **estimation du biais** globale est calculée en utilisant la distribution des marqueurs de genre dans les textes générés. Ensuite, nous définissons l'indicateur **Écart Genré** comme la différence entre la proportion de documents annotés comme masculins ($p^m$) et la proportion de documents annotés comme féminins ($p^f$) tel que : $EcartGenre = p^m - p^f$. Enfin, la notion de **Mégenrage** est utilisée pour analyser les biais dans les invites genrées ($FR_{Genre}$). Elle est définie comme la probabilité d'incohérences entre les marqueurs de genre dans l' invite et dans le texte généré.

# 4 Expériences : les textes générés contiennent-ils des biais ?

## 4.1 Injection de biais genrés à partir d'invites neutres

**Quelle est la distribution des genres dans les textes générés ?** Nous examinons les distributions de genres dans l'ensemble du corpus généré pour $FR_{Neutre}$. Comme indiqué dans la section 3.1, dans ce contexte, les invites sont dépourvues de flexions de genre et, par conséquent, toute flexion porteuse de genre introduite dans le texte peut être interprétée comme une tendance du modèle à associer une profession donnée à un genre. La figure 2a montre que le genre le plus représenté est le masculin (42,1 %) et qu'il est deux fois plus présent que le féminin (20,1 %). L'écart moyen entre les genres est de 22 (42,1 - 20,1), tandis que la médiane est de 23,5 (voir Figure 3b). La catégorie Neutre (35 %) est également plus représentée que la catégorie Féminin, ce qui signifie que les modèles ont tendance à éviter les marqueurs de genre plus qu'ils n'ont tendance à utiliser des flexions féminines. Les textes ambigus ne représentent qu'un faible pourcentage du corpus (2,8 %). Cela peut être interprété comme une cohérence satisfaisante dans les textes, mais pourrait aussi refléter l'utilisation d'auteurs non-binaires qui décident d'alterner entre marqueurs féminins et masculins.

**Les modèles de langue sont-ils tous autant biaisés ?** D'après la mesure Écart Genré, $x_{GLM}$ présente le moins de biais (voir Figure 3a). En effet, ses proportions de générations masculines et

<footnote n="7">7. Nous reconnaissions que cette liste est moins exhaustive que celle du français. Néanmoins, elle permet de couvrir raisonnablement les entités humaines les plus fréquentes, comme en témoignent les paragraphes suivants sur l'évaluation.</footnote>

<footnote n="8">8. Toutes les autrices-annotatrices sont francophones natives.</footnote>

<footnote n="9">9. Les désaccords étaient liés à l'omission de certains marqueurs de genre masculins ou à l'inclusion de marqueurs de genre qui ne se réfèrent pas à un sujet à la première personne du singulier. Plus de détails en Annexe B.</footnote>

<footnote n="10">10. Cela représente 3 désaccords parmi les 20 documents annotés, dus à l'omission de marqueurs masculins par l'un ou l'autre des annotateurs.</footnote>
<figure><img src="image_38.png" /><figcaption>(a) Distribution des genres. - FR<sub>Neutre</sub></figcaption></figure>

<figure><img src="image_39.png" /><figcaption>(b) Distribution des genres par modèle. - FR<sub>Neutre</sub></figcaption></figure>

<figure><img src="image_40.png" /><figcaption>(a) Écart Genré par modèle. - FR<sub>Neutre</sub></figcaption></figure>

<figure><img src="image_41.png" /><figcaption>(b) Distribution des Écart Genrés parmi les domaines professionnels - FR<sub>Neutre</sub>. La ligne verticale représente la moyenne, la ligne bleue en pointillés représente la médiane.</figcaption></figure>

<caption>FIGURE 3 – Étude des Écart Genrés par modèle et domaine professionnel. - FR<sub>Neutre</sub></caption>

féminines sont similaires, et la catégorie Neutre est la plus présente. Au contraire, Vigogne-7b présente les écarts les plus importants entre proportions féminines et masculines. Il génère une grande majorité de textes masculins (plus de 74 %) et une très faible quantité de textes féminins (seulement 4,8 %). Les autres modèles, gpt2-fr, BLOOM-560m, BLOOM-3b et BLOOM-7b présentent des caractéristiques similaires. Ils génèrent une majorité de textes masculins (39,4 % en moyenne pour ces quatre modèles), puis des textes neutres (32,4 % en moyenne), et enfin des textes féminins (24,6 % en moyenne) et ambigus (3,2 % en moyenne). De manière surprenante, parmi les trois versions de BLOOM, celle qui présente le moins de biais est la plus petite, BLOOM-560m. Contrairement à gpt2-fr et aux deux autres versions de BLOOM, elle génère plus de neutre que de masculin, mais l'écart entre les genres reste notable. Cependant, les générations issues de ce modèle sont de qualité inférieure. La qualité des générations a été annotée pour le français, par l'annotateur principal. Les textes qui ne concernaient pas le domaine professionnel demandé, qui ne respectaient pas la forme d'une lettre de motivation ou qui étaient complètement hors sujet ont été marqués. Sur 100 textes, 38 % présentaient un de ces problèmes pour BLOOM-560m. C'était le cas pour 32 % des générations de gpt2-fr, 24 % de BLOOM-3B, 16 % de BLOOM-7B, 6 % de xg1m-2.9B et 4 % de Vigogne-7b.

**Les professions sont-elles toutes autant biaisées ?** Nos résultats montrent que les différents domaines professionnels présentent des Écarts Genrés variables. La figure 4 représente les dix domaines les plus biaisés ainsi que leur répartition par genre. Les domaines de la coiffure, du
<figure><img src="image_42.png" /><figcaption>FIGURE 4 – Distribution des genres pour les 10 domaines les plus biaisés. - $FR_{Neutre}$</figcaption></figure>

<table><caption>TABLE 3 – Distribution de genre selon le genre donné dans l’ invite. - $FR_{Genre}$</caption><thead><tr><th rowspan="2">Genre de l' invite</th><th colspan="4">Genre du texte généré (en %)</th></tr><tr><th>Amb.</th><th>Fém.</th><th>Masc.</th><th>Neutre</th></tr></thead><tbody><tr><td>Masculin</td><td>2,1</td><td>7,9</td><td><strong>60,2</strong></td><td>29,8</td></tr><tr><td>Féminin</td><td>4,6</td><td><strong>50,9</strong></td><td>13,6</td><td>30,8</td></tr><tr><td>Inclusif - ()</td><td>5,0</td><td>10,5</td><td>33,4</td><td><strong>51,1</strong></td></tr><tr><td>Inclusif - ·</td><td>2,9</td><td>14,7</td><td>36,8</td><td><strong>45,5</strong></td></tr></tbody></table>

secrétariat médical, de l’assistance à l’enfance, du mannequinat et de la puériculture sont fortement orientés vers le féminin (Écart Genré négatif), tandis que l’électricité-électronique, la maçonnerie, la conduite d’engins de chantier, la gestion de chantiers et la mécanique aérospatiale sont fortement associées à des marqueurs masculins (Écart Genré positif élevé). Les résultats concernant d’autres domaines professionnels <fnref n="11" /> suggèrent que la majorité des domaines biaisés envers le féminin sont liés à l’apparence physique, aux enfants et aux soins, tandis que ceux associés à la masculinité sont liés à la force physique, au travail manuel et aux compétences techniques. Ces associations de genre font écho à des stéréotypes attestés (voir Section 5).

## 4.2 Enfreindre le genre de l’ invite

Pour $FR_{Genre}$, un texte est non biaisé s’il contient le même genre que celui qui est spécifié dans l’ invite. La répartition des genres selon l’ invite est détaillée dans le tableau 3. Les invites comportant un marqueur masculin donnent lieu à une proportion plus élevée de textes masculins que les invites au féminin, qui génèrent une proportion moindre de textes au féminin. Les invites rédigées avec de l’écriture inclusive conduisent également à une plus grande quantité de textes rédigés au masculin qu’au féminin. Par conséquent, même avec des stratégies d’invites inclusives, les modèles présentent des biais en faveur des productions masculines. En outre, le point médian semble déclencher davantage de marqueurs genrés mais réduit l’écart entre les genres.

Le tableau 4 détaille les trois professions les plus et les moins biaisées pour chaque invite, sur la base du Mégenrage. Au total, dans 10 % des cas avec une invite masculine, le genre est enfreint et

<footnote n="11">11. Les détails concernant tous les domaines professionnels étudiés sont en Annexe C.</footnote>
<table><caption>TABLE 4 – Mégenrage (GS) par genre pour les domaines les plus et moins biaisés. - $FR_{Genre}$</caption><thead><tr><th>Genre de l' invite </th><th> GS </th><th> Domaines avec les plus hauts GS - GS en % </th><th> Domaines avec les plus bas GS - GS in % </th></tr></thead><tbody><tr><td> Masculin </td><td> 10 % </td><td> esthétique - 42 <br> soins infirmiers spécialisés en puériculture - 39 <br> diététique - 34 </td><td> direction de grande entreprise... - 0 <br> biologie de l'agronomie et de l'agriculture - 0 <br> fabrication... d'instruments de musique - 0 </td></tr><tr><td> Féminin </td><td> 18 % </td><td> conduite d'engins de chantier - 52 <br> réparation de carrosserie - 47 <br> recherche en sciences de l'univers... - 36 </td><td> aide en puériculture - 0 <br> aide et médiation judiciaire - 3 <br> mannequinat et pose artistique - 3 </td></tr><tr><td> TOTAL </td><td> 14 % </td><td> réparation de carrosserie - 31 <br> conduite d'engins de chantier - 27 <br> secrétariat et assistanat médical... - 24 </td><td> informatique en biologie - 4 <br> techniques de l'imprimerie et de l'édition - 5 <br> optique - lunetterie - 6 </td></tr></tbody></table>

<figure><img src="image_43.png" /><figcaption>FIGURE 5 – Distribution des genres et des genres par modèle pour $IT_{Neutre}$</figcaption></figure>

Il y a une majorité de textes féminins ou ambigus, et dans 18 % des cas avec une invite féminine, il y a une majorité de textes masculins ou ambigus. Le modèle qui a le plus tendance à enfreindre le genre de l' invite est BLOOM-560m, avec un Mégenrage global de 22 %, tandis que xg1m est le modèle qui reste le plus cohérent avec le genre de l' invite (Mégenrage de 4 %). Le changement de genre dans les autres modèles varie entre 11 et 17 %, par ordre croissant : gpt2-fr, Vigogne-7b, BLOOM-7b, BLOOM-3b. Le Mégenrage varie aussi selon le domaine professionnel, suivant les tendances observées dans les expériences avec invites neutres. Enfin, le biais global envers les générations masculines demeure : la présence du féminin dans les invites a moins d' impact que celle du masculin et il y a moins de domaines pour lesquels le texte généré enfreint l' invite si celle-ci est au masculin.

Les résultats indiquent que les biais stéréotypés sont moins importants que dans $FR_{Neutre}$, mais ils restent présents, surtout pour certains domaines. De ce fait, les biais stéréotypés sont parfois si forts qu'ils enfreignent les instructions données, affectant également la qualité générale du texte généré.

## 4.3 Les modèles de langue italiens génèrent davantage de masculin

Le corpus de textes générés en italien présente des tendances similaires, mais exacerbées. Toutefois, les comparaisons entre les corpus français et italien doivent être nuancées, étant donné que le corpus italien est plus petit et que les domaines professionnels sont différents. Comme le montre la Figure 5a, 50 % du corpus contient une majorité de marqueurs masculins, et seulement 6,1 % présente une majorité de marqueurs féminins. L'Écart Genré moyen est de 43,9 tandis que la médiane est de 44,7.

Néanmoins, les deux modèles présentent des distributions de genre et des biais différentes (voir
<figure><img src="image_44.png" /><figcaption>FIGURE 6 – Distribution des genres pour les 10 domaines les plus biaisés. - *IT*<sub>Neutre</sub></figcaption></figure>

Figure 5b). Comme pour le français, *xglm* produit une majorité de textes neutres (72,5 %), mais la différence entre les proportions de textes masculins et féminins est importante. Il génère plus de trois fois plus de contenu masculin que de contenu féminin. Le même modèle peut ainsi présenter des biais différents en fonction de la langue cible. En outre, *cerbero* semble produire des tendances similaires à *Vigogne-7b*, puisqu'il génère une grande majorité de textes masculins (76,6 %) et une très faible proportion de textes féminins (5,8 %). Globalement, l'Écart Genré moyen est de 14,02 pour *xglm* (contre 1,08 pour *xglm* dans *FR*<sub>Neutre</sub>) et de 70,86 pour *cerbero*.

Aucun Écart Genré n'est négatif, de sorte qu'aucune profession n'est explicitement biaisée en faveur du féminin, puisque la proportion de masculin est toujours plus élevée. Les domaines présentent encore des Écart Genrés variables (voir Figure 6). Malgré la faible représentation du féminin, des professions similaires affichent les proportions les plus élevées pour ce genre : coiffure et soins de beauté, services hospitaliers, activités de bibliothèque et d'archivage, soins de santé et services de garde. À l'instar des domaines les plus biaisés de *FR*<sub>Neutre</sub>, ces professions sont principalement liées à l'apparence physique et aux soins prodigués aux enfants et aux malades. À l'inverse, les domaines les plus fortement associés au masculin sont la fabrication d'avions, la fabrication d'instruments de musique, la photographie, les activités de production cinématographique et télévisuelle, l'entretien et la réparation de véhicules.

Cette expérience sur une deuxième langue flexionnelle montre que notre outil est facilement adaptable à d'autres langues et contextes socioculturels, et que les modèles de langue génèrent des stéréotypes similaires en français et en italien.

## 5 Les biais des textes générés proviennent-ils du monde réel ?

Les modèles de langue de notre étude ont tendance à inclure inéquitablement des marqueurs de genre dans les textes générés. Un modèle équitable s'efforcerait d'éviter de supposer des attributs sensibles (ici, le genre de l'auteur, uniquement en fonction de la profession). Il minimiserait ainsi l'utilisation des marqueurs de genre ou produirait un nombre équivalent de marqueurs féminins et masculins. Ce n'est néanmoins pas le cas, nous constatons en effet une faible représentation globale des marqueurs de genre féminins, ainsi qu'une répartition d'autant plus inégale des marqueurs de genre pour les professions stéréotypées. Ces deux phénomènes ont été identifiés dans des études sociologiques. La faible représentation globale du féminin fait écho à l'invisibilisation des femmes et à la notion de masculinité par défaut (Cheryan & Markus, 2020). Les associations stéréotypées aux professions dépendent davantage de la culture et sont présentées ci-dessous pour les contextes français et italien.
**Contexte français** Les domaines professionnels les plus biaisés dans les générations en français reflètent des stéréotypes du monde réel et la ségrégation professionnelle entre les hommes et les femmes que l'on peut trouver en France (Couppié & Epiphane, 2006). Ces disparités résultent de stéréotypes et de discriminations plutôt que de préférences personnelles ou de caractéristiques biologiques (Gallioz, 2007; Auclert, 2022; Perronnet, 2021). Ces stéréotypes jouent un rôle dans les représentations mentales des métiers, comme l'a montré l'enquête de Bossé & Guégnard (2007) auprès d'adolescents, qui associent les métiers liés aux soins et aux enfants aux femmes, et les métiers qui requièrent des compétences physiques, manuelles et techniques aux hommes. Cela influence également les choix d'orientation des élèves (Dutrévis & Toczek, 2007; Loose et al., 2021).

**Contexte italien** Les tendances des modèles italiens à associer le masculin au travail manuel et le féminin aux métiers du soin, de l'apparence et de la culture sont également attestées dans des études sociologiques italiennes. Biasin & Chianese (2020) et Triventi et al. (2010) montrent que les hommes ont tendance à choisir des domaines scientifiques et techniques, tandis que les femmes s'orientent vers les humanités, le social et le soin. Ils soulignent le rôle des stéréotypes de genre dans ces choix ainsi que de la réalité économique des femmes, qui les conduit à opter pour des carrières qui ont « un statut d'emploi inférieur sur le marché du travail national et sont pénalisées en termes de reconnaissance économique, sociale et professionnelle par rapport aux professions à prédominance masculine ». D'après eux, la ségrégation professionnelle entre les genres est « plus prononcée [en Italie] que dans d'autres pays européens ».

**Des biais socio-économiques sous-jacents ?** Les professions les plus stéréotypées, tant dans la vie réelle que dans nos corpus, semblent refléter des biais socio-économiques, car elles sont souvent liées à des emplois précaires aux faibles revenus. Ces croisements sociologiques démontrent l'importance du travail intersectionnel, car les professions les plus stéréotypées par les modèles sont généralement fortement associées à un genre, mais aussi à une classe sociale.

# 6 Conclusion : les modèles génèrent des biais

Nous proposons un outil pour évaluer automatiquement des biais de genre binaire dans des modèles de langue autorégressifs, pour les langues flexionnelles, en utilisant les marqueurs de genre comme indicateurs de biais. Nous appliquons l'outil sur le français et l'italien, sur sept modèles de langue, pour la génération de lettres de motivation. Les invites neutres donnent lieu à deux fois plus de textes masculins que féminins en français, et à huit fois plus de masculin que de féminin en italien. Les biais varient selon les modèles de langue et les professions, reproduisant des stéréotypes et la ségrégation professionnelle entre les genres. Certains biais sont si forts que les modèles ne tiennent pas compte du genre spécifié dans les invites, si celui-ci contredit un stéréotype.

Notre outil est disponible librement et est facilement adaptable à d'autres langues flexionnelles, comme le prouve notre extension à l'italien. Il est également facilement applicable à d'autres modèles de langue. Par la suite, nous aimerions étudier l'inclusion des identités non binaires et étendre l'outil à d'autres types de biais et à d'autres cas d'utilisation.

**Limites** Notre étude ne vise que le genre binaire dans les contextes culturels et linguistiques français et italien. Par ailleurs, les résultats présentés sont susceptibles de sous-estimer les biais, d'une part parce que certains textes neutres ne sont pas des lettres de motivation ou ne couvrent pas la profession demandée, ce qui augmente la proportion de neutre, et d'autre part parce que le système de détection du genre a une exactitude imparfaite, il omet en effet certains marqueurs masculins, diminuant ainsi la proportion réelle pour ce genre. D'autres éléments de discussion sont présentés en Annexe A.
Remerciements

Ce travail a été réalisé dans le cadre d'un projet de l'Agence Nationale de la Recherche, InExtenso
(Évaluation intrinsèque et extrinsèque des biais dans les gros modèles de langue), ANR-23-IAS1-
0004-01. Nous remercions par ailleurs les annotateurs et annotatrices de l'italien : Siyana Pavlova,
Jean-Philippe Ducel et Xheni Rikani.

Références

AUCLERT C. H. (2022). *Étude «Les freins à l'accès des filles aux filières informatiques et numériques »*. Centre Hubertine Auclert.

BARQUE L., HAAS P., HUYGHE R., TRIBOUT D., CANDITO M., CRABBÉ B. & SEGONNE V. (2020). FrSemCor : Annotating a French corpus with supersenses. In N. CALZOLARI, F. BÉCHET, P. BLACHE, K. CHOUKRI, C. CIERI, T. DECLERCK, S. GOGGI, H. ISAHARA, B. MAEGAARD, J. MARIANI, H. MAZO, A. MORENO, J. ODIJK & S. PIPERIDIS, Éds., *Proceedings of the Twelfth Language Resources and Evaluation Conference*, p. 5912–5918, Marseille, France : European Language Resources Association.

BECQUER A. & JOSPIN L. (1999). *Femme, j'écris ton nom... : guide d'aide à la féminisation des noms de métiers, titres, grades et fonctions*. La Documentation française.

BENTIVOGLI L., SAVOLDI B., NEGRI M., DI GANGI M. A., CATTONI R. & TURCHI M. (2020). Gender in danger? evaluating speech translation technology on the MuST-SHE corpus. In D. JURAFSKY, J. CHAI, N. SCHLUTER & J. TETREAULT, Éds., *Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics*, p. 6923–6933, En ligne : Association for Computational Linguistics. DOI: 10.18653/v1/2020.acl-main.619.

BIASIN C. & CHIANESE G. (2020). Italy : Gender segregation and higher education. In *International perspectives on gender and Higher Education*, p. 75–92. Emerald Publishing Limited.

BOSCO C., MONTEMAGNI S. & SIMI M. (2013). Converting Italian treebanks : Towards an Italian Stanford dependency treebank. In A. PAREJA-LORA, M. LIAKATA & S. DIPPER, Éds., *Proceedings of the 7th Linguistic Annotation Workshop and Interoperability with Discourse*, p. 61–69, Sofia, Bulgarie : Association for Computational Linguistics.

BOSSÉ N. & GUÉGNARD C. (2007). Les représentations des métiers par les jeunes : entre résistances et avancées. *Travail Genre Et Societes*, p. 27–46.

CANDITO M., PERRIER G., GUILLAUME B., RIBEYRE C., FORT K., SEDDAH D. & DE LA CLERGERIE É. (2014). Deep syntax annotation of the sequoia French treebank. In N. CALZOLARI, K. CHOUKRI, T. DECLERCK, H. LOFTSSON, B. MAEGAARD, J. MARIANI, A. MORENO, J. ODIJK & S. PIPERIDIS, Éds., *Proceedings of the Ninth International Conference on Language Resources and Evaluation (LREC’14)*, p. 2298–2305, Reykjavik, Islande : European Language Resources Association (ELRA).

CANDITO M. & SEDDAH D. (2012). Le corpus sequoia : annotation syntaxique et exploitation pour l'adaptation d'analyseur par pont lexical (the sequoia corpus : Syntactic annotation and use for a parser lexical domain adaptation method) [in French]. In G. ANTONIADIS, H. BLANCHON & G. SÉRASSET, Éds., *Proceedings of the Joint Conference JEP-TALN-RECITAL 2012, volume 2 : TALN*, p. 321–334, Grenoble, France : ATALA/AFCP.

CHERYAN S. & MARKUS H. R. (2020). Masculine defaults : Identifying and mitigating hidden cultural biases. *Psychological Review*, **127**(6), 1022.
COHEN J. (1960). A coefficient of agreement for nominal scales. *Educational and Psychological Measurement*, **20**(1), 37–46.

COUPPIÉ T. & EPIPHANE D. (2006). La ségrégation des hommes et des femmes dans les métiers : entre héritage scolaire et construction sur le marché du travail. *Formation emploi. Revue française de sciences sociales*, **1**(93), 11–27.

DE-ARTEAGA M., ROMANOV A., WALLACH H., CHAYES J., BORGS C., CHOULDECHOVA A., GEYIK S., KENTHAPADI K. & KALAI A. T. (2019). Bias in Bios: A Case Study of Semantic Representation Bias in a High-Stakes Setting. In *Proceedings of the Conference on Fairness, Accountability, and Transparency*, p. 120–128, Atlanta, Georgia, États-Unis. DOI: 10.1145/3287560.3287572.

DE VASSIMON MANELA D., ERRINGTON D., FISHER T., VAN BREUGEL B. & MINERVINI P. (2021). Stereotype and skew: Quantifying gender bias in pre-trained and fine-tuned language models. In P. MERLO, J. TIEDEMANN & R. TSARFATY, Éds., *Proceedings of the 16th Conference of the European Chapter of the Association for Computational Linguistics: Main Volume*, p. 2232–2242, En ligne : Association for Computational Linguistics. DOI: 10.18653/v1/2021.eacl-main.190.

DELOBELLE P., TOKPO E., CALDERS T. & BERENDT B. (2022). Measuring fairness with biased rulers: A comparative study on bias metrics for pre-trained language models. In M. CARPUAT, M.-C. DE MARNEFFE & I. V. MEZA RUIZ, Éds., *Proceedings of the 2022 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies*, p. 1693–1706, Seattle, États-Unis : Association for Computational Linguistics. DOI: 10.18653/v1/2022.nacl-main.122.

DHAMALA J., SUN T., KUMAR V., KRISHNA S., PRUKSACHATKUN Y., CHANG K.-W. & GUPTA R. (2021). Bold: Dataset and metrics for measuring biases in open-ended language generation. In *Proceedings of the 2021 ACM Conference on Fairness, Accountability, and Transparency*, FAccT ’21, p. 862–872, New York, NY, États-Unis : Association for Computing Machinery. DOI: 10.1145/3442188.3445924.

DUTRÉVIS M. & TOCZEK M.-C. (2007). Perception des disciplines scolaires et sexe des élèves. le cas des enseignants et des élèves de l'école primaire en france. *Varia*, **36/3**, 379–400.

EPURE E. V. & HENNEQUIN R. (2022). Probing pre-trained auto-regressive language models for named entity typing and recognition. In *Proceedings of the Thirteenth Language Resources and Evaluation Conference*, p. 1408–1417, Marseille, France : European Language Resources Association.

GALATOLO F. A. & CIMINO M. G. (2023). Cerbero-7b: A leap forward in language-specific llms through enhanced chat corpus generation and evaluation. *arXiv preprint arXiv:2311.15698*.

GALLIOZ S. (2007). La féminisation des entreprises du bâtiment : le jeu paradoxal des stéréotypes de sexe. *Sociologies Pratiques*, **14**, 31–44.

GEHMAN S., GURURANGAN S., SAP M., CHOI Y. & SMITH N. A. (2020). RealToxicityPrompts: Evaluating neural toxic degeneration in language models. In T. COHN, Y. HE & Y. LIU, Éds., *Findings of the Association for Computational Linguistics: EMNLP 2020*, p. 3356–3369, En ligne : Association for Computational Linguistics. DOI: 10.18653/v1/2020.findings-emnlp.301.

HATHOUT N. & NAMER F. (2014). Démonette, a French derivational morpho-semantic network. *Linguistic Issues in Language Technology*, **11**.

HONNIBAL M. & JOHNSON M. (2015). An improved non-monotonic transition system for dependency parsing. In L. MÀRQUEZ, C. CALLISON-BURCH & J. SU, Éds., *Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing*, p. 1373–1378, Lisbonne, Portugal : Association for Computational Linguistics. DOI: 10.18653/v1/D15-1162.
HOWARD J. & RUDER S. (2018). Universal language model fine-tuning for text classification. In I. GUREVYCH & Y. MIYAO, Éds., *Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers)*, p. 328–339, Melbourne, Australia : Association for Computational Linguistics. DOI: 10.18653/v1/P18-1031.

HUANG B. (2023). Vigogne : French instruction-following and chat models. https://github.com/bofenghuang/vigogne.

KIRK H. R., JUN Y., VOLPIN F., IQBAL H., BENUSSI E., DREYER F., SHTEDRITSKI A. & ASANO Y. (2021). Bias out-of-the-box : An empirical analysis of intersectional occupational biases in popular generative language models. In M. RANZATO, A. BEYGELZIMER, Y. DAUPHIN, P. LIANG & J. W. VAUGHAN, Éds., *Advances in Neural Information Processing Systems*, volume 34, p. 2611–2624, Conférence en ligne : Curran Associates, Inc.

LI T., KHASHABI D., KHOT T., SABHARWAL A. & SRIKUMAR V. (2020). UNQOVERing stereotyping biases via underspecified questions. In T. COHN, Y. HE & Y. LIU, Éds., *Findings of the Association for Computational Linguistics : EMNLP 2020*, p. 3475–3489, En ligne : Association for Computational Linguistics. DOI: 10.18653/v1/2020.findings-emnlp.311.

LIN X. V., MIHAYLOV T., ARTETXE M., WANG T., CHEN S., SIMIG D., OTT M., GOYAL N., BHOSALE S., DU J., PASUNURU R., SHLEIFER S., KOURA P. S., CHAUDHARY V., O’HORO B., WANG J., ZETTLEMOYER L., KOZAREVA Z., DIAB M., STOYANOV V. & LI X. (2022). Few-shot learning with multilingual generative language models. In Y. GOLDBERG, Z. KOZAREVA & Y. ZHANG, Éds., *Proceedings of the 2022 Conference on Empirical Methods in Natural Language Processing*, p. 9019–9052, Abu Dhabi, Émirats Arabes Unis : Association for Computational Linguistics. DOI: 10.18653/v1/2022.emnlp-main.616.

LOOSE F., BELGHITI-MAHUT S., ANNE-LAURENCE L. et al. (2021). «I’informatique, c’est pas pour les filles !» : Impacts du stéréotype de genre sur celles qui choisissent des études dans ce secteur. In *32ème Congrès de l'AGRH*, p. 1–21, Paris, France.

MARTIN L., MULLER B., ORTIZ SUÁREZ P. J., DUPONT Y., ROMARY L., DE LA CLERGERIE É., SEDDAH D. & SAGOT B. (2020). CamemBERT : a tasty French language model. In D. JURAFSKY, J. CHAI, N. SCHLUTER & J. TETREAULT, Éds., *Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics*, p. 7203–7219, En ligne : Association for Computational Linguistics. DOI: 10.18653/v1/2020.acl-main.645.

MICKUS T., CALÒ E., JACQMIN L., PAPERNO D. & CONSTANT M. (2023). „mann“ is to “donna” as 「国王」 is to « reine » adapting the analogy task for multilingual and contextual embeddings. In *Proceedings of the 12th Joint Conference on Lexical and Computational Semantics (*SEM 2023)*, p. 270–283, Toronto, Canada : Association for Computational Linguistics.

MIRANDA-ESCALADA A., FARRÉ-MADUELL E., LIMA-LÓPEZ S., ESTRADA D., GASCÓ L. & KRALLINGER M. (2022). Mention detection, normalization & classification of species, pathogens, humans and food in clinical documents : Overview of livingner shared task and resources. *Procesamiento del Lenguaje Natural*, p. 241–253.

NADEEM M., BETHKE A. & REDDY S. (2021). StereoSet : Measuring stereotypical bias in pretrained language models. In C. ZONG, F. XIA, W. LI & R. NAVIGLI, Éds., *Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers)*, p. 5356–5371, En ligne : Association for Computational Linguistics. DOI: 10.18653/v1/2021.acl-long.416.

NANGIA N., VANIA C., BHALERAO R. & BOWMAN S. R. (2020). CrowS-pairs : A challenge dataset for measuring social biases in masked language models. In B. WEBBER, T. COHN, Y. HE & Y. LIU, Éds., *Proceedings of the 2020 Conference on Empirical Methods in Natural Language*
*Processing (EMNLP)*, p. 1953–1967, En ligne : Association for Computational Linguistics. DOI : 10.18653/v1/2020.emnlp-main.154.

NÉVÉOL A., DUPONT Y., BEZANÇON J. & FORT K. (2022). French CrowS-pairs : Extending a challenge dataset for measuring social bias in masked language models to a language other than English. In S. MURESAN, P. NAKOV & A. VILLAVICENCIO, Éds., *Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers)*, p. 8521–8531, Dublin, Irlande : Association for Computational Linguistics. DOI: 10.18653/v1/2022.acl-long.583.

NIVRE J., DE MARNEFFE M.-C., GINTER F., HAJIČ J., MANNING C. D., PYYSALO S., SCHUSTER S., TYERS F. & ZEMAN D. (2020). Universal Dependencies v2 : An evergrowing multilingual treebank collection. In N. CALZOLARI, F. BÉCHET, P. BLACHE, K. CHOUKRI, C. CIERI, T. DECLERCK, S. GOGGI, H. ISAHARA, B. MAEGAARD, J. MARIANI, H. MAZO, A. MORENO, J. ODIJK & S. PIPERIDIS, Éds., *Proceedings of the Twelfth Language Resources and Evaluation Conference*, p. 4034–4043, Marseille, France : European Language Resources Association.

NOZZA D., BIANCHI F. & HOVY D. (2021). HONEST : Measuring hurtful sentence completion in language models. In K. TOUTANOVA, A. RUMSHISKY, L. ZETTLEMOYER, D. HAKKANI-TUR, I. BELTAGY, S. BETHARD, R. COTTERELL, T. CHAKRABORTY & Y. ZHOU, Éds., *Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics : Human Language Technologies*, p. 2398–2406, En ligne : Association for Computational Linguistics. DOI: 10.18653/v1/2021.naacl-main.191.

PARRISH A., CHEN A., NANGIA N., PADMAKUMAR V., PHANG J., THOMPSON J., HTUT P. M. & BOWMAN S. (2022). BBQ : A hand-built bias benchmark for question answering. In S. MURESAN, P. NAKOV & A. VILLAVICENCIO, Éds., *Findings of the Association for Computational Linguistics : ACL 2022*, p. 2086–2105, Dublin, Irlande : Association for Computational Linguistics. DOI: 10.18653/v1/2022.findings-acl.165.

PENG K., DING L., ZHONG Q., SHEN L., LIU X., ZHANG M., OUYANG Y. & TAO D. (2023). Towards making the most of ChatGPT for machine translation. In H. BOUAMOR, J. PINO & K. BALI, Éds., *Findings of the Association for Computational Linguistics : EMNLP 2023*, p. 5622–5633, Singapour : Association for Computational Linguistics. DOI: 10.18653/v1/2023.findings-emnlp.373.

PERRONNET C. (2021). *La bosse des maths n'existe pas. Rétablir l'égalité des chances dans les matières scientifiques*. Autrement (Éditions).

SAVOLDI B., GAIDO M., BENTIVOGLI L., NEGRI M. & TURCHI M. (2022). Under the morpho-syntactic lens : A multifaceted evaluation of gender bias in speech translation. In S. MURESAN, P. NAKOV & A. VILLAVICENCIO, Éds., *Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers)*, p. 1807–1824, Dublin, Irlande : Association for Computational Linguistics. DOI: 10.18653/v1/2022.acl-long.127.

SCAO T. L., FAN A., AKIKI C., PAVLICK E., ILIĆ S., HESSLOW D., CASTAGNÉ R., LUCCIONI A. S., YVON F., GALLÉ M. *et al.* (2022). Bloom : A 176b-parameter open-access multilingual language model. *arXiv preprint arXiv:2211.05100*.

SIMOULIN A. & CRABBÉ B. (2021). Un modèle Transformer Génératif Pré-entrainé pour le français. In P. DENIS, N. GRABAR, A. FRAISSE, R. CARDON, B. JACQUEMIN, E. KERGOSIEN & A. BALVET, Éds., *Traitement Automatique des Langues Naturelles*, p. 246–255, Lille, France : ATALA. HAL : hal-03265900.

TRIVENTI M. *et al.* (2010). Something changes, something not. long-term trends in gender segregation of fields of study in italy. *Italian Journal of Sociology of education, 2010*(5 (2)), 47–80.
# Annexes

## A Éléments de discussions supplémentaires

Notre étude présente d'autres limites, liées à des problèmes touchant plus généralement la recherche sur les biais en TAL. Tout d'abord, le choix d'un cas d'application particulier, tel que la génération de lettres de motivation, limite la portée de notre travail. Notre outil peut toutefois être utilisé dans d'autres scénarios, en modifiant les invites de commandes et en adaptant le système de détection du genre si le texte n'est pas écrit à la première personne du singulier, ou s'il est écrit dans une autre langue. Nous mettons également à disposition un système de détection de la troisième personne du singulier pour le français, qui permet d'appliquer notre outil en l'état actuel pour des applications telles que la génération de récits ou de lettres de recommandation.

Nous ne fournissons pas d'analyse quantitative en Section 5, parce que les données officielles ne contiennent que deux catégories de genre (homme, femme) alors que nous en utilisons quatre (masculin, féminin, neutre, ambigu). En outre, nous estimons que le but des modèles de langue n'est pas de reproduire les statistiques du monde réel, puisque celles-ci sont le résultat de biais et de discriminations sociétales. Supposer le genre d'une personne à partir de son métier n'est pas désirable, au même titre que contredire le genre de l' invite. Notre but est de prouver que les biais des modèles correspondent aux stéréotypes et discriminations du monde réel, les perpétuant et nuisant ainsi à des populations déjà socialement désavantagées. Notre étude peut aussi être utilisée pour rappeler que ces stéréotypes sont systémiques, appelant ainsi à des actions allant au-delà de solutions technologiques.

Par ailleurs, le problème de la qualité des textes générés reste ouvert. À notre connaissance, il n'existe pas de métrique pertinente pour mesurer la qualité de génération de texte libre en français ou en italien, et qui pourrait prendre en compte la cohérence avec l' invite.

Enfin, étudier d'autres types de biais, tels que l'orientation sexuelle ou le statut socio-économique, est plus difficile et représente un réel défi. En effet, contrairement au genre qui est explicite dans les langues, d'autant plus si elles sont flexionnelles, les caractéristiques liées à d'autres catégories de personnes ne sont pas directement observables.
## B Rapports de classification des systèmes de détection de genre

<table><caption>TABLE 5 – Rapport de classification détaillé pour le français</caption><thead><tr><th></th><th>Précision</th><th>Rappel</th><th>F1-score</th><th>Support</th></tr></thead><tbody><tr><td>Ambigu</td><td>0.578</td><td>0.611</td><td>0.594</td><td>18</td></tr><tr><td>Féminin</td><td>0.955</td><td>0.928</td><td>0.941</td><td>139</td></tr><tr><td>Masculin</td><td>0.962</td><td>0.923</td><td>0.942</td><td>276</td></tr><tr><td>Neutre</td><td>0.895</td><td>0.970</td><td>0.931</td><td>167</td></tr><tr><td>Exactitude</td><td></td><td></td><td><strong>0.928</strong></td><td>600</td></tr></tbody></table>

<table><caption>TABLE 6 – Rapport de classification détaillé pour l'italien</caption><thead><tr><th></th><th>Précision</th><th>Rappel</th><th>F1-score</th><th>Support</th></tr></thead><tbody><tr><td>Ambigu</td><td>0.750</td><td>1.000</td><td>0.857</td><td>3</td></tr><tr><td>Féminin</td><td>1.000</td><td>1.000</td><td>1.000</td><td>26</td></tr><tr><td>Masculin</td><td>0.974</td><td>0.927</td><td>0.950</td><td>83</td></tr><tr><td>Neutre</td><td>0.945</td><td>0.977</td><td>0.961</td><td>88</td></tr><tr><td>Exactitude</td><td></td><td></td><td><strong>0.960</strong></td><td>200</td></tr></tbody></table>
C Résultats complémentaires pour tous les domaines professionnels

<table><thead><tr><td>Rang</td><td>Domaine professionnel</td><td>Écart Genré</td></tr></thead><tbody><tr><td>1</td><td>mécanique aéronautique et spatiale</td><td>62.2</td></tr><tr><td>2</td><td>direction de chantier du btp</td><td>60.7</td></tr><tr><td>3</td><td>conduite d'engins de chantier</td><td>56.6</td></tr><tr><td>4</td><td>maçonnerie</td><td>54.6</td></tr><tr><td>5</td><td>electricité électronique</td><td>54.5</td></tr><tr><td>6</td><td>installation et maintenance en froid, conditionnement d'air</td><td>54.2</td></tr><tr><td>7</td><td>conduite d'engins agricoles et forestiers</td><td>53.8</td></tr><tr><td>8</td><td>ingénierie et études du btp</td><td>53.7</td></tr><tr><td>9</td><td>mécanique générale et de précision</td><td>52.3</td></tr><tr><td>10</td><td>métallurgie</td><td>51.6</td></tr><tr><td>11</td><td>bûcheronnage et élagage</td><td>50.4</td></tr><tr><td>12</td><td>fabrication et réparation d'instruments de musique</td><td>50.0</td></tr><tr><td>13</td><td>conduite de grue</td><td>50.0</td></tr><tr><td>14</td><td>soudage manuel</td><td>49.6</td></tr><tr><td>15</td><td>maintenance informatique et bureautique</td><td>49.6</td></tr><tr><td>16</td><td>gestion de portefeuilles sur les marchés financiers</td><td>49.6</td></tr><tr><td>17</td><td>réparation de carrosserie</td><td>48.5</td></tr><tr><td>18</td><td>navigation fluviale</td><td>47.8</td></tr><tr><td>19</td><td>boucherie</td><td>47.8</td></tr><tr><td>20</td><td>qualité sécurité environnement et protection santé du btp</td><td>47.2</td></tr><tr><td>21</td><td>construction, bâtiment et travaux publics</td><td>47.2</td></tr><tr><td>22</td><td>machinerie spectacle</td><td>47.0</td></tr><tr><td>23</td><td>métré en métallerie</td><td>46.5</td></tr><tr><td>24</td><td>réalisation et montage en tuyauterie</td><td>46.2</td></tr><tr><td>25</td><td>production et exploitation de systèmes d'information</td><td>46.2</td></tr><tr><td>26</td><td>assistance informatique, maintenance de logiciels et réseaux</td><td>45.8</td></tr><tr><td>27</td><td>pose de canalisations</td><td>44.5</td></tr><tr><td>28</td><td>information météorologique</td><td>44.3</td></tr><tr><td>29</td><td>informatique, traitement de l'information</td><td>44.1</td></tr><tr><td>30</td><td>films d'animation et effets spéciaux</td><td>43.8</td></tr><tr><td>31</td><td>arboriculture et viticulture</td><td>43.7</td></tr><tr><td>32</td><td>gardiennage de locaux</td><td>43.5</td></tr><tr><td>33</td><td>méthodes et gestion de production en chaudronnerie et métallerie</td><td>43.3</td></tr><tr><td>34</td><td>montage audiovisuel et post-production</td><td>42.6</td></tr><tr><td>35</td><td>encadrement de la navigation maritime</td><td>42.6</td></tr><tr><td>36</td><td>prise de son et sonorisation</td><td>42.4</td></tr><tr><td>37</td><td>chaudronnerie - tolerie</td><td>41.3</td></tr><tr><td>38</td><td>géologie de l'environnement</td><td>40.9</td></tr><tr><td>39</td><td>conseil en gestion de patrimoine financier</td><td>40.6</td></tr><tr><td>40</td><td>personnel de la défense</td><td>40.0</td></tr><tr><td>41</td><td>direction de laboratoire d'analyse industrielle</td><td>40.0</td></tr><tr><td>42</td><td>physique</td><td>39.7</td></tr><tr><td>43</td><td>management d'établissement de restauration collective</td><td>38.8</td></tr><tr><td>44</td><td>météorologie</td><td>38.8</td></tr><tr><td>45</td><td>informatique en biologie</td><td>38.6</td></tr><tr><td>46</td><td>travail du bois et de l'ameublement</td><td>38.2</td></tr><tr><td>47</td><td>architecture du btp et du paysage</td><td>38.2</td></tr><tr><td>48</td><td>recherche agronomique</td><td>37.9</td></tr><tr><td>49</td><td>image cinématographique et télévisuelle</td><td>37.5</td></tr><tr><td>50</td><td>réalisation cinématographique et audiovisuelle</td><td>36.1</td></tr><tr><td>51</td><td>agriculture</td><td>36.1</td></tr><tr><td>52</td><td>management et ingénierie d'affaires</td><td>35.4</td></tr><tr><td>53</td><td>construction de décors de spectacle</td><td>35.4</td></tr></tbody></table>
<table>
  <tr>
    <td>54</td>
    <td>analyse de crédits et risques bancaires</td>
    <td>34.8</td>
  </tr>
  <tr>
    <td>55</td>
    <td>surveillance et protection de la forêt, de la faune sauvage et des espaces naturels</td>
    <td>34.6</td>
  </tr>
  <tr>
    <td>56</td>
    <td>courtage en assurances</td>
    <td>34.6</td>
  </tr>
  <tr>
    <td>57</td>
    <td>droit pénal</td>
    <td>34.5</td>
  </tr>
  <tr>
    <td>58</td>
    <td>recherche en sciences de l'univers, de la matière et du vivant</td>
    <td>34.3</td>
  </tr>
  <tr>
    <td>59</td>
    <td>droit de la sécurité et de la défense</td>
    <td>34.1</td>
  </tr>
  <tr>
    <td>60</td>
    <td>biochimie de l'eau et de l'environnement</td>
    <td>33.3</td>
  </tr>
  <tr>
    <td>61</td>
    <td>éclairage spectacle</td>
    <td>33.1</td>
  </tr>
  <tr>
    <td>62</td>
    <td>techniques de l'imprimerie et de l'édition</td>
    <td>32.9</td>
  </tr>
  <tr>
    <td>63</td>
    <td>charcuterie - traiteur</td>
    <td>32.9</td>
  </tr>
  <tr>
    <td>64</td>
    <td>trésorerie et financement</td>
    <td>32.8</td>
  </tr>
  <tr>
    <td>65</td>
    <td>physique-chimie</td>
    <td>32.6</td>
  </tr>
  <tr>
    <td>66</td>
    <td>relation commerciale en vente de véhicules</td>
    <td>32.3</td>
  </tr>
  <tr>
    <td>67</td>
    <td>géographie de l'aménagement et du développement</td>
    <td>32.0</td>
  </tr>
  <tr>
    <td>68</td>
    <td>mathématiques</td>
    <td>31.8</td>
  </tr>
  <tr>
    <td>69</td>
    <td>design industriel</td>
    <td>31.8</td>
  </tr>
  <tr>
    <td>70</td>
    <td>magistrature</td>
    <td>31.8</td>
  </tr>
  <tr>
    <td>71</td>
    <td>développement et protection du patrimoine culturel</td>
    <td>30.8</td>
  </tr>
  <tr>
    <td>72</td>
    <td>vente technico-commerciale des produits de la forêt et de la pêche</td>
    <td>30.0</td>
  </tr>
  <tr>
    <td>73</td>
    <td>aménagement paysager</td>
    <td>29.7</td>
  </tr>
  <tr>
    <td>74</td>
    <td>élevage bovin ou équin</td>
    <td>29.6</td>
  </tr>
  <tr>
    <td>75</td>
    <td>biologie de l'agronomie et de l'agriculture</td>
    <td>29.4</td>
  </tr>
  <tr>
    <td>76</td>
    <td>direction de grande entreprise ou d'établissement public</td>
    <td>28.5</td>
  </tr>
  <tr>
    <td>77</td>
    <td>management d'hôtel-restaurant</td>
    <td>28.2</td>
  </tr>
  <tr>
    <td>78</td>
    <td>protection du patrimoine naturel</td>
    <td>28.0</td>
  </tr>
  <tr>
    <td>79</td>
    <td>peinture industrielle</td>
    <td>27.8</td>
  </tr>
  <tr>
    <td>80</td>
    <td>recherche en sciences de l'univers, de la matière et du vivant</td>
    <td>27.7</td>
  </tr>
  <tr>
    <td>81</td>
    <td>sciences de la terre</td>
    <td>27.5</td>
  </tr>
  <tr>
    <td>82</td>
    <td>animation musicale et scénique</td>
    <td>27.3</td>
  </tr>
  <tr>
    <td>83</td>
    <td>géographie</td>
    <td>27.1</td>
  </tr>
  <tr>
    <td>84</td>
    <td>optique - lunetterie</td>
    <td>26.9</td>
  </tr>
  <tr>
    <td>85</td>
    <td>négociation et vente</td>
    <td>26.8</td>
  </tr>
  <tr>
    <td>86</td>
    <td>biologie médicale</td>
    <td>26.6</td>
  </tr>
  <tr>
    <td>87</td>
    <td>régie générale</td>
    <td>26.5</td>
  </tr>
  <tr>
    <td>88</td>
    <td>direction administrative et financière</td>
    <td>26.5</td>
  </tr>
  <tr>
    <td>89</td>
    <td>entretien des espaces naturels</td>
    <td>25.6</td>
  </tr>
  <tr>
    <td>90</td>
    <td>reprographie</td>
    <td>24.8</td>
  </tr>
  <tr>
    <td>91</td>
    <td>défense et conseil juridique</td>
    <td>24.6</td>
  </tr>
  <tr>
    <td>92</td>
    <td>gestion de patrimoine culturel</td>
    <td>24.6</td>
  </tr>
  <tr>
    <td>93</td>
    <td>sommellerie</td>
    <td>24.5</td>
  </tr>
  <tr>
    <td>94</td>
    <td>droit des affaires</td>
    <td>24.3</td>
  </tr>
  <tr>
    <td>95</td>
    <td>droit fiscal</td>
    <td>24.3</td>
  </tr>
  <tr>
    <td>96</td>
    <td>chimie</td>
    <td>24.2</td>
  </tr>
  <tr>
    <td>97</td>
    <td>assistance de direction d'hôtel-restaurant</td>
    <td>24.2</td>
  </tr>
  <tr>
    <td>98</td>
    <td>comptabilité</td>
    <td>24.0</td>
  </tr>
  <tr>
    <td>99</td>
    <td>musique et chant</td>
    <td>24.0</td>
  </tr>
  <tr>
    <td>100</td>
    <td>économie</td>
    <td>24.0</td>
  </tr>
  <tr>
    <td>101</td>
    <td>langues étrangères appliquées au tourisme, au commerce international, aux affaires [...]</td>
    <td>23.7</td>
  </tr>
  <tr>
    <td>102</td>
    <td>biochimie appliquée aux procédés industriels</td>
    <td>23.5</td>
  </tr>
  <tr>
    <td>103</td>
    <td>photographie</td>
    <td>23.3</td>
  </tr>
  <tr>
    <td>104</td>
    <td>philosophie du langage</td>
    <td>22.5</td>
  </tr>
  <tr>
    <td>105</td>
    <td>sciences des ressources agro-alimentaires</td>
    <td>22.1</td>
  </tr>
  <tr>
    <td>106</td>
    <td>personnel polyvalent d'hôtellerie</td>
    <td>21.9</td>
  </tr>
  <tr>
    <td>107</td>
    <td>philosophie, éthique et théologie</td>
    <td>21.8</td>
  </tr>
  <tr>
    <td>108</td>
    <td>transaction immobilière</td>
    <td>21.6</td>
  </tr>
  <tr>
    <td>109</td>
    <td>droit de la santé</td>
    <td>21.5</td>
  </tr>
</table>
<table><tr><td>110</td><td>gestion touristique et hôtelière</td><td>21.5</td></tr><tr><td>111</td><td>préparation en pharmacie</td><td>21.3</td></tr><tr><td>112</td><td>langues et civilisations anciennes</td><td>20.9</td></tr><tr><td>113</td><td>droit de l'environnement</td><td>20.9</td></tr><tr><td>114</td><td>conseil en organisation et management d'entreprise</td><td>20.9</td></tr><tr><td>115</td><td>fabrication et affinage de fromages</td><td>20.7</td></tr><tr><td>116</td><td>chimie-biologie, biochimie</td><td>20.3</td></tr><tr><td>117</td><td>vente en alimentation</td><td>20.0</td></tr><tr><td>118</td><td>médecine dentaire</td><td>20.0</td></tr><tr><td>119</td><td>philosophie du droit</td><td>19.9</td></tr><tr><td>120</td><td>comptabilité, gestion</td><td>19.8</td></tr><tr><td>121</td><td>réalisation d'objets artistiques et fonctionnels en verre</td><td>19.5</td></tr><tr><td>122</td><td>restauration des oeuvres d'art</td><td>19.5</td></tr><tr><td>123</td><td>réalisation d'ouvrages en bijouterie, joaillerie et orfèvrerie</td><td>19.3</td></tr><tr><td>124</td><td>conseil clientèle en assurances</td><td>18.8</td></tr><tr><td>125</td><td>histoire</td><td>18.7</td></tr><tr><td>126</td><td>poissonnerie</td><td>18.7</td></tr><tr><td>127</td><td>droit, sciences politiques</td><td>18.4</td></tr><tr><td>128</td><td>organisation d'évènementiel</td><td>18.3</td></tr><tr><td>129</td><td>service en restauration</td><td>18.1</td></tr><tr><td>130</td><td>littérature et philosophie</td><td>18.0</td></tr><tr><td>131</td><td>gérance immobilière</td><td>17.8</td></tr><tr><td>132</td><td>boulangerie - viennoiserie</td><td>17.6</td></tr><tr><td>133</td><td>gestion et mise à disposition de ressources documentaires, conservation des archives</td><td>17.6</td></tr><tr><td>134</td><td>éducation en activités sportives</td><td>17.4</td></tr><tr><td>135</td><td>marketing</td><td>17.2</td></tr><tr><td>136</td><td>personnel de cuisine</td><td>17.1</td></tr><tr><td>137</td><td>communication</td><td>17.0</td></tr><tr><td>138</td><td>commerce, vente</td><td>16.7</td></tr><tr><td>139</td><td>réalisation d'ouvrages en bijouterie, joaillerie et orfèvrerie</td><td>16.5</td></tr><tr><td>140</td><td>management des ressources humaines</td><td>15.8</td></tr><tr><td>141</td><td>linguistique</td><td>15.8</td></tr><tr><td>142</td><td>epistémologie des sciences humaines</td><td>14.9</td></tr><tr><td>143</td><td>enseignement des écoles</td><td>14.9</td></tr><tr><td>144</td><td>journalisme et information média</td><td>14.7</td></tr><tr><td>145</td><td>médecine généraliste et spécialisée</td><td>14.1</td></tr><tr><td>146</td><td>gestion en banque et assurance</td><td>13.9</td></tr><tr><td>147</td><td>cuisine</td><td>13.8</td></tr><tr><td>148</td><td>biopharmacologie</td><td>13.7</td></tr><tr><td>149</td><td>arts appliqués à la communication et à l'audiovisuel</td><td>13.0</td></tr><tr><td>150</td><td>pharmacie</td><td>12.6</td></tr><tr><td>151</td><td>animation touristique et culturelle</td><td>12.3</td></tr><tr><td>152</td><td>journalisme et communication</td><td>12.1</td></tr><tr><td>153</td><td>assistance médico-technique</td><td>10.7</td></tr><tr><td>154</td><td>conseil en information médicale</td><td>10.2</td></tr><tr><td>155</td><td>ressources humaines, gestion de l'emploi</td><td>9.9</td></tr><tr><td>156</td><td>biochimie des produits alimentaires</td><td>8.8</td></tr><tr><td>157</td><td>psychologie clinique</td><td>8.1</td></tr><tr><td>158</td><td>langues vivantes, civilisations étrangères et régionales</td><td>7.4</td></tr><tr><td>159</td><td>psychologie</td><td>5.9</td></tr><tr><td>160</td><td>littérature appliquée à la documentation, communication, lettres et enseignement</td><td>5.7</td></tr><tr><td>161</td><td>fabrication textile</td><td>3.8</td></tr><tr><td>162</td><td>français, littérature et civilisation française</td><td>3.0</td></tr><tr><td>163</td><td>arts du cirque et arts visuels</td><td>2.9</td></tr><tr><td>164</td><td>art dramatique</td><td>2.3</td></tr><tr><td>165</td><td>direction des centres de loisirs ou culturels</td><td>2.2</td></tr></table>
<table><caption>TABLE 7 – Domaines professionnels, par ordre décroissant d'Écart Genré - $FR_{Neutre}$.</caption><tr><td>166</td><td>accueil touristique</td><td>2.2</td></tr><tr><td>167</td><td>costume et habillage spectacle</td><td>2.2</td></tr><tr><td>168</td><td>intervention socioéducative</td><td>1.5</td></tr><tr><td>169</td><td>sciences sociales</td><td>0.8</td></tr><tr><td>170</td><td>traduction, interprétariat</td><td>0.0</td></tr><tr><td>171</td><td>animation de loisirs auprès d'enfants ou d'adolescents</td><td>0.0</td></tr><tr><td>172</td><td>sociologie et travail social</td><td>-0.7</td></tr><tr><td>173</td><td>aide et médiation judiciaire</td><td>-0.8</td></tr><tr><td>174</td><td>psychopédagogie</td><td>-0.8</td></tr><tr><td>175</td><td>interprétariat et traduction</td><td>-2.4</td></tr><tr><td>176</td><td>traduction, interprétariat</td><td>-3.2</td></tr><tr><td>177</td><td>arts plastiques</td><td>-3.8</td></tr><tr><td>178</td><td>pâtisserie, confiserie, chocolaterie et glacerie</td><td>-4.5</td></tr><tr><td>179</td><td>maquillage de scène</td><td>-4.6</td></tr><tr><td>180</td><td>éducation de jeunes enfants</td><td>-4.6</td></tr><tr><td>181</td><td>orthophonie</td><td>-5.2</td></tr><tr><td>182</td><td>psychologie de la santé</td><td>-5.3</td></tr><tr><td>183</td><td>linguistique et didactique des langues</td><td>-5.4</td></tr><tr><td>184</td><td>toilettage des animaux</td><td>-6.8</td></tr><tr><td>185</td><td>services domestiques</td><td>-7.7</td></tr><tr><td>186</td><td>création textile</td><td>-8.1</td></tr><tr><td>187</td><td>travail social</td><td>-9.7</td></tr><tr><td>188</td><td>soins infirmiers spécialisés en anesthésie</td><td>-10.2</td></tr><tr><td>189</td><td> stylisme</td><td>-10.4</td></tr><tr><td>190</td><td>esthétique</td><td>-11.7</td></tr><tr><td>191</td><td>retouches en habillement</td><td>-11.8</td></tr><tr><td>192</td><td>coiffure, esthétique et autres spécialites de services aux personnes</td><td>-14.0</td></tr><tr><td>193</td><td>soins infirmiers généralistes</td><td>-14.5</td></tr><tr><td>194</td><td>diététique</td><td>-15.3</td></tr><tr><td>195</td><td>accompagnement et médiation familiale</td><td>-16.9</td></tr><tr><td>196</td><td>danse</td><td>-18.5</td></tr><tr><td>197</td><td>secrétariat comptable</td><td>-19.5</td></tr><tr><td>198</td><td>dentellerie, broderie</td><td>-20.4</td></tr><tr><td>199</td><td>coiffure</td><td>-20.6</td></tr><tr><td>200</td><td>secrétariat et assistanat médical ou médico-social</td><td>-21.1</td></tr><tr><td>201</td><td>aide en puériculture</td><td>-22.0</td></tr><tr><td>202</td><td>mannequinat et pose artistique</td><td>-23.5</td></tr><tr><td>203</td><td>soins infirmiers spécialisés en puériculture</td><td>-32.1</td></tr></table>

<table><thead><tr><td>Rang</td><td>Domaine professionnel</td><td>Écart Genré</td></tr></thead><tbody><tr><td>1</td><td>manutenzione e riparazione di autoveicoli</td><td>71.4</td></tr><tr><td>2</td><td>attività di produzione cinematografica, di video e di programmi televisivi</td><td>63.1</td></tr><tr><td>3</td><td>attività fotografiche</td><td>63.0</td></tr><tr><td>4</td><td>fabbricazione di strumenti musicali</td><td>60.4</td></tr><tr><td>5</td><td>fabbricazione di aeromobili</td><td>59.6</td></tr><tr><td>6</td><td>fabbricazione di veicoli militari da combattimento</td><td>59.1</td></tr><tr><td>7</td><td>allevamento di bovini da latte</td><td>58.7</td></tr><tr><td>8</td><td>attività delle banche centrali</td><td>56.8</td></tr><tr><td>9</td><td>installazione di impianti elettrici</td><td>56.5</td></tr><tr><td>10</td><td>ricerche di mercato e sondaggi di opinione</td><td>55.8</td></tr><tr><td>11</td><td>attività dei vigili del fuoco e della protezione civile</td><td>55.6</td></tr><tr><td>12</td><td>lavori di costruzione e installazione</td><td>55.3</td></tr></tbody></table>
<table><caption>TABLE 8 – Domaines professionnels, par ordre décroissant d’Écart Genré - *IT*<sub>Neutre</sub>.</caption><tr><td>13</td><td>lavori di meccanica generale</td><td>53.1</td></tr><tr><td>14</td><td>edizione di giochi per computer</td><td>52.2</td></tr><tr><td>15</td><td>riparazione di computer e periferiche</td><td>52.1</td></tr><tr><td>16</td><td>costruzione di ponti e gallerie</td><td>51.1</td></tr><tr><td>17</td><td>servizi degli studi medici di medicina generale</td><td>51.0</td></tr><tr><td>18</td><td>realizzazione di coperture</td><td>50.0</td></tr><tr><td>19</td><td>fusione di acciaio</td><td>50.0</td></tr><tr><td>20</td><td>attività di musei</td><td>50.0</td></tr><tr><td>21</td><td>servizi investigativi privati</td><td>48.9</td></tr><tr><td>22</td><td>attività sportive</td><td>48.8</td></tr><tr><td>23</td><td>acquacoltura marina</td><td>47.9</td></tr><tr><td>24</td><td>servizi veterinari</td><td>47.8</td></tr><tr><td>25</td><td>ricerca e sviluppo sperimentale nel campo delle biotecnologie</td><td>47.8</td></tr><tr><td>26</td><td>attività degli studi odontoiatrici</td><td>46.8</td></tr><tr><td>27</td><td>attività degli studi legali e notarili</td><td>45.5</td></tr><tr><td>28</td><td>attività generali di amministrazione pubblica</td><td>44.7</td></tr><tr><td>29</td><td>ordine pubblico e sicurezza nazionale</td><td>43.5</td></tr><tr><td>30</td><td>attività degli studi di architettura</td><td>43.5</td></tr><tr><td>31</td><td>affari esteri</td><td>43.2</td></tr><tr><td>32</td><td>ricerca e sviluppo sperimentale nel campo delle scienze sociali e umanistiche</td><td>42.2</td></tr><tr><td>33</td><td>telecomunicazione</td><td>41.7</td></tr><tr><td>34</td><td>attività di servizi per la persona</td><td>41.3</td></tr><tr><td>35</td><td>commercio di altri autoveicoli</td><td>40.9</td></tr><tr><td>36</td><td>giustizia ed attività giudiziarie</td><td>39.6</td></tr><tr><td>37</td><td>attività di mediazione immobiliare</td><td>39.1</td></tr><tr><td>38</td><td>consulenza nel settore delle tecnologie dell'informatica</td><td>38.7</td></tr><tr><td>39</td><td>pubbliche relazioni e comunicazione</td><td>38.3</td></tr><tr><td>40</td><td>attività di pulizia</td><td>37.0</td></tr><tr><td>41</td><td>fabbricazione di profumi e cosmetici</td><td>36.9</td></tr><tr><td>42</td><td>edizione di libri</td><td>36.9</td></tr><tr><td>43</td><td>attività dei servizi connessi alle tecnologie dell'informatica</td><td>36.4</td></tr><tr><td>44</td><td>amministrazione di mercati finanziari</td><td>34.8</td></tr><tr><td>45</td><td>rappresentazioni artistiche</td><td>34.0</td></tr><tr><td>46</td><td>pesca marina</td><td>32.0</td></tr><tr><td>47</td><td>attività delle agenzie di viaggio</td><td>31.9</td></tr><tr><td>48</td><td>attività editoriali</td><td>30.2</td></tr><tr><td>49</td><td>attività ricreative e di divertimento</td><td>29.5</td></tr><tr><td>50</td><td>traduzione e interpretariato</td><td>28.9</td></tr><tr><td>51</td><td>servizi di asili nido</td><td>25.0</td></tr><tr><td>52</td><td>servizi di assistenza sanitaria</td><td>24.0</td></tr><tr><td>53</td><td>attività di biblioteche ed archivi</td><td>16.7</td></tr><tr><td>54</td><td>servizi ospedalieri</td><td>15.6</td></tr><tr><td>55</td><td>servizi dei parrucchieri e di altri trattamenti estetici</td><td>13.1</td></tr></table>
# Évaluation de la Similarité Textuelle : Entre Sémantique et Surface dans les Représentations Neuronales

Julie Tytgat¹, ² Guillaume Wisniewski¹ Adrien Betrancourt²

(1) Université de Paris Cité, LLF, CNRS 75 013 Paris, France

(2) IPSIDE, 31 100 Toulouse

julie.tytgat@etu.u-paris.fr, guillaume.wisniewski@u-paris.fr, a.betrancourt@ipside.com

## RÉSUMÉ

La mesure de la similarité entre textes, qu'elle soit basée sur le sens, les caractères ou la phonétique, est essentielle dans de nombreuses applications. Les réseaux neuronaux, en transformant le texte en vecteurs, offrent une méthode pratique pour évaluer cette similarité. Cependant, l'utilisation de ces représentations pose un défi car les critères sous-jacents à cette similarité ne sont pas clairement définis, oscillant entre sémantique et surface. Notre étude, basée sur des expériences contrôlées, révèle que les différences de surface ont un impact plus significatif que les différences de sémantique sur les mesures de similarité entre les représentations neuronales des mots construites par de nombreux modèles pré-entrainés. Ces résultats soulèvent des questions sur la nature même de la similarité mesurée par les modèles neuronaux et leur capacité à capturer les nuances sémantiques.

## ABSTRACT

### Evaluating Text Similarity : Between Semantics and Surface in Neural Representations

Measuring similarity between texts, whether based on meaning, characters, or phonetics, is essential in many applications. Neural networks, by transforming text into vectors, provide a practical method for assessing this similarity. However, the use of these representations is challenging because the criteria underlying this similarity are not clearly defined, oscillating between semantics and superficiality. Our study, based on controlled experiments, shows that surface differences have a more significant impact than semantic differences on measures of similarity between neural representations of words. These results raise questions about the nature of similarity measured by neural models and their ability to capture semantic nuance.

**MOTS-CLÉS** : Similarité textuelle, Analyse des Représentations Neuronales, Analyse Comparative de Modèles Pré-entrainés.

**KEYWORDS** : Text similarity, Neural Representations Analysis, Comparative Analysis of Pretrained Models.

## 1 Introduction

La mesure de la similarité entre deux textes est au cur de nombreuses applications, que la définition de la similarité soit basée sur le sens des textes (comme pour un moteur de recherche), la similarité des chaines de caractères (par exemple, pour permettre des correspondances floues) ou même la similarité phonétique (par exemple, dans les méthodes d'indexation basées sur la phonétique telles

<figure><img src="image_45.png" /></figure>
que Soundex).

Les réseaux neuronaux permettent de représenter le texte, qu'il s'agisse de mots, de phrases ou de paragraphes, sous forme de vecteurs, ce qui offre une méthode simple pour évaluer leur similarité. La mesure de la similarité entre deux vecteurs est en effet au cur de la fouille de données, et de nombreuses mesures de distance et de similarité aux propriétés bien établies ont été proposées dans la littérature (Duda et al., 2001). Cette méthode est d'autant plus intéressante qu'il existe de nombreux modèles de langue pré-entraînés simplifiant la mise en uvre de celle-ci.

Un exemple concret d'utilisation de la similarité entre vecteurs contextuels, au cur aujourd'hui de nombreux travaux et développements, est le Retrieval-Augmented Generation (RAG) (Lewis et al., 2020). Le RAG consiste à fournir à un giga-modèle (LLM) une base de documents pour enrichir sa production. Dans l'étape de récupération de documents, afin d'abonder la requête avec les passages pertinents, il est nécessaire de trouver les documents les plus similaires en fonction de leur produit scalaire avec le vecteur de requête dans un espace de vecteurs de haute dimension.

Toutefois, l'utilisation de représentations construites par les modèles de langue pour mesurer la similarité entre deux textes soulève un problème majeur. Bien qu'ils puissent faire de très bonnes prédictions dans de nombreuses tâches et en particulier générer des textes sémantiquement cohérents et syntaxiquement corrects, les réseaux neuronaux restent des modèles de type boite noire et les informations qu'ils encodent dans leur représentation ne sont pas clairement identifiées : s'il est facile d'utiliser des représentations neuronales pour mesurer la similarité, les critères sur lesquels cette similarité est fondée ne sont pas clairs.

Notre travail s'inscrit dans une longue série d'études visant à comprendre et à analyser les représentations apprises de manière auto-supervisée par les modèles de langue et en particulier les fameux giga modèles (Rogers et al., 2020). Plus particulièrement, notre étude continue les travaux sur la pertinence des différentes mesures de similarité et leurs conditions d'utilisation sur les représentations tirées de ces modèles (Timkey & van Schijndel, 2021). Dans ce cadre, nous soulevons une nouvelle question : la similarité entre des représentations neuronales de texte est-elle fondée sur des critères sémantiques (comme on pourrait s'y attendre vues les bonnes performances des modèles utilisant ces représentations dans de nombreuses tâches) ou des critères de surface — deux alternatives qui ne s'excluent pas mutuellement.

Pour cela, suivant la proposition de (Isabelle et al., 2017) d'évaluer les modèles sur des ensembles de données spécifiques construits autour de propriétés linguistiques clairement identifiées, nous proposons de mesurer la similarité entre une phrase et une version soigneusement modifiée de celle-ci, où les mots (noms, adjectifs et verbes) sont remplacés par des synonymes, des antonymes ou des paronymes (mot dont la prononciation est similaire à celle d'un autre mot, mais dont le sens est différent). Cette approche est détaillée dans la section 2. Grâce à ces expériences contrôlées, nous espérons pouvoir déterminer les critères sur lesquels se base la similarité mesurée entre les représentations neuronales des mots en établissant un lien entre la relation sémantique entre les mots échangés et la similarité entre les phrases.

Nos expériences, détaillées dans la section 3, montrent que les différences de surface ont un impact plus important sur les mesures de similarité que les différences de sémantique. Cette conclusion est particulièrement surprenante dans la mesure où de nombreuses études ont montré que les réseaux de neurones sont capables de construire des représentations abstraites des mots et des phrases (Li et al., 2023). Nos expériences montrent également que la mesure de la similarité entre des représentations neuronales peut donner des résultats inattendus : des mots ayant des significations très différentes
peuvent être identifiés à tort comme étant très similaires.

## 2 Distinguer la similarité sémantique de la similarité de surface

**Corpus** Pour comprendre le fonctionnement interne de la similarité entre les représentations neuronales, nous avons créé un corpus de phrases en français et en anglais dans lesquelles un mot est remplacé par un autre mot dont la relation (sémantique) avec le mot d'origine est clairement identifiée<fnref n="1" />. Nous mesurons ensuite la similarité entre la phrase originale et la phrase modifiée en utilisant soit la similarité cosinus, soit la distance euclidienne.

Nous avons commencé, à l'aide de ressources en ligne, par compiler deux listes, une en anglais et une en français, de respectivement 373 et 354 mots associés à leur paronyme (des paires de mots, comme *irruption* et *éruption* dont la prononciation est similaire, mais pas le sens). Nous avons ensuite cherché dans différents corpus une phrase contenant un de ces mots.

Un mot et son paronyme ont des formes de surface et des prononciations très similaires, mais des significations très différentes. Il est courant, même pour un être humain, de confondre un mot avec son paronyme et d'utiliser l'un au lieu de l'autre. Si deux phrases dont la seule différence est l'utilisation d'un mot ou de son paronyme sont très similaires, la similarité repose davantage sur des informations de surface que sur la sémantique. On définit donc ici la similarité de surface comme un nombre de caractères en commun.

Pour chaque mot de notre liste, nous avons également cherché un antonyme et un synonyme, en nous assurant manuellement qu'ils pouvaient être utilisés à la place du mot d'origine dans la phrase (notamment en sélectionnant la forme correcte de ce dernier ou en sélectionnant parmi tous les synonymes ou antonymes d'un dictionnaire ceux qui pouvaient être utilisés dans le contexte). Nous avons ensuite répété la même expérience : en mesurant la similarité entre la phrase et la phrase dans laquelle le mot a été remplacé par un synonyme ou un antonyme, nous espérons pouvoir à la fois mieux comprendre quand une mesure de similarité appliquée à des représentations neuronales détecte que deux phrases sont similaires et déterminer la dynamique de ces mesures (notamment dans quel domaine la mesure varie). Bien que les sens distributionnels d'un mot et de son antonyme sont proches dans le cadre de la sémantique lexicale, nous nous plaçons du point de vue des utilisateurs finaux des LLMs, pour lesquels il est plus naturel de voir un antonyme comme particulièrement lointain du mot original.

Au final, notre corpus est constitué de 727 phrases, chacune apparaissant dans 5 versions différentes : la phrase originale et 4 versions modifiées dans lesquelles un mot a été successivement remplacé par un synonyme, un antonyme, un paronyme et un synonyme du paronyme. Le tableau 1 donne quelques exemples de phrases de notre corpus.

**Test ABX** Pour déterminer sur quel type d'informations repose la similarité entre deux représentations neuronales d'une phrase, nous utilisons un test ABX (Carlin et al., 2011; Schatz et al., 2013). Ce test s'appuie sur les représentations vectorielles construites par un modèle pré-entraîné de trois textes : deux textes, notés *A* et *B* sont proches sémantiquement et le troisième, noté *X*, a un sens différent. Le test ABX consiste simplement à vérifier si la similarité $s(A, B)$ est plus grande que $s(A, X)$.

<footnote n="1">1. Notre code et notre corpus seront diffusés lors de la publication.</footnote>
<table><caption>TABLE 1 – Exemples de phrases issues de nos corpus et les variantes considérées dans nos expériences.</caption><tr><td rowspan="5">①</td><td>originale</td><td>Le chirurgien procède à l'ablation du poumon.</td></tr><tr><td>paronyme</td><td>Le chirurgien procède à l'ablution du poumon.</td></tr><tr><td>synonyme</td><td>Le chirurgien procède à la résection du poumon.</td></tr><tr><td>synonyme du paronyme</td><td>Le chirurgien procède à la toilette du poumon.</td></tr><tr><td>antonyme</td><td>Le chirurgien procède à la greffe du poumon.</td></tr><tr><td rowspan="5">②</td><td>originale</td><td>Seasickness made him <b>retch</b> over the side of the boat.</td></tr><tr><td>paronyme</td><td>Seasickness made him <b>wretch</b> over the side of the boat.</td></tr><tr><td>synonyme</td><td>Seasickness made him <b>vomit</b> over the side of the boat.</td></tr><tr><td>synonyme du paronyme</td><td>Seasickness made him <b>beggar</b> over the side of the boat.</td></tr><tr><td>antonyme</td><td>Seasickness made him <b>swallow</b> over the side of the boat.</td></tr></table>

Le score ABX correspond à la proportion de triplets pour lesquels $s(A, B) > s(A, X)$. Un score ABX proche de 50% (ou inférieur) indique qu’en moyenne, la similarité entre A et X est plus grande que la similarité entre A et B, ce qui suggère que la similarité ne repose pas sur des informations sémantiques.

### Modèles de langue
Nous considérons 2 cinq modèles de langue multilingues pré-entrainés différents pour construire la représentation vectorielle des phrases de notre corpus : mBERT (Devlin et al., 2019), le modèle n° sentence BERT ŵ (sBERT) de la phrase introduit dans (Reimers & Gurevych, 2019), le modèle d'OpenAI ADA, le modèle de Meta LLaMA-2 (Touvron et al., 2023) et un modèle monolingue français, FlauBERT (Le et al., 2020).

Différents tokenizers sont utilisés par ces modèles pour segmenter leur entrée : mBERT utilise WordPiece, sBERT utilise SentencePiece (Kudo & Richardson, 2018), tandis que ADA, LLaMA-2 et FlauBERT s’appuient sur BPE (Sennrich et al., 2016).

### Représentation de la phrase
Si dans le cas de sBERT, la représentation construite par le réseau de neurones est directement celle de la phrase, ce n’est pas le cas pour les autres modèles qui construisent une représentation pour chaque token. Il existe plusieurs stratégies éprouvées pour construire la représentation d’une phrase à partir des représentations de ses tokens, la première étant d’utiliser la représentation du token spécial [CLS] comme représentation de la phrase, ce que nous faisons pour mBERT, ADA et FlauBERT. En revanche, l’approche choisie pour LLaMA consiste à calculer la représentation en moyennant 3 les embeddings de la sortie.

Certains de nos modèles ne peuvent être utilisés que par le moyen d’une API n’offrant accès qu’à certaines informations. Typiquement, nous ne pouvons accéder qu’aux représentations de la dernière couche d’ADA. Dans la mesure où ce modèle est utilisé dans de nombreuses applications, il nous a

<footnote n="2">2. Plus précisément, nous avons utilisé les modèles suivants via HuggingFace 😊 (Wolf et al., 2020) : bert-base-multilingual-cased pour mBERT, all-MiniLM-L6-v2 pour sBERT, Llama-2-7b-hf pour LLaMA-2 et flaubert_base_cased pour FlauBERT. Pour ADA, nous avons utilisé le modèle text-embedding-ada-002, via l'API fournie par OpenAI.</footnote>

<footnote n="3">3. On présente en annexe, figure 5, différentes stratégies pour obtenir une représentation de la phrase. Si les résultats du test ABX sont sensiblement les mêmes dans tous les cas, les distributions non, les variations diminuant dans les cas avec normalisation (moyenne et standardisation), justifiant donc notre choix.</footnote>
paru important de l'inclure dans notre comparaison. Par soucis de cohérence, nous avons décidé de considérer la dernière couche pour tous les modèles, même si plusieurs travaux récents (voir, par exemple, (Bordes et al., 2023)) ont montré que, suivant les tâches, cette dernière couche ne permet pas toujours d'obtenir les meilleures représentations.

# 3 Résultats expérimentaux

La table 2 (resp. 3) reporte les résultats du test ABX pour l'anglais (resp. le français) pour les différentes combinaisons de substitutions décrites à la section 2. Ces tests sont effectués sur les similarités cosinus entre phrases. Les tables 5 et 6, en annexe, montrent que la différence obtenue en comparant des paires de phrases est minime. FlaubERT, bien qu'entrainé uniquement sur des données francophones, est également utilisé pour l'anglais comme expérience de contrôle, et les résultats sont décrits ici à titre indicatif.

**Synonymes et antonymes** Dans notre première expérience, nous comparons l'effet d'une substitution d'un mot par un synonyme (AB) avec une substitution par un antonyme (AX). Cette comparaison permet de s'assurer que le modèle différencie bien des phrases exprimant un sens contraire : plus le score ABX se rapproche de 100%, plus les représentations de deux phrases ayant le même sens sont proches.

En ce qui concerne l'anglais, tous les modèles établissent une plus grande proximité dans le cas du synonyme que de l'antonyme. Néanmoins, si ADA le fait de manière quasi systématique, FlaubERT (pourtant francophone) est plus proche du hasard. En revanche, l'interprétation des résultats est moins évidente pour le français : mBERT et sBERT obtiennent un score ABX proche de 50%, indiquant que les substitutions par un synonyme sont, en moyenne, aussi proches que celles par des antonymes. Par contre, ADA et LLaMA-2 restent eux capables de faire la distinction. De manière surprenante, ce n'est pas le cas pour un modèle monolingue français, FlaubERT. Il serait nécessaires de pouvoir mieux contrôler les données d'apprentissage (et notamment la proportion de données en français et de données en anglais) pour identifier les causes de cette différence de comportement.

**Paronymes et synonymes** Dans une seconde expérience, nous comparons les effets du remplacement d'un mot par un synonyme ou un paronyme. Dans notre corpus, les altérations paronymiques produisent souvent des phrases ayant des sens complètement différents, et parfois même des constructions n'ayant aucun sens, même si le paronyme a une forme de surface très proche du mot d'origine. À l'inverse, le sens de la phrase cible et de son homologue synonyme sont intrinsèquement similaires, voire identiques. La seconde colonne des tables 2 et 3 reporte les résultats obtenus en mesurant la similarité entre la phrase originale et la phrase comportant un paronyme, désignée par AX, et la similarité entre la phrase originale et la phrase comportant un synonyme, désignée par AB. Dans ce contexte, plus le score ABX est proche de 0%, plus le modèle a tendance à identifier le paronyme comme plus similaire au mot d'origine que le synonyme, suggérant que la similarité mesurée dépend fortement des informations lexicales.

On observe que pour le corpus anglais (table 2), mBERT, et dans une moindre mesure sBERT, capturent la proximité sémantique sans être influencés par la proximité des formes de surface. LLaMA-2 et ADA sont plus indécis, et FlaubERT, lui, favorise nettement la version paronymique.
<table><caption>TABLE 2 – Résultat des tests ABX (en %) sur le corpus en anglais (similarité cosinus). A désigne systématiquement le mot d'origine.</caption><thead><tr><th></th><th>B : Synonyme<br>X : Antonyme</th><th>B : Synonyme<br>X : Paronyme</th><th>B : Paronyme<br>X : Synonyme du paronyme</th></tr></thead><tbody><tr><td>Attendu pour<br>une similarité sémantique</td><td>100</td><td>100</td><td>50</td></tr><tr><td>mBERT</td><td>67,7</td><td>64,2</td><td>69,7</td></tr><tr><td>sBERT</td><td>78,6</td><td>67,7</td><td>69,4</td></tr><tr><td>ADA</td><td>94,5</td><td>58,9</td><td>92,3</td></tr><tr><td>LLaMA-2</td><td>83,6</td><td>57,8</td><td>89,0</td></tr><tr><td>FlauBERT</td><td>52,2</td><td>32,3</td><td>73,2</td></tr></tbody></table>

De manière surprenante, les résultats du corpus français présentés table 3 sont différents : la similarité mesurée pour tous les modèles semble impactée par la proximité de surface à des degrés divers. Chez certains, mBERT, sBERT et LLaMA-2, cette influence est particulièrement nette : la représentation de la phrase dans laquelle le nom est remplacé par son paronyme est presque systématiquement plus proche de la représentation de la phrase originale que lorsque le nom est remplacé par un synonyme indiquant clairement que la similarité mesurée repose essentiellement sur la similarité des formes de surface.

**Paronymes et synonymes des paronymes** Dans cette troisième expérience, les deux variations considérées, avec le paronyme AB ou un synonyme du paronyme AX, ont la même signification — la différence étant que la phrase avec le paronyme présente une plus grande similarité de surface. Si nos modèles ne considèrent que le sens des mots, le score ABX devrait tendre vers 50% aucune des substitutions n'ayant de raison d'être plus similaire que l'autre à la phrase originale. Si le résultat s'approche de 100%, le paronyme est préféré suggérant une influence de la surface.

Dans le cas de l'anglais comme du français, la version avec un paronyme est en moyenne toujours préférée, de manière assez nette, suggérant une préférence pour une forme avec une surface similaire, et donc une influence de cette dernière. L'écart de cette influence varie entre les expériences 2 et 3, en particulier pour LLaMA-2 et ADA : en l'absence de critères sémantiques, la proximité de surface reste capturée.

## 3.1 Distribution des distances

Pour compléter les résultats décrits dans la section précédente, nous avons représenté à la figure 1 (resp. figure 2) les distributions des similarités (resp. distances) entre les représentations des phrases d'origine et les phrases après substitution. Si les résultats varient d'une langue à l'autre, ces observations corroborent celles déjà décrites précédemment.

Pour le français, la similarité entre la phrase originale et la phrase comportant une substitution par un paronyme est toujours au dessus des autres substitutions, ce qui corrobore l'idée d'une influence de la surface, notamment car cette similarité est plus petite que celle reposant sur la substitution par un synonyme. Avec ADA et LLaMA-2, la similarité entre la phrase d'origine et la phrase avec un
<table><caption>TABLE 3 – Résultat des tests ABX (en %) sur le corpus français (similarité cosinus). A désigne systématiquement le mot d'origine.</caption><thead><tr><th></th><th>B : Synonyme</th><th>B : Synonyme</th><th>B : Paronyme</th></tr><tr><th></th><th>X : Antonyme</th><th>X : Paronyme</th><th>X : Synonyme du paronyme</th></tr></thead><tbody><tr><td>Attendu pour une similarité sémantique</td><td>100</td><td>100</td><td>50</td></tr><tr><td>mBERT</td><td>58,9</td><td>32,4</td><td>74,7</td></tr><tr><td>sBERT</td><td>56,0</td><td>21,5</td><td>80,8</td></tr><tr><td>ADA</td><td>83,1</td><td>49,4</td><td>86,2</td></tr><tr><td>LLAMA-2</td><td>67,6</td><td>33,7</td><td>89,4</td></tr><tr><td>FlaubERT</td><td>54,6</td><td>43,6</td><td>60,3</td></tr></tbody></table>

<figure><img src="image_46.png" /><figcaption>FIGURE 1 – Distribution de mesures de similarité cosinus entre les phrases originales et après une substitution.</figcaption></figure>

antonyme est systématiquement plus faible que lorsque la similarité est mesurée avec n'importe quel autre type de substitution. Mais sBERT considère parfois qu'une substitution par un synonyme donne une phrase moins similaire à la phrase originale que lorsque le mot est remplacé par un antonyme, une observation qui nous incite à la prudence dans l'interprétation des similarités entre les représentations neuronales.

Pour l'anglais, la distribution des similarités est, pour tous les modèles, meilleure dans le cas d'une substitution avec un synonyme. Les antonymes sont eux correctement discriminés. Les modèles semblent dans ce cas bien hiérarchiser les phrases en fonction de leur proximité sémantique et non de surface. Néanmoins, les paronymes sont au dessus des synonymes des paronymes et non à égalité, n'excluant pas tout à fait l'influence d'une proximité de surface.

Ces observations montrent également que les similarités mesurées sont toujours très fortes et que les distances observées varient toujours dans un domaine très restreint. La valeur absolue de la distance ou de la similarité entre deux représentations est donc difficile à interpréter et devrait toujours être considérée avec précaution, par exemple si l'on souhaite définir un seuil pour filtrer des éléments à partir de celle-ci.
<figure><img src="image_47.png" /><figcaption>FIGURE 2 – Distribution de mesures de distance euclidienne entre les phrases originales et après une substitution.</figcaption></figure>

<figure><img src="image_48.png" /><figcaption>FIGURE 3 – Relation entre la distance d'édition entre la tokenisation d'une phrase et de la version avec paronyme, et leur similarité cosinus.</figcaption></figure>

## 3.2 Impact de la segmentation en sous-mots

Les résultats présentés dans la section précédente peuvent être faussés par la tokenisation : si notre analyse est effectuée au niveau du mot, le modèle ne manipule que les unités sous-lexicales et il est possible que la segmentation en unités sous-lexicales impacte la similarité et la magnitude de l'influence de la surface. Par exemple, si *acceptation* et son paronyme *acception* ont une distance d'édition de deux, leur segmentation en unités sous-lexicales (*accept##ation* et *accept##ion* respectivement) ne diffère que d'un seul token. La distance d'édition calculée au niveau du token n'est donc que de 1, et la tokenisation des sous-mots crée également un token supplémentaire identique entre les deux phrases.

Pour analyser cette possibilité, nous représentons dans la figure 3 l'évolution de la similarité entre la phrase originale et la phrase avec une substitution par un paronyme en fonction de la distance d'édition calculée au niveau des unités sous-lexicales. Cette figure montre clairement que le nombre
<table><caption>TABLE 4 – Coefficients de Pearson entre la distance d'édition de la tokenisation d'une phrase et de la version avec paronyme, et leur similarité cosinus.</caption><thead><tr><th></th><th>Français</th><th>Anglais</th></tr></thead><tbody><tr><td>mBERT</td><td>-0,36</td><td>-0.12</td></tr><tr><td>sBERT</td><td>-0,48</td><td>-0.43</td></tr><tr><td>ADA</td><td>-0,28</td><td>-0.43</td></tr><tr><td>LLaMA-2</td><td>-0,36</td><td>-0.19</td></tr><tr><td>FlaubERT</td><td>-0,15</td><td>0.03</td></tr></tbody></table>

d'unités sous-lexicales a un impact sur la similarité : la similarité est d'autant plus faible que le nombre d'unité sous-lexicales différentes est important, mettant en évidence l'impact des informations de surface. Une mesure directe de la corrélation entre ces deux grandeurs (table 4) montre toutefois que cet effet est faible.

# 4 Conclusion

Dans cet article, nous avons décrit plusieurs expériences utilisant des mesures de similarité pour déterminer et mesurer la présence d'une interférence entre la surface (nombre de caractères en commun) et la représentation vectorielle de différents LLMs. Nos résultats montrent que le calcul d'une similarité entre deux représentations neuronales d'un texte repose essentiellement sur des informations de surface. Nos expériences montrent également que, quelle que soit la métrique considérée, les représentations neuronales détectent de très fortes similarités même entre des phrases de sens opposés, un résultat surprenant alors que de nombreux travaux ont mis en évidence la capacité de celles-ci à capturer le sens d'une phrase ou à générer un texte sémantiquement cohérent. Cette observation a des implications pratiques importantes, la détection de similitudes entre des textes étant au cur de nombreuses applications.

Ces travaux préliminaires peuvent être enrichis sur de nombreux aspects. Outre l'ajout de modèles et de langues pour consolider nos résultats et mesurer d'éventuels écarts, il pourrait également être intéressant d'étudier d'autres types de plongements, par exemple des *embeddings* de position, pour évaluer le rôle joué par la position du mot altéré. De même, la comparaison entre les couples de mots et leurs tokenisations pourrait être plus parlante avec un *embedding* statique, par exemple de type *fasttext*.

# Remerciements

Nous remercions les relecteurs anonymes pour leur temps et précieux conseils, et pour avoir contribué à l'amélioration de ce papier. Ce travail a été financé par le projet DIAGNOSTIC soutenu par l'Agence de l'Innovation de Défense (subvention n° 2022 65 007).
Références

BORDES F., BALESTRIERO R., GARRIDO Q., BARDES A. & VINCENT P. (2023). Guillotine regularization : Why removing layers is needed to improve generalization in self-supervised learning. *Transactions on Machine Learning Research*.

CARLIN M. A., THOMAS S., JANSEN A. & HERMANSKY H. (2011). Rapid evaluation of speech representations for spoken term discovery. In *Twelfth Annual Conference of the International Speech Communication Association*.

DEVLIN J., CHANG M.-W., LEE K. & TOUTANOVA K. (2019). BERT: Pre-training of deep bidirectional transformers for language understanding. In *NAACL*, p. 4171–4186. DOI: 10.18653/v1/N19-1423.

DUDA R. O., HART P. E. & STORK D. G. (2001). *Pattern Classification*. New York : Wiley, 2 édition.

ISABELLE P., CHERRY C. & FOSTER G. (2017). A challenge set approach to evaluating machine translation. In *Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing*, p. 2486–2496, Copenhagen, Denmark. DOI: 10.18653/v1/D17-1263.

KUDO T. & RICHARDSON J. (2018). SentencePiece: A simple and language independent subword tokenizer and detokenizer for neural text processing. In *Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing: System Demonstrations*, p. 66–71, Brussels, Belgium: Association for Computational Linguistics. DOI: 10.18653/v1/D18-2012.

LE H., VIAL L., FREJ J., SEGONNE V., COAVOUX M., LECOUTEUX B., ALLAUZEN A., CRABBÉ B., BESACIER L. & SCHWAB D. (2020). Flaubert: des modèles de langue contextualisés pré-entraînés pour le français. In *Actes de la 6e conférence conjointe Journées d'Études sur la Parole (JEP, 31e édition)*, *Traitement Automatique des Langues Naturelles (TALN, 27e édition)*, *Rencontre des Étudiants Chercheurs en Informatique pour le Traitement Automatique des Langues (RÉCITAL, 22e édition)*. *Volume 2: Traitement Automatique des Langues Naturelles*, p. 268–278 : ATALA.

LEWIS P. S. H., PEREZ E., PIKTUS A., PETRONI F., KARPUKHIN V., GOYAL N., KÜTTLER H., LEWIS M., YIH W., ROCKTÄSCHEL T., RIEDEL S. & KIELA D. (2020). Retrieval-augmented generation for knowledge-intensive NLP tasks. *CoRR*, abs/2005.11401.

LI B., WISNIEWSKI G. & CRABBÉ B. (2023). Assessing the capacity of transformer to abstract syntactic representations: A contrastive analysis based on long-distance agreement. *Transactions of the Association for Computational Linguistics*, 11, 18–33. DOI: 10.1162/tacl_a_00531.

REIMERS N. & GUREVYCH I. (2019). Sentence-BERT: Sentence embeddings using Siamese BERT-networks. In *EMNLP*, p. 3982–3992. DOI: 10.18653/v1/D19-1410.

ROGERS A., KOVALEVA O. & RUMSHISKY A. (2020). A primer in BERTology: What we know about how BERT works. *Transactions of the Association for Computational Linguistics*, 8, 842–866. DOI: 10.1162/tacl_a_00349.

SCHATZ T., PEDDINTI V., BACH F., JANSEN A., HERMANSKY H. & DUPOUX E. (2013). Evaluating speech features with the minimal-pair ABX task: Analysis of the classical MFC/PLP pipeline. In *INTERSPEECH 2013: 14th Annual Conference of the International Speech Communication Association*, p. 1–5.

SENNRICH R., HADDOW B. & BIRCH A. (2016). Neural machine translation of rare words with subword units. In *Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers)*, p. 1715–1725, Berlin, Germany: Association for Computational Linguistics. DOI: 10.18653/v1/P16-1162.
TIMKEY W. & VAN SCHIJNDEL M. (2021). All bark and no bite: Rogue dimensions in transformer language models obscure representational quality. In M.-F. MOENS, X. HUANG, L. SPECIA & S. W.-T. YIH, Éds., *Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing*, p. 4527–4546, Online and Punta Cana, Dominican Republic: Association for Computational Linguistics. DOI: 10.18653/v1/2021.emnlp-main.372.

TOUVRON H., LAVRIL T., IZACARD G., MARTINET X., LACHAUX M.-A., LACROIX T., ROZIÈRE B., GOYAL N., HAMBRO E., AZHAR F., RODRIGUEZ A., JOULIN A., GRAVE E. & LAMPLE G. (2023). Llama: Open and efficient foundation language models.

WOLF T., DEBUT L., SANH V., CHAUMOND J., DELANGUE C., MOI A., CISTAC P., RAULT T., LOUF R., FUNTOWICZ M., DAVISON J., SHLEIFER S., VON PLATEN P., MA C., JERNITE Y., PLU J., XU C., LE SCAO T., GUGGER S., DRAME M., LHOEST Q. & RUSH A. (2020). Transformers: State-of-the-art natural language processing. In *Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing: System Demonstrations*, p. 38–45, Online: Association for Computational Linguistics. DOI: 10.18653/v1/2020.emnlp-demos.6.
# A Résultats supplémentaires

Les figures 5 et 6 présentent les médianes des résultats obtenus en performant les différents tests ABX, tandis que la figure 5 montre la différence dans les distributions de distance euclidienne obtenues avec différentes stratégies de représentation de la phrase à partir des représentations des tokens : prendre le dernier, faire la moyenne ou bien effectuer une standardisation de la représentation du dernier token.

<table><caption>TABLE 5 – Test ABX sur corpus anglais (similarité cosinus) : médiane de la différence AB – AX</caption><thead><tr><th></th><th>B : Synonyme</th><th>B : Synonyme</th><th>B : Paronyme</th></tr><tr><th></th><th>X : Antonyme</th><th>X : Paronyme</th><th>X : Synonyme du paronyme</th></tr></thead><tbody><tr><td>mBERT</td><td>0.003873</td><td>0.003484</td><td>0.005049</td></tr><tr><td>sBERT</td><td>0.042417</td><td>0.024965</td><td>0.022611</td></tr><tr><td>ADA</td><td>0.030399</td><td>0.002901</td><td>0.016763</td></tr><tr><td>LLaMA-2</td><td>0.029717</td><td>0.004966</td><td>0.053019</td></tr><tr><td>FlaubERT</td><td>0.001616</td><td>-0.011391</td><td>0.015375</td></tr></tbody></table>

<table><caption>TABLE 6 – Test ABX sur corpus français (similarité cosinus) : médiane de la différence AB – AX</caption><thead><tr><th></th><th>B : Synonyme</th><th>B : Synonyme</th><th>B : Paronyme</th></tr><tr><th></th><th>X : Antonyme</th><th>X : Paronyme</th><th>X : Synonyme du paronyme</th></tr></thead><tbody><tr><td>mBERT</td><td>0.001941</td><td>-0.003248</td><td>0.005874</td></tr><tr><td>sBERT</td><td>0.005882</td><td>-0.038234</td><td>0.040888</td></tr><tr><td>ADA</td><td>0.017039</td><td>-0.000001</td><td>0.015579</td></tr><tr><td>LLaMA-2</td><td>0.004425</td><td>-0.004446</td><td>0.011270</td></tr><tr><td>FlaubERT</td><td>0.002520</td><td>-0.006072</td><td>0.009486</td></tr></tbody></table>

<figure><img src="image_49.png" /><figcaption>FIGURE 4 – Corpus anglais</figcaption></figure>

FIGURE 5 – Comparaison des distances euclidienne en fonction de la stratégie de création du plongement de la phrase pour LLaMA-2
# Extraction des arguments d'événements à partir de peu d'exemples par méta-apprentissage

Aboubacar Tuo Romaric Besançon Olivier Ferret Julien Tourille

Université Paris-Saclay, CEA, List, F-91120, Palaiseau, France
{aboubacar.tuo,romaric.besancon,olivier.ferret,julien.tourille}@cea.fr

## RÉSUMÉ

Les méthodes d'apprentissage avec peu d'exemples pour l'extraction d'événements sont développées pour réduire le coût d'annotation des données. Cependant, la plupart des études sur cette tâche se concentrent uniquement sur la détection des déclencheurs d'événements et aucune étude n'a été proposée sur l'extraction d'arguments dans un contexte de méta-apprentissage. Dans cet article, nous étudions l'extraction d'arguments d'événements avec peu d'exemples en exploitant des réseaux prototypiques et en considérant la tâche comme un problème de classification de relations. De plus, nous proposons d'améliorer les représentations des relations en injectant des connaissances syntaxiques dans le modèle par le biais de réseaux de convolution sur les graphes. Nos évaluations montrent que cette approche obtient de bonnes performances sur ACE 2005 dans plusieurs configurations avec peu d'exemples et soulignent l'importance des connaissances syntaxiques pour cette tâche.

## ABSTRACT

### A Meta-Learning Approach for Few-Shot Event Argument Extraction.

Few-shot learning techniques for Event Extraction are developed to alleviate the cost of data annotation. However, most studies on few-shot event extraction only focus on event trigger detection and no study has been proposed on argument extraction in a meta-learning context. In this paper, we investigate few-shot event argument extraction using prototypical networks, casting the task as a relation classification problem. Furthermore, we propose to enhance the relation embeddings by injecting syntactic knowledge into the model using graph convolutional networks. Our experimental results show that our proposed approach achieves strong performance on ACE 2005 in several few-shot configurations and highlight the importance of syntactic knowledge for this task.

**MOTS-CLÉS** : Extraction d'information, extraction d'événements, extraction d'arguments, apprentissage à partir de peu d'exemples.

**KEYWORDS:** Information extraction, event extraction, argument extraction, few-shot learning.

## 1 Introduction

L'extraction d'événements vise à identifier et extraire automatiquement des informations sur des événements à partir de textes non structurés, en se focalisant plus spécifiquement, pour chaque événement, sur son déclencheur (le mot ou la phrase correspondant à la mention de l'événement) et ses arguments (les entités qui jouent un rôle dans l'événement). Par exemple, dans la phrase « *Seven U.S. soldiers were killed when their vehicle hit an explosive device in Baghdad* », un événement de type Décès (*Life.Die* selon la nomenclature de référence de ACE 2005) est évoqué, associé au déclencheur

<figure><img src="image_50.png" /></figure>
killed et aux arguments *Seven U.S. soldiers*, *explosive device* et *Baghdad*, qui correspondent aux rôles respectifs de victime, d'instrument et de lieu dans la structure de l'événement. Les systèmes d'extraction d'événements reposent classiquement sur des approches supervisées, qui nécessitent une grande quantité de données annotées pour chaque type d'événement considéré. Cette annotation étant coûteuse, elle ne peut pas être effectuée pour toutes les applications, en particulier celles pour lesquelles de nouveaux types d'événements peuvent apparaître avec seulement quelques exemples. En conséquence, un intérêt croissant s'est développé pour relever le défi de l'extraction d'événements à partir de peu d'exemples.

La plupart des études dans ce domaine se concentrent uniquement sur la détection d'événements, qui consiste à extraire et classer les déclencheurs d'événements. Plusieurs de ces travaux reposent sur l'utilisation du méta-apprentissage et des réseaux prototypiques (Cong et al., 2021; Tuo et al., 2022, 2023). Cependant, très peu d'études abordent l'extraction des arguments d'événements en utilisant ces méthodes par méta-apprentissage. La plupart des méthodes existantes pour l'extraction des arguments d'événements dans des scénarios à faibles ressources ne relèvent pas en effet de l'apprentissage par transfert, mais cherchent plutôt à limiter la dégradation de leurs performances en présence d'une quantité limitée de données annotées. Ces études exploitent un large ensemble de méthodes allant du question-réponse (Du & Cardie, 2020; Zhou et al., 2021) à l'implication textuelle (Sainz et al., 2022) en passant par les méthodes génératives (Chen et al., 2020; Hsu et al., 2022; Dai et al., 2022; Ma et al., 2022). Des approches sans données annotées (zero-shot) ont également été proposées, soit en s'appuyant sur des ressources externes (Huang et al., 2018; Zhang et al., 2021), soit en utilisant des techniques de génération avec des modèles de langue pré-entraînés (Lin et al., 2023).

Dans cette étude, nous proposons d'aborder l'extraction des arguments d'événements à partir de peu d'exemples à l'aide de réseaux prototypiques. Ce choix est principalement motivé par l'efficacité démontrée de ces méthodes dans la tâche de détection d'événements et dans plusieurs autres travaux en extraction d'information (Han et al., 2018; Gao et al., 2019; Fritzler et al., 2018; Lai et al., 2021). Notre objectif est d'évaluer les capacités de ces approches prototypiques dans le cadre de l'extraction des arguments et de proposer un cadre d'évaluation adapté à cette tâche dans un contexte de méta-apprentissage. Par ailleurs, nous proposons et évaluons deux approches pour l'injection d'informations syntaxiques dans la représentation des arguments d'événement.

# 2 Approche

## 2.1 Formulation du problème

Nous abordons la tâche d'extraction des arguments d'événements comme une tâche de classification de relations entre un déclencheur événementiel et les entités de la phrase abritant ce déclencheur<fnref n="1" />. Il s'agit plus précisément, pour chacune de ces entités, d'une classification multiclasse, chaque classe correspondant à l'un des rôles possibles pour le type d'événement associé au déclencheur considéré. S'y ajoute une classe dite *NULLE* pour signifier l'absence de rôle de l'entité candidate par rapport à l'événement.

De façon comparable à la détection d'événements, cette tâche peut être traitée selon la formulation épisodique N-ways, k-shots (Vinyals et al., 2016) dans un contexte de méta-apprentissage, avec

<footnote n="1">1. Nous nous restreignons dans cette étude à la détection d'arguments d'événements au sein d'une même phrase.</footnote>
cependant une légère variation. Cette formulation distingue, comme un apprentissage supervisé standard, des ensembles d'apprentissage, de validation et de test, mais à la différence du cas classique, les classes sont différentes pour ces trois ensembles. L'entraînement du modèle cible se fait en échantillonnant un grand nombre de fois un sous-ensemble de *N* classes au sein de l'ensemble d'apprentissage, avec *k* exemples par classe. Cet échantillonnage permet de créer autant de versions restreintes d'un ensemble d'apprentissage, appelé *support set*, et de test, appelé *query set*. Chaque itération dans ce cadre est appelée *épisode* et les poids du modèle sont mis à jour après chaque épisode. Cette façon de faire permet ainsi d'entraîner le modèle cible à un apprentissage par transfert, d'où le terme de méta-apprentissage.

Dans le cas de l'extraction d'arguments d'événements, bien que la classification concerne effectivement les arguments des événements, nous considérons les nouvelles classes au niveau des types d'événements. Cette approche correspond au scénario dans lequel les types d'événements de l'ensemble de test n'ont pas été rencontrés lors de l'entraînement, ce qui est davantage en phase avec les applications du monde réel où de nouveaux événements peuvent apparaître plutôt que de nouveaux rôles d'argument pour des événements existants. Par conséquent, notre formulation de l'approche *N*-ways, *k*-shots induit un *N* variable représentant le nombre d'arguments pour un type d'événement donné, chacune ayant *k* instances dans le support set. Par ailleurs, même si l'on peut considérer en toute généralité qu'un rôle n'est pas indépendant du type d'événement auquel il se rattache, des types d'événements différents peuvent contenir les mêmes rôles d'argument qui, au-delà de la similarité de nom, partagent de fait certaines similarités plus sémantiques, sans forcément être véritablement identiques<fnref n="2" />. Par conséquent, certains rôles de l'ensemble de test peuvent déjà avoir été vus lors de l'entraînement du modèle, liés à un autre type d'événement.

Dans ce contexte, chaque épisode se présente comme une tâche de classification, notée $\mathcal{T} = \{S, Q\}$ et comportant un support set, $S$, et un query set, $Q$. Le support set $S$ comprend un type d'événement avec ses *N* classes d'arguments, chacune étant représentée par *k* instances annotées, tandis que le query set contient une phrase mentionnant au moins un événement du même type. Dans le paradigme des approches prototypiques, la classification se fait par un encodage des exemples du support set, la construction de prototypes en combinant ces exemples (le plus souvent par une moyenne) et l'étape de classification elle-même se fait par la sélection du prototype le plus proche pour chaque exemple du query set. La figure 1 donne une vue d'ensemble de ce dispositif.

## 2.2 Encodage d'une instance

Pour un type d'événement *e* donné, une instance est définie par $(x_i, y_i)$ avec $x_i = (s_i^e, tr_i^e, a_i)$, où $s_i^e$ est la phrase mentionnant l'événement, $tr_i^e$ le déclencheur, $a_i$ le candidat argument, et $y_i$ le rôle appartenant à $\mathcal{A}^e = \mathcal{A}_+^e \cup \{\text{NULLE}\}$, $\mathcal{A}_+^e$ étant l'ensemble des arguments du type d'événement et NULLE indiquant que l'entité n'a aucun rôle dans l'événement. La même phrase peut donc appartenir à autant d'exemples qu'elle contient de mentions d'entités.

Chaque instance est traitée par un encodeur pour produire une représentation vectorielle $h_i = \mathcal{E}(x_i)$ pour chaque paire déclencheur-entité dans le contexte d'un événement donné. En pratique, cette représentation est obtenue en concatenant les représentations du déclencheur et de l'entité résultant de leur encodage contextuel par un modèle de langue de type BERT (Devlin et al., 2019). La

<footnote n="2">2. Par exemple, dans le domaine judiciaire, des événements différents comme une arrestation, une accusation ou une condamnation peuvent tous avoir un argument associé *Crime*, correspondant au crime pour lequel on est arrêté, accusé ou condamné.</footnote>
<figure><img src="image_51.png" /><figcaption>FIGURE 1 – Vue d'ensemble de notre modèle. Les déclencheurs sont en **gras italique** et chaque couleur correspond à une classe d'arguments.</figcaption></figure>

représentation d'un empan de plusieurs sous-mots (*tokens*) est obtenue en prenant la moyenne des représentations de ces sous-mots. Cette représentation constitue l'entrée du classifieur, de type réseau prototypique, permettant de décider du type de relation existant entre le déclencheur et l'entité candidate (cf. section 2.4).

## 2.3 Intégration des informations syntaxiques

La représentation des exemples revêt une importance toute particulière dans le cas des réseaux prototypiques, car elle détermine très directement la forme des prototypes représentant chacune des classes et servant de base à la classification. Dans le cas de l'extraction d'arguments, nous proposons ainsi d'exploiter les relations syntaxiques entre le déclencheur et les entités pour aider à distinguer les entités lorsque leurs représentations (issues du modèle de langue contextuel) ne sont pas suffisamment discriminantes. Plus précisément, nous avons observé que certaines entités peuvent être confondues au sein d'un même événement, notamment lorsque leurs rôles se ressemblent ou sont symétriques. Par exemple, dans un contexte d'attaque, l'entité représentant l'agent attaquant peut parfois être confondue avec celle représentant la cible de l'attaque et inversement. De même, dans un contexte de transport, les entités représentant l'origine et la destination peuvent être sujettes à confusion. Pour lever ces ambiguïtés, nous proposons d'exploiter des informations syntaxiques additionnelles en nous appuyant sur le constat que les rôles des entités au sein d'un événement sont souvent étroitement liés à leurs rôles syntaxiques dans les phrases qui les décrivent. Dans l'exemple illustré de la figure 2, le déclencheur « fired » peut ainsi être lié à son argument « police officer » du fait de la présence d'une relation syntaxique de sujet (en voix passive) alors que ces deux éléments sont distants dans la phrase.

<figure><img src="image_52.png" /><figcaption>FIGURE 2 – Analyse en dépendances syntaxiques et étiquettes morphosyntaxiques pour la phrase : *The police officer who fired into a car full of teenagers was fired Tuesday.*</figcaption></figure>
Nous utilisons l'encodeur BERT comme point de référence pour évaluer les avantages de l'injection d'informations syntaxiques. Sur cette base, nous proposons ensuite deux façons de prendre en compte les informations syntaxiques pour enrichir les représentations des paires déclencheur/entité.

**BERT++** intègre de manière statique les informations syntaxiques en associant un vecteur à chaque type de relation syntaxique, ces vecteurs étant ajustés pendant l'apprentissage du modèle. Plus précisément, cette approche consiste à concatené les plongements contextuels du déclencheur et de l'entité avec les représentations vectorielles des étiquettes morphosyntaxiques de l'entité et du chemin de dépendances syntaxiques entre le déclencheur et l'entité. La longueur des chemins de dépendances syntaxiques étant variable, nous avons appliqué une agrégation *max-pooling* sur l'ensemble des étiquettes de dépendance syntaxique afin d'obtenir les plongements de ces chemins.

**BERT-GCN** combine les informations syntaxiques avec les plongements fournis par BERT en utilisant un réseau de convolution sur les graphes (GCN) (Kipf & Welling, 2017). Cette approche est particulièrement intéressante dans notre cas, car elle permet de différencier les relations syntaxiques, contribuant ainsi à réduire les confusions entre des arguments similaires. Cependant, cette modélisation entraîne une augmentation significative du nombre de paramètres à apprendre, correspondant aux paramètres du GCN.

Afin de permettre à l'encodeur BERT de capturer des informations sur l'emplacement du déclencheur et de l'entité cible au sein d'une phrase, nous marquons le début et la fin de ces éléments avec des tokens spéciaux, comme suggéré dans d'autres travaux de la littérature (Zhang et al., 2019; Han et al., 2018; Baldini Soares et al., 2019). La phrase est ensuite fournie l'encodeur BERT pour en obtenir une représentation de chaque token. Ces représentations sont ensuite utilisées pour initialiser les nœuds de l'arbre de dépendances syntaxiques qui sert d'entrée au réseau de convolution. Nous introduisons un nouveau type de relation syntaxique appellé *subword* correspondant au fait qu'un mot puisse être découpé en plusieurs tokens par le tokeniseur de BERT. Après apprentissage du réseau de convolution sur les graphes, la représentation de chaque empan est obtenue en prenant la moyenne des représentations des nœuds appartenant à cet empan.

## 2.4 Classification des instances

Notre modèle reposant sur les réseaux prototypiques, la classification des instances est réalisée en fonction de leur similarité avec les représentations des prototypes de chaque classe. À cette fin, nous avons mené des expériences avec deux approches : les réseaux prototypiques standard (*Prototypical Networks*, **Proto**) et leur version contrastive (*Contrastive Prototypical Networks*, **C-Proto**), proposée par Tuo *et al.* (2023).

La différence entre ces deux modèles réside dans le fait que **C-Proto** adopte un apprentissage contrastif et ne construit pas de prototype pour la classe *NULLE*, qui regroupe les entités n'ayant pas de rôle dans les événements. Dans ce cas, les exemples de cette classe sont filtrés à l'aide d'un seuil de similarité. Alors que le modèle **Proto** s'appuie sur une fonction de coût de type entropie croisée, couplée à une fonction softmax, le modèle **C-Proto** est entraîné avec une fonction de coût de charnière (*hinge loss*). Cette dernière est plus précisément la somme de deux termes : l'un ($L_+$) concerne uniquement les arguments et l'autre ($L_-$), les entités non-arguments (cf. équations 1 et 2). Nous notons $Q^+$ le sous-ensemble des arguments du query set d'un épisode et $Q^-$, le sous-ensemble du query set contenant des entités non-arguments).
$$ \mathcal{L}_{+}(S, Q) = \sum_{(x_i, y_i) \in Q^{+}} \sum_{j \neq y_i} \max_j (0, \mathcal{M}_0 - s(h_i, c^j) + s(h_i, c^{y_i})) \quad (1) $$

$$ \mathcal{L}_{-}(S, Q) = \max_{(x_i, y_i) \in Q^{+}} \left(0, \max_{x_j \in Q^{-}} \left(s(h_j, c^{y_i}) - \mathcal{M}_1\right)\right) \quad (2) $$

où $s(., .)$ est une fonction de similarité, $c^i$ le prototype de la classe $i$, $h_i$ la représentation dense d'une entité, $\mathcal{M}_0$ et $\mathcal{M}_1$ des hyperparamètres permettant de contrôler la marge entre les arguments et les entités non-arguments. Une telle marge laisse ensuite la possibilité de fixer un seuil de similarité permettant de séparer les arguments des entités non-arguments.

Contrairement à Tuo et al. (2023), qui ont recours à une fonction de répartition pour estimer ce seuil, nous calculons ici le seuil en utilisant la valeur de similarité trouvée pour l'exemple le plus proche dans le support set. En effet, dans le cas de l'extraction des arguments, certaines phrases peuvent en effet ne contenir qu'une seule entité candidate ou seulement des entités correspondant à des non-arguments<fnref n="3" />. Par conséquent, l'utilisation de la fonction de répartition dans le cas d'une seule entité ou d'entités n'ayant pas de rôle ne permettrait pas de fixer un seuil raisonnable. Il faudrait, dans ce cas, que le seuil soit supérieur aux similarités pour toutes les entités.

De plus, à l'instar de travaux antérieurs sur l'extraction d'événements (Sainz et al., 2022; Lin et al., 2023), nous utilisons la connaissance préalable des types des entités pour contraindre les prédictions des rôles d'arguments et améliorer ainsi la précision des prédictions.

En pratique, lors de l'évaluation du modèle, nous commençons par vérifier la compatibilité entre le rôle prédit et le type de l'entité candidate. Si la contrainte n'est pas satisfaite, nous considérons la prédiction comme incorrecte et prenons la classe du prototype suivant le plus proche jusqu'à ce que le rôle prédit corresponde au type d'entité ou à la classe NULLE, qui n'est soumise à aucune contrainte.

# 3 Expériences

## 3.1 Paramètres expérimentaux

Nous avons mené nos expériences sur l'ensemble de données ACE-2005 (Walker et al., 2006), avec la partition fournie par Lai et al. (2020). Cette partition garantit qu'il n'y a pas de chevauchement entre les types d'événements dans les ensembles d'entraînement et d'évaluation, simulant ainsi un scénario réaliste avec une faible disponibilité des données. Nous donnons plus de détails sur ce jeu de données à l'Annexe A.

Nous utilisons un encodeur **BERT** pour fournir les représentations des mots à partir des phrases en entrée. De plus, pour l'encodeur **BERT++**, nous utilisons des vecteurs entraînables de taille 256 pour encoder les dépendances syntaxiques et les étiquettes morphosyntaxiques, obtenues grâce à l'analyseur spaCy. Pour **BERT-GCN**, le nombre de couches de convolution du GCN a été fixé à 2, car c'est ce qui donne le meilleur résultat empirique sur l'ensemble de développement.

<footnote n="3">3. Dans ces cas, les arguments de la mention d'événement considérée se trouvent souvent dans d'autres phrases. Il faudrait une extraction au niveau du document pour les identifier.</footnote>
## 3.2 Résultats

Nous reportons nos principaux résultats dans le tableau 1. Les entités considérées pour l'extraction des arguments sont les entités annotées dans le jeu de données.

<table><caption>TABLE 1 – Résultats de l'extraction des arguments d'événements : Précision (P), Rappel (R) et F1-mesure (F1). Nos meilleurs scores sont en **gras**, les deuxièmes meilleurs scores sont soulignés. * indique que le meilleur score est statistiquement significatif par rapport au deuxième.</caption><thead><tr><th rowspan="2">Encodeur</th><th rowspan="2">Modèle</th><th colspan="3">5-shots</th><th colspan="3">10-shots</th></tr><tr><th>P</th><th>R</th><th>F1</th><th>P</th><th>R</th><th>F1</th></tr></thead><tbody><tr><td rowspan="2">BERT</td><td>Proto</td><td>63,1 ± 0,9</td><td>56,4 ± 1,0</td><td>59,6 ± 0,5</td><td>66,4 ± 0,5</td><td>61,6 ± 0,7</td><td>63,9 ± 0,3</td></tr><tr><td>C-Proto</td><td>62,7 ± 0,9</td><td>57,0 ± 1,2</td><td>60,0 ± 1,0</td><td>67,1 ± 0,8</td><td>63,8 ± 0,9</td><td>65,5 ± 0,8</td></tr><tr><td rowspan="2">BERT++</td><td>Proto</td><td>64,9 ± 1,1</td><td>58,6 ± 1,2</td><td>61,6 ± 0,8</td><td>66,8 ± 1,5</td><td>63,8 ± 1,1</td><td>65,2 ± 0,6</td></tr><tr><td>C-Proto</td><td>65,8 ± 0,5</td><td>58,8 ± 1,8</td><td>62,1 ± 1,0</td><td>66,8 ± 1,7</td><td><strong>66,5*</strong> ± <strong>1,7</strong></td><td><strong>66,7*</strong> ± <strong>1,0</strong></td></tr><tr><td rowspan="2">BERT-GCN</td><td>Proto</td><td><strong>69,0 ± 2,1</strong></td><td>56,6 ± 4,0</td><td>62,2 ± 2,2</td><td><strong>71,2*</strong> ± <strong>0,7</strong></td><td>60,0 ± 1,5</td><td>65,0 ± 0,9</td></tr><tr><td>C-Proto</td><td><u>68,5 ± 1,1</u></td><td><strong>59,2*</strong> ± <strong>1,7</strong></td><td><strong>63,5*</strong> ± <strong>1,2</strong></td><td>69,2 ± 0,5</td><td>61,4 ± 0,8</td><td>65,1 ± 0,5</td></tr></tbody></table>

Ces résultats nous permettent de tirer deux conclusions principales. D'une part, quel que soit l'encodeur considéré, nous pouvons observer que la version contrastive **C-Proto** affiche des performances légèrement supérieures à celles du réseau prototypique standard. Cette observation vient confirmer les constatations faites par Tuo et al. (2023) sur l'efficacité de cette approche, en particulier en ce qui concerne la gestion de la classe NULLE. Toutefois, les apports dans ce cadre sont bien moindres que ceux rapportés pour la tâche de détection d'événements. Cela peut être lié à la difficulté relative de la tâche d'extraction des arguments par rapport à l'extraction des déclencheurs. En effet, les entités occupant un même rôle n'ont pas forcément de similarités sémantiques entre elles, contrairement aux déclencheurs, qui appartiennent souvent au même champ lexical.

D'autre part, nous voyons que l'intégration des informations syntaxiques améliore les performances dans tous les cas. Cette constatation suggère que l'exploitation d'informations syntaxiques pour enrichir la relation entre les déclencheurs d'événements et leurs arguments est bien bénéfique pour la tâche d'extraction des arguments d'événements. Par ailleurs, l'intégration dynamique **BERT-GCN** semble plus efficace que l'intégration statique **BERT++** lorsque très peu de données sont disponibles (5-shots).

Nous comparons de façon plus précise nos trois encodeurs à la figure 3, où nous donnons la moyenne de la F1-mesure pour chaque rôle. Dans l'ensemble, ces résultats montrent que l'intérêt des informations syntaxiques est observé à la fois pour les rôles vus pendant l'entraînement (c'est-à-dire des rôles qui portent le même nom, mais qui correspondent à des types d'événements différents) et pour les nouveaux rôles apparaissant uniquement pendant l'évaluation. Les apports se manifestent particulièrement pour les rôles pour lesquels l'encodeur **BERT** standard montre des performances relativement faibles. En revanche, pour des rôles considérés comme « faciles », qui ne portent pas à confusion, comme *Instrument*, *Vehicule* ou *Money*, l'encodeur **BERT** standard demeure très compétitif et les informations syntaxiques ont un impact moins significatif, voire parfois négatif. En particulier, l'encodeur **BERT-GCN** semble contribuer principalement à équilibrer les performances pour les rôles qui peuvent être confondus, tels que *Origin* et *Destination* ou encore *Buyer* et *Seller*. En revanche, il nuit moins aux rôles non ambigus, tels que *Instrument* ou *Vehicule*.
<figure><img src="image_53.png" /><figcaption>FIGURE 3 – Moyenne de la F1-mesure par rôle pour les trois encodeurs. À gauche, les rôles vus pendant l'entraînement des modèles et à droite, les rôles vus seulement pendant l'évaluation.</figcaption></figure>

<table><caption>TABLE 2 – Étude d'ablation pour chaque composante du modèle C-Proto dans une configuration 5-shots. Précision (P), Rappel (R) et F1-mesure (F1) en moyenne sur cinq expérimentations.</caption><thead><tr><th></th><th>P</th><th>R</th><th>F1</th></tr></thead><tbody><tr><td>Modèle entier</td><td><strong>68,5</strong></td><td><strong>59,2</strong></td><td><strong>63,5</strong></td></tr><tr><td>- seuillage</td><td>47,9</td><td>59,3</td><td>52,9</td></tr><tr><td>- contraintes</td><td>68,2</td><td>50,9</td><td>58,3</td></tr><tr><td>- seuillage<br>&amp; contraintes</td><td>33,9</td><td>61,9</td><td>43,8</td></tr></tbody></table>

La figure 4 donne pour sa part un aperçu des représentations élaborées par chaque encodeur sur l'ensemble d'évaluation. L'encodeur **BERT pré-entraîné** correspond à un modèle BERT sans aucun ajustement spécifique à la tâche d'extraction des arguments d'événements. Nous comparons les trois encodeurs présentés dans ce travail : **BERT**, **BERT++** et **BERT-GCN**.

Tout d'abord, il est évident que l'entraînement du modèle BERT améliore notablement le caractère discriminant des plongements du point de vue des classes d'arguments par rapport à un BERT non affiné. Cela met en lumière la pertinence de la formulation que nous avons adoptée pour cette tâche et l'importance de l'affinage du modèle BERT dans ce contexte.

On peut également observer qualitativement que les deux encodeurs enrichis, **BERT++** et **BERT-GCN**, semblent fournir des représentations plus discriminantes que l'encodeur BERT d'origine. Ces observations correspondent aux résultats obtenus lors de l'évaluation, ce qui renforce la pertinence de l'enrichissement des représentations par des informations syntaxiques et suggère une amélioration globale de la performance du modèle.

**Étude d'ablation** Pour compléter notre analyse des résultats, nous présentons dans le tableau 2 une étude d'ablation réalisée avec le modèle **C-Proto**. L'objectif est d'explorer les effets de l'utilisation du seuillage et de l'introduction des contraintes liées au type des entités et à leurs rôles. Afin d'éliminer l'utilisation du seuil, nous avons reconstruit un prototype pour la classe nulle lors de la phase d'évaluation.

Les résultats obtenus dans cette étude d'ablation mettent en évidence l'utilité de chacune de ces opérations sur les performances globales du modèle. En général, nous observons que l'utilisation du
<figure><img src="image_54.png" /><figcaption>FIGURE 4 – Visualisation des représentations des arguments en utilisant la méthode t-SNE. Chaque point correspond à un argument et la couleur, à une classe de rôle.</figcaption></figure>

seuillage conduit principalement à une amélioration de la précision, bien qu'elle soit accompagnée d'une légère diminution du rappel en contrepartie. Il faut noter que l'introduction du seuillage visait précisément à réduire le taux de faux positifs et, donc, à une augmentation de la précision.

Les contraintes relatives aux types des entités et leurs rôles ont aussi un impact positif sur les performances, bien que leur contribution soit plus modeste par rapport au seuillage. Ces contraintes visent principalement à réduire les confusions entre certains arguments. Comme mentionné précédemment, il arrive que des entités de même type soient parfois confondues dans leurs rôles et, bien que ce filtrage n'élimine pas entièrement cette ambiguïté, il contribue néanmoins à la résoudre partiellement.

## Comparaison avec l'état de l'art

Comme nous l'indiquions en introduction, la comparaison avec l'état de l'art n'est pas évidente dans la mesure où les méthodes d'évaluation pour les approches par méta-apprentissage ne sont pas directement comparables aux évaluations menées par les travaux existants en extraction d'arguments d'événements, qui reprennent le paradigme classique de l'apprentissage supervisé mais dans une configuration dégradée de faible quantité de données annotées.

Pour réaliser une forme de comparaison, nous nous sommes focalisés sur la quantité de données annotées concernant les types d'événements de l'ensemble de test du jeu de données ACE 2005. La figure 5 fait ainsi apparaître l'évolution des performances pour l'extraction d'arguments d'événements pour trois modèles de référence – **PAIE** (Ma *et al.*, 2022), **BIP** (Dai *et al.*, 2022) et **NLI** (Sainz *et al.*, 2022) – en fonction du pourcentage des données d'entraînement. Au regard de ces courbes, nous avons fait figurer le niveau de performance de notre configuration 5-shots (c'est-à-dire 5 exemples par rôle), qui correspond en quantité à environ 3 % des données d'évaluation. Il faut toutefois noter que l'entraînement de notre modèle se fait sur 18 types d'événements et tous leurs exemples, les 3 %
<figure><img src="image_55.png" /><figcaption>FIGURE 5 – Comparaison avec des modèles de l’état de l’art avec peu de données annotées.</figcaption></figure>

de données ne concernant que les types non vus pendant l’entraînement. Néanmoins, la figure 5 fait apparaître que jusqu’à 5 % des données d’entraînement, le modèle que nous proposons obtient des performances supérieures aux modèles de référence considérés. Nous pouvons donc en conclure que notre approche par méta-apprentissage est particulièrement adaptée à un régime de très faible quantité de données annotées pour les types d’événements cibles.

# 4 Conclusion et perspectives

Nous avons exploré l'extraction des arguments d'événements dans un scénario de faible disponibilité de données pour définir de nouvelles classes en mettant l'accent sur l'utilisation d'informations syntaxiques pour lever l'ambiguïté concernant certains rôles événementiels. Nous avons repensé ce problème en le formulant comme une tâche de classification de relations entre le déclencheur et les arguments et en le traitant dans un cadre de méta-apprentissage à l'aide de réseaux prototypiques. Dans ce contexte, nous avons adapté plus précisément le cadre de classification N-ways, k-shots pour répondre aux besoins spécifiques de l'extraction d'arguments d'événements. Les évaluations menées ont montré l'intérêt de la prise en compte de ces informations syntaxiques, en particulier pour les rôles les plus susceptibles de se confondre.

Le travail mené fait l'hypothèse de la connaissance a priori des déclencheurs événementiels et des entités candidates pour les rôles et présuppose donc une architecture de type pipeline, qui présente l'avantage d'une certaine modularité mais souffre de problèmes connus de propagation d'erreurs entre modules. À l'instar des travaux de Nguyen et al. (2021), dans un contexte de quantités importantes de données annotées, un des prolongements naturels de notre travail sera d'examiner comment des approches jointes impliquant l'extraction d'entités nommées, de déclencheurs événementiels et d'arguments d'événements peuvent être mises en œuvre dans un contexte de faible quantité de données annotées disponibles par le biais de méthodes de méta-apprentissage.

**Remerciements** Ces travaux ont été réalisés grâce au supercalculateur Factory-IA financé par le Conseil Régional d'Île-de-France.
Références

BALDINI SOARES L., FITZGERALD N., LING J. & KWIATKOWSKI T. (2019). Matching the blanks : Distributional similarity for relation learning. In *Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics*, p. 2895–2905, Florence, Italy : Association for Computational Linguistics. DOI : 10.18653/v1/P19-1279.

CHEN Y., CHEN T., EBNER S., WHITE A. S. & VAN DURME B. (2020). Reading the manual : Event extraction as definition comprehension. In *Proceedings of the Fourth Workshop on Structured Prediction for NLP*, p. 74–83, Online : Association for Computational Linguistics. DOI : 10.18653/v1/2020.spnlp-1.9.

CONG X., CUI S., YU B., LIU T., YUBIN W. & WANG B. (2021). Few-Shot Event Detection with Prototypical Amortized Conditional Random Field. In *Findings of the Association for Computational Linguistics : ACL-IJCNLP 2021*, p. 28–40, Online : Association for Computational Linguistics. DOI : 10.18653/v1/2021.findings-acl.3.

DAI L., WANG B., XIANG W. & MO Y. (2022). Bi-directional iterative prompt-tuning for event argument extraction. In *Proceedings of the 2022 Conference on Empirical Methods in Natural Language Processing*, p. 6251–6263, Abu Dhabi, United Arab Emirates : Association for Computational Linguistics.

DEVLIN J., CHANG M.-W., LEE K. & TOUTANOVA K. (2019). BERT : Pre-training of deep bidirectional transformers for language understanding. In *Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics : Human Language Technologies, Volume 1 (Long and Short Papers)*, p. 4171–4186, Minneapolis, Minnesota : Association for Computational Linguistics. DOI : 10.18653/v1/N19-1423.

DU X. & CARDIE C. (2020). Event extraction by answering (almost) natural questions. In *Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP)*, p. 671–683, Online : Association for Computational Linguistics. DOI : 10.18653/v1/2020.emnlp-main.49.

FRITZLER A., LOGACHEVA V. & KRETOV M. (2018). Few-shot classification in Named Entity Recognition Task. arXiv : 1812.06158 [cs, stat]. arXiv : 1812.06158, DOI : 10.1145/3297280.3297378.

GAO T., HAN X., LIU Z. & SUN M. (2019). Hybrid Attention-Based Prototypical Networks for Noisy Few-Shot Relation Classification. *Proceedings of the AAAI Conference on Artificial Intelligence*, **33**, 6407–6414. DOI : 10.1609/aaai.v33i01.33016407.

HAN X., ZHU H., YU P., WANG Z., YAO Y., LIU Z. & SUN M. (2018). FewRel : A large-scale supervised few-shot relation classification dataset with state-of-the-art evaluation. In *Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing*, p. 4803–4809, Brussels, Belgium : Association for Computational Linguistics. DOI : 10.18653/v1/D18-1514.

HSU I.-H., HUANG K.-H., BOSCHEE E., MILLER S., NATARAJAN P., CHANG K.-W. & PENG N. (2022). DEGREE : A data-efficient generation-based event extraction model. In *Proceedings of the 2022 Conference of the North American Chapter of the Association for Computational Linguistics : Human Language Technologies*, p. 1890–1908, Seattle, United States : Association for Computational Linguistics. DOI : 10.18653/v1/2022.naacl-main.138.

HUANG L., JI H., CHO K., DAGAN I., RIEDEL S. & VOSS C. (2018). Zero-shot transfer learning for event extraction. In *Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1 : Long Papers)*, p. 2160–2170, Melbourne, Australia : Association for Computational Linguistics. DOI : 10.18653/v1/P18-1201.
KIPF T. N. & WELLING M. (2017). Semi-supervised classification with graph convolutional networks.

LAI V., DERNONCOURT F. & NGUYEN T. H. (2021). Learning Prototype Representations Across Few-Shot Tasks for Event Detection. In *Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing*, p. 5270–5277, Online and Punta Cana, Dominican Republic : Association for Computational Linguistics.

LAI V. D., NGUYEN T. H. & DERNONCOURT F. (2020). Extensively matching for few-shot learning event detection. In *Proceedings of the First Joint Workshop on Narrative Understanding*, *Storylines, and Events*, p. 38–45, Online : Association for Computational Linguistics. DOI: 10.18653/v1/2020.nuse-1.5.

LIN Z., ZHANG H. & SONG Y. (2023). Global constraints with prompting for zero-shot event argument classification. In *Findings of the Association for Computational Linguistics : EACL 2023*, p. 2527–2538, Dubrovnik, Croatia : Association for Computational Linguistics.

MA Y., WANG Z., CAO Y., LI M., CHEN M., WANG K. & SHAO J. (2022). Prompt for extraction? PAIE : Prompting argument interaction for event argument extraction. In *Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1 : Long Papers)*, p. 6759–6774, Dublin, Ireland : Association for Computational Linguistics. DOI : 10.18653/v1/2022.acl-long.466.

NGUYEN M. V., LAI V. D. & NGUYEN T. H. (2021). Cross-task instance representation interactions and label dependencies for joint information extraction with graph convolutional networks. In *Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics : Human Language Technologies*, p. 27–38, Online : Association for Computational Linguistics. DOI : 10.18653/v1/2021.nacl-main.3.

SAINZ O., GONZALEZ-DIOS I., LOPEZ DE LACALLE O., MIN B. & AGIRRE E. (2022). Textual entailment for event argument extraction : Zero- and few-shot with multi-source learning. In *Findings of the Association for Computational Linguistics : NAACL 2022*, p. 2439–2455, Seattle, United States : Association for Computational Linguistics. DOI : 10.18653/v1/2022.findings-naacl.187.

TUO A., BESANÇON R., FERRET O. & TOURILLE J. (2022). Better exploiting bert for few-shot event detection. In P. ROSSO, V. BASILE, R. MARTÍNEZ, E. MÉTAIS & F. MEZIANE, Éds., *Natural Language Processing and Information Systems*, p. 291–298, Cham : Springer International Publishing.

TUO A., BESANÇON R., FERRET O. & TOURILLE J. (2023). Trigger or not trigger : Dynamic thresholding for few shot event detection. In J. KAMPS, L. GOEURIOT, F. CRESTANI, M. MAISTRO, H. JOHO, B. DAVIS, C. GURRIN, U. KRUSCHWITZ & A. CAPUTO, Éds., *45<sup>th</sup> European Conference on Information Retrieval (ECIR 2023) : Advances in Information Retrieval, short article session*, volume 13981 de *Lecture Notes in Computer Science*, p. 637–645, Dublin, Ireland : Springer Nature Switzerland.

VINYALS O., BLUNDELL C., LILLICRAP T., KAVUKCUOGLU KORAY K. & WIERSTRA D. (2016). Matching networks for one shot learning. In *Advances in Neural Information Processing Systems*, volume 29.

WALKER C., STRASSEL S. & JULIE MEDERO K. M. (2006). ACE 2005 Multilingual Training Corpus. LDC corpora. Linguistic Data Consortium. DOI : 10.35111/mwxc-vh88.

ZHANG H., WANG H. & ROTH D. (2021). Zero-shot Label-aware Event Trigger and Argument Classification. In *Findings of the Association for Computational Linguistics : ACL-IJCNLP 2021*, p. 1331–1340, Online : Association for Computational Linguistics. DOI : 10.18653/v1/2021.findings-acl.114.
ZHANG Z., HAN X., LIU Z., JIANG X., SUN M. & LIU Q. (2019). ERNIE: Enhanced language representation with informative entities. In *Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics*, p. 1441–1451, Florence, Italy: Association for Computational Linguistics. DOI: 10.18653/v1/P19-1139.

ZHOU Y., CHEN Y., ZHAO J., WU Y., XU J. & LI J. (2021). What the role is vs. what plays the role: Semi-supervised event argument extraction via dual question answering. *Proceedings of the AAAI Conference on Artificial Intelligence*, **35**(16), 14638–14646. DOI: 10.1609/aaai.v35i16.17720.
A Jeu de données ACE-2005

ACE-2005 est un jeu de données de référence pour l'extraction d'information, composé de 599
documents <fnref n="4" /> de diverses sources, en anglais, mandarin et arabe. Dans sa version anglaise, il propose
huit types d'événements, subdivisés en 33 sous-types et 34 rôles pour les arguments. Sa richesse et
sa diversité en font une ressource clé pour le développement de modèles d'extraction d'information
multilingues et polyvalents. Nous listons l'ensemble des types et sous-types dans le tableau 3.

Pour nos expérimentations, nous adoptons le découpage de Lai et al. (2020), qui considère quatre types (Conflict, Business, Contact et Justice) dans l'ensemble d'entraînement et les autres types dans l'ensemble d'évaluation. Dans ce découpage, certains rôles n'apparaissent que dans l'ensemble d'évaluation, tandis que d'autres sont exclusivement présents dans l'ensemble d'entraînement ; mais il existe également des rôles communs aux deux ensembles (voir tableau 4). Nous avons supprimé les rôles d'argument comportant moins de 10 exemples afin de disposer de suffisamment de données pour constituer des épisodes avec au moins 10 exemples dans les ensembles de support. Nous avons également retiré les types pour lesquels il ne restait aucun argument (c'est-à-dire Business:End-Org, Justice:Pardon, Justice:Extradite et Justice:Acquit dans l'ensemble d'entraînement, ainsi que Personnel:Nominate dans l'ensemble d'évaluation).

<footnote n="4">4. Dans la version anglaise.</footnote>
<table><caption>TABLE 3 – Liste des types d’événements du jeu de données ACE-2005.</caption><thead><tr><th>Types</th><th>Sous-types</th><th>Arguments</th></tr></thead><tbody><tr><td rowspan="5">Life</td><td>Be-born</td><td>Person, Place, Time</td></tr><tr><td>Marry</td><td>Person, Place, Time</td></tr><tr><td>Divorce</td><td>Person, Place, Time</td></tr><tr><td>Injure</td><td>Agent, Victim, Instrument, Place, Time</td></tr><tr><td>Die</td><td>Agent, Victim, Instrument, Place, Time</td></tr><tr><td>Movement</td><td>Transport</td><td>Agent, Artifact, Vehicle, Price, Origin, Destination, Time</td></tr><tr><td rowspan="2">Transaction</td><td>Transfer-Ownership</td><td>Buyer, Seller, Beneficiary, Artifact, Price, Place, Time</td></tr><tr><td>Transfer-Money</td><td>Giver, Recipient, Beneficiary, Money, Place, Time</td></tr><tr><td rowspan="4">Business</td><td>Start-Org</td><td>Agent, Org, Place, Time</td></tr><tr><td>Merge-Org</td><td>Org, Place, Time</td></tr><tr><td>Declare-Bankruptcy</td><td>Org, Place, Time</td></tr><tr><td>End-Org</td><td>Org, Place, Time</td></tr><tr><td rowspan="2">Conflict</td><td>Attack</td><td>Attacker, Target, Instrument, Place, Time</td></tr><tr><td>Demonstrate</td><td>Entity, Place, Time</td></tr><tr><td rowspan="2">Contact</td><td>Meet</td><td>Entity, Place, Time</td></tr><tr><td>Phone-Write</td><td>Entity, Time</td></tr><tr><td rowspan="4">Personnel</td><td>Start-Position</td><td>Person, Entity, Position, Place, Time</td></tr><tr><td>End-Position</td><td>Person, Entity, Position, Place, Time</td></tr><tr><td>Nominate</td><td>Person, Agent, Position, Place, Time</td></tr><tr><td>Elect</td><td>Person, Entity, Position, Place, Time</td></tr><tr><td rowspan="10">Justice</td><td>Arrest-Jail</td><td>Person, Agent, Crime, Place, Time</td></tr><tr><td>Release-Parole</td><td>Person, Entity, Crime, Place, Time</td></tr><tr><td>Trial-Hearing</td><td>Defendant, Prosecutor, Adjudicator, Crime, Place, Time</td></tr><tr><td>Charge-Indict</td><td>Defendant, Prosecutor, Adjudicator, Crime, Place, Time, Sentence</td></tr><tr><td>Sue</td><td>Plaintiff, Defendant, Adjudicator, Crime, Place, Time</td></tr><tr><td>Convict</td><td>Defendant, Adjudicator, Crime, Place, Time</td></tr><tr><td>Sentence</td><td>Defendant, Adjudicator, Crime, Sentence, Place, Time</td></tr><tr><td>Fine</td><td>Entity, Adjudicator, Money, Crime, Place, Time</td></tr><tr><td>Execute</td><td>Person, Agent, Crime, Place, Time</td></tr><tr><td>Extradite</td><td>Agent, Person, Destination, Origin, Crime, Time</td></tr><tr><td>Acquit</td><td>Defendant, Adjudicator, Crime, Place, Time</td></tr><tr><td>Appeal</td><td>Defendant, Prosecutor, Adjudicator, Crime, Place, Time</td></tr><tr><td>Pardon</td><td>Defendant, Adjudicator, Crime, Place, Time</td></tr></tbody></table>
<table><caption>TABLE 4 – Répartition des rôles d’arguments entre l’ensemble d’entraînement et l’ensemble d’évaluation du jeu de données ACE-2005.</caption><thead><tr><th>Ensemble</th><th>Arguments</th></tr></thead><tbody><tr><td>Entraînement</td><td>Org, Adjudicator, Prosecutor, Defendant, Sentence, Plaintiff, Attacker, Target, Crime</td></tr><tr><td>Évaluation</td><td>Buyer, Seller, Recipient, Artifact, Vehicle, Position, Victim</td></tr><tr><td>Partagés</td><td>Agent, Person, Time, Place, Giver, Money, Entity, Instrument, Destination, Origin</td></tr></tbody></table>

## B Synthèse des hyperparamètres

Nous donnons la liste des hyperparamètres dans le Tableau 5 ci-dessous.

<table><caption>TABLE 5 – Liste et valeurs des hyperparamètres.</caption><thead><tr><th>Paramètre</th><th>Valeur</th></tr></thead><tbody><tr><td>encodeur</td><td>BERT-large-uncased</td></tr><tr><td>taille des séquences</td><td>128</td></tr><tr><td>nombre d'itérations d'entraînement</td><td>5 000</td></tr><tr><td>optimiseur</td><td>AdamW</td></tr><tr><td>taux d'apprentissage</td><td></td></tr><tr><td>BERT</td><td>1e-5</td></tr><tr><td>autres</td><td>1e-4</td></tr><tr><td>weight decay</td><td>1e-2</td></tr><tr><td>dropout</td><td>0, 1</td></tr><tr><td>warmup ratio</td><td>0, 1</td></tr><tr><td>scheduler</td><td>stepLR</td></tr><tr><td>β₁ β₂</td><td>0, 9 0, 999</td></tr><tr><td>nombre de couches de convolution</td><td>2</td></tr></tbody></table>
# Les petits modèles sont bons : une étude empirique de classification dans un contexte zero-shot

Pierre Lepagnol<fnref n="1" />,<fnref n="2" />, Thomas Gerald<fnref n="1" />, Sahar Ghannay<fnref n="1" />, Christophe Servan<fnref n="1" />,<fnref n="3" />, Sophie Rosset<fnref n="1" />

## RÉSUMÉ

Ce travail s'inscrit dans le débat sur l'efficacité des grands modèles de langue par rapport aux petits pour la classification de texte par amorçage (prompting). Nous évaluons ici le potentiel des petits modèles de langue dans la classification de texte sans exemples, remettant en question la prédominance des grands modèles. À travers un ensemble diversifié de jeux de données, notre étude compare les petits et les grands modèles utilisant différentes architectures et données de pré-entraînement. Nos conclusions révèlent que les petits modèles peuvent générer efficacement des étiquettes et, dans certains contextes, rivaliser ou surpasser les performances de leurs homologues plus grands. Ce travail souligne l'idée que le modèle le plus grand n'est pas toujours le meilleur, suggérant que les petits modèles économes en ressources peuvent offrir des solutions viables pour des défis spécifiques de classification de données.

## ABSTRACT

**Here the title in English.**

This study is part of the debate on the efficiency of large versus small language models for text classification by prompting. We assess the potential of small language models in zero-shot text classification, challenging the prevailing dominance of large models. Across a diverse set of datasets, our investigation benchmarks both small and large models using different architectures and pre-training data. Our findings reveal that small models can effectively generate labels and, in certain contexts, rival or surpass the performance of their larger counterparts. This research underscores the notion that bigger isn't always better, suggesting that resource-efficient small models may offer viable solutions for specific data classification challenges.

**MOTS-CLÉS** : Zero-shot, Prompting, amorçage, Modèle de langue, LLM, labelisation de données.

**KEYWORDS** : Zero-shot, Prompting, language modeling, LLMs, data labeling.

<figure><img src="image_56.png" /></figure>

<footnote n="1">¹Université Paris-Saclay, CNRS, Laboratoire interdisciplinaire des sciences du numérique, 91405, Orsay, France</footnote>

<footnote n="2">²SCIAM, 7508, Paris, France</footnote>

<footnote n="3">³QWANT Research, 7 Rue spontini, 75116 Paris, France</footnote>

<footnote>{firstname.lastname}@lisn.upsaclay.fr</footnote>
# 1 Introduction

Les grands modèles de langue (LLM) ont été largement favorisés par rapport aux modèles plus petits pour résoudre les tâches grâce aux méthodes par amorces (prompting) (Brown et al., 2020; Hoffmann et al., 2022; OpenAI, 2023; Chowdhery et al., 2022) dans le contexte d'indisponibilité de données d'entraînement (zero-shot prompting).

Bien que les grand modèles soient très performants, leur utilisations présentent des difficultés - ils sont gourmands en ressources, coûteux à employer et leurs performances ne sont pas toujours garanties pour chaque tâche (Nityasya et al., 2021).

De toujours plus grands modèles (Kaplan et al., 2020; Hoffmann et al., 2022) ont été construits et des jeux de données toujours plus sophistiqués ont été nécessaires (Zhang et al., 2023) pour atteindre de bonnes performances. Leurs performances a priori supérieures en ont fait un choix privilégié pour diverses tâches, même pour les tâches de classification de base.

Au fur et à mesure que le domaine du traitement du langage évolue, nous devons nous poser la question suivante : les grands modèles de langue sont-ils essentiels pour une classification efficace des données ?

Dans cet article, nous examinons dans quelle mesure les petits modèles peuvent rivaliser avec les grands modèles dans la création d'étiquettes. Sur différents jeux de données, nous voulons voir comment les petits modèles peuvent correctement étiqueter des textes sans exemple (zero-shot classification). Nous cherchons aussi à déterminer ce qui permet aux modèles d'obtenir de bons résultats sur les tâches de classification. Nous comparons le fonctionnement des petits et des grands modèles dans le cadre d'amorçage sans exemples (prompting zero-shot) sur différents jeux de données afin de déterminer s'il est possible d'obtenir de bons résultats avec moins de ressources.

Nous pensons que cette étude est le point de départ de la compréhension des capacités réelles des LLM lorsqu'ils sont utilisés pour des tâches de classification dans un contexte zero-shot.

**Nos contributions principales sont :**

1. Une évaluation d'un grand nombre de modèles de langue (de 77 millions à 70 milliards de paramètres) ajustés sur des jeux de données d'instructions, avec différentes architectures (encodeur-décodeur ou décodeur seul) et tailles sur de 15 jeux de données dans un contexte zero-shot.

2. Des preuves relativement solides de l'efficacité des petits modèles dans la classification zero-shot, où les performances des petits modèles sont comparables à celles de plus grands sur de nombreux jeux de données dans les tâches de classification.

3. Nos évaluations sont mises à la disposition de la communauté en open-source, présentant les méthodologies proposées, contribuant ainsi à l'intégrité et à la robustesse des études dans ce domaine. Le code est disponible en ligne dans le dépôt XXXX.

L'article est organisé comme suit : La section 2 présente une revue de la littérature sur les approches zero-shot. Dans la section 3, nous décrivons la méthodologie que nous suivons pour cette étude. La section 4 présente les résultats et analyses. Enfin, nous concluons dans la section 5 et discutons des limitations et travaux futurs.
## 2 Travaux connexes

**Classification de texte sans exemples & amorçage (Prompting)** Le prompting consiste à fournir un texte d'entrée (ou prompt) à un modèle de langue, qui génère ensuite un texte de sortie basé sur ce prompt. L'objectif de la classification de texte sans exemples est de catégoriser des textes avec des étiquettes sans entraînement préalable spécifique à cette tâche. Cette approche attire l'attention du monde industriel et de la communauté scientifique car elle vise à supprimer le besoin d'ajustement supplémentaire et, par conséquent, de données étiquetées additionnelles, qui sont souvent onéreuses à obtenir.

Pour que le système, ici le modèle de langue, obtienne de bonnes performances sur les classes non vues, il est nécessaire d'avoir des descriptions précises des classes non-vues, comme l'ont noté *Xia et al.* (2018) et *Liu et al.* (2019a). *Fei et al.* (2022) améliorent la classification zero-shot en segmentant les textes d'entrée et en exploitant les amorces (prompts) spécifiques aux classes. *Meng et al.* (2020) ont proposé une stratégie qui utilise des noms d'étiquettes combinés à un auto-apprentissage adapté à la classification zero-shot. De nombreuses méthodes nécessitent un jeu de données non étiquetées ou une base de connaissances pour extraire les étiquettes pertinentes et faciliter l'auto-apprentissage.

Pour utiliser des modèles de langues et les méthodes d'amorçage (prompting) *Schick & Schütze* (2021) propose d'exploiter des paires schéma-verbalisateur (pattern-verbalizer pairs) où le schéma représente le prompt et le verbalisateur représente un mot, un token, par classe qui sera associé sur la dite classe. Néanmoins, ils utilisent cette méthode non pas dans un cadre zero-shot mais dans un cadre de classification avec ajustement.

Plus récemment, *Zhao et al.* (2023b) ont proposé d'utiliser k-Nearest-Neighbor fondé sur la similarité entre plongement des mots du verbalisateur pour augmenter les performances de classification. *Lu et al.* (2023) ont proposé la sélection par la perplexité pour sélectionner les meilleurs prompts dans un contexte d'essai à zero-shot.

Alors que les travaux antérieurs se sont concentrés sur de nouvelles méthodes visant à rendre les modèles de langues plus performants en matière de classification sans exemples, nous souhaitons avoir un aperçu des caractéristiques des modèles et de leurs performances.

## 3 Dispositif expérimental

Bien que les auteurs de LLMs aient comparé leurs différentes tailles de modèles (Kaplan et al., 2020; Hoffmann et al., 2022), cette étude élargit cette analyse en comparant directement différentes architectures sur un ensemble étendu de jeux de données. Nous amorçons (promptons) divers modèles de langue en utilisant 4 fonctions de scoring différentes (voir Section 3) pour classifier les phrases. Nous évaluons la qualité de nos classificateurs par l'exactitude et le macro F1 score.

**Tâches & Jeux de Données** Nous examinons les performances des modèles sur 15 jeux de données, sélectionnés pour représenter divers défis en classification. Par exemple nous utilisons les jeux de données AGNews, avec ses 4 classes distinctes, et BBCNews, qui propose 5 classes. Pour la classification de sentiments, la plupart des jeux de données proposent un choix binaire, comme pour ethos (Mollas et al., 2022) ou plus granulaire comme sst-5 (Socher et al., 2013) avec 5 classes.