# Augmentation des modèles de langue français par graphes de connaissances pour la reconnaissance des entités biomédicales

Aidan Mannion¹,² Didier Schwab¹ Lorraine Goeuriot¹ Thierry Chevalier³

(1) Laboratoire d'Informatique de Grenoble, Univ. Grenoble Alpes, CNRS, 38058 Grenoble, France

(2) EPOS SAS, 2-4 Boulevard Des Îles, 92130 Issy-les-Moulineaux, France

(3) UFR de Médecine Univ. Grenoble Alpes, Domaine de la Merci, 38700 La Tronche, France

prénom.nom@univ-grenoble-alpes.fr

## RÉSUMÉ

Des travaux récents dans le domaine du traitement du langage naturel ont démontré l'efficacité des modèles de langage pré-entraînés pour une grande variété d'applications générales. Les modèles de langage à grande échelle acquièrent généralement ces capacités en modélisant la distribution statistique des mots par un apprentissage auto-supervisé sur de grandes quantités de texte. Toutefois, pour les domaines spécialisés à faibles ressources, tels que le traitement de documents cliniques, la nécessité d'intégrer des connaissances structurées reste d'une grande importance. Cette nécessité est d'autant plus grande pour les langues autres que l'anglais. Cet article se concentre sur l'une de ces applications spécialisées de la modélisation du langage à partir de ressources limitées : l'extraction d'informations à partir de documents biomédicaux et cliniques en français. En particulier, nous montrons qu'en complétant le pré-entraînement en mots masqués des réseaux neuronaux transformer par des objectifs de prédiction extraits d'une base de connaissances biomédicales, leurs performances sur deux tâches différentes de reconnaissance d'entités nommées en français peuvent être augmentées.

## ABSTRACT

Unsupervised language model augmentation via knowledge graphs for French biomedical entity recognition

Recent work in natural language processing has demonstrated the effectiveness of large pre-trained language models for a wide variety of general applications. Large language models typically acquire these capabilities by modelling the statistical distribution of words via self-supervised training on large amounts of text. However, for low-resource settings, such as clinical document processing, particularly in languages other than English, the need to integrate structured domain knowledge remains of high importance. This paper focuses on one such low-resource specialised application of language modelling - information extraction from French-language clinical & biomedical documents. In particular, we show that supplementing the masked-language pre-training of transformer neural networks with prediction objectives extracted from structured biomedical knowledge graphs improves the downstream performance on two different named entity recognition tasks in French.

**MOTS-CLÉS** : TALN biomédical/clinique, extraction des informations, apprentissage automatique supervisé et auto-supervisé.

**KEYWORDS:** Biomedical/clinical NLP, information extraction, supervised & self-supervised machine learning.

<figure><img src="image_53.png" /></figure>
# 1 Introduction

Les développements des dernières années en informatique et science des données représentent des pistes de recherche assez prometteuses pour le domaine de la santé, et l'utilisation généralisée des dossiers de santé électroniques (DSÉ) dans l'informatique médicale a beaucoup augmenté la disponibilité de dossiers cliniques en texte libre qui peuvent potentiellement être utilisés pour aider à la prise de décision par les professionnels de santé (Wang et al., 2019). Simultanément, les progrès dans le traitement automatique du langage naturel (TALN), notamment des approches basées sur l'apprentissage profond, ont rendu possible un traitement du texte beaucoup plus sophistiqué et efficace, et ont facilité l'amélioration de l'état de l'art dans plusieurs domaines d'application. En particulier, la modélisation de langage générale par des réseaux de neurones transformer (Vaswani et al., 2017) s'est avérée très efficace pour de nombreuses applications. L'utilité de cette modélisation repose sur le paradigme d'apprentissage par transfert, où les représentations des données apprises sur une certaine tâche d'apprentissage, habituellement auto-supervisée, peuvent être utilisées d'une manière performante pour une autre tâche dans le même domaine d'application. Cette approche est d'autant plus utile pour les domaines à faibles ressources, tels que le domaine du traitement des textes cliniques, pour lesquels la quantité de données disponibles pour entraîner des algorithmes sur des tâches spécifiques n'est souvent pas suffisante (Dubois et al., 2017). La communauté de la recherche biomédicale fait alors un usage de plus en plus intensif de ces techniques d'exploration de texte pour toute une série d'applications différentes (Ayala Solares et al., 2020). Toutefois, la modélisation de langage faite uniquement à partir du texte libre se trouve souvent insuffisante pour bien intégrer dans ces modèles les connaissances du domaine clinique qui sont nécessaires pour un traitement efficace et fiable des documents cliniques (Sushil et al., 2021). Dans ce travail, nous nous concentrons sur la tâche de la reconnaissance des entités nommées, l'une des tâches supervisées les plus étudiées dans le domaine du traitement des textes cliniques. Le travail d'adaptation des modèles de langage est divisé en trois parties :

- L'adaptation des modèles pour le domaine clinique par pré-entraînement sur un corpus de cas cliniques (section 2.2),

- L'intégration des connaissances du domaine par l'introduction des tâches supplémentaires - classification des triplets et prédiction des liens - basées sur le graphe de connaissances UMLS (Bodenreider (2004), section 2.3).

- L'adaptation des modèles pour les tâches de classification des mots par rapport à des catégories spécifiques au domaine (sections 2.4 et 3).

Nous étudions les performances de trois variantes de l'encodeur de texte BERT (Devlin et al., 2019) sur trois tâches de reconnaissance des entités nommées. Les trois variantes pour lesquelles nous présentons des résultats dans ce papier sont CamBERT (Martin et al., 2020), FlaubERT (Le et al., 2020), et une version de l'encodeur entraînée from-scratch sur un corpus de cas cliniques en français. Une description plus détaillée des corpus utilisés se trouve dans la section 1.3. Nous mettons à disposition le code et les modèles utilisés lors de nos expériences.

## 1.1 Encodeurs transformer pour le domaine clinique

Il existe plusieurs études qui adaptent l'architecture neuronale des transformers pour le domaine médical ; notamment Alrowili & Shanker (2021); Li et al. (2020); Lee et al. (2020) et Alsentzer et al. (2019). Ces travaux ont tous introduit des nouvelles variantes du modèle BERT et montrent des résultats au niveau de l'état de l'art sur des tâches telles que la prédiction de mortalité des patients, la
reconnaissance des entités médicales, la classification des documents, etc. Les travaux listés ci-dessus sont tous basés sur la langue anglaise et assez peu de projets ont été réalisés pour le français. Bien que le développement d'un modèle de langage français spécialisé pour le domaine biomédical soit un sujet de recherche très pertinent sur lequel quelques travaux ont déjà été menés (Berhe et al., 2022; Dura et al., 2022; El Boukkouri et al., 2020), il n'existe pas de modèle de langage clinique en français librement disponible à la communauté de recherche, au moment de la rédaction de cet article. Il existe aussi quelques études sur l'adaptation des transformers français à des tâches de traitement de textes médicaux comme la reconnaissance des entités (Le Clercq de Lannoy et al., 2022; Copara et al., 2020) et la classification des documents (Chenais et al., 2021), mais il s'agit d'un domaine qui n'a pas encore été pleinement exploré.

## 1.2 Travaux connexes : intégration des bases de connaissances biomédicales

Une grande partie des données liées au domaine de la santé et de la médecine est stockée sous une forme structurée, comme les ontologies ou les graphes de connaissances. L'importance d'exploiter ces données pour des applications d'apprentissage machine est donc largement reconnu dans ces domaines, particulièrement pour le traitement du texte (Chang et al., 2020; Nicholson & Greene, 2020). Il a été démontré que les méthodes d'apprentissage combinant des représentations neuronales de texte avec des données biomédicales structurées améliorent les résultats obtenus dans une large gamme de tâches du traitement du texte médical en anglais (Naseem et al., 2022; Meng et al., 2021; Roy & Pan, 2021). Plusieurs stratégies pour intégrer les graphes de connaissances dans les modèles de langue de type BERT existent. Ces méthodes peuvent être divisées en deux types d'approches : 1) des modifications de l'architecture neuronale du modèle pour intégrer des plongements de graphes de connaissance dans le même espace vectoriel que les plongements de mots (Peters et al. (2019), par exemple), et 2) des modifications des données et de l'objectif de pré-entraînement pour que le modèle prenne en compte les informations contenues dans la base de connaissances en construisant ses plongements de mots, sans changer la structure interne du transformer. Dans ce travail, nous nous limitons aux approches du deuxième type, en nous positionnant dans un paradigme centré sur les données (Hamid, 2022). Autrement dit, nous exploitons uniquement la flexibilité des transformers de s'adapter à plusieurs modalités de données et plusieurs objectifs d'apprentissage. Nous pouvons conclure qu'avec des architectures qui sont généralisables de telle manière pour la modélisation de langage, il n'y a pas toujours besoin de changer leur structure pour les adapter aux types de données autres que le texte.

## 1.3 Données utilisées

**Corpus de texte clinique** Pour le pré-entraînement par mots masqués des modèles, nous utilisons la partie française du corpus E3C (European Clinical Case Corpus, Minard et al. (2021)), mis à disposition par l'organisation ELG (European Language Grid)<fnref n="1" />. Ce corpus consiste en des descriptions des cas cliniques tirés de revues médicales en français ainsi que des documents d'information sur les médicaments en provenance d'une base de données publique française. Nous nous limitons à ce corpus uniquement pour montrer l'efficacité de ces approches, même dans les situations pour lesquelles une quantité relativement faible de textes est disponible. Au total, il contient 25 740 documents. Pour nettoyer les documents de ce corpus, nous avons simplement enlevé les URLs et supprimé les phrases

<footnote n="1">1. https://live.european-language-grid.eu/catalogue/corpus/7618</footnote>
contenant moins de quatre mots. Après ce nettoyage, le corpus entier de pré-entraînement se compose de 63,7 millions de mots et 2,7 millions de phrases.

**Base de connaissances médicales** Nous exploitons la base de connaissances UMLS (Système de langage médical unifié, Bodenreider, 2004) pour l'entraînement supplémentaire sur les données structurées. La partie française du métathésaurus UMLS (version 2022AB) contient 203 059 noms de concepts, catégorisés par 60 764 identifiants uniques (CUIs) et liés les uns aux autres par presque 1,5 millions de relations sémantiques structurées.

**Corpus d'évaluation** Nous utilisons deux tâches de classification des mots pour évaluer la capacité des modèles de reconnaître les entités médicales dans les documents cliniques, à partir des corpus médicaux annotés suivants :

1. **QUAERO** : (Névéol et al., 2014) Pour cette évaluation, nous disposons du corpus de titres MEDLINE annotés dans le cadre de QUAERO, une ressource pour la reconnaissance et la normalisation des entités médicales. Ces titres sont annotés au niveau des mots avec des CUIs et des regroupements sémantiques d'UMLS.

2. **CAS-DEFT** : Ce corpus consiste en des annotations du corpus CAS (Grabar et al., 2018) qui ont été mises à disposition dans le contexte du Défi Fouilles de Texte (DEFT) 2021 (Grouin et al., 2021). Nous utilisons les annotations des mots en fonction des groupes sémantiques UMLS comme les étiquettes d'entraînement pour cette tâche.

Les tailles des partitions de ces corpus utilisées dans nos expériences sont détaillées dans le tableau 4.

<table><caption>TABLE 1 – Nombre de documents utilisés pour l’affinage des modèles de langue pour la reconnaissance des entités médicales.</caption><thead><tr><th></th><th>train</th><th>dev</th><th>test</th></tr></thead><tbody><tr><td>QUAERO</td><td>788</td><td>790</td><td>787</td></tr><tr><td>CAS-NER</td><td>167</td><td>54</td><td>54</td></tr></tbody></table>

# 2 Méthodologie

## 2.1 Le Métathésaurus UMLS

Le métathésaurus UMLS est constitué de grandes quantités de concepts biomédicaux recoltés à partir de nombreuses sources d'informations biomédicales ontologiques. L'un de ses aspects les plus utiles est la manière dont il fournit des liens sémantiques entre des paires de concepts provenant de systèmes terminologiques différents. Cela permet notamment de regrouper sous le même identifiant de concept plusieurs termes différents provenant de vocabulaires médicaux différentes. Nous considérons le métathésaurus UMLS comme un graphe $G = (C, R, E)$, où C est l'ensemble de concepts du métathésaurus, R est l'ensemble de types de relations sémantiques qui peuvent exister entre les éléments de C, et E est l'ensemble de liens sémantiques qui existent dans le graphe. Nous générons alors nos données d'apprentissage à partir d'ensembles de triplets ordonnés $(h, r, t) \in E$, où $(h, r) \in C \times C$ et $r \in R$. Les valeurs possibles pour r, soit les types de regroupement sémantique du métathésaurus, sont les suivantes :
1. AQ : *h* peut qualifier *t*

2. QB : *h* peut être qualifié par *t*

3. PAR : *h* est un concept parent de *t* dans un des vocabulaires sources

4. CHD : *t* est un concept parent de *h* dans un des vocabulaires sources

5. RN : *h* a une définition plus étroite que *t*

6. RB : *h* a une définition plus large que *t*

7. SY : *h* et *t* sont synonymes

En utilisant les termes associés avec chaque concept $c \in C$, nous construisons des séquences textuelles à partir des triplets $(h, r, t)$. Comme il peut y avoir plusieurs termes associés avec chaque concept, nous utilisons les preferred terms indiqués par le métathésaurus, sauf dans les cas des synonymes $r = SY$, auquel cas nous utilisons un autre terme associé avec le concept pour réprésenter l'entité $t$.

## 2.2 Entraînement des modèles de langage

Pour effectuer l'entraînement par mots masqués des modèles de langue, nous séparons le corpus E3C décrit dans la section 1.3 en phrases, en coupant celles qui dépassent la longueur de séquence maximale. Pour les expériences détaillées dans ce travail, nous utilisons la configuration standard pour des modèles de type BERT; 15% des mots masqués, taux d'apprentissage $2 \times 10^{-5}$, avec une longueur de séquence maximale de 256.

## 2.3 Entraînement avec une base de connaissance

À partir du métathésaurus UMLS, nous formulons deux objectifs de classification pour compléter le pré-entraînement des modèles de langue. Le premier pas pour faciliter l'intégration de ces tâches dans le processus d'entraînement est de redéfinir le vocabulaire et les tokens spéciaux utilisés par les modèles BERT. Pour les modèles que nous entraînons à partir de zéro, nous rajoutons la liste de tous les mots uniques apparaissant dans la partie française de l'UMLS (5 870 mots), en excluant ceux qui contiennent des caractères non alphabétiques, au vocabulaire initial tiré du corpus E3C. Ce vocabulaire supplementaire tiré du métathésaurus comprend les termes complexes (des concepts médicaux qui sont dénotés sous forme de groupes de mots plutôt que des mots uniques) ainsi que les termes simples. Cela permet aux transformers d'améliorer la modélisation des textes spécifiques au domaine médical et d'encoder plus directement les concepts du graphe de connaissance. Pour structurer les séquences d'entrées pour l'entraînement à base des relations sémantiques, nous rajoutons 8 tokens spéciaux aux vocabulaires des modèles; un pour représenter chacun des types de relation qui apparaissent dans le graphe.

**Classification des triplets** En s'inspirant du travail de Hao et al. (2020), nous construisons un jeu de données pour la classification binaire des triplets $(h, r, t)$ du graphe de connaissances comme étant vrai ou faux, où $h$ et $t$ sont les noms des concepts en question et $r$ la relation entre eux. Nous tirons un échantillon des triplets du graphe comme exemples positifs. Ensuite, pour équilibrer le jeu de données avec des exemples négatifs, nous tirons des paires de concepts qui appartiennent au même groupe sémantique, mais pour lesquels une relation $r$ n'existe pas. Afin de générer des exemples d'entraînement de faux triplets, nous utilisons deux stratégies différentes d'échantillonnage négatif.
Premièrement, pour former des exemples directement contrastés pour les relations existantes, nous échantillonnons les triples $(h, r, t)$ où $h$ et $t$ appartiennent à différents groupes sémantiques et construisons des faux triplets correspondants avec le même type de relation et les mêmes catégories de groupe sémantique, c'est-à-dire $(\hat{h}, r, \hat{t}) \notin G$ où $\hat{h}$ et $\hat{t}$ appartiennent au même groupe sémantique que $h$ et $t$, respectivement. Deuxièmement, afin de fournir des exemples contrastés pour les types de relation, nous échantillonnons des triplets pour lesquels $h$ et $t$ appartiennent au même groupe sémantique, et formons l'exemple d'entraînement négatif en changeant le type de relation $r$. Par souci de l'équilibre du jeu de données, les ensembles de données de classification des triples utilisés dans ce travail sont constitués de 50 % d'exemples positifs (triples réels du métathésaurus), de 25 % d'exemples générés par la première méthode d'échantillonnage négatif et du reste par la seconde. Les données d'entrée pour les transformers sont alors sous la forme $[CLS] w_1^h \cdots w_m^h [REL] w_1^t \cdots w_n^t [SEP]$, où $[CLS]$ et $[SEP]$ sont des tokens spéciaux standards pour l'encodage BERT, $[REL]$ est le token spécial qui correspond à $r$, et les $w_i^h$ et $w_i^t$ sont les séquences de tokens émises par le tokenizer pour $h$ et $t$ respectivement. Le token $[CLS]$ est transmis à une couche de classification linéaire qui produit une prédiction binaire, comme il est d'usage pour des tâches de classification avec des modèles BERT pré-entraînés.

**Prédiction des entités** Pour cette tâche de classification, nous complexifions le problème de classification des triplets décrit ci-dessus en le combinant avec l'objectif de prédiction des mots masqués. Les séquences d'entrées pour cette tâche ont la même structure que la précédente, mais au lieu de créer des exemples synthétiques des fausses relations et utiliser uniquement $[CLS]$ pour prédire si la relation existe ou pas, nous masquons systématiquement les tokens $w_i^t$ avec le même mask token utilisé pour l'entraînement à partir du texte libre. Le modèle aura alors comme objectif de prédire l'entité $t$ d'une relation à partir de $h$ et $r$. La formulation de ce dernier est partiellement basée sur celle de Meng et al. (2021).

Pour chacune des deux tâches décrites ci-dessus, nos expériences sont faites sur un jeu de données de 100K séquences, où les relations ont été tirées aléatoirement parmi les entrées françaises dans le tableau de relations MRREL.RRF du métathésaurus.

## 2.4 Affinage des modèles pour la reconnaissance des entités biomédicales

À partir des trois corpus d'évaluation mentionnés dans la section 1.3, nous effectuons l'affinage de bout-en-bout des modèles pour la classification des mots des cas cliniques en fonction des catégories spécifiques au domaine médical. Pour faciliter l'implémentation de ces deux tâches, nous avons pré-traité les documents pour que l'étiquetage des mots soit "plat", c'est-à-dire avoir une seule étiquette par mot. Pour effectuer ce prétraitement, nous avons utilisé directement l'ensemble des relations sémantiques UMLS pour remplacer des chevauchements par des concepts plus généraux.

Les annotations sont sous la forme BRAT (Stenetorp et al., 2012), et peuvent alors être dénotées comme un ensemble $A = \{a_i = (\text{CUI}^{a_i}, \text{SG}^{a_i}, s_1^{a_i}, s_2^{a_i})\} \subset C \times T \times \mathbb{N} \times \mathbb{N}$ où CUI et SG représentent l'identifiant du concept et le groupe sémantique respectivement. $s_1$ et $s_2$ correspondent au span occupé par le mot dans le document en question (par souci de simplicité, nous nous limitons à la notation des spans continues, mais dans la pratique, nous traitons également des annotations discontinues). Pour aplatir les entités imbriquées, nous définissons un ensemble de concepts "de base" pour chaque groupe sémantique, en utilisant les types sémantiques, une catégorisation plus fine des concepts de l'UMLS. Ensuite, en utilisant les relations hiérarchiques (PAR/CHD et RB/RN), nous
pouvons calculer une mesure de généralité d'un concept par le nombre minimal d'étapes entre le concept et un des concepts de base. La procédure de mise à plat des annotations A d'un document est alors la suivante :

1. Calculer l'ensemble (de taille $n$) des chevauchements entre mentions d'entités, effectivement un ensemble de combinaisons des éléments de $\mathcal{A}$ :

$$ \mathcal{O} = \{g_k = (a_1 \cdots a_m) : s_2^{a_1} \le s_1^{a_2}, \dots, s_2^{a_{m-1}} \le s_1^{a_m} \}_{k=1}^n $$

2. Pour chaque élément $g$ de $\mathcal{O}$, nous prenons ensuite l'ensemble $\phi(g) \subset C$ de concepts ayant une relation hiérarchique plus général (PAR ou RB) avec les concepts du chevauchement.

3. Les annotations imbriquées $g$ sont alors remplacées avec l'élément de $\phi(g)$ le plus spécifique :

$$ \operatorname{argmax}_{\phi(g)} [\min_{b \in B} d(g, b)] $$

où $d$ est une fonction qui produit la “distance” hiérarchique entre deux concepts et $B$ est l'ensemble de concepts de base. Si $\phi(g)$ est vide, nous ne gardons que l'annotation la plus courte parmi les éléments du chevauchement.

**Tâche 1 : QUAERO-SG** Dans cette tâche, l'objectif est de classifier les mots en fonction du groupe sémantique de l'UMLS auquel ils appartiennent. La granularité utilisée pour les annotations QUAERO nous donne dix regroupements, dont nous nous focalisons sur les suivants :

1. Désordre/trouble (DISO)

2. Procédure (PROC)

3. Structure anatomique (ANAT)

4. Substance chimique (CHEM)

5. Être vivant (LIVB)

6. Entité physiologique (PHYS)

En rajoutant une catégorie none pour les mots qui n'appartiennent à aucun de ces regroupements, nous obtenons alors un problème de classification avec une cardinalité de 7, pour lequel le nombre d'occurrences est affiché dans le tableau 2.

<table><caption>TABLE 2 – Nombre d'occurrences de chacune des catégories cibles dans la tâche QUAERO-SG.</caption><thead><tr><th>Catégories QUAERO-SG</th><th>train</th><th>dev</th><th>test</th></tr></thead><tbody><tr><td>DISO</td><td>1067</td><td>963</td><td>1144</td></tr><tr><td>PROC</td><td>741</td><td>748</td><td>719</td></tr><tr><td>ANAT</td><td>486</td><td>460</td><td>474</td></tr><tr><td>CHEM</td><td>377</td><td>395</td><td>363</td></tr><tr><td>LIVB</td><td>323</td><td>345</td><td>340</td></tr><tr><td>PHYS</td><td>177</td><td>173</td><td>157</td></tr><tr><td>Total</td><td>3171</td><td>2911</td><td>3040</td></tr></tbody></table>

**Tâche 2 : CAS-CATEG** Les cas cliniques de ce corpus sont annotés avec 14 types d'entités, 7 étant utilisées pour la tâche de reconnaissance des entités, présentées dans le tableau 3.
<table><caption>TABLE 3 – Nombre d'occurrences de chacune des catégories cibles dans la tâche CAS-CATEG.</caption><thead><tr><th>Catégories CAS-CATEG</th><th>train</th><th>dev</th><th>test</th></tr></thead><tbody><tr><td>sosy (signe ou symptôme)</td><td>13 977</td><td>4 940</td><td>4 297</td></tr><tr><td>examen</td><td>2 997</td><td>1 054</td><td>917</td></tr><tr><td>pathologie</td><td>2 064</td><td>460</td><td>238</td></tr><tr><td>traitement</td><td>1 824</td><td>859</td><td>884</td></tr><tr><td>moment</td><td>1 783</td><td>467</td><td>478</td></tr><tr><td>substance</td><td>1 517</td><td>542</td><td>346</td></tr><tr><td>dose</td><td>1 122</td><td>131</td><td>58</td></tr><tr><td>Total</td><td>25 284</td><td>8 453</td><td>7 218</td></tr></tbody></table>

## 3 Expériences

L'entraînement par mots masqués a été lancé à partir de deux modèles de langue pré-entraînés sur les corpus en langue française du domaine général; les versions *base* de CamembERT (Martin et al., 2020) et FlauBERT (Le et al., 2020). Nous comparons les performances de ces deux modèles avec une version du modèle DistilBERT (Sanh et al., 2019) initialisé de zéro avec les mêmes paramètres d'architecture que camembert-base. Toutes les trois architectures ont le même nombre (12) de couches neuronales et de têtes d'attention, et la même taille de vecteurs de sortie ($d = 768$). La seule différence architecturale réside dans la valeur de la dimension intérieure : $H = 2048$ pour FlauBERT, contre $H = 3072$ pour les deux autres. Pour l'entraînement par mots masqués effectué sur le corpus E3C, nous avons entraîné chacune de ces variantes pendant 64 époques avec la méthode d'optimisation Adam avec pondération (Loshchilov & Hutter, 2017), ce que nous utilisons également pour le reste des entraînements et affinage.

Pour la tâche de classification des triplets, nous entraînons les modèles pendant 8 époques avec un taux d'apprentissage de $10^{-4}$. La tâche de prédiction des entités étant plus complexe et ayant une dimension de sortie plus élevée, la décroissance de la valeur de la fonction de perte a atteint un palier autour de 24 époques, ce qui est effectivement la durée d'apprentissage pour laquelle les résultats sont présentés (le taux d'apprentissage utilisé est identique à celui de la classification des triplets).

Pour les étapes finales d'affinage pour la reconnaissance des entités, nous avons entraîné les modèles de bout-en-bout avec une couche linéaire de classification des mots pendant 4 époques sur le jeu train, avec les hyperparamètres suivants (choisis en fonction de la performance sur le jeu dev) : taux d'apprentissage $5 \times 10^{-5}$, longueur maximale des séquences 512 et une taille effective des batchs de 64. Les F-mesures (macro) sur le jeu de test pour les deux tâches de reconnaissance des entités sont indiquées dans le tableau 4, avec pour référence une comparaison avec un des modèles de langue anglaise biomédicale les plus largement utilisés, BioBERT de Lee et al. (2020). Dans le tableau, "MLM E3C" fait référence au pré-entraînement sur le corpus E3C, "ClfTriples" à la tâche de classification des triplets et "EntPred" à l'affinage par prédiction des entités.

Nous voyons qu'en général, l'entraînement sur le corpus E3C apporte le plus de bénéfices pour les modèles pré-entraînés. L'ajout des tâches basées sur l'UMLS apporte des améliorations variables en fonction des deux différentes tâches d'évaluation. Bien que les résultats obtenus dans ces expériences ne soient pas au niveau de l'état de l'art sur les tâches définies sur les corpus QUAERO et CAS (Hiot et al., 2021; van Mulligen et al., 2016), il est important de noter l'amélioration systématique de la F-mesure apportée par l'ajout des tâches d'entraînement sur les relations sémantiques UMLS,
<table><caption>TABLE 4 – Résultats sur les deux jeux de données test.</caption><thead><tr><th>Modèle de base</th><th>Adaptation</th><th>QUAERO-SG</th><th>CAS-CATEG</th></tr></thead><tbody><tr><td>BioBERT</td><td>-</td><td>51,8</td><td>46,1</td></tr><tr><td rowspan="4">flaubert_base_cased</td><td>-</td><td>55,3</td><td>46,0</td></tr><tr><td>+ MLM E3C</td><td>59,4 (+4,1)</td><td>48,1 (+2,1)</td></tr><tr><td>+ ClfTriples</td><td>59,7 (+0,3)</td><td>51,5 (+3,4)</td></tr><tr><td>+ EntPred</td><td>64,5 (+4,8)</td><td>54,2 (+2,7)</td></tr><tr><td rowspan="4">camembert-base</td><td>-</td><td>57,4</td><td>46,2</td></tr><tr><td>+ MLM E3C</td><td>61,8 (+4,4)</td><td>49,6 (+3,4)</td></tr><tr><td>+ ClfTriples</td><td>63,1 (+1,3)</td><td>52,8 (+3,2)</td></tr><tr><td>+ EntPred</td><td><b>68,9 (+5,8)</b></td><td><b>56,6 (+3,8)</b></td></tr><tr><td rowspan="3">DistilBERT from-scratch</td><td>+ MLM E3C</td><td>53,5</td><td>39,7</td></tr><tr><td>+ ClfTriples</td><td>61,7 (+8,2)</td><td>48,0 (+8,3)</td></tr><tr><td>+ EntPred</td><td>64,3 (+2,6)</td><td>53,1 (+5,1)</td></tr></tbody></table>

notamment l'objectif de classification des triplets dans le cas du modèle entraîné à partir de zéro.

# 4 Conclusion et Perspectives

Cet article présente une étude sur l'effet de l'augmentation des modèles de langage en utilisant une phase de pré-entraînement supplémentaire sur un graphe de connaissances médicales. Cette augmentation permet notamment d'améliorer les performances des modèles considérés sur deux tâches de reconnaissance d'entités nommées. Le code et les modèles utilisés seront mis à disposition pour permettre l'éventuelle reproduction des expériences et l'amélioration des approches.

**Limitations et travaux futurs** La mise en œuvre des approches proposées dans ce travail présente de nombreuses limitations qui peuvent entraver les performances. Celles-ci seront abordées dans des travaux ultérieurs. Premièrement, pour faciliter la comparaison directe des différentes phases d'entraînement, nous avons enchaîné de manière séquentielle les pré-entraînements MLM et KB, ce qui risque d'introduire un biais en faveur des objectifs les plus récents, étant donné la tendance de tels modèles de langue d'oublier des informations précédemment apprises (Korbak et al., 2021). Dans les prochaines étapes de ce travail, nous comptons mélanger les séquences d'entraînement en provenance du métathésaurus avec celles provenant des corpus du texte libre, et faire apprendre les modèles avec une fonction objectif mixte (Hao et al., 2020; Yao et al., 2019). La continuation de ce travail comprendra également l'élargissement de l'éventail des objectifs supplémentaires; nous étudierons l'impact de la prédiction des liens entre les concepts du graphe, ainsi que la classification des concepts par rapport à leurs catégories sémantiques dans l'ontologie UMLS. Enfin, il est important de noter la limitation des tâches d'évaluation en termes de taille des corpus et de granularité et d'exhaustivité des catégories d'entités considérées. Les travaux futurs impliqueront aussi des évaluations sur la reconnaissance des entités d'une granularité plus riche ainsi que d'autres types de tâches d'évaluation du domaine du traitement du langage clinique.
Références

ALROWILI S. & SHANKER V. (2021). BioM-Transformers: Building Large Biomedical Language Models with BERT, ALBERT and ELECTRA. p. 221–227, Online: Association for Computational Linguistics. DOI: 10.18653/v1/2021.bionlp-1.24.

ALSENTZER E., MURPHY J., BOAG W., WENG W.-H., JINDI D., NAUMANN T. & MCDERMOTT M. (2019). Publicly Available Clinical BERT Embeddings. In *Proceedings of the 2nd Clinical Natural Language Processing Workshop*, p. 72–78, Minneapolis, Minnesota, USA: Association for Computational Linguistics. DOI: 10.18653/v1/W19-1909.

AYALA SOLARES J. R., DILETTA RAIMONDI F. E., ZHU Y., RAHIMIAN F., CANOY D., TRAN J., PINHO GOMES A. C., PAYBERAH A. H., ZOTTOLI M., NAZARZADEH M., CONRAD N., RAHIMI K. & SALIMI-KHORSHIDI G. (2020). Deep learning for electronic health records: A comparative review of multiple deep neural architectures. *Journal of Biomedical Informatics*, **101**, 103337. DOI: 10.1016/j.jbi.2019.103337.

BERHE A., DRAZNIEKS G., MARTENOT V., MASDEU V., DAVY L. & ZUCKER J.-D. (2022). ALIBERT: A Pretrained language model for French biomedical text: a preprint. working paper or preprint.

BODENREIDER O. (2004). The unified medical language system (UMLS): integrating biomedical terminology. PubMed PMID: 14681409; PubMed Central PMCID: PMC308795, DOI: doi: 10.1093/nar/gkh061.

CHANG D., BALAŽEVIĆ I., ALLEN C., CHAWLA D., BRANDT C. & TAYLOR A. (2020). Benchmark and Best Practices for Biomedical Knowledge Graph Embeddings. In *Proceedings of the 19th SIGBioMed Workshop on Biomedical Language Processing*, p. 167–176, Online: Association for Computational Linguistics. DOI: 10.18653/v1/2020.bionlp-1.18.

CHENAIS G., TOUCHAIS H., AVALOS M., BOURDOIS L., REVEL P., GIL-JARDINÉ C. & LAGARDE E. (2021). Performance en classification de données textuelles des passages aux urgences des modèles BERT pour le français. In *PFIA 2021 - Journée Santé et I.A.*, Bordeaux / Virtual, France.

COPARA J., KNAFOU J., NADERI N., MORO C., RUCH P. & TEODORO D. (2020). Contextualized French Language Models for Biomedical Named Entity Recognition. In R. CARDON, N. GRABAR, C. GROUIN & T. HAMON, Éds., *6e conférence conjointe Journées d'Études sur la Parole (JEP, 33e édition)*, *Traitement Automatique des Langues Naturelles (TALN, 27e édition)*, *Rencontre des Étudiants Chercheurs en Informatique pour le Traitement Automatique des Langues (RÉCITAL, 22e édition)*. Atelier DÉfi Fouille de Textes, p. 36–48, Nancy, France: ATALA.

DEVLIN J., CHANG M.-W., LEE K. & TOUTANOVA K. (2019). BERT: Pre-training of deep bidirectional transformers for language understanding. In *Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers)*, p. 4171–4186, Minneapolis, Minnesota: Association for Computational Linguistics. DOI: 10.18653/v1/N19-1423.

DUBOIS S., ROMANO N., JUNG K., SHAH N. & KALE A. D. C. (2017). The Effectiveness of Transfer Learning in Electronic Health Records Data.

DURA B., JEAN C., TANNIER X., CALLIGER A., BEY R., NEURAZ A. & FLICOTEAUX R. (2022). Learning structures of the french clinical language: development and validation of word embedding models using 21 million clinical reports from electronic health records. DOI: 10.48550/ARXIV.2207.12940.
EL BOUKKOURI H., FERRET O., LAVERGNE T., NOJI H., ZWEIGENBAUM P. & TSUJII J. (2020). CharacterBERT : Reconciling ELMo and BERT for word-level open-vocabulary representations from characters. In *Proceedings of the 28th International Conference on Computational Linguistics*, p. 6903–6915, Barcelona, Spain (Online) : International Committee on Computational Linguistics. DOI: 10.18653/v1/2020.coling-main.609.

GRABAR N., CLAVEAU V. & DALLOUX C. (2018). CAS : French Corpus with Clinical Cases. In *Proceedings of the Ninth International Workshop on Health Text Mining and Information Analysis*, p. 122–128, Brussels, Belgium : Association for Computational Linguistics. DOI: 10.18653/v1/W18-5614.

GROUIN C., GRABAR N. & ILLOUZ G. (2021). Classification de cas cliniques et évaluation automatique de réponses d'étudiants : présentation de la campagne deft 2021. *Actes de DEFT. Lille*.

HAMID O. H. (2022). From model-centric to data-centric AI : A paradigm shift or rather a complementary approach ? In *2022 8th International Conference on Information Technology Trends (ITT)*, p. 196–199. DOI: 10.1109/ITT56123.2022.9863935.

HAO B., ZHU H. & PASCHALIDIS I. (2020). Enhancing Clinical BERT Embedding using a Biomedical Knowledge Base. p. 657–661, Barcelona, Spain (Online) : International Committee on Computational Linguistics.

HIOT N., MINARD A.-L. & BADIN F. (2021). Doing@deft : utilisation de lexiques pour une classification efficace de cas cliniques. In *Actes de l'atelier Défi Fouille de Textes@TALN 2020 Classification de cas cliniques et correction automatique de copies d'étudiants. Atelier DÉfi Fouille de Textes*, p. 41–53, Lille, France : Association pour le Traitement Automatique des Langues.

KORBAK T., ELSAHAR H., KRUSZEWSKI G. & DYMETMAN M. (2021). Controlling conditional language models with distributional policy gradients. *CtrlGen @ Neural Information Processing Systems*.

LE H., VIAL L., FREJ J., SEGONNE V., COAVOUX M., LECOUTEUX B., ALLAUZEN A., CRABBÉ B., BESACIER L. & SCHWAB D. (2020). FlauBERT : Unsupervised Language Model Pre-training for French. In *Proceedings of The 12th Language Resources and Evaluation Conference*, p. 2479–2490, Marseille, France : European Language Resources Association.

LE CLERCQ DE LANNOY T., BESANÇON R., FERRET O., TOURILLE J., BRIN-HENRY F. & VIERU B. (2022). Stratégies d'adaptation pour la reconnaissance d'entités médicales en français. In Y. ESTÈVE, T. JIMÉNEZ, T. PARCOLLET & M. ZANON BOITO, Éds., *Traitement Automatique des Langues Naturelles (TALN 2022)*, p. 215–225, Avignon, France : ATALA. HAL : hal-03701500.

LEE J., YOON W., KIM S., KIM D., KIM S., SO C. H. & KANG J. (2020). BioBERT : a pre-trained biomedical language representation model for biomedical text mining. *Bioinformatics 2020*.

LI Y., RAO S., SOLARES J. R. A., HASSAINE A., RAMAKRISHNAN R., CANOY D., ZHU Y., RAHIMI K. & SALIMI-KHORSHIDI G. (2020). BEHRT : Transformer for Electronic Health Records. *Scientific Reports*, **10**, 7155. Number : 1 Publisher : Nature Publishing Group, DOI : 10.1038/s41598-020-62922-y.

LOSHCHILOV I. & HUTTER F. (2017). Decoupled weight decay regularization. In *International Conference on Learning Representations*.

MARTIN L., MULLER B., ORTIZ SUÁREZ P. J., DUPONT Y., ROMARY L., DE LA CLERGERIE É., SEDDAH D. & SAGOT B. (2020). CamemBERT : a tasty French language model. In *Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics*, p. 7203–7219, Online : Association for Computational Linguistics.
MENG Z., LIU F., CLARK T., SHAREGHI E. & COLLIER N. (2021). Mixture-of-Partitions : Infusing Large Biomedical Knowledge Graphs into BERT. In *Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing*, p. 4672–4681, Online and Punta Cana, Dominican Republic : Association for Computational Linguistics. DOI: 10.18653/v1/2021.emnlp-main.383.

MINARD A.-L., ZANOLI R., ALTUNA B., SPERANZA M., MAGNINI B. & LAVELLI A. (2021). European clinical case corpus. Bruno Kessler Foundation. DOI: 10.57771/DEY2-G751.

NASEEM U., BANDI A., RAZA S., RASHID J. & CHAKRAVARTHI B. R. (2022). Incorporating Medical Knowledge to Transformer-based Language Models for Medical Dialogue Generation. In *Proceedings of the 21st Workshop on Biomedical Language Processing*, p. 110–115, Dublin, Ireland : Association for Computational Linguistics. DOI: 10.18653/v1/2022.bionlp-1.10.

NICHOLSON D. N. & GREENE C. S. (2020). Constructing knowledge graphs and their biomedical applications. *Computational and structural biotechnology journal*, **18**, 1414–1428. Place : Netherlands, DOI: 10.1016/j.csbj.2020.05.017.

NÉVÉOL A., GROUIN C., LEIXA J., ROSSET S. & ZWEIGENBAUM P. (2014). The QUAERO French Medical Corpus : A Ressource for Medical Entity Recognition and Normalization. In *Proc of BioTextMining Work*, p. 24–30.

PETERS M. E., NEUMANN M., LOGAN R., SCHWARTZ R., JOSHI V., SINGH S. & SMITH N. A. (2019). Knowledge enhanced contextual word representations. In *Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP)*, p. 43–54, Hong Kong, China : Association for Computational Linguistics. DOI: 10.18653/v1/D19-1005.

ROY A. & PAN S. (2021). Incorporating medical knowledge in BERT for clinical relation extraction. In *Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing*, p. 5357–5366, Online and Punta Cana, Dominican Republic : Association for Computational Linguistics. DOI: 10.18653/v1/2021.emnlp-main.435.

SANH V., DEBUT L., CHAUMOND J. & WOLF T. (2019). Distilbert, a distilled version of bert : smaller, faster, cheaper and lighter. *ArXiv, abs/1910.01108*.

STENETORP P., PYYSALO S., TOPIĆ G., OHTA T., ANANIADOU S. & TSUJII J. (2012). brat : a web-based tool for nlp-assisted text annotation.

SUSHIL M., SUSTER S. & DAELEMANS W. (2021). Are we there yet? Exploring clinical domain knowledge of BERT models. In *Proceedings of the 20th Workshop on Biomedical Language Processing*, p. 41–53, Online : Association for Computational Linguistics. DOI: 10.18653/v1/2021.bionlp-1.5.

VAN MULLIGEN E. M., AFZAL Z., AKHONDI S. A., VO D. & KORS J. A. (2016). Erasmus mc at clef ehealth 2016 : Concept recognition and coding in french texts. In *Conference and Labs of the Evaluation Forum*.

VASWANI A., SHAZEER N., PARMAR N., USZKOREIT J., JONES L., GOMEZ A. N., KAISER L. & POLOSUKHIN I. (2017). Attention is All you Need. In I. GUYON, U. V. LUXBURG, S. BENGIO, H. WALLACH, R. FERGUS, S. VISHWANATHAN & R. GARNETT, Éds., *Advances in Neural Information Processing Systems*, volume 30 : Curran Associates, Inc.

WANG Y., TAFTI A., SOHN S. & ZHANG R. (2019). Applications of Natural Language Processing in Clinical Research and Practice. In *Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics : Tutorials*, p. 22–25, Minneapolis, Minnesota : Association for Computational Linguistics. DOI: 10.18653/v1/N19-5006.
YAO L., MAO C. & LUO Y. (2019). KG-BERT : BERT for knowledge graph completion. ArXiv, abs/1909.03193.
# Annotation d'entités cliniques en utilisant les Larges Modèles de Langue

Simon Meoni¹, ²

Théo Ryffel²

Éric de la Clergerie¹

(1) Inria, Paris, France

(2) Arkhn, Paris, France

simon.meoni@arkhn.com, eric.de_la_clergerie@inria.fr

## RÉSUMÉ

Dans le domaine clinique et dans d'autres domaines spécialisés, les données sont rares du fait de leur caractère confidentiel. Ce manque de données est un problème majeur lors du fine-tuning de modèles de langue. Par ailleurs, les modèles de langue de très grande taille (LLM) ont des performances prometteuses dans le domaine médical. Néanmoins, ils ne peuvent pas être utilisés directement dans les infrastructures des établissements de santé pour des raisons de confidentialité des données. Nous explorons une approche d'annotation des données d'entraînement avec des LLMs pour entraîner des modèles de moins grandes tailles mieux adaptés à notre problématique. Cette méthode donne des résultats prometteurs pour des tâches d'extraction d'information.

## ABSTRACT

Annotate Clinical Data Using Large Language Model Predictions

In clinical and other specialized domains, data are scarce due to their confidential nature. This lack of data is a major problem when fine-tuning language models. Nevertheless, very large language models (LLMs) are promising for the medical domain but cannot be used directly in healthcare facilities due to data confidentiality issues. We explore an approach of annotating training data with LLMs to train smaller models more adapted to our problem. We show that this method yields promising results for information extraction tasks.

**MOTS-CLÉS** : Supervision Faible, Modèle de langue Large, Extraction d'information, TAL dans le domaine clinique.

**KEYWORDS:** Weak supervision, Large Language Model, Extraction Information Task, Clinical NLP.

# 1 Introduction

Les notes cliniques contiennent l'ensemble des interactions entre le patient et le personnel de santé. Les personnels de santé y indiquent notamment leurs observations et les différents actes médicaux réalisés. Malgré l'informatisation des documents cliniques, les notes doivent rester dans un format assez expressif et libre afin de faire gagner du temps au personnel soignant et de permettre la description de situations inhabituelles (Rosenbloom et al., 2011). De plus, un grand nombre d'informations crucales est contenu exclusivement dans ces notes. Selon une étude de Escudié et al. (2017), environ 80% des phénotypes (ensemble de caractères biologiques, physiques observables pouvant caractériser une

<figure><img src="image_54.png" /></figure>
maladie) de patients ne sont présents que dans du texte libre. Cela rend ces documents difficilement exploitables sans l'utilisation de méthodes avancées comme le deep-learning en NLP. L'utilisation de telles méthodes requiert de collecter et d'annoter un nombre important de données médicales. Cependant, Fries et al. (2022) met en avant le fait que les données d'apprentissage dans le domaine biomédical sont peu accessibles, peu documentées et rarement réutilisables dans un cadre commercial ou de recherche, une situation qu'il qualifie de *dataset debt*. Il montre par exemple que seulement 13% des 167 datasets analysés dans son étude sont accessibles et téléchargeables, que 22% utilisent un format standard structuré ou encore que 40% sont dans le domaine public. Ces dernières années, les larges modèles de langage (LLMs) comme GPT3 ont prouvé leur capacité à effectuer un large panel de tâches avec des performances prometteuses en contexte de zero-shot ou de few-shots. C'est une tendance très intéressante pour le développement du traitement automatique du langage naturel clinique, et ses résultats préliminaires sont prometteurs pour les tâches d'extraction d'informations (Agrawal et al., 2022). Cependant, l'utilisation des LLMs soulèverait des préoccupations majeures en matière de confidentialité. En effet, il est important de garantir que le déploiement du modèle est maîtrisé et la prédiction issue du modèle doit évoluer pour s'adapter à des directives d'annotation spécifiques et changeantes. Par ailleurs, la plupart des LLMs ne sont pas disponibles librement (Scao et al., 2022; Ouyang et al., 2022; Thoppilan et al., 2022) et à notre connaissance, seul BLOOM est open-source et déployable dans une infrastructure locale. Enfin, les ressources informatiques nécessaires pour utiliser ces modèles en inférence restent importantes, constituant de fait un obstacle de plus à leur adoption par les établissements de santé.

L'une des approches permettant de résoudre ces enjeux consiste à distiller les LLMs en modèles de taille moins conséquente via des méthodes de supervision faible. La supervision faible a récemment attiré l'attention de la communauté scientifique car elle soulage la tâche d'annotation (Lison et al., 2020, 2021). En effet, cette technique consiste à annoter automatiquement des ensembles de données à l'aide de méthodes basées sur des règles, des dictionnaires ou des techniques plus avancées, puis à entraîner le modèle sur cet ensemble de données.

## 2 Contributions

Notre travail étudie l'utilisation de LLMs dans la technique de distillation de connaissances par le biais de techniques de supervision faible dans le domaine clinique français, en particulier dans l'extraction d'entités cliniques. Plus précisément :

- Nous montrons que la distillation est une technique compétitive par rapport aux techniques classiques de supervision faible dans le domaine clinique français ;

- Nous proposons une approche de supervision faible qui associe les annotations provenant d'extraction de dictionnaire et les prédicitions de LLM pour créer un ensemble de données d'entraînement, surpassant les annotations provenant des seules prédicitions d'InstructGPT-3.

## 3 Travaux Connexes

**Supervision Faible** Le *deep learning* a connu un succès remarquable dans plusieurs domaines au-delà du NLP (Zhang et al., 2022). Cependant, le principal obstacle est la collecte massive de données annotées. Pour remédier à ce problème, la supervision faible remplace l'annotation de vérité
terrain par une annotation automatique basée sur des règles heuristiques ou des règles linguistiques de contrainte. Certaines techniques appelées *supervision distante* exploitent des liens sémantiques à partir de bases de connaissances ou d'ontologies (Lison et al., 2021). Karamanolakis et al. (2021) propose une méthode d'autoapprentissage itérative pour combiner la supervision faible classique et l'inférence du modèle d'apprentissage afin d'extraire des entités non couvertes par les règles heuristiques initiales. Dans le domaine clinique, la supervision faible a déjà été utilisée pour certains cas d'usages cliniques spécifiques (Cusick et al., 2021; Fries et al., 2021; Wang et al., 2019).

**Modèles de Langage Clinique** Dans un contexte spécifique au domaine clinique, certains termes spécifiques sont sous-représentés ou absents dans le domaine général. En conséquence, la communauté en NLP clinique a entraîné des modèles de langage préentraînés sur des corpus spécifiques au domaine (Alsentzer et al., 2019; Lee et al., 2020; Alsentzer et al., 2019), tels que MIMIC-III (Johnson et al., 2016) ou des résumés Pubmed. Ces modèles peuvent être entraînés à partir de poids initialisés ou à partir d'un modèle agnostique pour le spécialiser dans le domaine clinique (Gururangan et al., 2020). Cependant, les gains de performance sont marginaux par rapport au modèle de langage général. La structure du texte et les abréviations présentes dans les notes cliniques ont un impact négatif sur les performances des modèles. Au lieu de préentraîner un modèle clinique spécialisé, certains travaux ont cherché à affiner des modèles LLMs génératifs de langues générales tels que la famille de modèles GPT ou T5 sur une tâche clinique. Ces modèles généraux affinés ont prouvé leur efficacité dans la réponse aux questions cliniques, la dé-identification de documents médicaux ou encore l'extraction de relations (Lehman et al., 2023). Cette approche nécessite toutefois une infrastructure importante et un réaffinage régulier si la distribution des données des rapports cliniques au sein de l'établissement de santé change. Néanmoins, certains LLMs ont été préentraînés sur des notes spécifiques au domaine clinique tel que GatorTron (Yang et al., 2022), BioGPT (Luo et al., 2022) ou ClinicalT5 (Lu et al., 2022) et ont obtenu des performances prometteuses sur plusieurs tâches.

De plus, l'apprentissage en contexte avec des LLMs de langue générale telles que InstructGPT-3 (Ouyang et al., 2022), où aucun entraînement n'a été effectué, donne de bons résultats (Agrawal et al., 2022; Brown et al., 2020) et surpasse les modèles spécialisés de plus petites tailles sur plusieurs tâches cliniques.

**Méthodes basées sur les instructions** L'apprentissage basé sur les instructions pour les modèles de langage génératif traite une tâche comme un problème de modélisation de langage où un modèle de langage prédit les tokens suivant une instruction textuelle (ou *prompt*) donnée en entrée (Sainz et al., 2021). Dans ce paradigme, au lieu d'affiner un modèle pour une tâche donnée ("pré-entraînement, affinage et prédiction"), nous voulons manipuler le comportement d'un modèle de langage pré-entraîné en utilisant un prompt approprié pour obtenir la sortie souhaitée ("pré-entraînement, instructions et prédiction"). L'avantage majeur de cette méthode est qu'un modèle de langage pré-entraîné de manière non supervisée peut être utilisé pour de nombreuses tâches (Liu et al., 2023). De ce fait, le *prompt engineering* a été développé pour explorer la méthode d'instruction la plus adaptée appliquée à un modèle de langue pour résoudre une tâche donnée. Parmi ces méthodes, l'apprentissage en contexte (*in-context learning*) est l'une des méthodes les plus populaires pour l'extraction d'informations, la réponse aux questions ou l'analyse des sentiments. Dans le domaine clinique, certains travaux existent sur la récupération d'informations et la réponse aux questions. Le prompt contient trois composants : le modèle ou le format des exemples, l'ensemble des exemples et l'ordre des prompts tel que présenté dans la Figure 4. Le but est de fournir dans le prompt quelques exemples d'entraînement concaténés
avec l'exemple de test. Cependant, les exemples choisis, leur agencement ainsi que le format ont un impact en termes de performance (Zhao et al., 2021), si bien que ces trois composants doivent être calibrés pour optimiser les performances.

# 4 Méthode

## 4.1 Annoter et distiller des connaissances via une supervision faible

**Extraire des annotations à partir de la sortie LLM** Notre étude s'inspire largement de la méthode développée par Agrawal et al. (2022). Dans ces travaux, ils évaluent la performance d'InstructGPT-3 (Ouyang et al., 2022) pour des tâches de NLP clinique en anglais. InstructGPT-3 obtient des résultats prometteurs, dépassant de loin certains modèles de langues spécialisés pour plusieurs tâches d'extraction d'information. De plus, les auteurs introduisent trois nouveaux ensembles de données pour évaluer les informations cliniques dans un contexte few-shot. Enfin, un nouveau concept, nommé requête guidée (Figure 4) permet de pré-structurer la sortie et faciliter son exploitation via des résolveurs (ou des fonctions de string matching).

Notre travail se distingue par les contributions suivantes :

1. notre domaine d'étude principal est la distillation de connaissances via une supervision faible et l'amélioration de cette technique en combinant des annotations de LLMs et des méthodes basées sur de l'extraction par dictionnaire;

2. nous appliquons nos méthodes au domaine clinique français sur lequel les données annotées sont plus rares, alors que le travail initial a été réalisé en anglais;

3. notre travail se base sur les directives de l'ensemble de données E3C (Magnini et al., 2020) pour réaliser l'extraction des entités cliniques.

Dans ce travail, InstructGPT-3 n'est pas entraîné et est utilisé tel quel; nous nous contentons d'interroger le modèle, aucune étape d'affinage supplémentaire n'est réalisée et nous n'avons accès qu'aux paramètres d'inférence tels que la température, le top p, la pénalité de fréquence ou de présence. Nous réglons la température et le top p à 0 pour contrôler le hasard et avoir un comportement déterministe. Pour ne pas pénaliser les répétitions, nous réglons la pénalité de présence et la pénalité de fréquence à 0. Nous utilisons un modèle InstructGPT-3 (text-davinci-003) (Ouyang et al., 2022) pour inférer toutes les annotations pour toutes nos expériences. Nous donnons en entrée du modèle une instruction que nous complétons par l'exemple à prédire (Figure 4). La sortie d'InstructGPT-3 est une chaîne de caractères que nous structurons afin d'aligner les entités prédites avec le texte initial (Figure 1).

La tâche consiste à annoter les mots (ou tokens) d'une phrase x avec un ensemble d'étiquettes $L := \{O, B_{clin}, I_{clin}\}$ où O dénote un mot du texte sans étiquette, $B_{clin}$ le premier mot d'une entité clinique et $I_{clin}$ les mots suivants selon le format IOB (Ramshaw & Marcus, 1995). Le but est d'analyser une phrase $x = [x_1, ..., x_n] \in \Sigma^*$ et d'identifier pour chaque token $x_i$ la bonne étiquette O, $B_{clin}$, $I_{clin}$ ainsi que l'offset de caractères. La prédiction du modèle est donc $\hat{y} = [y_1, y_2, ..., y_n] \in Y$ où une annotation $y_i$ est définie comme $y_i := \langle x_i, s, e, l \rangle$ avec s l'offset de début, e l'offset de fin et $l \in L$.

Comme mentionné ci-dessus, une méthode basée sur des instructions nécessite de concaténer un template t avec notre phrase x pour donner notre instruction telle que $p = concat(t, x)$. Nous produisons notre sortie $o \in \Sigma^*$ à partir de notre modèle LLM $\Phi$ tel que $o = \Phi(p, \theta_h)$, où $\theta_h$
x = 'Le patient avait présenté une altération progressive de l'état général, une fièvre et des sueurs nocturnes.'
p = concat(t, x)
o = Φ(p, θh) = '-"fièvre" -"sueurs nocturnes"'
r(o, x) = [
    (Le, 0, 2, O), (patient, 4, 11, O), ...,
    (fièvre, 77, 83, Bclin), (et, 85, 87, O),
    (sueurs, 91, 97, Bclin), (nocturnes, 98, 107, Iclin), ...
]

FIGURE 1 – Illustration des étapes de prédiction et de structuration de notre méthode sur un exemple. Le template *t* est illustré dans la Figure 4.

représente l'ensemble des hyperparamètres (*température*, *top p*, *pénalité de fréquence*, *pénalité de présence*) et *o* est une chaîne de caractères.

Nous structurons la sortie *o* en utilisant une fonction de string matching retournant un ensemble d'étoiettes ŷ = r(o, x), où r : Σ* × Σ* → Y est le résolveur appliquant la fonction de string matching.

**Distillation de connaissances via la supervision faible** Enfin, les annotations générées via la prédiction d'InstructGPT-3 sont utilisées comme ensemble d'entraînement pour affiner un modèle de langage plus petit pour la tâche cible.

## 4.2 Instructions

Nous fournissons des instructions de mise en contexte avec trois exemples de données annotées. Nous sélectionnons deux exemples avec plusieurs entités cliniques extraites et un autre sans entités. Ce paramétrage permet de fournir une diversité sémantique d'entités à InstructGPT-3 (Figure 4).

Après plusieurs essais empiriques et analyses qualitatives, nous ajoutons un exemple sans entités cliniques pour éviter trop de faux positifs extraits par le modèle. Nous insérons dans les prompts un nombre réduit de mots clés associés à la définition de l'E3C des entités cliniques. De plus, nous ajoutons les tokens de requête guidée pour expliciter la structure de la réponse afin de faciliter le parsing de la sortie du LLM (Agrawal et al., 2022).

# 5 Expériences

## 5.1 Jeu de données

Nous utilisons le corpus multilingue (anglais, basque, espagnol, français, italien) E3C (Magnini et al., 2020) pour nos expériences, qui se compose de deux types d'annotations : temporelles et entités cliniques. Comme mentionné précédemment, notre objectif est d'extraire des entités cliniques en français. Dans E3C, l'une des tâches supplémentaires est de lier les entités extraites avec des entrées du métathésaurus de l'UMLS. Toutefois, nous nous concentrons sur l'extraction des entités cliniques.
Le jeu de données E3C est organisé en trois couches, chacune correspondant à un ensemble de données annotées d'une certaine manière :

- La première couche (**layer 1**) consiste en une annotation manuelle complète;

- La deuxième couche (**layer 2**) consiste en une annotation semi-automatique réalisée via une extraction par dictionnaire, qui contient des termes de l'UMLS et des termes extraits de la **layer 1**. Un sous-ensemble de cette couche (environ 10%) a été corrigé manuellement<fnref n="1" /> (**layer 2 validate**) et est également utilisé séparément dans notre étude.

- La troisième couche (**layer 3**) est une couche non annotée que non-utilisée dans nos travaux. Nous avons sélectionné le sous-ensemble français d'E3C comprenant des données annotées manuellement et automatiquement pour nos expériences de supervision faible. Cependant, le jeu de données a une quantité limitée de données dans ses différentes couches. Pour pallier ce problème, nous avons divisé le **layer 2** en utilisant une validation croisée à 5 partitions (folds).

## 5.2 Protocole Expérimental

Nous menons des expériences sur des tâches d'extraction d'entités cliniques. Pour toutes nos expériences, nous utilisons *camembert-base* (Martin *et al.*, 2019) comme modèle étudiant pour l'étape de distillation des connaissances via de la supervision faible. Nous testons nos modèles sur le **layer 1**. Les différents corpus d'entraînement utilisés dans les différentes configurations seront issus du **layer 2** et du **layer 2 validate**. Nous utilisons soit les annotations initiales, soit les annotations inférées par InstructGPT-3, soit encore un mélange des deux. Nous menons nos expériences en utilisant quatre configurations de jeux de données différentes pour l'affinage de *camembert-base* :

- **Configuration A** : nous utilisons le **layer 2** comme jeu d'entraînement et comparons deux modèles camBERT entraînés respectivement sur des annotations d'extraction de dictionnaire et des annotations prédites par InstructGPT-3;

- **Configuration B** : nous utilisons le **layer 2 validate** comme jeu d'entraînement et comparons deux modèles camBERT entraîné respectivement sur des annotations corrigées manuellement et des annotations prédites par InstructGPT-3;

- **Configuration C** : nous nous basons sur la **Configuration A** mais nous conservons les annotations de base du **layer 2 validate** pour les deux modèles. Ainsi, une petite partie (environ 10%) des annotations prédites par InstructGPT-3 et des annotations d'extraction de dictionnaire sont remplacées par des annotations manuelles;

- **Configuration D** : nous utilisons le **layer 2** comme jeu d'entraînement mais mixons un ratio *r* d'annotations prédites par InstructGPT-3 avec (1 − *r*) d'annotations prédites par InstructGPT-3. Dans ce contexte, nous testons et comparons des modèles entraînés pour divers valeurs de ratio *r*.

## 5.3 Résultats et discussion

**Analyse des prédictions d'InstructGPT-3** Nous notons qu'InstructGPT-3 extrait presque deux fois plus d'entités (Table 1). Cette tendance est plus importante dans le **layer 2**, tandis que l'écart est réduit dans le **layer 2 validate**; cela est certainement dû à la validation humaine sur cette couche. Cette différence pourrait s'expliquer par le fait qu'InstructGPT-3 n'a pas accès aux guidelines; l'instruction reproduite en Figure 4 mentionne des "disorders", "diseases", ou "symptoms" à extraire :

<footnote n="1">1. ce sous-ensemble validée (**layer 2 validate**) n'a cependant pas été corrigé de la même manière que le **layer 1**</footnote>
<table><caption>TABLE 1 – Nombre de tokens annotés par type d'annotation pour chaque couche</caption><thead><tr><th>Layer</th><th>Méthodes</th><th>#Phrases</th><th>#Tokens</th><th>B<sub>clin</sub></th><th>I<sub>clin</sub></th></tr></thead><tbody><tr><td rowspan="2">Layer 1</td><td>Dictionary Extraction</td><td rowspan="2">1109</td><td rowspan="2">28744</td><td>1258</td><td>1203</td></tr><tr><td>InstructGPT-3</td><td>1398</td><td>2028</td></tr><tr><td rowspan="2">Layer 2</td><td>Dictionary Extraction</td><td rowspan="2">2389</td><td rowspan="2">59998</td><td>2013</td><td>840</td></tr><tr><td>InstructGPT-3</td><td>2863</td><td>4167</td></tr><tr><td rowspan="2">Layer 2 Validate</td><td>Manual Extraction</td><td rowspan="2">293</td><td rowspan="2">6452</td><td>267</td><td>244</td></tr><tr><td>InstructGPT-3</td><td>345</td><td>437</td></tr></tbody></table>

<figure><img src="image_55.png" /><figcaption>FIGURE 2 – Matrices de confusion pour le **layer 2** et le **layer 2 validate** montrant les relations entre les annotations par dictionnaire et via InstructGPT-3. Par exemple dans le **layer 2 validate**, l'intersection $B_{clin}$ (en abscisse) à O (en ordonnée) indique qu'InstructGPT a identifié 122 tokens O comme $B_{clin}$ en se basant sur l'extraction par dictionnaire.</figcaption></figure>

ceci est moins restrictif que l'annotation de la guideline d'E3C. Les matrices de confusion (Figure 2) soulignent cette tendance. Néanmoins, les deux méthodes d'extraction ont presque étiqueté le même nombre de tokens en tant que O (0.93), ce qui confirme que l'annotation d'InstructGPT-3 est cohérente avec la tâche d'extraction. Nous notons que seulement 0.04 de $B_{clin}$ sont annotés en tant que token $I_{clin}$, ce qui signifie qu'InstructGPT-3 discrimine bien avec la signification des tokens de début ($B_{clin}$) et des tokens internes ($I_{clin}$). Nous soulignons le fait est qu'InstructGPT-3 considère certains tokens O comme des tokens internes : les entités extraites sont plus longues que celles extraites par dictionnaire. D'où le plus grand nombre de tokens extrait par InstructGPT-3.

**Évaluation de la distillation des connaissances**
Nous comparons dans le Table 2 le modèle distillé via les annotations d'InstructGPT-3 (Modèle Distillé) et le modèle InstructGPT-3 sur le **layer 1**. Les deux modèles ont presque les mêmes performances, mais le modèle distillé a une meilleure précision, tandis qu'InstructGPT est plus performant en termes de rappel. Nous pouvons conclure que l'utilisation d'un modèle distillé est pertinent vis à vis de cette tâche.

**Configuration A**
Si nous comparons le score F1 global (Table 3a), le modèle distillé via les annotations d'InstructGPT-3 (Modèle Distillé) est plus performant que le modèle (Modèle par Supervision Faible) formé avec la supervision faible par extraction par dictionnaire. Le Modèle par Supervision
<table><caption>TABLE 2 – Comparaison d'InstructGPT-3 avec un modèle distillé via de la supervision faible sur le **layer 2** d'E3C. Les scores sont calculés sur le **layer 1**.</caption><thead><tr><th>Modèles</th><th>F1-Score</th><th>Précision</th><th>Rappel</th></tr></thead><tbody><tr><td>Modèle Distillé</td><td>0.74 ± 6e-3</td><td><strong>0.72</strong> ± 0.01</td><td>0.78 ± 6e-3</td></tr><tr><td>InstructGPT-3</td><td>0.74</td><td>0.70</td><td><strong>0.81</strong></td></tr></tbody></table>

Faible a un meilleur score F1 avec la classe $B_{clin}$, mais le rappel et le score F1 de $I_{clin}$ sont relativement plus faibles.

Le Modèle par Supervision Faible a tendance à mieux extraire les termes cliniques composés d'un seul mot. Le Modèle Distillé a un meilleur rappel et reconnaît plus facilement les termes cliniques à plusieurs mots. Cependant, cette flexibilité est contrebalancée par la détection de faux positifs, ce qui fait baisser la précision.

**Configuration B** La quantité de tokens annotés est relativement faible par rapport au **layer 2** (Table 1). Cela nuit au résultat (Tableau 3b) du Modèle par Supervision Faible (0.57 avec le **layer 2 validate** contre 0.69 avec le **layer 2**). Contrairement au Modèle Distillé, où les performances sont relativement équivalentes par rapport au **layer 2**. Cependant, la stabilité du Modèle Distillé entre les 5 folds est affectée (0.01 avec le **layer 2 validate** vs. $6e^{-3}$ avec le **layer 2**). Le même problème de stabilité des folds est présent pour Modèle par Supervision Faible, ce qui peut être dû à la quantité relativement faible de tokens dans le jeu d'entraînement.

**Configuration C** Les résultats (Table 3c) montrent des performances légèrement meilleures pour les deux modèles. Nous remarquons que le Modèle par Supervision Faible a un meilleur rappel pour $I_{clin}$ que dans la **Configuration A** (Modèle par Supervision Faible entraîné avec seulement des annotations de supervision faible) : respectivement 0.35 contre 0.24. Le Modèle Distillé présente une meilleure précision pour le $B_{clin}$ et le $I_{clin}$ par rapport au Modèle Distillé entraîné avec le **layer 2**. En conclusion, le mélange de jeux de données comportant une faible proportion d'annotations manuelles corrige la tendance du Modèle par Supervision Faible à ignorer les entités composées de plusieurs mots et celle du Modèle Distillé à inclure des mots supplémentaires aux entités présentes dans le corpus de test, notamment celles composées de peu de mots.

**Configuration D** Les résultats indiquent que l'utilisation qu'un ratio de 0.5 entre l'annotation prédite par InstructGPT-3 et l'annotation extraction par dictionnaire permet d'améliorer le F1-Score de 0.03 par rapport à l'utilisation d'un ensemble de données entièrement annoté avec l'annotation prédite par InstructGPT-3 (c'est-à-dire lorsque le rapport est de 1). En outre, l'incorporation d'une proportion d'annotations prédites par InstructGPT-3 au-dessus de 0.5 permet une meilleure stabilité entre les différentes folds. En conclusion, la combinaison de ces deux méthodes d'annotation disparates en termes de rappel et de précision permet d'obtenir un bon équilibre et d'augmenter le F1-Score.

**Synthèse entre les différentes configurations** La Table 4 montre que la configuration D est celle qui a obtenu légèrement un meilleur F1-score (0.76). Le mélange d'annotations par extraction de dictionnaire et InstructGPT-3 obtenu avec $r = 0.5$ permet de réduire l'écart entre les Rappel
<table><caption>(a) Configuration A</caption><thead><tr><th>Annotations</th><th>extraction par dictionnaire</th><th>InstructGPT-3</th></tr></thead><tbody><tr><td>F1-score</td><td>0.69 ± 0.04</td><td><b>0.74</b> ± 6e<sup>-3</sup></td></tr><tr><td rowspan="3">B<sub>clin</sub></td><td>F: <b>0.76</b> ± 0.02</td><td>F: 0.73 ± 8e<sup>-3</sup></td></tr><tr><td>P: <b>0.83</b> ± 2e<sup>-3</sup></td><td>P: 0.68 ± 0.02</td></tr><tr><td>R: 0.70 ± 4e<sup>-2</sup></td><td>R: <b>0.80</b> ± 0.01</td></tr><tr><td rowspan="3">I<sub>clin</sub></td><td>F: 0.34 ± 0.10</td><td>F: <b>0.53</b> ± 0.01</td></tr><tr><td>P: <b>0.69</b> ± 0.01</td><td>P: 0.41 ± 0.01</td></tr><tr><td>R: 0.24 ± 0.08</td><td>R: <b>0.74</b> ± 0.01</td></tr></tbody></table>

<table><caption>(b) Configuration B</caption><thead><tr><th>Annotations</th><th>extraction par dictionnaire</th><th>InstructGPT-3</th></tr></thead><tbody><tr><td>F1-score</td><td>0.57 ± 0.02</td><td><b>0.74</b> ± 0.01</td></tr><tr><td rowspan="3">B<sub>clin</sub></td><td>F: 0.72 ± 0.03</td><td>F: <b>0.74</b> ± 0.03</td></tr><tr><td>P: <b>0.65</b> ± 0.07</td><td>P: 0.64 ± 0.06</td></tr><tr><td>R: 0.82 ± 0.04</td><td>R: <b>0.87</b> ± 0.02</td></tr><tr><td rowspan="3">I<sub>clin</sub></td><td>F: 0.02 ± 0.04</td><td>F: <b>0.53</b> ± 0.01</td></tr><tr><td>P: 0.33 ± 0.30</td><td>P: <b>0.42</b> ± 0.03</td></tr><tr><td>R: 0.01 ± 0.02</td><td>R: <b>0.71</b> ± 0.03</td></tr></tbody></table>

<table><caption>(c) Configuration C</caption><thead><tr><th>Annotations</th><th>extraction par dictionnaire</th><th>InstructGPT-3</th></tr></thead><tbody><tr><td>F1-score</td><td>0.73 ± 0.01</td><td><b>0.75</b> ± 5e<sup>-3</sup></td></tr><tr><td rowspan="3">B<sub>clin</sub></td><td>F: <b>0.78</b> ± 7e<sup>-3</sup></td><td>F: 0.77 ± 5e<sup>-3</sup></td></tr><tr><td>P: 0.84 ± 4e<sup>-3</sup></td><td>P: <b>0.85</b> ± 0.01</td></tr><tr><td>R: <b>0.72</b> ± 0.01</td><td>R: 0.71 ± 0.01</td></tr><tr><td rowspan="3">I<sub>clin</sub></td><td>F: 0.46 ± 0.03</td><td>F: <b>0.50</b> ± 0.01</td></tr><tr><td>P: <b>0.66</b> ± 0.04</td><td>P: 0.64 ± 0.02</td></tr><tr><td>R: 0.35 ± 0.04</td><td>R: <b>0.42</b> ± 0.02</td></tr></tbody></table>

<table><caption>TABLE 3 – Performances obtenues en utilisant les deux paramétrages avec les deux jeux d'annotations. La ligne F1-score dénote les macro-F1-scores agrégés des labels O, $B_{clin}$, $I_{clin}$.</caption><thead><tr><th>Configuration</th><th>F1-Score</th><th>Précision</th><th>Rappel</th></tr></thead><tbody><tr><td>A</td><td>0.74 ± 0.01</td><td>0.69 ± 0.01</td><td>0.83 ± 0.01</td></tr><tr><td>B</td><td>0.74 ± 0.02</td><td>0.69 ± 0.03</td><td><b>0.84</b> ± 0.01</td></tr><tr><td>C</td><td>0.75 ± 0.00</td><td><b>0.82</b> ± 0.01</td><td>0.71 ± 0.01</td></tr><tr><td>D r=0.5</td><td><b>0.76</b> ± 0.01</td><td>0.73 ± 0.02</td><td>0.81 ± 0.03</td></tr></tbody></table>

<caption>TABLE 4 – Performances pour les configurations décrites en section 5.2.</caption>

(0.81) et la Précision (0.73). Ceci nous permet d'affirmer que les deux méthodes peuvent être complémentaires : une combinaison des deux permet d'obtenir une diversité d'annotations plus importante que l'utilisation seule d'une des deux méthodes.

# 6 Limitations

Les limites de notre étude est la taille petite du corpus de test, ce qui peut avoir un impact sur la généralisation de nos résultats. Nous avons limité notre travail à l'extraction d'entités cliniques; dans des travaux futurs, nous expérimenterons d'autres tâches en utilisant la couche de temporalité E3C pour couvrir une tâche de reconnaissance d'entités nommées et d'extraction de relations.

Enfin, les guidelines E3C ont été conçues pour l'extraction d'entités cliniques associables aux concepts de l'UMLS. Après la première étape d'annotation manuelle, une partie de l'étendue des entités a été modifiée pour correspondre le plus possible aux concepts sémantiques trouvés dans l'UMLS (Magnini et al., 2020). Ces biais induisent des difficultés supplémentaires quant aux résultats de la prédiction des modèles sur le **layer 1**.
<figure><img src="image_56.png" /><figcaption>FIGURE 3 – La figure représente un graphique avec le F1-Score en ordonnée et le ratio *r* d'annotations par dictionnaire et d'annotations via InstructGPT-3 en abscisse comme précisé dans la **Configuration D** (Section 5.2). *r* = 0 indique l'utilisation exclusive d'annotations de dictionnaire, et *r* = 1 d'annotations de InstructGPT-3 exclusivement. Chaque point bleu représente une expérience différente avec un ensemble de données différent. Un point orange représente la moyenne des expériences pour *r* donné. La bande en orange clair représente l'écart-type pour *r* donné.</figcaption></figure>

# 7 Conclusion

Nos résultats montrent que l’approche de distillation de connaissances avec InstructGPT-3 surpasse l’approche d’extraction de dictionnaire pour extraire les entités cliniques. Nous avons montré que mélanger ces approches pour construire un ensemble de données d’entraînement apporte de la diversité aux annotations et améliore les performances du modèle entraîné.

L’approche de faible supervision avec les LLMs est prometteuse pour créer un ensemble de données d’entraînement. Cela réduit le coût d’annotation et, en même temps, concentre l’annotation manuelle sur l’ensemble de test, qui est l’un enjeux majeurs des domaines à enjeux élevés comme la santé.

Dans les travaux futurs, nous aimerions tester cette solution sur plusieurs langues proposées dans E3C et étendre notre travail à d'autres tâches. Nous voulons également combiner plusieurs prédictions de différents grands modèles de langage pour obtenir plus de diversité dans les annotations.

De plus, nous avons l'intention d'étudier des techniques plus avancées pour combiner les différentes annotations en incorporant des mesures de confiance provenant des différentes prédictions ou bien des mesures de performance (telles que le rappel et la précision) pour décider quel type d'annotations ($B_{clin}$ ou $I_{clin}$) conserver pour chaque méthode de prédiction.

Enfin, l'adaptation de CoT ou de connaissances générées (Wei et al., 2022; Cobbe et al., 2021) pour l'extraction d'entités cliniques pourrait être bénéfique pour améliorer la précision des LLMs. Nous pourrions créer un prompt où les différentes étapes d'annotation sont présentées à travers différents exemples. À chaque étape d'annotation, nous décrivons une instruction précise et son résultat. Par exemple, nous pouvons rédiger dans une instruction, les trois étapes d'annotation E3C pour encourager le LLM à être plus proche des guidelines d'identification de termes cliniques.
Références

AGRAWAL M., HEGSELMANN S., LANG H., KIM Y. & SONTAG D. (2022). Large Language Models are Few-Shot Clinical Information Extractors.

ALSENTZER E., MURPHY J. R., BOAG W., WENG W.-H., JIN D., NAUMANN T. & McDERMOTT M. B. A. (2019). Publicly Available Clinical BERT Embeddings. DOI: 10.48550/arxiv.1904.03323.

BROWN T. B., MANN B., RYDER N., SUBBIAH M., KAPLAN J., DHARIWAL P., NEELAKANTAN A., SHYAM P., SASTRY G., ASKELL A., AGARWAL S., HERBERT-VOSS A., KRUEGER G., HENIGHAN T., CHILD R., RAMESH A., ZIEGLER D. M., WU J., WINTER C., HESSE C., CHEN M., SIGLER E., LITWIN M., GRAY S., CHESS B., CLARK J., BERNER C., MCCANDLISH S., RADFORD A., SUTSKEVER I. & OPENAI D. A. (2020). Language Models are Few-Shot Learners.

COBBE K., KOSARAJU V., BAVARIAN M., CHEN M., JUN H., KAISER L., PLAPPERT M., TWOREK J., HILTON J., NAKANO R., HESSE C. & SCHULMAN J. (2021). Training Verifiers to Solve Math Word Problems. DOI: 10.48550/arxiv.2110.14168.

CUSICK M., ADEKKANATTU P., CAMPION T. R., SHOLLE E. T., MYERS A., BANERJEE S., ALEXOPOULOS G., WANG Y. & PATHAK J. (2021). Using weak supervision and deep learning to classify clinical notes for identification of current suicidal ideation. *Journal of Psychiatric Research*, **136**, 95–102. DOI: 10.1016/J.JPSYCHIRES.2021.01.052.

ESCUDIÉ J.-B., RANCE B., MALAMUT G., KHATER S., BURGUN A., CELLIER C. & JANNOT A.-S. (2017). A novel data-driven workflow combining literature and electronic health records to estimate comorbidities burden for a specific disease : a case study on autoimmune comorbidities in patients with celiac disease. *BMC Medical Informatics and Decision Making*, **17**(1), 140. DOI: 10.1186/s12911-017-0537-yi.

FRIES J. A., SEELAM N., ALTAY G., WEBER L., KANG M., DATTA D., SU R., GARDA S., WANG B., OTT S., SAMWALD M. & KUSA W. (2022). Dataset Debt in Biomedical Language Modeling. Workshop on Challenges & Perspectives in Creating Large Language Models, **5**, 137–145.

FRIES J. A., STEINBERG E., KHATTAR S., FLEMING S. L., POSADA J., CALLAHAN A. & SHAH N. H. (2021). Ontology-driven weak supervision for clinical entity classification in electronic health records. *Nature Communications*, **12**(1). DOI: 10.1038/s41467-021-22328-4.

GURURANGAN S., MARASOVÍCMARASOVÍC A., SWAYAMDIPTA S., LO K., BELTAGY I., DOWNEY D. & SMITH N. (2020). Don't Stop Pretraining : Adapt Language Models to Domains and Tasks. *58th Annual Meeting of the Association for Computational Linguistics*, p. 8342–8360.

JOHNSON A. E., POLLARD T. J., SHEN L., LEHMAN L. W. H., FENG M., GHASSEMI M., MOODY B., SZOLOVITS P., ANTHONY CELI L. & MARK R. G. (2016). MIMIC-III, a freely accessible critical care database. *Scientific data*, **3**, DOI: 10.1038/SDATA.2016.35.

KARAMANOLAKIS G., MUKHERJEE S., ZHENG G. & AWADALLAH A. H. (2021). Self-Training with Weak Supervision. p. 845–863. DOI: 10.18653/v1/2021.naac1-main.66.

LEE J., YOON W., KIM S., KIM D., KIM S., SO C. H. & KANG J. (2020). BioBERT : A pre-trained biomedical language representation model for biomedical text mining. *Bioinformatics*, **36**(4), 1234–1240. DOI: 10.1093/bioinformatics/btz682.

LEHMAN E., HERNANDEZ E., MAHAJAN D., WULFF J., SMITH M. J., ZIEGLER Z., NADLER D., SZOLOVITS P., JOHNSON A. & ALSENTZER E. (2023). Do We Still Need Clinical Language Models ?

LISON P., BARNES J. & HUBIN A. (2021). skweak : Weak Supervision Made Easy for NLP.
LISON P., BARNES J., HUBIN A. & TOUILEB S. (2020). Named Entity Recognition without Labelled Data : A Weak Supervision Approach. p. 1518–1533. DOI: 10.18653/V1/2020.ACLMAIN.139.

LIU P., YUAN W., JIANG Z., HAYASHI H., NEUBIG G., FU J., YUAN W., JIANG Z., HAYASHI H., NEUBIG G. & FU J. (2023). Pre-train, Prompt, and Predict : A Systematic Survey of Prompting Methods in Natural Language Processing. ACM Computing Surveys, 55(9), 1–35. DOI: 10.1145/3560815.

LU Q., DOU D. & NGUYEN T. H. (2022). ClinicalT5 : A Generative Language Model for Clinical Text.

LUO R., SUN L., XIA Y., QIN T., ZHANG S., POON H. & LIU T.-Y. (2022). BioGPT : Generative Pre-trained Transformer for Biomedical Text Generation and Mining. Briefings in bioinformatics, 23(6). DOI: 10.1093/bib/bbac409.

MAGNINI B., ALTUNA B., LAVELLI A., SPERANZA M. & ZANOLI R. (2020). The E3C Project : Collection and Annotation of a Multilingual Corpus of Clinical Cases. CEUR Workshop Proceedings, 2769. DOI: 10.4000/BOOKS.AACCADEMIA.8663.

MARTIN L., MULLER B., SUÁREZ P. J. O., DUPONT Y., ROMARY L., DE LA CLERGERIE V., SEDDAH D. & SAGOT B. (2019). CamemBERT : a Tasty French Language Model. p. 7203–7219. DOI: 10.18653/v1/2020.acl-main.645.

OUYANG L., WU J., JIANG X., ALMEIDA D., WAINWRIGHT C. L., MISHKIN P., ZHANG C., AGARWAL S., SLAMA K., RAY A., SCHULMAN J., HILTON J., KELTON F., MILLER L., SIMENS M., ASKELL A., WELINDER P., CHRISTIANO P., LEIKE J. & LOWE R. (2022). Training language models to follow instructions with human feedback. DOI: 10.48550/arxiv.2203.02155.

RAMSHAW L. A. & MARCUS M. P. (1995). Text Chunking using Transformation-Based Learning. p. 157–176. DOI: 10.48550/arxiv.cmp-lg/9505040.

ROSENBLOOM S. T., DENNY J. C., XU H., LORENZI N., STEAD W. W. & JOHNSON K. B. (2011). Data from clinical notes : A perspective on the tension between structure and flexible documentation. Journal of the American Medical Informatics Association, 18(2), 181–186. DOI: 10.1136/JAMIA.2010.007237.

SAINZ O., DE LACALLE O. L., LABAKA G., BARRENA A. & AGIRRE E. (2021). Label Verbali-zation and Entailment for Effective Zero- and Few-Shot Relation Extraction. EMNLP 2021 - 2021 Conference on Empirical Methods in Natural Language Processing, Proceedings, p. 1199–1212. DOI: 10.48550/arxiv.2109.03659.

SCAO T. L., FAN A., AKIKI C., PAVLICK E. & ET AL. (2022). BLOOM : A 176B-Parameter Open-Access Multilingual Language Model. DOI: 10.48550/arxiv.2211.05100.

THOPPILAN R., DE FREITAS D., HALL J., SHAZEER N., KULSHRESHTHA A., CHENG H.-T., JIN A., BOS T., BAKER L., DU Y., LI Y., HUAIXIU H. L., ZHENG S., GHAFOURI A., MENEGALI M., HUANG Y., KRIKUN M., LEPIKHIN D., QIN J., CHEN D., XU Y., CHEN Z., ROBERTS A., BOSMA M., ZHAO V., ZHOU Y., CHANG C.-C., KRIVOKON I., RUSCH W., PICKETT M., SRINIVASAN P., MAN L., MEIER-HELLSTERN K., RINGEL M., TULSEE M., RENELITO D., SANTOS D., DUKE T., SORAKER J., ZEVENBERGEN B., PRABHAKARAN V., DIAZ M., HUTCHINSON B., OLSON K., MOLINA A., HOFFMAN-JOHN E., LEE J., AROYO L., RAJAKUMAR R., BUTRYNA A., LAMM M., KUZMINA V., FENTON J., COHEN A., BERNSTEIN R., KURZWEIL R., AGUERA-ARCAS B., CUI C., CROAK M., CHI E. & LE GOOGLE Q. (2022). LaMDA : Language Models for Dialog Applications.
WANG Y., SOHN S., LIU S., SHEN F., WANG L., ATKINSON E. J., AMIN S. & LIU H. (2019). A clinical text classification paradigm using weak supervision and deep representation. *BMC Medical Informatics and Decision Making*, **19**(1), 1–13. DOI: 10.1186/S12911-018-0723-6/FIGURES/4.

WEI J., WANG X., SCHUURMANS D., BOSMA M., ICHTER B., XIA F., CHI E., LE Q. & ZHOU D. (2022). Chain of Thought Prompting Elicits Reasoning in Large Language Models.

YANG X., CHEN A., POURNEJATIAN N., SHIN H. C., SMITH K. E., PARISIEN C., COMPAS C., MARTIN C., COSTA A. B., FLORES M. G., ZHANG Y., MAGOC T., HARLE C. A., LIPORI G., MITCHELL D. A., HOGAN W. R., SHENKMAN E. A., BIAN J. & WU Y. (2022). A large language model for electronic health records. *npj Digital Medicine*, **5**(1). DOI: 10.1038/s41746-022-00742-2.

ZHANG J., HSIEH C.-Y., YU Y., ZHANG C. & RATNER A. (2022). A Survey on Programmatic Weak Supervision. DOI: 10.48550/arxiv.2202.05433.

ZHAO T. Z., WALLACE E., FENG S., KLEIN D. & SINGH S. (2021). Calibrate Before Use : Improving Few-Shot Performance of Language Models. DOI: 10.48550/arxiv.2102.09690.
A Appendice

<figure><img src="image_57.png" /><figcaption>FIGURE 4 – Un exemple du texte d'instruction utilisé dans notre expérience. Les exemples formatés sont présentés en **bleu**, tandis que l'exemple à prédire est présentés en **orange**. Les instructions sont présentées en **violet**, et la requête guidée, telle qu'utilisée dans Agrawal *et al.* (2022), sont présentées en **vert**.</figcaption></figure>
# Classification de tweets en situation d'urgence pour la gestion de crise

Romain Meunier¹ Leila Moudjari¹ Farah Benamara¹ Véronique Moriceau¹
Alda Mari² Patricia Stolf¹

¹IRIT, Université de Toulouse, CNRS, Toulouse INP, UT3, Toulouse, France

¹prenom.nom@irit.fr

²IJN, CNRS/ENS/EHESS, Université Paris Saclay

²alda.mari@ens.fr

## RÉSUMÉ

Le traitement de données provenant de réseaux sociaux en temps réel est devenu un outil attractif dans les situations d'urgence, mais la surcharge d'informations reste un défi à relever. Dans cet article, nous présentons un nouveau jeu de données en français annoté manuellement pour la gestion de crise. Nous testons également plusieurs modèles d'apprentissage automatique pour classer des tweets en fonction de leur pertinence, de l'urgence et de l'intention qu'ils véhiculent afin d'aider au mieux les services de secours durant les crises selon des méthodes d'évaluation spécifique à la gestion de crise. Nous évaluons également nos modèles lorsqu'ils sont confrontés à de nouvelles crises ou même de nouveaux types de crises, avec des résultats encourageants.

## ABSTRACT

Tweets Classification in Emergency Situations for Crises Management

The processing of real-time social media data has become an attractive tool in emergency situations. However, information overload remains a challenge. In this paper, we present a new dataset in French, annotated for crisis management. Relying on evaluation methods specifically designed to crisis management, we evaluate several deep learning models for classification of tweets based on their relevance, urgency and intention they convey to help emergency services during crises. We also evaluate these models on new crises or new types of crises showing interesting results.

**MOTS-CLÉS** : Gestion de crise, Réseaux sociaux, Apprentissage multi-tâches, Portabilité.

**KEYWORDS:** Crisis management, Social Media, Multi-task Learning, Portability.

## 1 Motivations

Les réseaux sociaux ont changé la façon dont les gens interagissent, communiquent ou ont accès à l'information partout dans le monde. Leur utilisation est largement répandue chez les internautes, les institutions publiques et les entreprises pour informer à propos d'événements ou de produits ou encore, et sans être exhaustifs, partager des opinions. Tous les domaines de la vie quotidienne sont concernés, y compris la gestion de crise qui nous intéresse ici. En effet, les catastrophes naturelles représentent une menace permanente pour les populations, les infrastructures et les ressources naturelles. La gestion efficace de ces crises nécessite des outils et des approches innovants pour aider les équipes

<figure><img src="image_58.png" /></figure>
d'intervention à réagir rapidement et à prendre des décisions éclairées (Vieweg et al., 2014; Olteanu et al., 2015; Palen & Liu, 2007). Dans ce contexte, les réseaux sociaux, en particulier Twitter, offrent une source d'information riche et en temps réel sur les événements en cours (Reuter et al., 2018). Par exemple, plus de 17 000 tweets ont été postés pendant l'incendie de Notre Dame en 2019. Lors du séisme de 2023 en Turquie et en Syrie, des victimes piégées sous les décombres ont appelé à l'aide en publiant des messages sur Twitter (Toraman et al., 2023).

Ainsi, Twitter peut être utilisé pour obtenir des informations crucales en situation de crise comme l'état des infrastructures ou bien le niveau de préparation de la population face à la crise.

L'une des principales caractéristiques des tweets postés en période de crise est la variété des informations véhiculées qui entraîne des différences de traitement par les services de secours. Par exemple, dans le tweet (a)<fnref n="1" /> l'auteur signale un danger qui approche et le message doit donc être traité en priorité. Le tweet (b) exprime quant à lui une critique envers le système de gestion de la crise. Même si ce tweet peut être pris en compte afin d'améliorer le service, il n'a pas de caractère urgent et ne nécessite donc pas d'intervention des secours. Enfin, l'exemple (c) est un avertissement officiel. Il doit être pris en compte par les secours afin qu'ils puissent se préparer au mieux à la catastrophe arrivant.

(a) Le feu de Landiras (au départ à 40km) s'approche de chez moi. Encore 2 villages et c'est à nous d'évacuer. Ce soir on sent vachement le brûlé. On ne panique pas mais le stress monte. Vais mal dormir.

(b) Pourquoi ne pas faire intervenir l'Armée ? Inondations à Villeneuve S/Lot en 59 : les militaires nous apportaient à manger. L'Etat abandonne les sinistrés français !

(c) **ALERTE MÉTÉO** : Vigilance #orange "orages, pluie-inondation" et #jaune "vagues-submersion". Soyez prudents

Ces dernières années, la littérature sur la gestion de crise a connu une expansion rapide. Elle se focalise surtout sur l'anglais, et malgré la quantité importante de jeux de données élaborés pour la gestion de crise (Imran et al., 2016; McCreadie et al., 2019, 2020; Alam et al., 2018), les ressources en français sont encore rares, peu disponibles et très souvent limitées à une seule crise en particulier. Dans ce cadre, nos objectifs sont multiples. Il s'agit : (1) de détecter automatiquement les tweets pertinents lors d'une crise ; (2) parmi les tweets utiles/pertinents, d'identifier ceux qui sont urgents (au sens où ils doivent être traités de façon urgente par les services de secours) et (3) de caractériser le type d'information véhiculée (conseil, critique, etc.), que nous appellerons intention. D'un point de vue linguistique, ce terme est employé pour décrire les postures qu'un individu peut prendre eu égard à une action à entreprendre (Grano, 2017; Giannakidou & Mari, 2021). Dans cette étude, nous employons le terme pour désigner les domaines d'actionnabilité même, à savoir les domaines au sein desquels une action pourrait être entreprise (par exemple les dégâts matériels ou humains pour solliciter de l'aide). Afin de traiter ces trois points, nous proposons :

— Un corpus de tweets en français annoté à la fois selon l'utilité, l'urgence et l'intention du message 2, et qui se caractérise par sa diversité en termes aussi bien de types que de nombre de crises (crises naturelles ou non, prévisibles ou soudaines),

— Une approche supervisée pour la classification de tweets en situation de crise. Nous évaluons sur ce corpus un ensemble de modèles qui ont fait leurs preuves dans ce cadre, avec en particulier

<footnote n="1">1. Les exemples de tweets sont issus de notre corpus.</footnote>

<footnote n="2">2. Le corpus est disponible sur demande.</footnote>
une approche multi-tâches. Notre objectif n'est pas de proposer de nouveaux modèles mais d'évaluer les performances et la portabilité de modèles existants quand ils sont confrontés à des crises de types différents ou à des crises inconnues,

— Une analyse d'erreurs montrant les limites des approches proposées et qui permet de proposer des orientations pour améliorer les modèles dans ce domaine.

Dans cet article, nous commençons par présenter les travaux existants sur la gestion de crise pour les médias sociaux, ainsi que les corpus existants en français. La section 3 présente notre corpus annoté. La section 4 présente les modèles et les expérimentations de classification que nous avons menées sur ce corpus, ainsi qu'une analyse d'erreurs permettant d'identifier les principaux défis à relever et pistes d'amélioration pour le futur dans ce domaine. Enfin, nous concluons avec quelques perspectives pour des travaux futurs en section 5.

## 2 État de l'art

De nombreux travaux d'analyse des tweets en cas de crises ont émergé dans différentes langues, majoritairement l'anglais, que ce soit pendant ou après une crise (Cameron et al., 2012; Imran et al., 2013; McCreadie et al., 2019; Kayi et al., 2020; Seeberger & Riedhammer, 2022; Imran et al., 2014). L'objectif est de proposer un système de classification des messages selon : (1) l'utilité (le message est-il utile ou non pour les services de secours ?), (2) l'urgence (le message est-il urgent ou non pour les services de secours ? Éventuellement, quel degré d'urgence ?) et (3) les intentions véhiculées (déclaration de dégâts, avertissement, critique, etc.). D'autres classifications ont également été proposées comme la détection de messages postés par des témoins directs ou indirects de la crise (Zahra et al., 2020). Des campagnes d'évaluation ont été proposées dans ce domaine, notamment TREC-IS (Incident Streams track)<fnref n="3" /> associé à TREC 2019 et 2020 (McCreadie et al., 2019, 2020) et plus récemment CrisisFACTS2022 4 pour la génération de résumé de situations de crises. Les participants de TREC-IS ont pour objectif le développement de systèmes de veille en temps réel capables de suivre l'évolution d'incidents tels que des catastrophes naturelles, des incidents terroristes ou des crises de santé publique à partir de flux de données textuelles en ligne, tels que des flux Twitter ou des flux de nouvelles en langue anglaise. Les meilleurs systèmes soumis utilisent des approches neuronales. Par exemple, Wang et al. (2021) et Dusart et al. (2021) utilisent une variation du modèle BERT, qui a été pré-entrainé sur des tweets relatifs à des crises dans une approche multi-tâche. Globalement, les résultats montrent que la détection de l'intention reste la plus complexe en raison du déséquilibre des données d'apprentissage (les messages urgents sont souvent minoritaires, par exemple de l'ordre de 3,87 % pour les dégâts matériels et 1,93 % pour les dégâts humains).

En ce qui concerne les ressources en langue française, on peut citer le projet SURICATE-Nat<fnref n="5" /> qui vise à exploiter Twitter pour être informé rapidement de séismes ou d'inondations ayant lieu en France, ou encore le cadre proposé par (Interdonato et al., 2018) pour extraire et regrouper automatiquement des données relatives à une crise sans recourir à une annotation manuelle ou à des catégories prédéfinies. Cependant, les données de cette étude ne sont pas disponibles. Kozlowski et al. (2020) ont proposé le premier corpus en français, composé d'environ 13 000 tweets concernant des crises écologiques (catastrophes naturelles) et annotés manuellement selon trois niveaux d'information :

<footnote n="3">3. https://www.dcs.gla.ac.uk/~richardm/TREC_IS/</footnote>

<footnote n="4">4. https://crisisfacts.github.io/</footnote>

<footnote n="5">5. http://www.suricatenat.fr/Suricate-Nat/</footnote>
l'utilité, l'urgence et les intentions. Plus récemment, Diwersy et al. (2022) ont utilisé un corpus de discours publics pour analyser les changements dans l'utilisation des mots et expressions pendant la crise sanitaire de la COVID-19 en France, en utilisant des méthodes phonétique-textométriques. Caillaut et al. (2022) ont construit automatiquement un corpus de 6 023 documents contenant 304 826 entités liées en utilisant la Wikipédia française afin de géolocaliser les publications des réseaux sociaux en temps réel lors de catastrophes naturelles. Enfin, le projet CrisisNLP<fnref n="6" /> rassemble une communauté de chercheurs autour de la création de ressources et d'outils de traitement de texte pour l'analyse de données de médias sociaux pendant les crises. Le projet a produit des corpus dans plusieurs langues, dont le français (17 329 tweets relatifs à un événement de glissement de terrain survenu en 2015).

En gestion de crises, les méthodes les plus anciennes utilisées pour classifier les messages s'appuyaient sur l'apprentissage automatique avec notamment l'utilisation de Random Forest (Breiman, 2001) ou des réseaux bayésiens (Schneider, 2003). Les approches utilisées plus récemment sont de deux types : celles qui utilisent des modèles d'apprentissage profond comme les réseaux neuronaux convolutifs (Nguyen et al., 2017) ou les réseaux de neurones récurrents (Alharbi & Lee, 2019), et celles qui utilisent les transformeurs (Zahera et al., 2019) avec des modèles tels que BERT (Devlin et al., 2019). La campagne d'évaluation TREC-IS (Incident Stream) (McCreadie et al., 2020) donne un aperçu des méthodes actuelles pour l'identification de tweets en situation de crise et lors de l'édition 2021, les transformeurs sont les modèles qui ont obtenu les meilleurs résultats<fnref n="7" />.

Pour conclure, un défi important est la capacité des systèmes à identifier des messages urgents pour des crises nouvelles non présentes lors de l'entraînement. Or, d'après le rapport du GIEC 2022 (De Pryck, 2022), le changement climatique va entraîner de nouveaux types de crises et il faut donc avoir un modèle capable de se préparer à l'inconnu pour un déploiement chez les acteurs de cellules de crises. Dans cet article, nous nous intéressons pour la première fois à ce défi sur des données en français en évaluant la portabilité de nos modèles à différents types de crises.

## 3 Corpus de tweets en français annoté pour la gestion de crise

Le seul corpus pour la gestion de crise existant pour le français et disponible pour la communauté est celui proposé par (Kozlowski et al., 2020)<fnref n="8" />. Ce corpus a l'inconvénient d'être composé quasi exclusivement de tweets en rapport avec des crises météorologiques prévisibles (tempête, ouragan, inondation). Nous avons choisi d'étendre ce corpus à d'autres types de crises, à savoir des crises non prévisibles afin de tester la portabilité des modèles sur ces nouveaux types. Pour cela, nous avons collecté des tweets en français portant sur deux nouveaux types de crise (incendie et attaque terroriste) tout en suivant la même méthodologie de collecte utilisée dans (Kozlowski et al., 2020), c'est-à-dire collecter des tweets postés entre 24h avant la crise et 72h<fnref n="9" /> après en utilisant des mots-clés représentatifs de la crise (par exemple, "incendie", "forêt" et "gironde" pour les incendies dans les Landes). Ces nouvelles crises ont la particularité d'être des crises soudaines : l'attaque terroriste de Trèbes en 2018, l'incendie de l'usine Lubrizol en 2019, l'incendie de Notre Dame en 2019, l'explosion/incendie d'un immeuble à Sanary en 2021, les incendies dans les Landes (Landiras

<footnote n="6">6. https://crisisnlp.qcri.org/</footnote>

<footnote n="7">7. https://trecis.github.io/</footnote>

<footnote n="8">8. https://github.com/DiegoKoz/french_ecological_crisis</footnote>

<footnote n="9">9. Pour le cas des crises s'étalant sur plusieurs jours comme les incendies, la fin de la crise est considérée comme étant le début de résolution de la crise. Par exemple, dans le cas des incendies, il s'agit de l'extinction des premiers feux.</footnote>
<table><caption>TABLE 1 – Extrait du corpus avec les annotations associées.</caption><thead><tr><th>Tweet</th><th>Utilité</th><th>Urgence</th><th>Intention</th></tr></thead><tbody><tr><td>Quatre départements du sud-est placés en <strong>vigilance</strong> orange aux pluies et inondations</td><td>utile</td><td>urgent</td><td>avert. conseil</td></tr><tr><td>Un <strong>bébé se noie</strong> dans l'inondation de l'appartement de ses parents</td><td>utile</td><td>urgent</td><td>dégâts humains</td></tr><tr><td>Un <strong>immeuble s'effondre</strong> en plein centre ville de Marseille http://bit.ly/2zxte0S</td><td>utile</td><td>urgent</td><td>dégâts matériels</td></tr><tr><td>Inondations de l'Aude : la <strong>solidarité</strong> syndicale s'organise</td><td>utile</td><td>non urgent</td><td>soutien</td></tr><tr><td><strong>Étonnant</strong> les feux d'artifice dans le #Gard, région d' #Uzes alors que ça brûle en #Gironde #14Juillet2022</td><td>utile</td><td>non urgent</td><td>critiques</td></tr><tr><td>#Inondations dans l'Aude : les maires et les députés au plus près des sinistrés</td><td>utile</td><td>non urgent</td><td>autres messages</td></tr><tr><td>tu mets le feu</td><td>non utile</td><td>non utile</td><td>non utile</td></tr></tbody></table>

et La Teste de Buch) en 2022. À ces crises, nous avons aussi ajouté celle de l'effondrement de 2 immeubles à Lille survenu en 2022 (le type "effondrement" n'étant représenté que par une seule crise dans le corpus initial de (Kozlowski et al., 2020)). Ces tweets ont ensuite été annotés par 2 paires d'annotateurs selon le même schéma d'annotation que celui proposé par (Kozlowski et al., 2020) (cf. Figure 1). Selon ce schéma, les messages ont d'abord été annotés en utilité, puis en urgence et enfin en intentions pour les messages jugés utiles. Les annotateurs se sont d'abord entraînés sur des tweets issus du corpus de (Kozlowski et al., 2020) puis ont annoté les mêmes tweets que ceux utilisés pour calculer l'accord-interannotateur dans (Kozlowski et al., 2020). Les kappas étant alors similaires (autour de 0,70 pour l'utilité, 0,67 pour l'urgence et 0,65 pour l'intention), les annotateurs ont annoté le corpus en entier.

La table 1 donne quelques exemples du corpus ainsi que les labels qui leurs sont associés. Les mots en gras sont des mots qui ont été décisifs pour décider quel label associer à quel message.

<figure><img src="image_59.png" /><figcaption>FIGURE 1 – Typologie des messages pour les crises écologiques (Kozlowski et al., 2020).</figcaption></figure>

La table 2 présente la distribution par classe pour toutes les crises disponibles. Il faut noter que certaines crises (incendie de l'usine Lubrizol, incendie d'un immeuble à Sanary, incendie de Notre-Dame et attaque de Trèbes) ont été annotées uniquement selon le premier et le second niveau de classification. La collecte de nouvelles crises a permis d'augmenter le corpus de (Kozlowski et al., 2020) de 52,70 %. Les crises prévisibles (inondations, tempêtes, ouragans) sont les plus représentées avec 12 112 messages contre 7 483 messages pour les crises soudaines (effondrements, incendies, attaque). La collecte de nouvelles données a donc permis de rééquilibrer ces deux types de crises. Logiquement, on remarque aussi que pour les crises soudaines, il y a moins de messages de type AVERTISSEMENT-CONSEIL que pour les crises prévisibles.

Enfin, on note que le corpus est déséquilibré : la classe MESSAGE NON UTILE représente 57,96 % du corpus alors que la classe MESSAGE URGENT 20,26 %. Ceci est dû en grande partie à la méthode de collecte des tweets puisque des tweets postés 24 heures avant les crises ont été récupérés et
<table><caption>TABLE 2 – Statistiques du corpus annoté.</caption><thead><tr><th rowspan="2"></th><th rowspan="2">non utile</th><th colspan="3">utile-urgent</th><th colspan="3">utile-non urgent</th><th rowspan="2">Total</th></tr><tr><th>avert. conseil</th><th>dégâts humains</th><th>dégâts matériels</th><th>soutien</th><th>autres messages</th><th>critiques</th></tr></thead><tbody><tr><td colspan="9" style="text-align: center; font-weight: bold;">Corpus Kozlowski et al.</td></tr><tr><td>Inondation Aude</td><td>1 065</td><td>150</td><td>34</td><td>157</td><td>157</td><td>184</td><td>26</td><td>1 773</td></tr><tr><td>Inondation Autre</td><td>993</td><td>292</td><td>35</td><td>111</td><td>231</td><td>16</td><td>19</td><td>1 697</td></tr><tr><td>Inondation Corse</td><td>468</td><td>51</td><td>58</td><td>12</td><td>52</td><td>66</td><td>13</td><td>720</td></tr><tr><td>Tempête Guadeloupe</td><td>612</td><td>91</td><td>0</td><td>2</td><td>3</td><td>10</td><td>2</td><td>720</td></tr><tr><td>Tempête Bruno</td><td>586</td><td>107</td><td>5</td><td>11</td><td>2</td><td>9</td><td>0</td><td>720</td></tr><tr><td>Tempête Susanna</td><td>484</td><td>129</td><td>11</td><td>38</td><td>4</td><td>54</td><td>0</td><td>720</td></tr><tr><td>Tempête Ulrika</td><td>650</td><td>47</td><td>2</td><td>18</td><td>0</td><td>4</td><td>0</td><td>721</td></tr><tr><td>Tempête Réunion</td><td>587</td><td>56</td><td>5</td><td>9</td><td>12</td><td>46</td><td>5</td><td>720</td></tr><tr><td>Tempête Fionn</td><td>552</td><td>138</td><td>6</td><td>10</td><td>0</td><td>8</td><td>6</td><td>720</td></tr><tr><td>Tempête Egon</td><td>609</td><td>66</td><td>1</td><td>35</td><td>0</td><td>10</td><td>0</td><td>721</td></tr><tr><td>Tempête Eleanor</td><td>590</td><td>82</td><td>22</td><td>19</td><td>1</td><td>6</td><td>0</td><td>720</td></tr><tr><td>Ouragan Harvey</td><td>628</td><td>78</td><td>10</td><td>2</td><td>1</td><td>1</td><td>0</td><td>720</td></tr><tr><td>Ouragan Irma</td><td>790</td><td>121</td><td>47</td><td>55</td><td>199</td><td>199</td><td>29</td><td>1 440</td></tr><tr><td>Effondrement Marseille</td><td>627</td><td>9</td><td>24</td><td>11</td><td>11</td><td>19</td><td>19</td><td>720</td></tr><tr><td colspan="9" style="text-align: center; font-weight: bold;">Nouvelles crises soudaines</td></tr><tr><td>Effondrement Lille</td><td>320</td><td>2</td><td>39</td><td>27</td><td>12</td><td>117</td><td>32</td><td>549</td></tr><tr><td>Incendie Gironde Landes</td><td>1 394</td><td>51</td><td>23</td><td>93</td><td>317</td><td>380</td><td>165</td><td>2 423</td></tr><tr><td>Incendie Lubrizol</td><td>137</td><td></td><td>583</td><td></td><td></td><td>627</td><td></td><td>1 347</td></tr><tr><td>Incendie Sanary</td><td>6</td><td></td><td>363</td><td></td><td></td><td>164</td><td></td><td>533</td></tr><tr><td>Incendie Notre-Dame</td><td>86</td><td></td><td>224</td><td></td><td></td><td>209</td><td></td><td>519</td></tr><tr><td>Attaque Trèbes</td><td>174</td><td></td><td>398</td><td></td><td></td><td>810</td><td></td><td>1 382</td></tr><tr><td style="font-weight: bold;">Total</td><td style="font-weight: bold;">11 358</td><td></td><td style="font-weight: bold;">3 970</td><td></td><td></td><td style="font-weight: bold;">4 257</td><td></td><td style="font-weight: bold;">19 595</td></tr></tbody></table>

sont donc très majoritairement non pertinents. En ce qui concerne les intentions, les classes sont aussi déséquilibrées : la classe DÉGÂTS HUMAINS représente seulement 1,93 % du corpus avec 306 messages tandis que la classe AVERTISSEMENT-CONSEIL est constituée de 1 470 tweets soit 9,88 % du corpus. La gestion de crise à partir de tweets s’apparente donc à un problème de détection de signaux faibles.

## 4 Modèles proposés et résultats

Nous avons évalué ce corpus avec un ensemble de modèles qui ont fait leurs preuves dans ce cadre, avec en particulier une approche multi-tâche. Ont été testés différents modèles tels que BERT, CamBERT mais nous ne présentons ici que les modèles qui ont obtenu les meilleurs résultats, à savoir :

- **FlaubERT<sub>Fine-Tuned</sub>** : il s’agit d’un modèle FlaubERT (Le et al., 2019) pré-entraîné sur 358 834 tweets non annotés du corpus de (Kozlowski et al., 2020) et qui a montré de meilleures performances comparé au modèle FlaubERT (Le et al., 2019) pre-entraîné sur du texte français provenant de différentes sources (par exemple Wikipédia et livres). Pour entraîner le modèle, nous avons utilisé un optimisateur Adam, avec un taux d’apprentissage de $2^{-5}$ sur 4 epochs.

- **FlaubERT<sub>Fine-Tuned+MultiTask</sub>** : nous avons également entraîné notre modèle FlaubERT<sub>Fine-Tuned</sub> avec une architecture multi-tâches. L’objectif est de partager les connais-
sances entre les trois classifieurs de tâche (utilité, urgence et intention) avec un entraînement conjoint. Dans le modèle FlaubERT<sub>Fine-Tuned+MultiTask</sub>, chaque classifieur est entraîné pour une tâche spécifique. Tous les classifieurs partagent les mêmes couches basses (qui sont des couches de FlaubERT<sub>Fine-Tuned</sub>) sauf la dernière qui est spécifique à la tâche. Pour entraîner le modèle, nous avons utilisé un optimisateur Adam, avec un taux d'apprentissage de $2^{-5}$ sur 4 epochs.

Le corpus étant déséquilibré, nous utilisons la fonction de perte focal loss (Lin et al., 2016) plus appropriée pour traiter les classes déséquilibrées<fnref n="10" />. Un prétraitement des messages est aussi effectué : les nombres sont remplacés par un token "nombre", les mentions sont supprimées.

## 4.1 Protocole d'évaluation

Chaque modèle est évalué pour chaque tâche : (1) la tâche d'utilité qui est un problème binaire (MESSAGE UTILE vs. MESSAGE NON UTILE), (2) la tâche d'urgence qui est un problème ternaire (MESSAGE NON UTILE vs. MESSAGE NON URGENT vs. MESSAGE URGENT), et (3) la tâche de détection d'intention (7 classes). Pour la tâche d'intention, les tweets non annotés en intention ne sont pas pris en compte.

Notre objectif étant d'évaluer les performances des différents modèles lorsqu'ils sont confrontés à différents types de crise, nous les avons testés dans les configurations suivantes :

1. **Généralisation** : Afin d'évaluer la portabilité des modèles aux crises soudaines, nous les avons entraînés sur le corpus initial de (Kozlowski et al., 2020) et les avons testés sur les nouvelles crises que nous avons ajoutées.

2. **Hors-événement (Out-OF-Event)** : Inspirée de (Nguyen et al., 2016) cette évaluation consiste à entraîner un modèle sur un ensemble de crises (par exemple, Ouragan Irma et Tempête Egon) et tester sur d'autres crises du même type (par exemple, Ouragan Harvey et Tempête Fionn). Pour constituer notre corpus d'entraînement, nous avons appliqué la méthode utilisée pour TREC-IS 2018 (McCreadie et al., 2019) et sélectionné pour chaque type de crise, celle qui possède le plus de messages afin d'avoir la meilleure couverture pour chaque type de crise. Ainsi, les crises qui font partie du jeu d'entraînement sont : Inondation Aude, Tempête Egon, Ouragan Irma, Effondrement Marseille, Incendie Gironde Landes et Attaque Trèbes. Ceci donne un total de 8 459 messages pour les tâches de détection d'utilité et d'urgence, et 7 077 messages pour la tâche d'intention. Le jeu de test est composé de 11 136 messages pour les tâches d'utilité et d'urgence et 8 737 messages pour la tâche d'intention et est composé des crises non présentes dans le jeu d'entraînement.

3. **Hors-Type (Out-OF-Type)** : Cette configuration consiste à entraîner le modèle sur des types de crises spécifiques (par exemple, les inondations et les ouragans) puis à les tester sur un autre type de crise (par exemple, les incendies). Le but est de vérifier si le modèle peut s'adapter à de nouvelles crises qu'il ne connaît pas, et donc à de potentielles crises futures. Dans le cas d'une évaluation Hors-Type, pour avoir un résultat représentatif, il faut tester sur chaque type de crise individuellement puis faire la moyenne des F-scores obtenus pour chaque crise. Les résultats présentés ici sont calculés de cette façon. Nous avons fait une expérimentation Hors-Type

<footnote n="10">10. Nous avons également testé la Weigthed cross-entropy et la cross-entropy mais les résultats étaient moins bons.</footnote>
sur 5 types de crises (Incendie, Inondation, Ouragan, Tempête, Effondrement)<fnref n="11" />. La méthode d'évaluation hors-type est une évaluation récente et encore peu exploitée : Kersten et al. (2019) et Algiriyage et al. (2021) utilisent cette stratégie mais sur un nombre de types de crises très réduit. Bourgon et al. (2022) ont également utilisé une évaluation similaire. Cependant, la plupart de ces travaux se concentrent uniquement sur la classification des messages en utilité et urgence. Nous allons plus loin ici en abordant, en plus, la tâche plus complexe de classification en intention.

Il est à noter que l'évaluation Hors-Événement est la méthode d'évaluation standard en gestion de crise. Nous proposons dans cet article deux protocoles supplémentaires afin d'évaluer la portabilité des modèles vers de nouvelles crises.

## 4.2 Résultats

La table 3 présente les résultats obtenus par les deux meilleurs modèles sur les tâches de pré-diction de l'utilité, de l'urgence et des intentions dans la configuration Généralisation. À titre de comparaison, les macro F1-scores obtenus par (Kozlowski et al., 2020) sur le corpus initial sont de 85,3 pour la tâche d'utilité, de 76,7 pour l'urgence et 65,4 pour les intentions avec le même modèle FlaubERT$_{Fine-Tuned}$ (respectivement, 85,4, 77,5 et 64,0 pour le modèle FlaubERT$_{Fine-Tuned+MultiTask}$). Sans surprise, les résultats obtenus quand les modèles sont testés sur de nouveaux types de crise sont moins bons mais sont tout de même honorables. Globalement, le modèle FlaubERT$_{Fine-Tuned+MultiTask}$ obtient de meilleurs résultats.

<table><caption>TABLE 3 – Résultats pour l'expérimentation de généralisation.</caption><thead><tr><th>Modèles</th><th>Corpus de test</th><th></th><th>utilité</th><th>urgence</th><th>intention</th></tr></thead><tbody><tr><td>FlaubERT<sub>Fine-Tuned</sub></td><td>Kozlowski</td><td>Macro F1</td><td>85,3</td><td>76,7</td><td>65,4</td></tr><tr><td rowspan="3">FlaubERT<sub>Fine-Tuned</sub></td><td rowspan="3">Corpus augmenté</td><td>Précision</td><td>59,84</td><td><strong>55,87</strong></td><td><strong>49,82</strong></td></tr><tr><td>Rappel</td><td>60,23</td><td>55,88</td><td>49,07</td></tr><tr><td>Macro F1</td><td>59,92</td><td><strong>55,42</strong></td><td>44,21</td></tr><tr><td rowspan="3">FlaubERT<sub>Fine-Tuned+MultiTask</sub></td><td rowspan="3">Corpus augmenté</td><td>Précision</td><td><strong>65,34</strong></td><td>54,00</td><td>45,12</td></tr><tr><td>Rappel</td><td><strong>65,62</strong></td><td><strong>62,52</strong></td><td><strong>54,57</strong></td></tr><tr><td>Macro F1</td><td><strong>64,66</strong></td><td>55,25</td><td><strong>46,42</strong></td></tr></tbody></table>

Les tables 4 et 5 présentent les résultats obtenus sur les 3 tâches dans les configurations Hors-Événement et Hors-Type. Là aussi, le modèle multi-tâches obtient globalement de meilleurs résultats.

Les résultats dans les configurations Hors-Événement et Hors-Type sont relativement similaires pour le modèle FlaubERT$_{Fine-Tuned+MultiTask}$ alors que FlaubERT$_{Fine-Tuned}$ performe mieux dans l'expérimentation Hors-Événement. Il faut noter que les tailles des corpus d'entraînement respectifs sont très différentes. En effet, le jeu d'entraînement de l'expérimentation Hors-Événement contient 8 459 messages alors que la taille du corpus d'entraînement Hors-Type varie selon le type de crise testé : en moyenne, un jeu d'entraînement pour une expérimentation Hors-Type contient 15 017 messages, soit 1,77 fois plus de données d'entraînement que pour l'expérimentation Hors-Événement.

<footnote n="11">11. Afin de garantir un jeu de test homogène pour les 3 tâches qui nous concernent, les données sur l'attaque terroriste de Trèbes n'ont pas été considérées car pas annotées en intention. Pour les données sur les incendies, seule la crise des incendies dans les Landes a été conservée, car elle a la seule annotée dans les 3 tâches.</footnote>
<table><caption>TABLE 4 – Résultats pour l'expérimentation Hors-Événement.</caption><thead><tr><th>Modèles</th><th></th><th>utilité</th><th>urgence</th><th>intention</th></tr></thead><tbody><tr><td rowspan="3">FlaubERT<sub>Fine-Tuned</sub></td><td>Précision</td><td>65,69</td><td>58,85</td><td><strong>56,04</strong></td></tr><tr><td>Rappel</td><td>65,67</td><td>60,15</td><td>47,37</td></tr><tr><td>Macro F1-Score</td><td>65,68</td><td>59,39</td><td><strong>50,31</strong></td></tr><tr><td rowspan="3">FlaubERT<sub>Fine-Tuned+MultiTask</sub></td><td>Précision</td><td><strong>70,58</strong></td><td><strong>62,72</strong></td><td>52,31</td></tr><tr><td>Rappel</td><td><strong>70,28</strong></td><td><strong>64,47</strong></td><td><strong>48,92</strong></td></tr><tr><td>Macro F1-Score</td><td><strong>72,53</strong></td><td><strong>63,13</strong></td><td>49,65</td></tr></tbody></table>

<table><caption>TABLE 5 – Résultats pour l'expérimentation Hors-Type.</caption><thead><tr><th>Modèles</th><th></th><th>utilité</th><th>urgence</th><th>intention</th></tr></thead><tbody><tr><td rowspan="3">FlaubERT<sub>Fine-Tuned</sub></td><td>Précision</td><td>73,09</td><td><strong>64,19</strong></td><td>51,26</td></tr><tr><td>Rappel</td><td><strong>75,06</strong></td><td><strong>65,12</strong></td><td>46,06</td></tr><tr><td>Macro F1-Score</td><td>73,19</td><td><strong>63,75</strong></td><td>45,87</td></tr><tr><td rowspan="3">FlaubERT<sub>Fine-Tuned+MultiTask</sub></td><td>Précision</td><td><strong>74,88</strong></td><td>63,73</td><td><strong>53,13</strong></td></tr><tr><td>Rappel</td><td>74,58</td><td>64,37</td><td><strong>51,49</strong></td></tr><tr><td>Macro F1-Score</td><td><strong>73,98</strong></td><td>63,04</td><td><strong>50,20</strong></td></tr></tbody></table>

On en déduit donc que, étant donné que FlaubERT<sub>Fine-Tuned+MultiTask</sub> s'entraîner sur les 3 taches simultanément, il apprend plus vite et a donc besoin de moins de données pour être performant.

Pour l'expérimentation *Hors-Type*, les moins bons résultats sont obtenus sur les crises soudaines : ainsi avec FlaubERT<sub>Fine-Tuned</sub>, on obtient un F1-score de 31,33 quand on teste sur les crises de type effondrement, 40,24 pour les incendies alors qu'on obtient un F1-score de 56,00 quand on teste sur les ouragans. Pour comparer avec les résultats de (Kozlowski et al., 2020), leurs expérimentations *Hors-Type* sur le corpus initial (en testant les modèles sur l'effondrement de Marseille) avaient obtenu un F1-Score moyen de 42,30 avec FlaubERT<sub>Fine-Tuned+MultiTask</sub>, contre 50,20 sur notre corpus augmenté. On peut donc penser que notre nouveau corpus permet de mieux appréhender l'arrivée d'un nouveau type de crise.

Si l'on compare maintenant les performances des deux modèles testés, FlaubERT<sub>Fine-Tuned+MultiTask</sub> est le plus performant pour la tâche de détection d'utilité. Cependant, en fonction du type d'expérimentation, FlaubERT<sub>Fine-Tuned</sub>, peut être plus efficace, par exemple sur la tâche de prédiction de l'urgence en configuration *Hors-Type*. Pour la tâche de prédiction des intentions, qui est la tâche la plus complexe car 7 classes possibles à prédire, FlaubERT<sub>Fine-Tuned+MultiTask</sub> obtient de meilleurs résultats dans les configurations *Généralisation* et *Hors-Type*. Il s'agit de deux tâches dont la difficulté est que certains types de crises du jeu de test ne sont pas connus du modèle car absents du jeu d'apprentissage.

## 4.3 Analyse d'erreurs

Pour analyser les erreurs de classification, nous nous intéressons à la tâche la plus complexe, à savoir la détection des intentions dans un cadre *Hors-Type*. Nous analysons ici en détail les résultats du modèle FlaubERT<sub>Fine-Tuned+MultiTask</sub> qui a obtenu les meilleurs résultats sur cette tâche.
Dans la table 6, on remarque que les classes pour lesquelles le modèle a les moins bons résultats sont les classes AUTRES MESSAGES et CRITIQUES, tandis que la classe où le modèle est le plus performant est MESSAGES NON UTILES, celle-ci étant la classe comportant le plus de données d'entraînement. De plus, étant donné qu'il s'agit d'une classe commune aux tâches d'intention, d'urgence et d'utilité, le modèle multi-tâches s'entraîne 3 fois plus sur cette classe. Il est donc normal que le modèle soit le plus performant sur cette classe.

<table><caption>TABLE 6 – Résultats du modèle FlauBERT$_{Fine-Tuned+MultiTask}$ dans la configuration Hors-Type.</caption><thead><tr><th></th><th>non utile</th><th>avert. conseil</th><th>autres messages</th><th>dégâts matériels</th><th>Soutien</th><th>dégâts humains</th><th>critiques</th><th>Moyenne</th></tr></thead><tbody><tr><th>Précision</th><td>81,94</td><td>46,50</td><td>33,14</td><td>53,54</td><td>59,25</td><td>55,07</td><td>42,47</td><td>53,13</td></tr><tr><th>Rappel</th><td>83,56</td><td>51,34</td><td>28,29</td><td>52,15</td><td>64,76</td><td>52,46</td><td>27,87</td><td><strong>51,49</strong></td></tr></tbody></table>

La classe AUTRES MESSAGES est celle pour laquelle les résultats sont les moins bons. Cependant, d'un point de vue applicatif, on peut relativiser ces résultats car d'après (Kozlowski et al., 2020), "la catégorie AUTRES MESSAGES n'a pas d'impact immédiat sur les actions à mettre en oeuvre mais contribuent à informer les personnes sur la situation. Ils regroupent : (i) les messages à propos d'animaux, (ii) les messages qui ont pour but de donner des informations via un lien, des photos ou des vidéos et (iii) des messages de prévention qui donnent des conseils sur la crise en cours".

<table><caption>TABLE 7 – Exemples d'erreurs de classification.</caption><thead><tr><th>Texte</th><th>Label</th><th>Prédiction</th></tr></thead><tbody><tr><td>(1) Abritez vous réfugiez vous sur les étages ne sortez pas<br>Signalez votre présence au numero numero Aude Inondation Catastrophe VigilanceRouge</td><td>Autres messages</td><td>Avert-Conseil</td></tr><tr><td>(2) C est nul dans l'Aude numero morts numero disparus le chef des pompiers de Carcassonne a constaté avec colère un afflux de touristes voyeurs dans les communes sinistrées<br>J' invite les gens à venir armés de pelles et de raclettes pas de leur portable pour aider les habitants</td><td>Autres messages</td><td>Critiques</td></tr><tr><td>(3) Inondations dans l'Aude les maires et les députés au plus près des sinistrés</td><td>Autres messages</td><td>Soutiens</td></tr><tr><td>(4) Certaines personnes commencent déjà à s' installer pour dormir la journée a été longue Trebes Aude</td><td>Autres messages</td><td>Message non utile</td></tr><tr><td>(5) INONDATIONS À Carcassonne l'eau continue de monter la préfecture invite les habitants qui vivent au bord de l'Aude à monter dans les étages L hôpital est inondé intemperies</td><td>Avert-Conseil</td><td>Dégâts Matériels</td></tr><tr><td>(6) Si c'est aussi rapide et efficace qu'à St Martin et à St Barth je souhaite bon courage aux pauvres victimes de ces inondations</td><td>Critiques</td><td>Soutiens</td></tr><tr><td>(7) Courage à nos compatriotes victimes des intempéries dans l'Aude Malheureusement plusieurs victimes à déplorer Nos services de sécurité et de secours sont remarquables</td><td>Dégâts Humains</td><td>Soutiens</td></tr><tr><td>(8) Inondations l'aéroclub de narbonne est en danger de mort intemperies</td><td>Dégâts Matériels</td><td>Dégâts Humains</td></tr><tr><td>(9) C'est la tempête dehors je sais pas comment j'ai survécu</td><td>Message Non Utile</td><td>Autres messages</td></tr><tr><td>(10) Comme c'est désolant de voir des immeubles s'effondrer suite à un gros manque d'entretien De tout cœur avec les habitants de cette avenue et ceux qui y travaillent tout les jours Aux collectivités de réagir maintenant</td><td>Soutiens</td><td>Critiques</td></tr></tbody></table>

La table 7 présente quelques exemples d'erreur de classification. Dans le premier message, on constate que le cas (iii) de la définition ci-dessus pose problème car il est très proche de la définition de la catégorie AVERTISSEMENT - CONSEIL.

En dehors de ce type d'erreur spécifique à la catégorie AUTRES MESSAGES, les erreurs dans les autres catégories sont plutôt similaires. Par exemple, pour le deuxième message, l'erreur de classification s'explique par le fait que l'intention du message est de critiquer la population et pas le système de secours, ce qui le différencie d'un message de type CRITIQUES. Mais comme le terme "chefs des pompiers" est utilisé, cela peut induire le modèle en erreur.

Il existe aussi le problème des intentions multiples : certains messages véhiculent bien l'intention indiquée dans le label mais l'intention prédite par le modèle est tout aussi vraie (exemples (3) et (7)).
Le manque de contexte peut aussi expliquer certaines erreurs de classification (exemples (4) et (9)).

Certaines erreurs peuvent aussi s'expliquer par des usages figuratifs (métaphores, ironie, etc.) : par exemple dans le message (8), l'utilisation du mot "mort" va entraîner une classification en DÉGÂTS HUMAINS alors qu'ici c'est un aéroclub qui est concerné. Le message (6) est quant à lui porteur d'ironie, couramment utilisée pour exprimer des critiques mais très difficile à détecter automatiquement (Zeng & Li, 2022). Ceci explique peut être pourquoi la classe CRITIQUES a les deuxièmes moins bons résultats.

# 5 Conclusions et perspectives

Nous avons présenté dans cet article un nouveau corpus en français annoté pour la gestion de crise. Ce corpus est varié en types et en nombre de crises : crises prévisibles (tempête, ouragan, inondation) et crises soudaines (effondrement, incendie, attaque terroriste). Cette diversité permet aux intervenants de se préparer à faire face aux situations imprévues et à mettre en place des stratégies de gestion de crise adaptées. Nous avons mené des expérimentations pour évaluer l'efficacité de modèles d'apprentissage supervisé pour la détection automatique des tweets pertinents et urgents liés à une crise. Nous avons montré que les modèles obtenaient des résultats encourageants lorsqu'ils sont testés sur de nouvelles crises ou même de nouveaux types de crises. Au vu des résultats, nous constatons que le problème reste encore déséquilibré en termes de classes comme en termes de représentativité des crises. Aussi, nous envisageons d'augmenter automatiquement le corpus sur les classes et les crises les moins représentées. Une autre piste envisagée est de chercher d'autres sources d'information liées aux crises et de les combiner avec les tweets dans une perspective de détection multi-modale.

# Remerciements

Ce travail a été réalisé dans le cadre du projet CNRS-prématuration INTACT impliquant l'Institut de Recherche en Informatique de Toulouse (IRIT) et l'Institut Jean Nicod (IJN).

# Références

ALAM F., OFLI F. & IMRAN M. (2018). CrisisMMD : Multimodal Twitter Datasets from Natural Disasters. In *Proceedings of the 12th International AAAI Conference on Web and Social Media (ICWSM)*.

ALGIRIYAGE N., SAMPATH R., PRASANNA R., DOYLE E. E., STOCK K. & JOHNSTON D. (2021). Identifying disaster-related tweets : a large-scale detection model comparison. In *Social Media in Crises and Conflicts, Proceedings of the 18th ISCRAM Conference*, p. 731–743.

ALHARBI A. & LEE M. (2019). Crisis detection from arabic tweets. In *Proceedings of the 3rd workshop on Arabic corpus linguistics*, p. 72–79.

BOURGON N., BENAMARA F., MARI A., MORICEAU V., CHEVALIER G. & LEYGUE L. (2022). Are Sudden Crises Making me Collapse ? Measuring Transfer Learning Performances on Urgency Detection. In *19th International Conference on Information Systems for Crisis Response and Management (ISCRAM 2022)*.

BREIMAN L. (2001). Random forests. *Machine learning*, **45**, 5–32.
CAILLAUT G., GRACIANNE C., ABADIE N., TOUYA G. & AUCLAIR S. (2022). Automated construction of a French Entity Linking dataset to geolocate social network posts in the context of natural disasters. In I. D. LIBRARY, Éd., *19th International Conference on Information Systems for Crisis Response and Management*, 19 th ISCRAM 2022 Conference Proceedings, Tarbes, France. HAL: hal-03631387.

CAMERON M. A., POWER R., ROBINSON B. & YIN J. (2012). Emergency situation awareness from twitter for crisis management. In *Proceedings of the 21st international conference on world wide web*, p. 695–698.

DE PRYCK K. (2022). *GIEC. La voix du climat*. Presses de Sciences Po.

DEVLIN J., CHANG M.-W., LEE K. & TOUTANOVA K. (2019). BERT: Pre-training of deep bidirectional transformers for language understanding. In *Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers)*, p. 4171–4186.

DIWERSY S., DIDIRKOVÁ I., DODANE C. & HIRSCH F. (2022). Les temps de la crise sanitaire au prisme d'une série chronologique: une étude phonétique-textométrique. In *16th International Conference on Statistical Analysis of Textual Data*.

DUSART A., PINEL-SAUVAGNAT K. & HUBERT G. (2021). ISSumSet: a tweet summarization dataset hidden in a TREC track. In *Proceedings of the 36th annual ACM symposium on applied computing*, p. 665–671.

GIANNAKIDOU A. & MARI A. (2021). *Truth and veridicality in grammar and thought: Mood, modality, and propositional attitudes*. University of Chicago Press.

GRANO T. (2017). The logic of intention reports. *Journal of Semantics*, **34**(4), 587–632.

IMRAN M., CASTILLO C., LUCAS J., MEIER P. & VIEWEG S. (2014). Aidr: Artificial intelligence for disaster response. In *Proceedings of the 23rd International Conference on World Wide Web*, WWW’2014, p. 159–162: ACM. DOI: 10.1145/2567948.2577034.

IMRAN M., ELBASSUONI S., CASTILLO C., DIAZ F. & MEIER P. (2013). Extracting information nuggets from disaster-related messages in social media. *Iscram*, **201**(3), 791–801.

IMRAN M., MITRA P. & CASTILLO C. (2016). Twitter as a Lifeline: Human-annotated Twitter Corpora for NLP of Crisis-related Messages. In *Proceedings of the Tenth International Conference on Language Resources and Evaluation*, (LREC’2016): European Language Resources Association (ELRA).

INTERDONATO R., DOUCET A. & GUILLAUME J.-L. (2018). Unsupervised Crisis Information Extraction from Twitter Data. In *2018 IEEE/ACM International Conference on Advances in Social Networks Analysis and Mining (ASONAM)*, p. 579–580. DOI: 10.1109/ASONAM.2018.8508261.

KAYI E. S., NAN L., QU B., DIAB M. & MCKEOWN K. (2020). Detecting urgency status of crisis tweets: A transfer learning approach for low resource languages. In *Proceedings of the 28th International Conference on Computational Linguistics*, p. 4693–4703.

KERSTEN J., KRUSPE A., WIEGMANN M. & KLAN F. (2019). Robust filtering of crisis-related tweets. In *ISCRAM 2019 conference proceedings-16th international conference on information systems for crisis response and management*.

KOZLOWSKI D., LANNELONGUE E., SAUDEMONT F., BENAMARA F., MARI A., MORICEAU V. & BOUMADANE A. (2020). A three-level classification of french tweets in ecological crises. *Information Processing & Management*, **57**(5), 102284.

LE H., VIAL L., FREJ J., SEGONNE V., COAVOUX M., LECOUTEUX B., ALLAUZEN A., CRABBÉ B., BESACIER L. & SCHWAB D. (2019). FlaubERT: Unsupervised Language Model Pre-training for French. *arXiv preprint arXiv:1912.05372*.

LIN Y., SHEN S., LIU Z., LUAN H. & SUN M. (2016). Neural relation extraction with selective attention over instances. In *Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers)*, p. 2124–2133, Berlin, Germany: Association for Computational Linguistics. DOI: 10.18653/v1/P16-1200.

MCCREADIE R., BUNTAIN C. & SOBOROFF I. (2019). TREC incident streams: Finding actionable information on social media. In *Proceedings of the 16th ISCRAM Conference*.
MCCREADIE R., BUNTAIN C. & SOBOROFF I. (2020). Incident streams 2019: Actionable insights and how to find them. In *Proceedings of the 17th ISCRAM Conference*.

NGUYEN D., AL MANNAI K. A., JOTY S., SAJJAD H., IMRAN M. & MITRA P. (2017). Robust classification of crisis-related data on social networks using convolutional neural networks. In *Proceedings of the international AAAI conference on web and social media*, volume 11, p. 632–635.

NGUYEN D. T., MANNAI K. A. A., JOTY S., SAJJAD H., IMRAN M. & MITRA P. (2016). Rapid Classification of Crisis-Related Data on Social Networks using Convolutional Neural Networks. *arXiv preprint arXiv:1608.03902*.

OLTEANU A., VIEWEG S. & CASTILLO C. (2015). What to Expect When the Unexpected Happens: Social Media Communications Across Crises. In *Proceedings of the 18th ACM Conference on Computer Supported Cooperative Work & Social Computing*, CSCW ’15, p. 994–1009.

PALEN L. & LIU S. B. (2007). Citizen Communications in Crisis: Anticipating a Future of ICT-supported Public Participation. In *Proceedings of the SIGCHI Conference on Human Factors in Computing Systems*, CHI’07, p. 727–736.

REUTER C., HUGHES A. L. & KAUFHOLD M.-A. (2018). Social media in crisis management: An evaluation and analysis of crisis informatics research. *International Journal of Human-Computer Interaction*, **34**(4), 280–294.

SCHNEIDER K.-M. (2003). A comparison of event models for naive bayes anti-spam e-mail filtering. In *10th Conference of the European Chapter of the Association for Computational Linguistics*.

SEEBERGER P. & RIEDHAMMER K. (2022). Enhancing crisis-related tweet classification with entity-masked language modeling and multi-task learning. *arXiv preprint arXiv:2211.11468*.

TORAMAN C., KUCUKKAYA I. E., OZCELIK O. & SAHIN U. (2023). Tweets under the rubble: Detection of messages calling for help in earthquake disaster. *arXiv preprint arXiv:2302.13403*.

VIEWEG S., CASTILLO C. & IMRAN M. (2014). Integrating Social Media Communications into the Rapid Assessment of Sudden Onset Disasters. In *Proceedings of the 6th International Conference of Social Informatics*, SocInfo’14, p. 444–461.

WANG C., NULTY P. & LILLIS D. (2021). Transformer-based multi-task learning for disaster tweet categorisation. *arXiv preprint arXiv:2110.08010*.

ZAHERA H. M., ELGENDY I. A., JALOTA R., SHERIF M. A. & VOORHEES E. (2019). Fine-tuned bert model for multi-label tweets classification. In *TREC*, p. 1–7.

ZAHRA K., IMRAN M. & OSTERMANN F. O. (2020). Automatic identification of eyewitness messages on Twitter during disasters. *Information Processing & Management*, **57**(1), 102–107.

ZENG Q. & LI A.-R. (2022). A survey in automatic irony processing: Linguistic, cognitive, and multi-X perspectives. In *Proceedings of the 29th International Conference on Computational Linguistics*, p. 824–836, Gyeongju, Republic of Korea: International Committee on Computational Linguistics.
# Outiller l'occitan : nouvelles ressources et lemmatisation

Aleksandra Miletić

Department of Digital Humanities, University of Helsinki
Yliopistonkatu 3, 00014 Helsinki, Finland
aleksandra.miletic@helsinki.fi

## RÉSUMÉ

Ce travail présente des contributions récentes à l'effort de doter l'occitan de ressources et outils pour le TAL. Plusieurs ressources existantes ont été modifiées ou adaptées, notamment un tokéniseur à base de règles, un lexique morphosyntaxique et un corpus arboré. Ces ressources ont été utilisées pour entraîner et évaluer des modèles neuronaux pour la lemmatisation. Dans le cadre de ces expériences, un corpus plus large (2 millions de tokens) provenant du Wikipédia a été annoté en parties du discours et en lemmes. Le corpus est accessible sur Zenodo.

## ABSTRACT

### New Resources and Lemmatization Experiments for Occitan

This paper presents recent contributions to the creation of NLP tools and resources for Occitan. Several existing resources were modified or adapted, in particular a rule-based tokenizer, a morphosyntactic lexicon and a treebank. These resources were used to train and evaluate neural lemmatization models. As part of these experiments, a large corpus based on Wikipedia (2 million tokens) was POS-tagged and lemmatized. This new resource is shared through Zenodo.

**MOTS-CLÉS** : langues peu dotées, occitan, lemmatisation.

**KEYWORDS:** low-resourced languages, Occitan, lemmatization.

## 1 Introduction

L'occitan est une langue romane parlée majoritairement dans le sud de la France ainsi qu'en Italie et en Espagne. Il n'est pas standardisé et connaît une variation interne importante. L'occitan possède une riche littérature depuis les troubadours médiévaux, il est enseigné, de l'école à l'Université, mais n'a pas de statut officiel en France. Comme c'est souvent le cas des langues dans cette situation, les efforts pour construire des ressources et outils du TAL ont démarré tardivement par rapport à la majorité des langues officielles d'Europe. Néanmoins, à travers deux projets récents, RESTAURE<fnref n="1" /> et LINGUATEC<fnref n="2" />, les premiers corpus annotés (Bernhard et al., 2018; Miletic et al., 2020b) et ressources lexicales (Vergez-Couret, 2016; Bras et al., 2020) ont été réalisés, ce qui a permis l'entraînement des premiers modèles d'étiquetage en parties du discours (Vergez-Couret & Urieli, 2015) et d'analyse syntaxique en dépendances (Miletic et al., 2019b, 2020b). Notons cependant que ces expériences

<figure><img src="image_60.png" /></figure>

<footnote n="1">1. RESTAURE : RESsources informatisées et Traitement AUTomatique pour les langues REgionales, convention ANR-14-CE24-0003-01. http://restaure.unistra.fr/</footnote>

<footnote n="2">2. LINGUATEC : projet européen EFA 227/16 Développement de la coopération transfrontalière et du transfert de connaissances en technologies du langage. https://linguatec-poctefa.eu/fr/projet/</footnote>
s’appuient sur des méthodes d’apprentissage statistiques. Par ailleurs, à notre connaissance il n’y a
pas encore de travaux publiés sur la lemmatisation de l’occitan.

La lemmatisation consiste à trouver la forme de base d'une forme fléchie donnée. La définition de la forme de base pour une catégorie grammaticale donnée peut varier d'une langue à l'autre. Elle peut consister, par exemple, à identifier le masculin singulier d'un adjectif (*bèlas* 'belles' > *bèu* 'beau') ou à retrouver l'infinitif d'une forme verbale (*calèva* 'fallait' > *caler* 'falloir'). Cette forme de traitement est particulièrement importante pour les langues à morphologie riche : elle permet de regrouper toutes les formes de surface provenant du même lemme et de diminuer ainsi la dispersion des données.

Les outils de lemmatisation basés sur l’apprentissage automatique statistique peuvent se diviser en
deux groupes principaux : approches par arbres d’édition (*edit trees*) et approches par transduction
de chaînes de caractères. La première méthode (Gesmundo & Samardzic, 2012; Grzegorz Chrupala
& van Genabith, 2008; Müller *et al.*, 2015) consiste à identifier la série d’opérations d’édition qui
permet d’obtenir le lemme à partir de la forme fléchie. Cette série d’opérations est attribuée à la
paire (*forme fléchie, lemme*) en tant qu’étiquette. L’outil apprend l’arbre d’édition qui s’applique à
chaque paire, ce qui permet d’aborder la lemmatisation comme une tâche de classification. Avec les
méthodes neuronales, la lemmatisation a été redéfinie comme une tâche de transduction de chaînes
de caractères (Bergmanis & Goldwater, 2018; Manjavacas *et al.*, 2019). L’avantage principal de ces
méthodes par rapport à la génération précédente réside dans une meilleure capacité de généralisation
aux tokens inconnus. Ce fait est particulièrement pertinent pour les langues à variation interne forte
comme l’occitan, où on s’attend à un taux élevé de tokens inconnus.

Dans ce travail, nous décrivons des expériences en lemmatisation à l'aide d'outils basés sur des méthodes d'apprentissage neuronales. Nous détaillons également plusieurs modifications apportées aux outils et ressources existantes dans le cadre de ces expériences. Enfin, nous décrivons un corpus de 2 millions de tokens extrait du Wikipédia, que nous avons étiqueté, lemmatisé et diffusé.

2 Occitan : langue régionale peu dotée

L'occitan est une langue romane qui appartient au groupe gallo-roman, parlée dans une aire linguis-
tique incluant 32 départements de la moitié sud de la France (à l'exception des zones catalane et
basque), dans plusieurs vallées alpines d'Italie et au Val d'Aran en Espagne (cf. figure 2, empruntée
à (Bernhard et al., 2021)). La langue connaît une riche variation diatopique couplée à l'existence de
plusieurs graphies. Aucune de ses variétés n'est reconnue comme standard, même si des standards
dialectaux tendent à émerger. Ces facteurs contribuent à un important degré de variation de formes
de surface, ce qui rend la création des ressources et outils pour le TAL plus exigeante que pour les
langues standardisées.

## 2.1 Propriétés linguistiques et axes de variation

L'occitan est une langue *pro-drop* : la réalisation du sujet dans la phrase n'est pas obligatoire. Les formes verbales finies portent des marques de temps, de personne et de nombre. Dans de nombreux dialectes, le nombre et le genre sont marqués sur tous les éléments du groupe nominal. À la différence du français, l'occitan préserve l'utilisation du passé simple et du subjonctif de l'imparfait, y compris à l'oral. L'exemple en provençal donné en figure 1 illustre certaines de ces propriétés.
(1) a. Totei lei personas naisson liuras e egalas en dignitat e en drech.
b. Tóuti li persouno naisson liéuro e egalo en dignita e en dre.
'Toutes les personnes naissent libres et égales en dignité et en droit.'

FIGURE 1 – Première phrase de la Déclaration des droits de l’homme en provençal, en graphie classique (a) et en graphie mistralienne (b)

La classification dialectale la plus répandue (Bec, 1995) regroupe les variétés de l'occitan en six principaux dialectes : l'auvergnat, le gascon, le languedocien, le limousin, le provençal et le vivaro-alpin (v. figure 2). Ces dialectes connaissent à leur tour une variation interne plus ou moins prononcée.

<figure><img src="image_61.png" /><figcaption>FIGURE 2 – Carte de dialectes</figcaption></figure>

La variation diatopique est présente à tous les niveaux de fonctionnement linguistique. Au niveau lexical, on trouve des cas de figure comme celui du mot *pomme de terre* : en gascon, on utilise la forme *mandòrra*, alors qu’en languedocien on utilise plutôt *trufa/trufet* ou *patana/patanon*. Différents dialectes ayant subi des processus phonétiques différents, on retrouve des séries de formes spécifiques à chaque dialecte, à l’instar du mot *fils*, qui correspond à *hilh* en gascon, à *filh* en languedocien et en limousin, et à *fiu* en provençal. Au niveau morphosyntaxique, la flexion verbale varie au niveau inter-dialectal, mais aussi intra-dialectal. À partir du paradigme flexionnel le plus répandu dans chaque dialecte, la forme de la première personne du pluriel du présent du verbe *être* correspond à *èm* en gascon, *sem* en limousin, *sèm* ou *sièm* en languedocien et *siam* en provençal. La variation syntaxique la plus prononcée est celle du gascon par rapport aux autres dialectes. À titre d’illustration, les clitiques objet et les pronoms réflexifs se trouvent en position post-verbale plus souvent qu’en languedocien, où ils sont typiquement préverbaux (cf. gasc. *ne cau pas està’s darrèr mieidia* vs lang. *vos cal pas demorar après miègjorn*, ‘vous ne devriez pas rester après midi’). Le gascon, à la différence de tous les autres dialectes de l’occitan, exhibe également des particules énonciatives, qui marquent la modalité de la phrase. Ces particules occupent la position entre le sujet (s’il est réalisé) et le verbe, et elles sont obligatoires dans certains parlers gascons. Comparez, e.g., gasc. *Lo vent que s’èra lhevat et que hasó drin fresc vs lang. Lo vent s’èra levat et fasiá un pauc freg* ‘Le vent s’était levé et il faisait un peu froid’.

En outre, plusieurs normes d'écriture existent, dont deux sont dominantes aujourd'hui : la norme dite *mistralienne*, proche des conventions orthographiques françaises, et la norme dite *classique*, fondée sur l'orthographe utilisée par les troubadours occitans (Sibille, 2002). L'exemple 1 illustre la
différence entre ces deux normes en reprenant la même phrase dans le même dialecte (le provençal) en graphie classique (1a) et en graphie mistralienne (1b). À ces différences s'ajoute la variation au niveau individuel : il n'est pas rare qu'un rédacteur adopte une graphie qui lui est propre.

## 2.2 Situation de l'occitan en TAL

Bien que l'occitan ait été reconnu comme appartenant à l'héritage culturel de la France 3, il n'est pas reconnu comme langue officielle dans ce pays, où réside la majorité de ses locuteurs. Comme il est souvent le cas dans cette situation, l'outillage de l'occitan a démarré plus tardivement par rapport à celui de la majorité de langues officielles européennes. Deux projets majeurs ont permis de constituer, par exemple, un corpus étiqueté en parties du discours (Bernhard et al., 2018), un lexique (Vergez-Couret, 2016; Bras et al., 2020) et un corpus arboré (Miletic et al., 2020a,b). Des expériences en étiquetage en parties du discours (Vergez-Couret & Urieli, 2015) et en analyse syntaxique automatique (Miletic et al., 2019b, 2020b) ont donné lieu aux premiers modèles de traitement automatique de l'occitan. Un modèle de synthèse de la parole a été développé récemment (Corral et al., 2020).

En ce qui concerne les corpus larges, l'occitan dispose d'une base de données textuelles intérrogeable en ligne (Bras & Vergez-Couret, 2016). Un corpus de 2 millions de tokens extrait des articles du Wikipédia en occitan est diffusé au sein de *Leipzig Corpora Collection* (Goldhahn et al., 2012). Le corpus multilingue OSCAR, basé sur du contenu moissonné à travers CommonCrawl 4, comprend également un sous-corpus occitan (Ortiz Suárez et al., 2019). Enfin, un corpus basé sur des discussions Wikipédia a également été publié (Miletić & Scherrer, 2022a). Ce travail a été accompagnée d'expériences en identification de l'occitan dans un contenu multilingue (Miletić & Scherrer, 2022b).

Quant aux modèles de langue pré-entraînés, des plongements lexicaux pour l'occitan dérivés en utilisant fastText existent (Bojanowski et al., 2017; Costa-jussà et al., 2022), et l'occitan est également représenté dans le modèle contextualisé multilingue mBERT (Devlin et al., 2019).

Notons que les expériences en étiquetage en parties du discours et en analyse syntaxique automatique citées ci-dessus ont été réalisés à l'aide des methodes d'apprentissage statistiques. À notre connaissance, en dehors d'expériences non encore publiées dans le cadre d'une thèse en cours sur la variation de l'occitan à l'épreuve des outils de TAL (Poujade, en préparation), il n'existe pas à ce jour de travaux sur l'occitan qui évalueraient l'efficacité des méthodes neuronales pour le traitement automatique de cette langue. Par ailleurs, nous n'avons pas identifié de travaux sur la lemmatisation de l'occitan. Or, ce niveau de traitement est crucial pour les langues à variation importante : comme la lemmatisation consiste à fournir pour chaque forme fléchie la forme de base correspondante, elle permet de réduire la dispersion de données dans un corpus et facilite ainsi l'apprentissage automatique.

# 3 Modification de ressources existantes

## 3.1 Tokénisation

Un tokéniseur à base de règles, implémenté en Perl, a été développé dans le cadre du projet RES-TAURE pour le gascon et le languedocien (Vergez-Couret, 2019). Il met en place un traitement

<footnote n="3">3. Cf. Article 75-1 de la Constitution de la Cinquième République française.</footnote>

<footnote n="4">4. https://commoncrawl.org/</footnote>
spécial basé sur des listes d'unités polylexicales : elles ne sont pas tokénisées en formes graphiques individuelles, mais sont plutôt traitées en token unique (cf. *tre que* 'dès que' → [*tre\_que*]).

La nouvelle version du tokéniseur est réalisée en Python. Nous reprenons les règles de base telles que définies dans la documentation de l'outil, mais abandonnons le traitement spécial des unités polylexicales. En effet, nous visons à produire une tokénisation plus compatible avec les exigences du projet Universal Dependencies <fnref n="5" />, auxquelles se conforme également le corpus arboré Tolosa Treebank (Miletic et al., 2020b). Comme le projet Universal Dependencies ne permet pas le maintien de ce type de tokens, nous effectuons une tokénisation en formes graphiques simples.

L'un des points principaux à traiter concerne le statut de l'apostrophe. À la différence du français, où l'apostrophe appartient systématiquement au token de gauche (cf. *l'apostrophe* → [*l', apostrophe*]), en occitan il peut appartenir aussi bien au token de gauche qu'à celui de droite. Par exemple, l'article défini se comporte d'une manière comparable au français : *l'acadèmia* → [*l', acadèmia*]. Le traitement diffère pour certains climiques en post-position : *Ne'm vòs pas ?* 'Tu ne me veux pas ?' doit être tokénisée en [*Ne, 'm, vòs, pas, ?*]. Les différents cas de figure sont traités par des règles de tokénisation correspondantes, définies lors de la création du tokéniseur originel.

## 3.2 Conversion du lexique Loflòc vers le format UD

Loflòc (Lexic obèrt flechit occitan - Lexique ouvert fléchi occitan) (Vergez-Couret, 2016; Bras et al., 2020) est un lexique morphosyntaxique développé dans le cadre du projet ANR RESTAURE puis du projet européen POCTEFA LINGUATEC, en collaboration avec Lo Congrès Permanent de la Lenga Occitana<fnref n="6" />. La version utilisée ici contient 849 605 entrées correspondant à 58 373 lemmes ; le contenu est en languedocien. Les informations morphosyntaxiques sont encodées à l'aide du jeu d'étiquettes GRACE (Rajman et al., 1997). Il s'agit d'étiquettes positionnelles, où la première position encode la catégorie grammaticale, la deuxième la sous-catégorie sémantique, et les positions restantes les traits morphosyntaxiques pertinents pour la catégorie en question. Ainsi, l'étiquette `Ncfs` représente un nom (N) commun (c) féminin (f) singulier (s). La définition du jeu d'étiquettes pour l'occitan est disponible dans le manuel d'annotation du corpus étiqueté développé dans le cadre du projet RESTAURE <fnref n="7" />.

Couplée à un corpus d'entraînement, cette ressource a le potentiel de faciliter la création de modèles performants pour le traitement automatique de l'occitan. Or, le corpus arboré Tolosa Treebank suit le schéma d'annotation du projet Universal Dependencies. Pour éliminer cette incompatibilité, nous avons effectué une conversion du lexique Loflòc vers le format UD. Le format UD encode les informations morphosyntaxiques à deux niveaux : les parties du discours sont exprimées en utilisant un jeu d'étiquettes réduit de 17 étiquettes <fnref n="8" />, alors que les traits morphosyntaxiques sont encodés à l'aide de paires `Trait=Valeur` <fnref n="9" />. Notre script de conversion répartit les informations encodées dans les étiquettes GRACE entre ces deux niveaux. Une conversion GRACE → UD a été appliquée au premier corpus occitan étiqueté en parties du discours (Miletic et al., 2019a), mais elle se limitait au niveau des étiquettes POS. Des exemples de conversion sont donnés dans le tableau 1 et la distribution d'entrées par partie du discours après la conversion est présentée dans le tableau 2.

<footnote n="5">5. https://universaldependencies.org/docs/u/overviewapanization.html</footnote>

<footnote n="6">6. https://locongres.org/fr/</footnote>

<footnote n="7">7. https://doi.org/10.5281/zenodo.1173113</footnote>

<footnote n="8">8. https://universaldependencies.org/u/pos/all.html</footnote>

<footnote n="9">9. https://universaldependencies.org/u/feat/index.html</footnote>
<table><caption>TABLE 1 – Exemple de transformation GRACE → UD</caption><thead><tr><th>Forme</th><th>Lemme</th><th>GRACE</th><th>UPOS</th><th>Traits morphosyntaxiques</th></tr></thead><tbody><tr><td>abausada</td><td>abausat</td><td>Afpfs</td><td>ADJ</td><td>Gender=Fem|Number=Sing|Degree=Pos</td></tr><tr><td>abscèsses</td><td>abscès</td><td>Ncmp</td><td>NOUN</td><td>Gender=Masc|Number=Plur</td></tr><tr><td>agirai</td><td>agir</td><td>Vmi-f1s-</td><td>VERB</td><td>Mood=Ind|Tense=Fut|Person=1|Number=Sing</td></tr></tbody></table>

<table><caption>TABLE 2 – Distribution d'entrées par partie du discours dans le lexique Loflòc au format UD</caption><thead><tr><th>Etiquette</th><th>Catégorie</th><th>Occurr.</th><th>Etiquette</th><th>Catégorie</th><th>Occurr.</th></tr></thead><tbody><tr><td>ADJ</td><td>adjectif</td><td>58 995</td><td>NUM</td><td>numéral</td><td>231</td></tr><tr><td>ADP</td><td>adposition</td><td>670</td><td>PRON</td><td>pronom</td><td>519</td></tr><tr><td>ADV</td><td>adverbe</td><td>1 841</td><td>PROPN</td><td>nom propre</td><td>1 839</td></tr><tr><td>DET</td><td>déterminant</td><td>363</td><td>VERB</td><td>verbe</td><td>690 025</td></tr><tr><td>NOUN</td><td>nom commun</td><td>94 073</td><td></td><td></td><td></td></tr></tbody></table>

## 3.3 Ré-échantillonnage et correction de Tolosa Treebank

Le corpus arboré Tolosa Treebank contient 26 mille tokens annotés en parties du discours, en lemmes et en dépendances syntaxiques suivant le schéma d'annotation Universal Dependencies. Le languedocien était le premier dialecte à être annoté et il reste majoritaire dans le corpus, mais des textes en gascon, limousin et provençal ont également été intégrés. Tous les textes sont en graphie classique. La décision d'initalement limiter le corpus à un dialecte et à une graphie a été motivée par le besoin de pouvoir contrôler les différents niveaux de variation (Miletic et al., 2020a). Le choix du languedocien est dû à sa position centrale dans le continuum dialectal : on peut s'attendre à ce que le contenu annoté en languedocien soit le plus utile pour le traitement des autres dialectes. La stratification par dialecte dans la version actuelle du corpus est donnée dans le tableau 3.

<table><caption>TABLE 3 – Contenu de Tolosa Treebank par dialecte. L. phrase : longueur moyenne de la phrase en tokens. T = L : % de tokens identiques à leur lemme.</caption><thead><tr><th></th><th>Phrases</th><th>Tokens</th><th>Types</th><th>L. phrase</th><th>T = L</th></tr></thead><tbody><tr><td>Tous dialectes</td><td>1 522</td><td>26 122</td><td>6 196</td><td>17,16</td><td>64,7</td></tr><tr><td>Gascon</td><td>255</td><td>4 170</td><td>1 429</td><td>16,35</td><td>64,5</td></tr><tr><td>Languedocien</td><td>1 113</td><td>19 315</td><td>4 499</td><td>17,35</td><td>65,1</td></tr><tr><td>Limousin</td><td>77</td><td>1 344</td><td>596</td><td>17,45</td><td>63,8</td></tr><tr><td>Provençal</td><td>77</td><td>1 293</td><td>583</td><td>16,79</td><td>61,4</td></tr></tbody></table>

La première version de ce corpus à quatre dialectes a été utilisée pour des expériences en analyse syntaxique automatique trans-dialectale (Miletic et al., 2020b). Dans ce but, le corpus avait été divisé en échantillons d'entraînement et de test, mais un échantillon de développement (*dev set*) n'a pas été créé car les méthodes utilisées dans ces expériences ne l'exigeaient pas. Comme il est en général requis par les méthodes neuronales pour l'évaluation des modèles intermédiaires durant l'entraînement, nous opérons un nouveau découpage du corpus en échantillons *train*, *test* et *dev* pour le languedocien et le gascon. Pour le limousin et le provençal, la quantité de données actuellement annotées ne permet pas la création d'un échantillon supplémentaire. Ce redécoupage du corpus
<table><caption>TABLE 4 – Division de Tolosa Treebank en échantillons d’entraînement, de développement et de test. Inc : % de tokens inconnus. Amb : % de tokens ambigus.</caption><thead><tr><th rowspan="2"></th><th colspan="3">train</th><th colspan="4">test</th><th colspan="4">dev</th></tr><tr><th>Phrases</th><th>Tokens</th><th>Types</th><th>Phrases</th><th>Tokens</th><th>Types</th><th>Inc.</th><th>Amb.</th><th>Phrases</th><th>Tokens</th><th>Types</th><th>Inc.</th><th>Amb.</th></tr></thead><tbody><tr><td>Tous dialectes</td><td>1 196</td><td>20 551</td><td>5 292</td><td>202</td><td>3 179</td><td>1 054</td><td>22,11</td><td>28,18</td><td>124</td><td>2 392</td><td>1 009</td><td>16,39</td><td>31,77</td></tr><tr><td>Gascon</td><td>195</td><td>3 258</td><td>1 173</td><td>35</td><td>421</td><td>230</td><td>26,37</td><td>23,28</td><td>25</td><td>491</td><td>267</td><td>19,35</td><td>33,60</td></tr><tr><td>Languedocien</td><td>884</td><td>15 494</td><td>3 937</td><td>130</td><td>1 920</td><td>577</td><td>19,64</td><td>27,50</td><td>99</td><td>1 901</td><td>814</td><td>15,62</td><td>31,30</td></tr><tr><td>Limousin</td><td>56</td><td>919</td><td>434</td><td>16</td><td>413</td><td>211</td><td>27,76</td><td>31,76</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td></tr><tr><td>Provençal</td><td>61</td><td>880</td><td>424</td><td>16</td><td>413</td><td>211</td><td>23,49</td><td>32,69</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td></tr></tbody></table>

signifie que les résultats obtenus sur les versions différentes ne seront pas directement comparables.

Des informations quantitatives sur les différents échantillons, pour l’ensemble du corpus et par dialecte, sont proposées dans le tableau 4. Pour les échantillons *dev* et *test*, nous ajoutons le pourcentage de tokens inconnus et ambigus par rapport à l’échantillon *train* correspondant. Un token est considéré comme inconnu s’il est absent de l’échantillon *train*, alors qu’un token ambigu y figure, mais se trouve associé à plusieurs annotations possibles. Comme nos expériences se focalisent sur la lemmatisation, le pourcentage de tokens ambigus correspond à la part de tokens qui sont associés à plusieurs lemmes.

# 4 Expériences en lemmatisation

L’objectif des expériences présentées ici est d’identifier des stratégies utiles pour la lemmatisation de l’occitan. Les stratégies explorées concernent trois dimensions principales : le paradigme d’apprentissage (adaptation de l’entraînement séquentiel vs l’entraînement joint appliqués à l’étiquetage et à la lemmatisation), la taille et la nature de données d’entraînement (utilité d’un corpus limité annoté manuellement vs un corpus large annoté automatiquement) et la gestion de la variation dialectale (efficacité de modèles spécifiques à chaque dialecte vs un modèle global). Nous entraînons également des modèles d’étiquetage en POS afin d’évaluer les outils de lemmatisation sur des étiquettes POS fournies automatiquement. Les expériences discutées ici ont été mises en parallèle avec des expériences sur la lemmatisation du bas saxon (Miletić & Siewert, 2023), permettant d’identifier des difficultés et des stratégies communes, particulièrement pertinentes dans le contexte des langues non standardisées et peu dotées.

## 4.1 Outils utilisés

MaChAmp (van der Goot et al., 2021) : cet outil permet d’effectuer l’apprentissage multi-tâche et le paramétrage (fine-tuning) d’un éventail de tâches du TAL, y compris l’étiquetage en parties du discours, la lemmatisation, l’analyse syntaxique automatique, la modélisation du langage masquée et la génération de texte. MaChAmp utilise un modèle contextualisé pré-entraîné comme encodeur et effectue le fine-tuning en fonction des tâches en aval qui lui sont demandées. Chaque tâche dispose d’un décodeur dédié qui permet d’effectuer les prédicitions pour la tâche en question. L’outil permet également de réaliser un entraînement initial pour une tâche donnée, puis de ré-entraîner le modèle pour la même tâche sur un deuxième jeu de données. Nous avons exploité cette fonctionnalité dans nos expériences de lemmatisation. Par défaut, MaChAmp utilise les plongements lexicaux du modèle
pré-entraîné mBERT (Devlin et al., 2019).

**Stanza NLP** (Qi et al., 2020) : cette chaîne de traitement intègre actuellement de modèles de traitement pour 66 langues différentes (mais pas pour l'occitan). Elle comprend des modules de tokénisation, d'analyse des tokens multi-mots, de lemmatisation, d'étiquetage en parties du discours et en traits morphosyntaxiques, d'analyse syntaxique en dépendances et de reconnaissance des entités nommées. Comme Stanza permet l'entraînement de nouveaux modèles, nous avons utilisé son étiqueteur, basé sur un modèle biLSTM, et son lemmatiseur, qui intègre un modèle neuronal de séquence à séquence (seq2seq). L'étiqueteur permet d'utiliser des plongements lexicaux statiques ; nous avons tiré profit de cette fonctionnalité en utilisant ceux de fastText <fnref n="10" />.

## 4.2 Préannotation d'un corpus plus large

Le corpus Tolosa Treebank est d'une taille relativement restreinte (26K tokens). Nous avons donc souhaité évaluer l'utilité d'un corpus plus large, qui serait annoté de manière automatique. Pour ce faire, nous nous sommes servie du corpus extrait du Wikipédia en occitan diffusé dans *Leipzig Corpora Collection* (Goldhahn et al., 2012). La version téléchargeable de ce corpus contient 100K phrases correspondant à 2M de tokens <fnref n="11" />. Le contenu est segmenté en phrases, mais pas annoté.

Afin d'effectuer l'étiquetage en parties du discours et la lemmatisation de ce corpus, nous avons utilisé l'outil MaChAmp. Dans ces expériences initiales avec l'outil, nous avons opté pour l'entraînement indépendant des modèles d'étiquetage et de lemmatisation. Les modèles ont été appris sur l'échantillon d'entraînement du corpus Tolosa Treebank. Nous avons utilisé les plongements lexicaux par défaut.

L'étiqueteur en parties du discours a atteint l'exactitude de 92,26 % sur l'échantillon de test contenant les quatre dialectes. Le résultat le plus élevé a été obtenu sur le languedocien (92,97 %) et le plus bas sur le provençal (89,10 %). L'exactitude globale du lemmatiseur a atteint 89,30 %, le résultat le plus élevé étant 93,33 % sur le languedocien et le limousin, et le plus bas 88,6 % sur le gascon.

Pour annoter le corpus Wikipédia, nous l'avons d'abord tokénisé à l'aide du tokéniseur présenté dans la section 3.1. Si un token disposait d'une entrée non ambiguë dans le lexique Loflòc, nous avons retenu l'information disponible dans le lexique. Dans le cas contraire, nous avons fait appel aux modèles MaChAmp. Environ un tiers des tokens ont été annotés à partir du lexique.

## 4.3 Résultats et discussion

Cette section est dédiée à la discussion des résultats de nos expériences en lemmatisation. Nous indiquons systématiquement l'exactitude moyenne et la déviation standard obtenues à partir de trois tours d'entraînement avec des *random seeds* différents. Nous évaluons les outils sur l'ensemble des tokens, mais aussi sur les tokens inconnus et ambigus. Les résultats discutés ici ont été obtenus sur les échantillons *test*. Les résultats sur les échantillons *dev* sont disponibles dans l'annexe A.

Nous avons d'abord évalué les performances de plusieurs modèles globaux, entraînés et évalués sur le contenu en quatre dialectes. Les résultats sont présentés dans le tableau 5. La colonne *train* indique le corpus d'entraînement : TTB correspond à Tolosa Treebank, WIKI au corpus Wikipédia et COMB à la combinaison des deux. Dans le cas de MaChAmp, WIKI+TTB indique un premier entraînement sur

<footnote n="10">10. https://fasttext.cc/docs/en/crawl-vectors.html</footnote>

<footnote n="11">11. https://corpora.uni-leipzig.de/en?corpusId=oci_wikipedia_2021</footnote>
le corpus Wikipédia suivi d'un ré-entraînement sur le Tolosa Treebank. La colonne *tâche* précise si le modèle a été entraîné sur la lemmatisation seule ou sur l'étiquetage aussi. *Cond. entraîn.* et *Cond. test* indiquent respectivement les informations utilisées pour l'entraînement et pour l'évaluation. Les modèles qui s'appuient sur les étiquettes POS ont été évalués en utilisant l'annotation automatique produite par le modèle d'étiquetage entraîné sur le même corpus.

Dans ce scénario, les meilleurs résultats ont été obtenus par le modèle Stanza entraîné sur le Tolosa Treebank en s'appuyant sur les étiquettes POS (exactitude globale : 93,21 %). Quant à MaChAmp, le modèle le plus performant est celui entraîné sur le corpus Wikipédia et ré-entrâiné sur le Tolosa Treebank dans le paradigme d'apprentissage joint (exactitude globale : 92,16 %). Ces modèles dépassent ceux entraînés sans accès à l'étiquetage en POS, ce qui confirme encore une fois l'utilité des étiquettes POS pour la lemmatisation.

Globalement, les résultats de MaChAmp varient relativement peu : la différence entre les modèles le moins et le plus performant est de <1 %. Le passage du corpus plus petit au corpus plus large annoté automatiquement, ainsi que le ré-entraînement de ce deuxième modèle sur le corpus *gold* apportent tous les deux des améliorations, mais celles-ci restent limitées (<0,5 %). Quant à Stanza, les différences entre les modèles sont plus prononcées, les scores allant de 90,35 % pour le modèle entraîné sur le Tolosa Treebank sans utiliser les étiquettes POS à 93,21 % pour le modèle entraîné sur le même corpus en exploitant l'annotation morphosyntaxique. Il est intéressant que l'ajout du corpus Wikipédia au corpus Tolosa Treebank ici n'apporte pas d'amélioration (92,49 % vs 93,21 %). Il semblerait donc que pour MaChAmp la quantité de données d'entraînement est plus importante que la qualité de l'annotation, alors que pour Stanza ce serait l'inverse.

La question de la fiabilité de l'annotation semble particulièrement importante pour le traitement des tokens inconnus et ambigus : pour les deux outils, les meilleurs scores sur ces deux catégories ont été obtenus par les modèles entraînés sur le corpus *gold*. L'utilisation du corpus annoté automatiquement entraîne des pertes d'environ 4-5 % sur les tokens inconnus et d'environ 3-4 % sur les tokens ambigus pour MaChAmp, alors que pour Stanza les pertes sont respectivement d'environ 10 % et 4 %.

Dans un deuxième temps, nous avons évalué l'adaptation de différents modèles à chacun des dialectes (cf. tableau 9). Nous avons également développé des modèles MaChAmp ciblés en effectuant le ré-entraînement sur chacun des sous-corpus (cf. les modèles WIKI+GA, WIKI+LI, WIKI+LA, WIKI+PR) pour identifier la meilleure stratégie pour les dialectes individuels.

Le modèle Stanza entraîné sur le Tolosa Treebank reste le plus utile : il atteint les meilleurs résultats sur les trois catégories de tokens pour le gascon, le languedocien et le provençal, et il est également le plus performant sur les tokens ambigus sur l'échantillon limousin. Pour ce dernier dialecte, c'est le modèle MaChAmp ré-entraîné sur l'ensemble du corpus Tolosa Treebank qui gagne sur les tokens inconnus et sur l'ensemble des tokens. Pour les quatre dialectes, le ré-entraînement sur les sous-corpus dédiés donne des résultats moins élevés que l'utilisation de l'ensemble du corpus Tolosa Treebank. Les pertes sont les plus prononcées sur le limousin et le provençal (respectivement d'environ 3 % et 5 %). Comme ces deux dialectes disposent des sous-corpus les plus petits, il est possible que cet effet soit dû à la taille de l'échantillon de ré-entraînement.

Globalement, l'utilité d'un corpus large annoté automatiquement semble dépendre de l'outil : avec MaChAmp, le corpus plus large apporte une amélioration au niveau du modèle global, mais ce n'est pas le cas de Stanza. Cet outil semble favoriser la fiabilité de l'annotation et obtient les meilleurs résultats à partir du corpus *gold*. Plus généralement, sur les token inconnus, les modèles entrainés sur le corpus *gold* surpassent les modèles entraînés sur le corpus plus large. Si l'on vise à optimiser
<table><caption>TABLE 5 – Lemmatisation : résultats sur l'ensemble de l'échantillon de test</caption><thead><tr><th>Outil</th><th>train</th><th>Tâche</th><th>Cond. entraîn.</th><th>Cond. test</th><th>Tous</th><th>Inconnus</th><th>Ambigus</th></tr></thead><tbody><tr><td rowspan="3">MaChAmp</td><td>TTB</td><td>LEM</td><td>no POS, gold LEM</td><td>no POS</td><td>91, 28<sup>±0,42</sup></td><td>72, 22<sup>±1,55</sup></td><td>96, 23<sup>±0,37</sup></td></tr><tr><td>WIKI</td><td>POS+LEM</td><td>pred. POS+LEM</td><td>no POS</td><td>91, 77<sup>±0,23</sup></td><td>68, 54<sup>±1,86</sup></td><td>92, 19<sup>±0,14</sup></td></tr><tr><td>WIKI+TTB</td><td>POS+LEM</td><td>pred. POS+LEM</td><td>no POS</td><td>92, 16<sup>±0,25</sup></td><td>67, 20<sup>±0,33</sup></td><td>93, 05<sup>±0,45</sup></td></tr><tr><td rowspan="3">Stanza</td><td>TTB</td><td>LEM</td><td>no POS, gold LEM</td><td>no POS</td><td>90, 35<sup>±0,42</sup></td><td>66, 86<sup>±1,85</sup></td><td>95, 78<sup>±0,00</sup></td></tr><tr><td>TTB</td><td>LEM</td><td>gold POS+LEM</td><td>pred. POS</td><td><b>93,21</b><sup>±0,09</sup></td><td><b>78,43</b><sup>±0,41</sup></td><td><b>96,69</b><sup>±0,00</sup></td></tr><tr><td>COMB</td><td>LEM</td><td>pred. POS+LEM</td><td>pred. POS</td><td>92, 49<sup>±0,08</sup></td><td>68, 40<sup>±0,98</sup></td><td>92, 63<sup>±0,00</sup></td></tr></tbody></table>

<table><caption>TABLE 6 – Lemmatisation : résultats par dialecte</caption><thead><tr><th rowspan="2">Outil</th><th rowspan="2">train</th><th colspan="3">Gascon</th><th colspan="3">Limousin</th></tr><tr><th>Tous</th><th>Inconnus</th><th>Ambigus</th><th>Tous</th><th>Inconnus</th><th>Ambigus</th></tr></thead><tbody><tr><td rowspan="2">MaChAmp</td><td>WIKI+TTB</td><td>89, 66<sup>±0,52</sup></td><td>57, 01<sup>±1,24</sup></td><td>90, 28<sup>±0,57</sup></td><td>WIKI+TTB</td><td><b>90,91</b><sup>±0,20</sup></td><td><b>74,42</b><sup>±1,90</sup></td><td>94, 35<sup>±0,46</sup></td></tr><tr><td>WIKI+GA</td><td>88, 86<sup>±0,41</sup></td><td>54, 38<sup>±1,24</sup></td><td>89, 58<sup>±0,98</sup></td><td>WIKI+LI</td><td>87, 64<sup>±0,57</sup></td><td>64, 34<sup>±1,10</sup></td><td>92, 66<sup>±0,80</sup></td></tr><tr><td rowspan="2">Stanza</td><td>TTB</td><td><b>90,71</b><sup>±0,75</sup></td><td><b>77,78</b><sup>±2,79</sup></td><td><b>91,49</b><sup>±0,00</sup></td><td>TTB</td><td>90, 59<sup>±0,41</sup></td><td>72, 60<sup>±0,80</sup></td><td><b>99,22</b><sup>±0,00</sup></td></tr><tr><td>COMB</td><td>90, 06<sup>±0,11</sup></td><td>67, 54<sup>±1,24</sup></td><td>89, 58<sup>±0,00</sup></td><td>COMB</td><td>89, 79<sup>±0,23</sup></td><td>66, 67<sup>±1,09</sup></td><td>92, 66<sup>±0,00</sup></td></tr></tbody></table><table><thead><tr><th rowspan="2">Outil</th><th rowspan="2">train</th><th colspan="3">Languedocien</th><th colspan="3">Provençal</th></tr><tr><th>Tous</th><th>Inconnus</th><th>Ambigus</th><th>Tous</th><th>Inconnus</th><th>Ambigus</th></tr></thead><tbody><tr><td rowspan="2">MaChAmp</td><td>WIKI+TTB</td><td>93, 08<sup>±0,48</sup></td><td>69, 91<sup>±0,33</sup></td><td>92, 76<sup>±0,69</sup></td><td>WIKI+TTB</td><td>91, 67<sup>±0,00</sup></td><td>54, 67<sup>±1,89</sup></td><td>95, 14<sup>±0,44</sup></td></tr><tr><td>WIKI+LA</td><td>92, 56<sup>±0,60</sup></td><td>68, 29<sup>±0,33</sup></td><td>92, 29<sup>±0,80</sup></td><td>WIKI+PR</td><td>86, 60<sup>±0,11</sup></td><td>52, 00<sup>±0,00</sup></td><td>89, 55<sup>±0,25</sup></td></tr><tr><td rowspan="2">Stanza</td><td>TTB</td><td><b>94,42</b><sup>±0,13</sup></td><td><b>81,35</b><sup>±0,90</sup></td><td><b>96,54</b><sup>±0,00</sup></td><td>TTB</td><td><b>92,81</b><sup>±0,31</sup></td><td><b>74,92</b><sup>±1,28</sup></td><td><b>98,51</b><sup>±0,00</sup></td></tr><tr><td>COMB</td><td>93, 72<sup>±0,11</sup></td><td>71, 53<sup>±1,50</sup></td><td>92, 98<sup>±0,00</sup></td><td>COMB</td><td>92, 08<sup>±0,12</sup></td><td>54, 67<sup>±1,89</sup></td><td>93, 51<sup>±0,00</sup></td></tr></tbody></table>

les performances des modèles sur cette catégorie de tokens, il semble utile de favoriser la qualité de l'annotation plutôt que la taille du corpus d'entraînement. Enfin, avec MaChAmp, les entraînements ciblés par dialecte n'apportent pas d'amélioration par rapport à l'entraînement global. Néanmoins, la taille de nos sous-corpus étant encore limitée, notamment pour le limousin et le provençal, cette stratégie mériterait d'être ré-évaluée sur des versions futures du corpus.

# 5 Corpus Wikipédia annoté

Afin de favoriser les travaux sur l'occitan, nous distribuons le corpus Wikipédia étiqueté en parties du discours et lemmatisé dans le cadre de nos expériences. Les 2 millions de tokens correspondent à 111 656 lemmes différents. La distribution des parties du discours se trouve dans le tableau 7. Dans la version actuelle du corpus, nous gardons l'annotation initiale (voir section 4.2). Celle-ci évoluera à l'avenir afin de prendre en compte les résultats présentés ici. Le corpus est disponible à l'adresse suivante : https://doi.org/10.5281/zenodo.7777340.

# 6 Conclusion

Nous avons présenté plusieurs avancées dans les efforts pour outiller l'occitan, une langue régionale non standardisée. Une part de ces efforts était focalisée sur des ressources existantes : des améliorations mineures ont été apportées à un tokéniseur existant et au corpus arboré Tolosa Treebank, alors
<table><caption>TABLE 7 – Distribution de parties du discours dans le corpus Wikipédia</caption><thead><tr><th>Etiquette</th><th>Catégorie</th><th>Occ.</th><th>Etiquette</th><th>Catégorie</th><th>Occ.</th></tr></thead><tbody><tr><td>ADJ</td><td>adjectif</td><td>135 760</td><td>NUM</td><td>numéral</td><td>45 116</td></tr><tr><td>ADP</td><td>adposition</td><td>306 798</td><td>PART</td><td>particule</td><td>4 610</td></tr><tr><td>ADV</td><td>adverbe</td><td>76 063</td><td>PRON</td><td>pronom</td><td>65 916</td></tr><tr><td>AUX</td><td>verbe auxiliaire</td><td>55 023</td><td>PROPN</td><td>nom propre</td><td>92 554</td></tr><tr><td>CCONJ</td><td>conj. de coord.</td><td>56 173</td><td>PUNCT</td><td>ponctuation</td><td>225 596</td></tr><tr><td>DET</td><td>déterminant</td><td>317 677</td><td>SCONJ</td><td>subordonnant</td><td>20 831</td></tr><tr><td>INTJ</td><td>interjection</td><td>3 589</td><td>VERB</td><td>verbe</td><td>191 342</td></tr><tr><td>NOUN</td><td>nom commun</td><td>434 306</td><td>X</td><td>foreign</td><td>1 654</td></tr></tbody></table>

que le lexique Loflòc a été converti du format GRACE vers le format Universal Dependencies. Deuxièmement, nous avons présenté, à notre connaissance, la première évaluation en lemmatisation de l'occitan. Ces expériences ont été réalisées à l'aide d'outils neuronaux, qui ne figurent pas pour l'heure dans les travaux publiés sur le traitement de l'occitan. Nous avons également décrit une nouvelle ressource : un corpus extrait du Wikipédia, qui a été tokénisé, étiqueté en parties du discours et lemmatisé. Ce corpus est désormais disponible sur Zenodo.

Les modèles de lemmatisation que nous avons entraînés atteignent des résultats solides, avec un taux d'exactitude allant de 90,71 % sur le gascon jusqu'à 94,42 % sur le languedocien, l'exactitude globale sur l'ensemble des dialectes étant de 93,21 %. Comme nous avons entraîné tous les modèles avec les valeurs des paramètres par défaut, il est possible que des tests de paramétrage apportent des gains supplémentaires. L'utilisation d'un corpus large annoté automatiquement a amélioré les résultats avec l'outil MaChAmp ; en revanche, Stanza s'est montré plus performant en limitant l'entraînement aux données annotées manuellement. Quant aux entraînements ciblés pour chaque dialecte, nous n'avons pas observé d'effets positifs ; qui plus est, cette stratégie entraîne des pertes importantes pour le limousin et le provençal. Ces observations sont sans doute liées à la taille limitée des sous-corpus individuels ; elles méritent d'être ré-évaluées sur les futures versions du corpus Tolosa Treebank.

Nous espérons que ces résultats, ainsi que les ressources présentées ici, favoriseront la poursuite des travaux sur l'occitan et faciliteront sa sortie du statut de langue peu dotée.

## Remerciements

Je souhaite remercier Myriam Bras (Université de Toulouse) et Marianne Vergez-Couret (Université de Poitiers) pour leurs retours précieux.

Ce travail a été effectué dans le cadre du projet "CorCoDial – Corpus-based computational dialectology" (Academy of Finland, No. 342859).
## A Résultats sur l'échantillon dev

<table><caption>TABLE 8 – Exactitude de lemmatisation sur tous les dialectes. Échantillon *dev*.</caption><thead><tr><th>Outil</th><th><i>train</i></th><th>Tâche</th><th>Cond. entraîn.</th><th>Cond. test</th><th>Tous</th><th>Inconnus</th><th>Ambigus</th></tr></thead><tbody><tr><td rowspan="3">MaChAmp</td><td>TTB</td><td>LEM</td><td>no POS, gold LEM</td><td>no POS</td><td>93, 57<sup>±0,06</sup></td><td>78, 74<sup>±1,14</sup></td><td>95, 08<sup>±0,28</sup></td></tr><tr><td>WIKI</td><td>POS+LEM</td><td>pred. POS+LEM</td><td>no POS</td><td>93, 32<sup>±0,09</sup></td><td>76, 07<sup>±0,50</sup></td><td>91, 94<sup>±0,15</sup></td></tr><tr><td>WIKI+TTB</td><td>POS+LEM</td><td>pred. POS+LEM</td><td>no POS</td><td>94, 24<sup>±0,17</sup></td><td>73, 49<sup>±0,74</sup></td><td>93, 47<sup>±0,29</sup></td></tr><tr><td rowspan="3">Stanza</td><td>TTB</td><td>LEM</td><td>no POS, gold LEM</td><td>no POS</td><td>92, 84<sup>±0,14</sup></td><td>75, 43<sup>±0,84</sup></td><td>93, 10<sup>±0,0</sup></td></tr><tr><td>TTB</td><td>LEM</td><td>gold POS+LEM</td><td>pred. POS</td><td>94, 68<sup>±0,03</sup></td><td>83, 16<sup>±0,21</sup></td><td>94, 86<sup>±0,0</sup></td></tr><tr><td>COMB</td><td>LEM</td><td>pred. POS+LEM</td><td>pred. POS</td><td>93, 53<sup>±0,06</sup></td><td>74, 01<sup>±1,11</sup></td><td>91, 19<sup>±0,0</sup></td></tr></tbody></table>

<table><caption>TABLE 9 – Exactitude de lemmatisation par dialecte. Échantillon *dev* (le corpus utilisé propose des échantillons *dev* seulement pour le gascon et le languedocien.)</caption><thead><tr><th rowspan="2">Outil</th><th rowspan="2"><i>train</i></th><th colspan="3">Gascon</th><th colspan="3">Languedocien</th></tr><tr><th>Tous</th><th>Inconnus</th><th>Ambigus</th><th><i>train</i></th><th>Tous</th><th>Inconnus</th><th>Ambigus</th></tr></thead><tbody><tr><td rowspan="2">MaChAmp</td><td>WIKI+TTB</td><td>93, 60<sup>±0,36</sup></td><td>69, 10<sup>±1,15</sup></td><td>93, 55<sup>±1,11</sup></td><td>WIKI+S</td><td>94, 40<sup>±0,14</sup></td><td>75, 58<sup>±0,95</sup></td><td>93, 45<sup>±0,1</sup></td></tr><tr><td>WIKI+GA</td><td>92, 83<sup>±0,10</sup></td><td>69, 10<sup>±2,30</sup></td><td>92, 14<sup>±0,22</sup></td><td>WIKI+LA</td><td>94, 12<sup>±0,13</sup></td><td>74, 03<sup>±1,09</sup></td><td>93, 25<sup>±0,11</sup></td></tr><tr><td rowspan="2">Stanza</td><td>WIKI</td><td>94, 29<sup>±0,20</sup></td><td>79, 65<sup>±0,99</sup></td><td>96, 15<sup>±0,00</sup></td><td>TTB</td><td>94, 78<sup>±0,02</sup></td><td>84, 29<sup>±0,16</sup></td><td>94, 51<sup>±0,0</sup></td></tr><tr><td>COMB</td><td>90, 40<sup>±0,00</sup></td><td>68, 29<sup>±0,00</sup></td><td>87, 26<sup>±0,00</sup></td><td>COMB</td><td>94, 33<sup>±0,08</sup></td><td>76, 75<sup>±1,65</sup></td><td>92, 16<sup>±0,0</sup></td></tr></tbody></table>

## Références

BEC P. (1995). *La langue occitane*. PUF, 6th édition.

BERGMANIS T. & GOLDWATER S. (2018). Context sensitive neural lemmatization with Lematus. In *Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers)*, p. 1391–1400, New Orleans, Louisiana: Association for Computational Linguistics. DOI: 10.18653/v1/N18-1126.

BERNHARD D., LIGOZAT A.-L., BRAS M., MARTIN F., VERGEZ-COURET M., ERHART P., SIBILLE J., TODIRASCU A., BOULA DE MAREÜIL P. & HUCK D. (2021). Collecting and annotating corpora for three under-resourced languages of france: Methodological issues. *Language Documentation & Conservation*, (15), 316–357.

BERNHARD D., LIGOZAT A.-L., MARTIN F., BRAS M., MAGISTRY P., VERGEZ-COURET M., STEIBLÉ L., ERHART P., HATHOUT N., HUCK D., REY C., REYNÉS P., ROSSET S., SIBILLE J. & LAVERGNE T. (2018). Corpora with part-of-speech annotations for three regional languages of France: Alsatian, Occitan and Picard. In *International Conference on Language Resources and Evaluation*, Miyazaki, Japan. HAL: hal-02358018.

BOJANOWSKI P., GRAVE E., JOULIN A. & MIKOLOV T. (2017). Enriching word vectors with subword information. *Transactions of the Association for Computational Linguistics*, 5, 135–146. DOI: 10.1162/tacl_a_00051.

BRAS M. & VERGEZ-COURET M. (2016). BaTelÒc: a text base for the Occitan language. In V. FERREIRA & P. BOUDA, Éds., *Language Documentation and Conservation in Europe*, p. 133–149: Honolulu: University of Hawaii Press. HAL: hal-00987241.
BRAS M., VERGEZ-COURET M., HATHOUT N., SIBILLE J., SÉGUIER A. & DAZÉAS B. (2020). Loflòc : Lexic obèrt flechit occitan. In J.-F. COUROUAU, Éd., *Fidélités et dissidences (Actes du XIIe congrès de l'Association Internationale d'Études Occitanes)*, Albi : Centre d'Etude de la Littérature Occitane.

CORRAL A., LETURIA I., SÉGUIER A., BARRET M., DAZÉAS B., BOULA DE MAREÜIL P. & QUINT N. (2020). Neural text-to-speech synthesis for an under-resourced language in a diglossic environment : the case of Gascon Occitan. In *Proceedings of the 1st Joint SLTU (Spoken Language Technologies for Under-resourced languages) and CCURL (Collaboration and Computing for Under-Resourced Languages) Workshop «Language Resources and Evaluation Conference–Marseille–11–16 May 2020»*, p. 53–60 : European Language Resources Association (ELRA).

COSTA-JUSSÀ M. R., CROSS J., ÇELEBI O., ELBAYAD M., HEAFIELD K., HEFFERNAN K., KALBASSI E., LAM J., LICHT D., MAILLARD J. et al. (2022). No language left behind : Scaling human-centered machine translation. *arXiv preprint arXiv : 2207.04672*.

DEVLIN J., CHANG M.-W., LEE K. & TOUTANOVA K. (2019). BERT : Pre-training of deep bidirectional transformers for language understanding. In *Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics : Human Language Technologies, Volume 1 (Long and Short Papers)*, p. 4171–4186, Minneapolis, Minnesota : Association for Computational Linguistics. DOI : 10.18653/v1/N19-1423.

GESMUNDO A. & SAMARDZIC T. (2012). Lemmatising serbian as category tagging with bidirectional sequence classification. In N. C. C. CHAIR), K. CHOUKRI, T. DECLERCK, M. U. DOĞAN, B. MAEGAARD, J. MARIANI, A. MORENO, J. ODIJK & S. PIPERIDIS, Éds., *Proceedings of the Eight International Conference on Language Resources and Evaluation (LREC’12)*, Istanbul, Turkey : European Language Resources Association (ELRA).

GOLDHAHN D., ECKART T. & QUASTHOFF U. (2012). Building large monolingual dictionaries at the Leipzig corpora collection : From 100 to 200 languages. In N. CALZOLARI, K. CHOUKRI, T. DECLERCK, M. U. DOĞAN, B. MAEGAARD, J. MARIANI, A. MORENO, J. ODIJK & S. PIPERIDIS, Éds., *Proceedings of the Eight International Conference on Language Resources and Evaluation (LREC’12)*, Istanbul, Turkey : European Language Resources Association (ELRA).

GRZEGORZ CHRUPALA G. D. & VAN GENABITH J. (2008). Learning morphology with morphology. In B. M. J. M. J. O. S. P. D. T. NICOLETTA CALZOLARI (CONFERENCE CHAIR), KHALID CHOUKRI, Éd., *Proceedings of the Sixth International Conference on Language Resources and Evaluation (LREC’08)*, Marrakech, Morocco : European Language Resources Association (ELRA). http://www.lrec-conf.org/proceedings/lrec2008/.

MANJAVACAS E., KÁDÁR Á. & KESTEMONT M. (2019). Improving lemmatization of non-standard languages with joint learning. In *Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics : Human Language Technologies, Volume 1 (Long and Short Papers)*, p. 1493–1503, Minneapolis, Minnesota : Association for Computational Linguistics. DOI : 10.18653/v1/N19-1153.

MILETIC A., BERNHARD D., BRAS M., LIGOZAT A.-L. & VERGEZ-COURET M. (2019a). Transformation d'annotations en parties du discours et lemmes vers le format universal dependencies : étude de cas pour l'alsacien et l'occitan. Poster, HAL : hal-02123743.

MILETIC A., BRAS M., ESHER L., SIBILLE J. & VERGEZ-COURET M. (2019b). Building a treebank for Occitan : what use for Romance UD corpora ? In *Proceedings of the Third Workshop on Universal Dependencies (UDW, SyntaxFest 2019)*, p. 2–11, Paris, France : Association for Computational Linguistics. DOI : 10.18653/v1/W19-8002.
MILETIC A., BRAS M., VERGEZ-COURET M., ESHER L., POUJADE C. & SIBILLE J. (2020a). Building a Universal Dependencies Treebank for Occitan. In *Proceedings of The 12th Language Resources and Evaluation Conference*, p. 2932–2939, Marseille, France : European Language Resources Association.

MILETIC A., BRAS M., VERGEZ-COURET M., ESHER L., POUJADE C. & SIBILLE J. (2020b). A four-dialect treebank for Occitan : Building process and parsing experiments. In *Proceedings of the 7th Workshop on NLP for Similar Languages, Varieties and Dialects*, p. 140–149, Barcelona, Spain (Online) : International Committee on Computational Linguistics (ICCL).

MILETIĆ A. & SIEWERT J. (2023). Lemmatization experiments on two low-resourced languages : Low Saxon and Occitan. In *Tenth Workshop on NLP for Similar Languages, Varieties and Dialects (VarDial 2023)*, p. 163–173, Dubrovnik, Croatia : Association for Computational Linguistics.

MILETIĆ A. & SCHERRER Y. (2022a). OcWikiDisc : a Corpus of Wikipedia Talk Pages in Occitan.
DOI : 10.5281/zenodo.7079580.

MILETIĆ A. & SCHERRER Y. (2022b). OcWikiDisc : a corpus of Wikipedia talk pages in Occitan. In *Proceedings of the Ninth Workshop on NLP for Similar Languages, Varieties and Dialects*, p. 70–79, Gyeongju, Republic of Korea : Association for Computational Linguistics.

MÜLLER T., COTTERELL R., FRASER A. & SCHÜTZE H. (2015). Joint lemmatization and morphological tagging with lemming. In *Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing*, p. 2268–2274, Lisbon, Portugal : Association for Computational Linguistics. DOI : 10.18653/v1/D15-1272.

ORTIZ SUÁREZ P. J., SAGOT B. & ROMARY L. (2019). Asynchronous pipelines for processing huge corpora on medium to low resource infrastructures. In P. BAŃSKI, A. BARBARESI, H. BIBER, E. BREITENEDER, S. CLEMATIDE, M. KUPIETZ, H. LÜNGEN & C. ILIADI, Éds., *Proceedings of the Workshop on Challenges in the Management of Large Corpora (CMLC-7) 2019*. Cardiff, 22nd July 2019, p. 9 – 16, Mannheim : Leibniz-Institut für Deutsche Sprache. DOI : 10.14618/ids-pub-9021.

POUJADE C. (en préparation). *La linguistique outillée à l’épreuve de la variation : Ressources et outils pour les parlers occitans de l’Ariège*. Thèse de doctorat, Université de Toulouse.

QI P., ZHANG Y., ZHANG Y., BOLTON J. & MANNING C. D. (2020). Stanza : A Python natural language processing toolkit for many human languages. In *Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics : System Demonstrations*.

RAJMAN M., LECOMTE J. & PAROUBEK P. (1997). *Format de description lexicale pour le français. Partie 2 : Description morpho-syntaxique*. Rapport interne, EPFL & INaLF. GRACE GTR-3-2.1.

SIBILLE J. (2002). Ecrire l'occitan : essai de présentation et de synthèse. In D. CAUBET, S. CHAKER & J. SIBILLE, Éds., *Les langues de France et leur codification. Ecrits divers – Ecrits ouverts*, Paris, France : Inalco / Association Universitaire des Langues de France L'Harmattan. HAL : hal-01296986.

VAN DER GOOT R., ÜSTÜN A., RAMPONI A., SHARAF I. & PLANK B. (2021). Massive choice, ample tasks (MaChAmp) : A toolkit for multi-task learning in NLP. In *Proceedings of the 16th Conference of the European Chapter of the Association for Computational Linguistics : System Demonstrations*, p. 176–197, Online : Association for Computational Linguistics. DOI : 10.18653/v1/2021.eacl-demos.22.

VERGEZ-COURET M. (2016). *Description du lexique Loflòc*. Research report, CLLE-ERSS. HAL : hal-01338774.
VERGEZ-COURET M. (2019). Tokenization for occitan (gascon and lengadocian). DOI : 10.5281/ze-nodo.2533873.

VERGEZ-COURET M. & URIELI A. (2015). Analyse morphosyntaxique de l'occitan languedocien : l'amitié entre un petit languedocien et un gros catalan. In *TALARE 2015*, Caen, France.
# Stratégies d'apprentissage actif pour la reconnaissance d'entités nommées en français

Marco Naguib¹ Aurélie Névéol¹ Xavier Tannier²

(1) Université Paris-Saclay, CNRS, LISN, 91405 Orsay cedex, France

(2) Sorbonne Université, Inserm, Université Sorbonne Paris Nord, LIMICS, 75006 Paris, France

marco.naguib@lisn.upsaclay.fr, aurelie.neveol@lisn.upsaclay.fr, xavier.tannier@sorbonne-universite.fr

## RÉSUMÉ

L'annotation manuelle de corpus est un processus coûteux et lent, notamment pour la tâche de reconnaissance d'entités nommées. L'apprentissage actif vise à rendre ce processus plus efficace, en sélectionnant les portions les plus pertinentes à annoter. Certaines stratégies visent à sélectionner les portions les plus représentatives du corpus, d'autres, les plus informatives au modèle de langage. Malgré un intérêt grandissant pour l'apprentissage actif, rares sont les études qui comparent ces différentes stratégies dans un contexte de reconnaissance d'entités nommées médicales. Nous proposons une comparaison de ces stratégies en fonction des performances de chacune sur 3 corpus de documents cliniques en langue française : MERLOT, QuaeroFrenchMed et E3C. Nous comparons les stratégies de sélection mais aussi les différentes façons de les évaluer. Enfin, nous identifions les stratégies qui semblent les plus efficaces et mesurons l'amélioration qu'elles présentent, à différentes phases de l'apprentissage.

## ABSTRACT

### Sampling strategies in active learning for named entity recognition in French

Manual corpus annotation for NLP can be labor intensive and expensive. Active learning aims to achieve high accuracy with fewer training data by allowing a model to select the data to be annotated and used for learning. Some sampling strategies aim to select the most representative instances, while others aim to capture the instances that are most informative for the language model. Despite a growing interest in active learning in recent years, few studies provide a thorough comparison between those strategies in the context of medical named entity recognition. In this work, we apply these strategies on 3 French corpora in the clinical domain: MERLOT, QuaeroFrenchMed, and E3C. We provide an extensive comparison of those strategies and discuss various ways of evaluating them. Finally we determine those which seem most effective, and measure the estimated improvement they can provide at different stages of the training process.

**MOTS-CLÉS** : Reconnaissance d'entités nommées ; Documents cliniques ; Apprentissage actif.

**KEYWORDS** : Named entity recognition ; Clinical narratives ; Active learning.

<figure><img src="image_62.png" /></figure>
# 1 Introduction

L'apprentissage supervisé repose sur l'hypothèse de la disponibilité de données annotées de haute qualité. Or, la collecte et l'annotation de telles données peuvent s'avérer coûteuses en ressources et en temps (Fort et al., 2012; Grouin et al., 2014). Ceci est particulièrement vrai dans le domaine des textes cliniques, où la tâche d'annotation doit être confiée à des personnes faisant preuve d'un haut niveau d'expertise (Campillos et al., 2017). La question d'efficacité en données est donc primordiale. L'active learning (Lewis & Gale, 1994) ou apprentissage actif propose d'augmenter l'efficacité d'un algorithme d'apprentissage supervisé, en lui permettant d'interagir directement avec la source de données (souvent l'annotateur). On l'oppose à un algorithme d'apprentissage supervisé, dit « passif », où l'intégralité de la supervision, à savoir, des données annotées servant au processus d'apprentissage, est disponible avant l'exécution de l'algorithme. L'active learning propose, quant à lui, de faire intervenir l'algorithme d'apprentissage dans le processus de sélection des données à annoter, avant qu'elles ne le soient. L'objectif étant de parvenir à sélectionner les données les plus pertinentes pour l'apprentissage. Ici, nous nous intéressons au schéma d'active learning dit pool-based (Cheng et al., 2013), dans lequel les données non annotées sont toutes disponibles avant l'apprentissage, et l'algorithme d'apprentissage cherche à estimer la pertinence de chaque portion de données. Ceci imite le contexte d'usage clinique, où disposer de bases de données non annotées de taille raisonnable peut se montrer bien plus facile que d'annoter ces données (Névéol et al., 2014).

Si l'active learning connaît du succès dans le domaine de l'image ou la classification de texte, il n'y a pas de façon standard de l'employer, ni de l'évaluer, dans le contexte des tâches de prédiction structurée, comme la reconnaissance d'entités nommées. En particulier, de nombreuses stratégies de sélection d'exemples existent mais aucune d'entre elles ne s'impose, faute de succès. De plus, malgré l'intérêt grandissant pour l'active learning, les études l'appliquant à la reconnaissance d'entités nommées sont rares. Par exemple, la dernière en date s'intéressant au français est Claveau & Kijak (2015). Nous nous intéressons ici à appliquer, combiner et comparer quelques unes de ces stratégies, sur trois corpus de documents cliniques en langue française : MERLOT (Campillos et al., 2017), QuaeroFrenchMed (Névéol et al., 2014) et E3C (Magnini et al., 2021). Les contributions de cet article sont les suivantes :

- Nous fournissons une comparaison approfondie des stratégies classiques de sélection d'exemples dans le domaine médical.

- Nous discutons de différentes façon d'évaluer l'active learning dans le cadre de la reconnaissance d'entités nommées.

- Nous montrons que deux stratégies simples basées sur la similarité de vocabulaire se révèlent les plus efficaces, et nous mesurons l'amélioration apportée par celles-ci.

- Nous mettons à disposition l'ensemble des scripts utilisés dans nos expériences <fnref n="1" />.

# 2 État de l'art

L'active learning a été étudié depuis plus de vingt ans, (Cohn et al., 1994a,b; Lewis & Catlett, 1994; Lewis & Gale, 1994). Zhang et al. (2022b) observent que si le nombre de publications étudiant l'active learning a connu un pic entre 2008 et 2010, cet intérêt semble avoir diminué entre 2011 et 2019, années de l'essor du deep learning. Plus récemment, on observe un regain d'intérêt

<footnote n="1">1. https://github.com/marconaguib/active-nlstruct</footnote>
<figure><img src="image_63.png" /><figcaption>FIGURE 1 – Apprentissage supervisé (« passif »)</figcaption></figure>

pour l'active learning qui se traduit dans l'ACL anthology par une montée du nombre d'articles l'étudiant en 2020. Ce regain d'intérêt pour l'active learning vise essentiellement à le combiner au deep learning (Ren et al., 2021; Zhan et al., 2022), et ainsi à rendre l'apprentissage des modèles plus efficace.

**Une boucle de sélection, d'annotation et d'apprentissage** Pour réaliser une tâche comme la reconnaissance d'entité nommées, la solution que propose généralement le *deep learning* est l'apprentissage supervisé. Elle consiste en 3 grandes étapes (cf. figure 1). A l'étape 1, on collecte un grand nombre de textes du domaine d'intérêt. L'étape 2 consiste à annoter manuellement ces textes en entité nommées. Cette étape peut selon les domaines nécessiter plus ou moins de compétence, et peut ainsi s'avérer plus ou moins coûteuse. Enfin, cette base de données ainsi annotée sert pour l'apprentissage d'un modèle de reconnaissance d'entités nommées à l'étape 3.

L'active learning part de l'intuition que tous les textes à annoter n'ont pas la même pertinence. Ainsi, il vise à sélectionner ceux qui sont les plus pertinents à annoter, pour réduire ce coût d'annotation et augmenter l'efficacité de l'entraînement. Il propose ainsi de remplacer les étapes 2 et 3 par une boucle (cf. figure 2) où l'on sélectionne d'abord un petit nombre d'exemples qu'on estime les plus pertinents à annoter (2a). Ceux-ci sont ensuite annotés (2b) et utilisés pour démarrer l'entraînement (2c), avant de sélectionner à nouveau un petit nombre d'exemples etc.

**Stratégies de sélection** Il existe de nombreuses façons d'estimer la pertinence des exemples (et ainsi sélectionner ceux qui sont les plus pertinents). On peut distinguer deux familles de stratégies de sélection.

1. Les stratégies d'informativité visent à repérer les exemples qui semblent les plus informatifs pour le modèle.

Il est courant d'estimer l'informativité de chaque exemple par l'incertitude qu'exprime le modèle face à celui-ci. Ainsi, les exemples les plus pertinents à annoter seraient ceux pour lesquelles le modèle est le plus incertain (Lewis & Gale, 1994). Dans un modèle de classification probabiliste, appliquer cette méthode revient à calculer la distribution de probabilité pour chaque exemple sur les différentes classes possibles, puis de trier les exemples selon l'entropie de cette distribution (Tang et al., 2002; Chen et al., 2006; Zhu & Hovy, 2007),
<figure><img src="image_64.png" /><figcaption>FIGURE 2 – Aprentissage actif</figcaption></figure>

selon la probabilité attribuée à la classe la plus probable (Lewis & Gale, 1994; Culotta & McCallum, 2005) ou selon l'écart de probabilité entre les deux classes les plus probables (Scheffer et al., 2001; Schein & Ungar, 2007).

Il n'existe pas de façon standard de **transposer** cette approche d'incertitude à la reconnaissance d'entités nommées. En effet, cette dernière associe à chaque séquence d'entrée (des tokens) une séquence de prédictions, ayant chacun une incertitude séparée. Ainsi, il faut agréger ces incertitudes en une incertitude globale à l'échelle de l'exemple (phrase ou document), pour pouvoir décider de l'informativité et ainsi la pertinence globale de celle-ci. Culotta & McCallum (2005) proposent de calculer d'abord la « confiance » du modèle en une prédiction $c_i = 1 - u_i$ où $u_i$ est son incertitude pour le $i^{ème}$ élément de la séquence d'entrée, puis de calculer l'incertitude globale $\mathcal{I} = 1 - \sum_{i=1}^{n} c_i$. Cette méthode a tendance à préférer les séquences longues. Tang et al. (2002) et Shen et al. (2018) proposent en revanche de moyenner les incertitudes pour les normaliser par la taille de la séquence.

Il existe par ailleurs d'autres approches pour estimer l'informativité. La **divergence locale** consiste à examiner les prédictions du modèle dans la région locale de chaque exemple grâce à la recherche des voisins les plus proches (Margatina et al., 2021), à des perturbations locales (Zhang et al., 2022a) ou à l'augmentation de données (Jiang et al., 2020). Le **désaccord multi-modal** (Shen et al., 2018; McCallum & Nigam, 1998; Houlsby et al., 2011) vise, lui, à entraîner un « comité » de modèles et se servir du désaccord entre eux.

2. Les stratégies de **représentativité** visent à prendre en compte la similarité des exemples entre eux, pour éviter la redondance et la sélection d'intrus, problèmes auxquels les approches d'informativité peuvent être vulnérables (Roy & McCallum, 2001; Karamcheti et al., 2021). Par exemple, l'approche de **densité** vise à sélectionner les exemples qui présentent un vocalaire le plus similaire en moyenne à celui de tous les autres exemples. Cette similarité peut être mesurée par la fréquence de mots ou n-grams (McCallum & Nigam, 1998; Settles & Craven, 2008; Zhao et al., 2020).

L'approche de **diversité**, elle, vise à éviter la redondance, en sélectionnant des exemples variés qui représentent la variété de l'ensemble des entrées. Ainsi, l'on peut présenter des
exemples qui présentent le moins de similarité entre eux (Brinker, 2003), et/ou le moins de similarité avec les données déjà annotées (Eck et al., 2005; Bloodgood & Callison-Burch, 2010; Erdmann et al., 2019). Cette sélection peut se faire de façon itérative (Shen et al., 2004; Geifman & El-Yaniv, 2017; Sener & Savarese, 2018) ou on employant la classification non supervisée (Zhdanov, 2019; Yu et al., 2022).

3. Ces deux familles d'approches ne sont pas incompatibles et l'on peut les **combiner** de plusieurs façons. Par exemple, Chen et al. (2011) proposent de calculer les « scores de pertinence » de chaque exemple, puis de calculer simplement une somme pondérée de ces scores. Mirroshandel & Nasr (2011) et Tang et al. (2002) appliquent d'abord une première stratégie pour sélectionner un sous ensemble des données, puis en utilisent un autre pour sélectionner les exemples. On peut également procéder à des combinaisons dynamiques. Ambati et al. (2011) et Wu et al. (2017) proposent de reposer d'abord sur une approche de représentativité, puis, au fur et à mesure de l'apprentissage, passer à une approche d'informativité.

Dans ce travail, nous examinons des stratégies d'incertitude, de densité et de diversité, ainsi qu'une concatenation simple de ces deux dernières, dans le contexte de la reconnaissance d'entités nommées médicales.

## 3 Expérimentation

**Corpus utilisés** Dans ce travail, nous étudions le comportement de l'active learning sur trois corpus cliniques annotés en entités nommées. Le tableau 1 indique les différents types d'entités dans chaque corpus, ainsi que leurs nombres.

1. **MERLOT** (Campillos et al., 2017) est un corpus privé de documents cliniques pseudonymisés collectés d'hôpitaux français. Ils couvrent différents types de documents : compterendus de prise en charge, compte-rendus post-opératoires, et courriers dans le domaine de la gastro-entérologie. Le corpus est annoté en 21 types d'entités nommées. Cependant, nous choisissons de suivre les remplacements indiqués par Bannour et al. (2022), pour n'obtenir ainsi que 15 types d'entités.

2. **QuaeroFrenchMed** (Névéol et al., 2014) est un corpus composé de deux parties que nous traitons séparément. La première partie, **EMEA** est une collection de 13 notices patient concernant des médicaments commercialisés en Europe, fournis par l'Agence Européenne des Médicaments. La seconde partie **MEDLINE**, consiste en 2500 titres d'articles scientifiques indexés dans la base de données MEDLINE<fnref n="2" />. Ces deux parties sont annotées en 10 types d'entités nommées.

3. **E3C** (Magnini et al., 2021) est un corpus européen de cas cliniques. Nous utilisons la partie française, composée de 1615 cas cliniques collectionnés du domaine public : articles scientifiques indexés sur PubMed<fnref n="2" /> et articles scientifiques sous license CC-by. Il est annoté en 6 types d'entités nommées cliniques, dont un type : entité clinique (**CLINENTITY**) que nous faisons le choix de désagréger en sous-types pour avoir un schéma d'annotation avec une diversité se rapprochant de celui des autres corpus. Chaque entité de ce type est annotée par un attribut **CUI** qui désigne l'identifiant unique du concept associé dans le métathésaurus UMLS (Unified Medical Language System). Grâce à cet identifiant, nous pouvons ainsi récupérer le type sémantique (McCray et al., 2001) correspondant (pathologie, symptôme...).

<footnote n="2">2. http://pubmed.ncbi.nlm.nih.gov/</footnote>