surpasse systématiquement TransE sur plusieurs jeux de données, comme indiqué dans (Sun et al., 2019).

## 2.2 Intégration des informations d'une base de connaissances dans BERT

Nous classons les méthodes existantes en deux types : 1) utilisation de la base de connaissances pour obtenir des données d'entraînement supplémentaires ; 2) modification des objectifs de pré-entraînement de BERT. Les deux types de méthodes peuvent être utilisées ensemble ou séparément.

### 2.2.1 Ajout de données d'entraînement à l'aide d'une base de connaissances

Les méthodes suivantes sont représentatives de la diversité des approches. Wang et al. (2021) proposent de figer les poids d'un BERT pré-entraîné et de pré-entraîner un encodeur supplémentaire à base de Transformer, dit ‘adaptateur factuel’, sur des phrases collectées à partir de Wikipédia. Cet adaptateur est entraîné à la classification de relations sur un jeu de données obtenu par alignement entre des triplets de Wikidata et des phrases de Wikipédia (Elsahar et al., 2018). Hao et al. (2020) proposent plutôt de générer directement des phrases au format “[CLS] concept₁ [relation] concept₂ [SEP]” où (concept₁, relation, concept₂) est un triplet de la base de connaissances ou un exemple négatif, et [CLS] et [SEP] sont des sous-mots utilisés respectivement pour marquer le début et la fin des phrases, comme indiqué dans (Devlin et al., 2019). Ces phrases artificielles sont ensuite utilisées pour pré-entraîner BERT à une tâche de classification de relations. Weber et al. (2022) proposent d'ajouter directement les définitions de produits chimiques obtenues à partir d'une base de connaissances comme données supplémentaires pendant l'affinage du modèle.

### 2.2.2 Mise à jour des objectifs de pré-entraînement

Les objectifs originaux du pré-entraînement de BERT sont la prédiction de mot masqué et la prédiction de la phrase suivante. Dans UmlsBERT, au lieu de masquer aléatoirement un mot et de demander au modèle de langue de le prédire, Michalopoulos et al. (2021) proposent de prédire en plus les entités qui partagent le même identifiant unique de concept (CUI) que le mot masqué si ce mot fait partie d'une entité reconnue dans le Metathesaurus de l'UMLS (Bodenreider, 2004). Dans ERNIE, Zhang et al. (2019b) ajoutent un troisième objectif de pré-entraînement associé à un liage référentiel entre tokens et concepts de BC : ils masquent aléatoirement le liage d'un token à un concept et demandent au modèle de prédire le concept masqué. Dans KeBioLM, Yuan et al. (2021) ajoutent deux tâches dans le pré-entraînement : la détection d'entités et le liage référentiel. Selon les résultats expérimentales, ces méthodes montrent des performances plus élevées pour des tâches de TAL biomédicales que celles sans modification du pré-entraînement de BERT.

# 3 Méthode proposée

Dans cette partie, nous présentons notre modèle KB-PubMedBERT qui exploite une base de connaissances. Ce modèle contient deux composants : PubMedBERT pré-entraîné, et un composant de plongement de graphe qui inclut une couche de plongement de concepts et une couche de plongement
de relations. Nous choisissons PubMedBERT comme base car il crée son propre vocabulaire de sous-mots contenant des termes biomédicaux, et ses performances dépassent des variantes de BERT spécifiques précédentes telles que BioBERT et SciBERT sur plusieurs tâches biomédicales (Gu et al., 2021).

## 3.1 Hypothèse

La plupart des modèles antérieurs qui utilisent une base de connaissances (Zhang et al., 2019b; Yuan et al., 2021) se concentrent sur l'intégration d'informations sur les entités de la base de connaissances (BC) dans des modèles de langue pré-entraînés. Cependant, nous soutenons que l'incorporation d'informations sur les *relations* de la BC est également importante, en particulier pour les tâches d'extraction de relations dans des textes. Un défi auquel nous sommes confrontés en utilisant les relations d'une BC est que dans la plupart des cas, ces relations sont différentes de celles des tâches d'extraction de relations. Cependant, dans une BC liée à un domaine spécifique, les relations de la BC ont des chances d'être sémantiquement liées aux relations des textes, même si ce n'est que faiblement. Par conséquent, trouver un moyen d'exprimer la proximité sémantique entre les relations de la BC et les relations des textes est un point crucial dans la construction d'une architecture d'extraction de relations exploitant une BC. Par exemple, Iinuma et al. (2022) créent manuellement un alignement entre les relations de la BC et les relations cibles, puis s'en servent pour créer des données de supervision distante. Nous proposons d'aller plus loin en supprimant cette opération coûteuse d'alignement manuel et en faisant en sorte que le modèle neuronal apprenne cette correspondance automatiquement. Nous émettons l'hypothèse que notre modèle neuronal est capable de construire un alignement souple entre les relations de la BC et les relations du texte, et que l'ajout de ces suggestions de relations hypothétiques en sus de l'encodage du texte par PubMedBERT peut améliorer les performances du modèle en extraction de relations.

## 3.2 Architecture du modèle

La figure 2 présente une vue d'ensemble de l'architecture de notre modèle. Ce modèle prend deux entrées : la phrase *s*, et les identifiants des concepts des entités source *subj* et cible *obj*. Les plongements de concepts et de relations sont respectivement initialisés avec des plongements de concepts et de relations de la BC entraînés à l'aide de RotatE, et les plongements des concepts présents dans le texte mais absents de la BC sont initialisés aléatoirement. Une fois initialisés, les plongements de concepts et de relations sont ajustés pendant l'entraînement du modèle. Le flux de données dans notre modèle est le suivant : pour deux entités candidates du texte source et cible, dont la relation est à prédire, et dont nous disposons du concept associé, nous obtenons d'abord les plongements $e_{subj}$, $e_{obj}$ pour la source et la cible, nous calculons ensuite les *M* scores de la formule (1) :

$$ score(r_i) = (\gamma - ||e_{subj} \circ r_i - e_{obj}||)_{i=1,2,...,M}^{\top} \quad (1) $$

où $\gamma$ est une marge fixe, un hyper-paramètre dont la valeur est fixée pendant l'entraînement de RotatE. Cette définition du score vient de la fonction de coût que l'on utilise pour entraîner les plongements RotatE, comme indiqué dans (Sun et al., 2019). Selon la définition de RotatE, un *score*($r_i$) élevé reflète la possibilité que la relation $r_i$ soit valide entre *subj* et *obj* pour la BC. Soit $h_s$ l'encodage de *s* par PubMedBERT et $h_{score}$ un vecteur de dimension *M* contenant les scores de toutes les relations
<figure><img src="image_76.png" /><figcaption>FIGURE 2 – Architecture globale de KB-PubMedBERT.</figcaption></figure>

de BC, nous calculons la représentation combinée selon la formule (2) :

$$h_{concat} = [h_s; h_{score}] \qquad (2)$$

où [.;] désigne la concaténation vectorielle. La représentation combinée est ensuite transmise à une couche entièrement connectée suivie d'une couche softmax qui calcule la possibilité que les relations cibles soient exprimées entre les entités considérées. L'ensemble du modèle est affiné en utilisant l'entropie croisée comme fonction de coût avec des poids de PubMedBERT non-figés.

# 4 Expérimentations et Résultats

## 4.1 Jeux de données

Nous évaluons notre modèle sur trois tâches d'extraction de relations biomédicales dans des textes en anglais choisies pour la diversité de leurs caractéristiques. Les statistiques des corpus correspondants sont résumées dans le tableau 1.

1. La tâche ChemProt (Krallinger et al., 2017) porte sur cinq types d'interactions de haut niveau entre produits chimiques et gènes, soit au total 6 relations dont la relation nulle (pas de relation).

2. La tâche DrugProt (Miranda et al., 2021) porte sur 14 types d'interactions entre produits chimiques et gènes, dont la relation nulle.
<table><caption>TABLE 1 – Extraction de relations biomédicales : jeux de données ChemProt, DrugProt et BB-Rel<sub>p</sub>.</caption><thead><tr><th></th><th>ChemProt</th><th>DrugProt</th><th>BB-Rel<sub>p</sub></th></tr></thead><tbody><tr><td>nb. classes de relations</td><td>6</td><td>14</td><td>2</td></tr><tr><td>nb. exemples : entraînement</td><td>13 110</td><td>64 745</td><td>3 016</td></tr><tr><td>nb. exemples : développement</td><td>8 329</td><td>13 399</td><td>2 000</td></tr><tr><td>nb. exemples : test</td><td>10 990</td><td>238 694</td><td>2 473</td></tr></tbody></table>

3. La tâche BB-Rel de Bacteria Biotope (Bossy et al., 2019) porte sur deux relations : “lives_in” entre micro-organismes et habitats ou zones géographiques, et “exhibits” entre micro-organismes et phénotypes. Comme nous ne disposons que de bases de connaissances portant sur les relations entre micro-organismes et habitats mais pas entre micro-organismes et zone géographique ou phénotypes, nous extrayons du jeu de données complet BB-Rel le sous-ensemble portant sur notre relation cible entre paires d'entités (micro-organisme, habitat). Nous désignons ce sous-ensemble par BB-Rel<sub>p</sub> (p pour partiel).

Nous choisissons des bases de connaissances adaptées à ces différentes tâches. Pour les tâches ChemProt et DrugProt, nous choisissons CTD (Davis et al., 2023) qui recense 134 types d'interactions entre produits chimiques et gènes, comme “affects^reaction” ou “increases^stability”. Pour obtenir une base de connaissances pour la tâche BB-rel<sub>p</sub>, nous extrayons de la base de connaissances Ommicrobe (Dérozier et al., 2023) les entités normalisées et la relation “lives_in” entre microorganismes et habitats provenant des sources de référence, BacDive, CIRM et GenBank.

## 4.2 Cadre expérimental

**Pré-traitement** Pour chacun des trois jeux de données, nous considérons uniquement les relations intra-phrase<fnref n="1" />. Comme la plupart des études précédentes sur l'extraction des relations telles que (Lee et al., 2020; Gu et al., 2021), nous utilisons deux types de marqueurs pour ajouter des informations de position sur les arguments d'une relation candidate : “@@” au début et à la fin de la mention de l'entité source; “$$” au début et à la fin de la mention de l'entité cible. L'objectif de ces marqueurs est de fournir au modèle l'information de position des entités ciblées.

**Liage référentiel.** Pour une tâche d'extraction de relations, l'alignement entre les entités des textes et les concepts de la BC n'est pas toujours donné. Dans nos expériences, cet alignement est soit fourni comme référence dans les corpus annotés, soit obtenu par des outils existants pré-entraînés pour le liage référentiel (normalisation d'entités). La façon dont nous obtenons les normalisations des entités est résumée dans le tableau 2. Pour ChemProt et DrugProt, nous effectuons le liage référentiel des mentions d'entités vers des concepts CTD à l'aide de la méthode BioSyn (Sung et al., 2020)<fnref n="2" />. Pour BB-Rel<sub>p</sub>, les entités de type microbe sont normalisées par la taxonomie des espèces du NCBI à l'aide du modèle proposé par le meilleur participant (Mao & Liu, 2019)<fnref n="3" /> à la tâche BB-Norm (Bossy et al., 2019), et les entités de type habitat sont normalisées par l'ontologie OntoBiotope à

<footnote n="1">1. L'évaluation classe en faux-négatifs toutes les relations inter-phrases.</footnote>

<footnote n="2">2. Nous utilisons deux modèles BioSyn entraînés par Sung et al. (2020) : biosyn-sapbert-bc5cdr-chemical pour les produits chimiques, et biosyn-sapbert-bc2gn pour les gènes. Les deux modèles obtiennent respectivement 96,6 et 91,3 comme acc@1 sur les tâches de normalisation d'entités correspondantes.</footnote>

<footnote n="3">3. Ce modèle obtient 0,78 comme précision pour la normalisation des microbes de la tâche BB-Norm.</footnote>
<table><caption>TABLE 2 – Sources de normalisation des entités de ChemProt, DrugProt et BB-rel<sub>p</sub> : respectivement sur le jeu d'entraînement, de validation et de test. “gold” représente les annotations manuelles fournies dans BB-Norm ; “regression” réfère au modèle de (Mao & Liu, 2019) qui est un modèle de régression.</caption><thead><tr><th></th><th>ChemProt & DrugProt</th><th>BB-Rel<sub>p</sub></th></tr></thead><tbody><tr><td>jeu d'entraînement</td><td>BioSyn</td><td>gold</td></tr><tr><td>jeu de validation</td><td>BioSyn</td><td>gold</td></tr><tr><td>jeu de test</td><td>BioSyn</td><td>C-Norm, regression</td></tr></tbody></table>

l'aide de la méthode état de l'art C-Norm (Ferré et al., 2020)<fnref n="4" />. Soulignons que même si sur chaque tâche, les entités textuelles sont normalisées avec les concepts des référentiels utilisés par la BC choisie, il se peut que certains concepts d'entités n'aient pas de plongements pré-calculés par RotatE. En effet, il existe dans les BC des concepts isolés, i.e., des concepts n'ayant pas de relations avec d'autres concepts, ils ne sont alors pas utilisés pour entraîner RotatE. Pour les entités correspondant à des concepts isolés, nous utilisons un vecteur aléatoirement initialisé au début de l'affinage de KB-PubMedBERT.

**Base de comparaison.** Nous utilisons le modèle pré-entraîné PubMedBERT comme base de comparaison, car c'est le modèle dont est dérivé notre méthode. Sur chaque jeu de données, PubMedBERT est affiné pour classifier les relations cibles de chaque tâche. La comparaison des performances de notre modèle KB-PubMedBERT à celles de cette architecture de base permet de montrer directement si les informations intégrées à partir de la BC sont utiles.

De manière classique, le vecteur du token [CLS] encode la phrase. On le fait passer à travers une couche linéaire, puis une fonction SoftMax pour obtenir les probabilités des relations à prédire.

**Hyperparamètres.** Nous utilisons l'implémentation officielle<fnref n="5" /> de RotatE (Sun et al., 2019) pour calculer les plongements de concepts et de relations de la BC. Nous fixons expérimentalement la dimension des plongements à 200, γ à 24,0 et le taux d'apprentissage à $1e^{-4}$. Pour chaque jeu de données d'extraction de relations, nous utilisons l'ensemble de développement pour optimiser les hyperparamètres. Nous effectuons une recherche en grille pour deux hyperparamètres : le taux d'apprentissage ($1e^{-5}$, $2e^{-5}$, $5e^{-5}$) et la taille de lot (8, 16). Nous maintenons le taux d'apprentissage constant pendant l'affinage et fixons le nombre d'époques à 15. Pour la base de comparaison, comme pour KB-PubMedBERT, chaque expérience est répétée avec 5 amorces différentes.

**Évaluation.** Le score Micro F1 excluant la relation nulle<fnref n="6" /> est la métrique d'évaluation standard pour les trois jeux de données : concrètement, pour calculer le score F1, les vrais positifs pris en compte sont uniquement les prédictions correctes des relations non-nulles. Pour évaluer les performances de notre modèle, selon les cas, nous soumettons nos prédictions au service d'évaluation en ligne officiel (cas de BB-Rel) ou utilisons le kit d'évaluation officiel<fnref n="7" />.

<footnote n="4">4. Ce modèle obtient 0,60 comme score strict et 0.78 comme score de Wang pour les habitats pour la tâche BB-Norm.</footnote>

<footnote n="5">5. https://github.com/DeepGraphLearning/KnowledgeGraphEmbedding</footnote>

<footnote n="6">6. Inclure la relation nulle, qui est généralement majoritaire, donne des résultats optimistes.</footnote>

<footnote n="7">7. ChemProt : https://biocreative.bioinformatics.udel.edu/tasks/biocreative-vi/track-5/; DrugProt : https://codalab.lisn.upsaclay.fr/competitions/8293#participate; BB-Rel : http://bibliome.jouy.inra.fr/demo/BioNLP-OST-2019-Evaluation/index.html.</footnote>
<table><thead><tr><th></th><th>ChemProt</th><th>DrugProt</th><th>BB-Rel<sub>p</sub></th></tr></thead><tbody><tr><td>PubMedBERT</td><td>77,5 ± 0,7 / 79,6</td><td>75,1 ± 0,4 / 77,7</td><td>61,4 ± 1,2 / 64,3</td></tr><tr><td>KB-PubMedBERT</td><td><b>78,4 ± 0,9</b> * / 80,4</td><td>75,5 ± 0,8 / 77,9</td><td><b>63,3 ± 2,1</b> * / <b>65,7</b></td></tr><tr><td>État de l'art</td><td>78,0 / —</td><td>— / <b>79,7</b></td><td>— / 64,8</td></tr></tbody></table>

TABLE 3 – Scores micro F1 sur les tâches d'extraction de relation. Nous rapportons a/b où a représente le score moyen de 5 exécutions avec différentes initialisations aléatoires et b représente le score d'un ensemble à vote majoritaire. Nous rapportons les deux scores pour mieux comparer nos résultats aux résultats de l'état de l'art. * indique qu'un test T unilatéral émettant l'hypothèse que la performance moyenne de KB-PubMedBERT est meilleure que la base de comparaison obtient une p-valeur *p* < 0,1 (respectivement 0,07 pour ChemProt et 0,08 pour BB-Rel<sub>p</sub>), ce qui est interprété comme une faible présomption contre l'hypothèse nulle. Le système état de l'art considéré est indiqué en début de section 4.3.

## 4.3 Résultats

Nous comparons KB-PubMedBERT à PubMedBERT et à l'état de l'art suivant sur chaque corpus :

1. Pour ChemProt : nous prenons comme état de l'art le modèle qui a obtenu le score le plus élevé en utilisant le même kit d'évaluation que nous. Il s'agit de SciFive (Phan et al., 2021), un modèle T5 pré-entraîné sur la littérature biomédicale ;

2. Pour DrugProt : un ensemble de 10 RoBERTa-large-PM-M3-Voc (Lewis et al., 2020) avec des définitions de produits chimiques sélectionnées à partir de CTD (Weber et al., 2022);

3. Pour BB-Rel<sub>p</sub> : un modèle Transformer à 12 couches pré-entraîné sur les corpus Wikipédia anglais, BooksCorpus, PubMed et PubMed Central (PMC) (Zhang et al., 2019a).

Les résultats expérimentaux sont résumés dans le tableau 3. Nous observons que KB-PubMedBERT surpasse systématiquement la base de comparaison, ce qui prouve l'efficacité de notre méthode d'injection d'informations de BC. Cependant, la différence entre KB-PubMedBERT et la base de comparaison n'est pas significative sur DrugProt. Notre modèle surpasse l'état de l'art antérieur sur ChemProt et BB-Rel<sub>p</sub>, mais reste environ 2 % derrière le meilleur score sur DrugProt. L'absence d'amélioration de KB-PubMedBERT sur DrugProt peut s'expliquer par le fait que près de 1 % des occurrences des entités de DrugProt sont absentes de la BC, alors que ce nombre est de 0,1 % pour ChemProt et de 0 % pour BB-Rel<sub>p</sub>. Comme les plongements pour ces entités absentes de la BC sont initialisés aléatoirement, un pourcentage plus élevé d'occurrences d'entités absentes signifie que moins d'informations venant de la BC sont intégrées.

## 4.4 Étude d'ablation complémentaire

L'examen de PubMedBERT seul ci-dessus constitue une première étude d'ablation dans laquelle le composant de plongement de graphes de notre modèle n'est pas utilisé. Inversement, pour vérifier la contribution intrinsèque du composant de plongement de graphes à la performance finale de l'extraktion de relations, nous menons des expériences où nous supprimons complètement PubMedBERT de notre modèle : nous n'utilisons que la paire d'entités (source, cible) pour déduire le type d'interaction via les plongements de graphes RotatE. Les résultats sont dans le tableau 4. Nous observons que même sans aucun contexte, la base de connaissances obtient dans notre modèle un score F1 supérieur
<table><caption>TABLE 4 – Ablation : KB-PubMedBERT<sup>-</sup> désigne notre modèle sans PubMedBERT. Nous rapportons le score moyen de 5 exécutions.</caption><thead><tr><th></th><th>ChemProt</th><th>DrugProt</th><th>BB-Rel<sub>p</sub></th></tr></thead><tbody><tr><td>KB-PubMedBERT<sup>-</sup></td><td>23,8 ± 1,6</td><td>19.5 ± 1,0</td><td>26,6 ± 0,3</td></tr><tr><td><em>majority</em></td><td>17,3</td><td>12,3</td><td>38,3</td></tr></tbody></table>

à 0,20 (la relation nulle est exclue de l'évaluation). Nous établissons par ailleurs un modèle simple qui prédit toujours la classe majoritaire. Ce modèle est nommé “majority” et ses résultats sont également montrés dans le tableau. On constate que les résultats de KB-PubMedBERT<sup>-</sup> sont significativement meilleurs que ceux du modèle aléatoire sur ChemProt et DrugProt, cela confirme que le profil de scores $h_{score}$ représentant des suggestions de relations à grain fin de la base de connaissances entre deux entités, obtenues à partir des plongements de graphes RotatE, est utile pour l'extraction de relations biomédicales. Le fait que majority donne un meilleur résultat que KB-PubMedBERT<sup>-</sup> dans le cas de BB-Rel<sub>p</sub> peut être expliqué par le fait qu'il n'existe dans ce cas qu'une seule relation positive.

# 5 Conclusion

Dans cet article, nous proposons l'architecture KB-PubMedBERT qui injecte dans PubMedBERT les informations d'une base de connaissances pour améliorer ses performances en extraction de relations biomédicales. À la différence des modèles antérieurs utilisant des bases de connaissances, nous calculons d'abord à l'aide de la méthode de plongement de graphe RotatE les possibilités de relations de la BC entre les entités considérées, puis nous utilisons ces possibilités pour déduire les relations cibles de l'extraction de relation. Nous menons des expériences sur trois tâches d'extraction de relations biomédicales : notre modèle y surpasse systématiquement PubMedBERT et obtient des performances proches de l'état de l'art antérieur ou meilleures que lui. Une étude d'ablation confirme de plus la pertinence des relations de la base de connaissances indépendamment du modèle de langue PubMedBERT. À l'avenir, nous complèterons nos expériences sur d'autres jeux de données pour étendre l'étude de l'applicabilité de notre méthode.

# Remerciements

Nous remercions la plateforme Saclay-IA de l'Université Paris-Saclay pour les ressources de calcul et de stockage du cluster GPU Lab-IA.

Ce travail a été financé par le Labex DigiCosme (projet ANR-11-LABEX-0045-DIGICOSME) opéré par l'ANR dans le cadre du programme "Investissement d'Avenir" Idex Paris-Saclay (ANR-11-IDEX-0003-02).
Références

BELTAGY I., LO K. & COHAN A. (2019). SciBERT : A pretrained language model for scientific text. In *Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP)*, p. 3615–3620, Hong Kong, China : Association for Computational Linguistics. DOI: 10.18653/v1/D19-1371.

BODENREIDER O. (2004). The Unified Medical Language System (UMLS) : Integrating biomedical terminology. *Nucleic Acids Research*, **32**(Database issue), D267–270. DOI: 10.1093/nar/gkh061.

BORDES A., USUNIER N., GARCIA-DURÁN A., WESTON J. & YAKHNENKO O. (2013). Translating embeddings for modeling multi-relational data. In *Proceedings of the 26th International Conference on Neural Information Processing Systems - Volume 2, NIPS’13*, p. 2787–2795, Red Hook, NY, USA : Curran Associates, Inc.

BOSSY R., DELÉGER L., CHAIX E., BA M. & NÉDELLEC C. (2019). Bacteria Biotope at BioNLP Open Shared Tasks 2019. In *Proceedings of The 5th Workshop on BioNLP Open Shared Tasks*, p. 121–131, Hong Kong, China : Association for Computational Linguistics. DOI: 10.18653/v1/D19-5719.

DAVIS A. P., GRONDIN C. J., JOHNSON R. J., SCIAKY D., WIEGERS J., WIEGERS T. C. & MATTINGLY C. J. (2023). Comparative Toxicogenomics Database (CTD) : update 2023. *Nucleic acids research*, **51**(D1), D1257–D1262. DOI: 10.1093/nar/gkac833.

DÉROZIER S., BOSSY R., DELÉGER L., BA M., CHAIX E., HARLÉ O., LOUX V., FALENTIN H. & NÉDELLEC C. (2023). Ommicrobe, an open-access database of microbial habitats and phenotypes using a comprehensive text mining and data fusion approach. *PloS one*, **18**(1), e0272473. DOI: 10.1371/journal.pone.0272473.

DEVLIN J., CHANG M.-W., LEE K. & TOUTANOVA K. (2019). BERT : Pre-training of deep bidirectional transformers for language understanding. In *Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics : Human Language Technologies, Volume 1 (Long and Short Papers)*, p. 4171–4186, Minneapolis, Minnesota : Association for Computational Linguistics. DOI: 10.18653/v1/N19-1423.

EL BOUKKOURI H., FERRET O., LAVERGNE T., NOJI H., ZWEIGENBAUM P. & TSUJII J. (2020). CharacterBERT : Reconciling ELMo and BERT for word-level open-vocabulary representations from characters. In *Proceedings of the 28th International Conference on Computational Linguistics*, p. 6903–6915, Barcelona, Spain (Online) : International Committee on Computational Linguistics. DOI: 10.18653/v1/2020.coling-main.609.

ELSAHAR H., VOUGIOUKLIS P., REMACI A., GRAVIER C., HARE J., LAFOREST F. & SIMPERL E. (2018). T-REx : A large scale alignment of natural language with knowledge base triples. In *Proceedings of the Eleventh International Conference on Language Resources and Evaluation (LREC 2018)*, Miyazaki, Japan : European Language Resources Association (ELRA).

FERRÉ A., DELÉGER L., BOSSY R., ZWEIGENBAUM P. & NÉDELLEC C. (2020). C-Norm : a neural approach to few-shot entity normalization. *BMC bioinformatics*, **21**(23), 579. DOI: 10.1186/s12859-020-03886-8.

GROVER A. & LESKOVEC J. (2016). node2vec : Scalable feature learning for networks. In *Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining*, KDD ’16, p. 855–864, New York, NY, USA : Association for Computing Machinery. DOI: 10.1145/2939672.2939754.
GU Y., TINN R., CHENG H., LUCAS M., USUYAMA N., LIU X., NAUMANN T., GAO J. & POON H. (2021). Domain-specific language model pretraining for biomedical natural language processing. *ACM Transactions on Computing for Healthcare (HEALTH)*, **3**(1), 1–23. DOI: 10.1145/3458754.

HAO B., ZHU H. & PASCHALIDIS I. (2020). Enhancing clinical BERT embedding using a biomedical knowledge base. In *Proceedings of the 28th International Conference on Computational Linguistics*, p. 657–661, Barcelona, Spain (Online) : International Committee on Computational Linguistics. DOI: 10.18653/v1/2020.coling-main.57.

IINUMA N., MIWA M. & SASAKI Y. (2022). Improving supervised drug-protein relation extraction with distantly supervised models. In *Proceedings of the 21st Workshop on Biomedical Language Processing*, p. 161–170, Dublin, Ireland : Association for Computational Linguistics. DOI: 10.18653/v1/2022.bionlp-1.16.

KRALLINGER M., RABAL O., AKHONDI S. A., PÉREZ M. P., SANTAMARÍA J., RODRÍGUEZ G. P., TSATSARONIS G., INTXAURRONDO A., LÓPEZ J. A., NANDAL U. *et al*. (2017). Overview of the BioCreative VI chemical-protein interaction track. In *Proceedings of the sixth BioCreative challenge evaluation workshop*, volume 1, p. 141–146.

LEE J., YOON W., KIM S., KIM D., KIM S., SO C. H. & KANG J. (2020). BioBERT : a pre-trained biomedical language representation model for biomedical text mining. *Bioinformatics*, **36**(4), 1234–1240. DOI: 10.1093/bioinformatics/btz682.

LEWIS P., OTT M., DU J. & STOYANOV V. (2020). Pretrained language models for biomedical and clinical tasks : Understanding and extending the state-of-the-art. In *Proceedings of the 3rd Clinical Natural Language Processing Workshop*, p. 146–157, Online : Association for Computational Linguistics. DOI: 10.18653/v1/2020.clinicalnlp-1.17.

MAO J. & LIU W. (2019). Integration of deep learning and traditional machine learning for knowledge extraction from biomedical literature. In *Proceedings of The 5th Workshop on BioNLP Open Shared Tasks*, p. 168–173, Hong Kong, China : Association for Computational Linguistics. DOI: 10.18653/v1/D19-5724.

MICHALOPOULOS G., WANG Y., KAKA H., CHEN H. & WONG A. (2021). UmlsBERT : Clinical domain knowledge augmentation of contextual embeddings using the Unified Medical Language System Metathesaurus. In *Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics : Human Language Technologies*, p. 1744–1753, Online : Association for Computational Linguistics. DOI: 10.18653/v1/2021.naacl-main.139.

MIKOLOV T., CHEN K., CORRADO G. & DEAN J. (2013). Efficient estimation of word representations in vector space. In Y. BENGIO & Y. LECUN, Éds., *1st International Conference on Learning Representations, ICLR 2013, Scottsdale, Arizona, USA, May 2-4, 2013, Workshop Track Proceedings*.

MIRANDA A., MEHRYARY F., LUOMA J., PYYSALO S., VALENCIA A. & KRALLINGER M. (2021). Overview of DrugProt BioCreative VII track : quality evaluation and large scale text mining of drug-gene/protein relations. In *Proceedings of the seventh BioCreative challenge evaluation workshop*, p. 11–21.

PHAN L. N., ANIBAL J. T., TRAN H., CHANANA S., BAHADROGLU E., PELTEKIAN A. & ALTAN-BONNET G. (2021). SciFive : a text-to-text transformer model for biomedical literature. *arXiv preprint arXiv:2106.03598*.

RIBEIRO L. F., SAVERESE P. H. & FIGUEIREDO D. R. (2017). struc2vec : Learning node representations from structural identity. In *Proceedings of the 23rd ACM SIGKDD international conference on knowledge discovery and data mining*, p. 385–394.
SUN Z., DENG Z., NIE J. & TANG J. (2019). RotatE: Knowledge graph embedding by relational rotation in complex space. In *7th International Conference on Learning Representations, ICLR 2019, New Orleans, LA, USA, May 6-9, 2019: OpenReview.net*.

SUNG M., JEON H., LEE J. & KANG J. (2020). Biomedical entity representations with synonym marginalization. In *Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics*, p. 3641–3650, Online : Association for Computational Linguistics. DOI : 10.18653/v1/2020.acl-main.335.

VASWANI A., SHAZEER N., PARMAR N., USZKOREIT J., JONES L., GOMEZ A. N., KAISER L. & POLOUKHIN I. (2017). Attention is all you need. In I. GUYON, U. V. LUXBURG, S. BENGIO, H. WALLACH, R. FERGUS, S. VISHWANATHAN & R. GARNETT, Éds., *Proceedings of the 31st International Conference on Neural Information Processing Systems*, volume 30 de NIPS’17, p. 6000–6010, Red Hook, NY, USA : Curran Associates, Inc.

WANG R., TANG D., DUAN N., WEI Z., HUANG X., JI J., CAO G., JIANG D. & ZHOU M. (2021). K-Adapter: Infusing knowledge into pre-trained models with adapters. In *Findings of the Association for Computational Linguistics : ACL-IJCNLP 2021*, p. 1405–1418, Online : Association for Computational Linguistics. DOI : 10.18653/v1/2021.findings-acl.121.

WEBER L., SÄNGER M., GARDA S., BARTH F., ALT C. & LESER U. (2022). Chemical–protein relation extraction with ensembles of carefully tuned pretrained language models. *Database*, **2022**. baac098, DOI : 10.1093/database/baac098.

YUAN Z., LIU Y., TAN C., HUANG S. & HUANG F. (2021). Improving biomedical pretrained language models with knowledge. In *Proceedings of the 20th Workshop on Biomedical Language Processing*, p. 180–190, Online : Association for Computational Linguistics. DOI : 10.18653/v1/2021.bionlp-1.20.

ZHANG Q., LIU C., CHI Y., XIE X. & HUA X. (2019a). A multi-task learning framework for extracting bacteria biotope information. In *Proceedings of The 5th Workshop on BioNLP Open Shared Tasks*, p. 105–109, Hong Kong, China : Association for Computational Linguistics. DOI : 10.18653/v1/D19-5716.

ZHANG Z., HAN X., LIU Z., JIANG X., SUN M. & LIU Q. (2019b). ERNIE: Enhanced language representation with informative entities. In *Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics*, p. 1441–1451, Florence, Italy : Association for Computational Linguistics. DOI : 10.18653/v1/P19-1139.
# Derrière les plongements de relations

Hugo Thomas¹ Guillaume Gravier¹ Pascale Sébillot²

(1) Univ Rennes, CNRS, Inria - IRISA, Campus de Beaulieu 35042 Rennes, France

(2) Univ Rennes, CNRS, Inria, INSA Rennes - IRISA, Campus de Beaulieu 35042 Rennes, France

hugo.thomas@irisa.fr, guillaume.gravier@irisa.fr, pascale.sebillot@irisa.fr

## RÉSUMÉ

Dans cet article, plutôt que nous arrêter aux scores de performance habituellement fournis (par ex. mesure F1), nous proposons une analyse approfondie, selon différents critères, des modélisations de relations employées par plusieurs architectures de modèles de typage de relations. Cette analyse vise à mieux comprendre l'organisation de l'espace latent des modélisations et ses propriétés, enjeu important pour les modèles se fondant sur les distances dans cet espace. Dans cet objectif d'analyse des plongements, nous étudions l'influence, sur ces modélisations, du vocabulaire, de la syntaxe, de la sémantique des relations, de la représentation des entités nommées liées, ainsi que la géométrie de leur espace latent. Il en ressort que les modélisations de relations sont apprises de manière inégale d'un modèle à un autre entraînés de la même manière ; dans ce cas, les indicateurs que nous proposons sont de nouveaux éléments de compréhension de l'espace latent d'un modèle afin de mieux exploiter ses propriétés.

## ABSTRACT

### What hides behind relation embeddings?

In this paper, rather than focusing on the performance scores usually provided (e.g., the F1 measure), we propose a more in-depth analysis, according to several criteria, of the relation modeling of different model architectures for relation typing. This analysis aims to better understand the organization and properties of the latent modeling space, an important issue for models exploiting distances in this vector space. In order to study these modelings, we evaluate the influence on these models of the lexicon, the syntax, and the semantics of relations, the representation of the entities, as well as the geometry of their latent spaces. It appears that the relation modelings are learned unevenly from one model to another trained in the same way; in this case, the indicators we proposed are additional knowledge about the latent space to better exploit its properties.

**MOTS-CLÉS** : Traitement automatique des langues, extraction de relations, classification de relations, modélisation de relations.

**KEYWORDS:** Natural language processing, relation extraction, relation classification, relation modeling.

# 1 Introduction

L'extraction de relations entre entités – en particulier entre entités nommées (noms de personnes, lieux, entreprises...) – est un champ de recherche très actif du traitement automatique des langues (TAL)

<figure><img src="image_77.png" /></figure>
(cf. par exemple (Nasar et al., 2022) pour un résumé récent de nombreux travaux et des techniques utilisées). Pouvoir acquérir automatiquement et exploiter les relations décrites au sein de textes est un enjeu important, en particulier pour peupler des bases de connaissance et pour comprendre les interactions entre entités d'intérêt, et ce, dans de nombreux domaines (médecine (Karaa et al., 2021), finance (Jabbari et al., 2020), justice (Hong et al., 2021), journalisme (Riedel et al., 2010), publications scientifiques (Bhattacharya & Getoor, 2007)...).

Les relations considérées sont fréquemment binaires, exprimées au sein d'une phrase – ce sera aussi le focus de cet article – et sont modélisées par un triplet constitué d'une **entité tête** (ou sujet), d'une **entité queue** (ou objet) et d'une **relation** ou prédicat qui les lie. Par exemple, la phrase *Joe Biden est président des États-Unis depuis 2021* exprime le fait que l'entité *Joe Biden* et l'entité *États-Unis* sont liées par une relation modélisable par le triplet (*Joe Biden*, *est_président_de*, *États-Unis*).

La littérature actuelle du TAL concernant l'extraction de relations se focalise sur deux tâches de classification principales : la première est la **détection** de relations qui consiste à déterminer si deux entités dans un texte (ou une phrase) donné sont ou non liées par une relation quelconque ; la seconde est le **typage** de relations, reposant sur la détermination du type de la relation entre deux entités supposées liées par une relation dans un texte donné.

Pour la suite de l'article, notre attention se porte sur la **tâche de typage de relations** : comme expliqué ensuite, nous nous focalisons sur les modélisations des relations, et nous supposerons donc que les relations dans le texte ont déjà été détectées afin de pouvoir directement les étudier en étant certains de leur présence. Cette **tâche de typage** se traduit alors dans le cas général par la résolution de

$$ \arg\max_{r} p(r | s, e_{tête}, e_{queue}) \qquad (1) $$

où *s* est la phrase étudiée, *r* est un type de relation, *R* est l'ensemble des types de relations, (*e*<sub>tête</sub>, *e*<sub>queue</sub>) sont les entités et *E* est l'ensemble des entités (*r* ∈ *R* et (*e*<sub>tête</sub>, *e*<sub>queue</sub>) ∈ *E*<sup>2</sup>).

Une étude extensive des méthodes de détection et de typage de relations (Nasar et al., 2022) dégage les grandes familles de modèles et architectures adaptées à ces tâches. Elle n'aborde toutefois pas les modèles Transformers qui désormais font l'état de l'art dans un grand nombre de tâches de TAL, probablement par manque de recul sur ces modèles encore récents. La comparaison des modèles se limite à celle de leurs performances évaluées à l'aide de métriques classiques telles que la précision, le rappel et la mesure F1, qui ne suffisent toutefois pas à comprendre la nature des différences entre les modélisations. Du côté des modèles Transformers, des avancées notables sont faites en termes de scores de classification, mais encore une fois, sans qu'on ne dispose d'une analyse fine de la modélisation des relations sous-jacente. C'est par exemple le cas de modèles tels que LUKE (Yamada et al., 2020) ou le modèle proposé par (Zhou & Chen, 2022), qui figurent parmi l'état de l'art du typage de relations et proposent une modélisation novatrice des entités sans approfondir la modélisation résultante des relations. Enfin, les modèles récents d'extraction de relations non supervisée ou sans exemple (*zero shot*) s'appuient sur des encodeurs Transformers et notamment sur la mesure de similarité dans leur espace latent (par exemple (Chen & Li, 2021) ou plusieurs modèles de l'état de l'art décrit par Simon (2022)). Il est dans ce cas primordial de comprendre les attributs et informations de la relation reflétés par leur représentation, afin de saisir sur quoi s'appuie un modèle pour définir la similarité entre deux relations. Sans cela, il est impossible de comprendre les erreurs du modèle, ou au contraire ce sur quoi repose son efficacité.

Il apparaît donc qu'une meilleure appréhension des modélisations des relations apprises par les modèles de typage de relations manque dans ce domaine du TAL. S'arrêter à des scores de classification
est une manière objective et efficace de comparer la performance de modèles, mais, dans une optique académique, est insuffisant pour comprendre la nature des différences de représentations entre ces classifieurs. Il est donc nécessaire d'enrichir la comparaison des modèles avec des indicateurs plus fins. Par exemple, bien que des modèles aient la capacité de tirer parti de la syntaxe des relations, la littérature récente ne vérifie pas l'influence de celle-ci sur la modélisation résultante. L'impact de la représentation des entités liées n'est également pas éprouvé au-delà des scores de classification. L'espace latent des modélisations de relations de chaque modèle est le siège de l'information sur ces relations, mais il n'est pas sondé au-delà des visualisations de ses projections en deux dimensions par t-SNE.

Pour améliorer les comparaisons des modèles, l'initiative de Alt et al. (2020) d'étude critique du jeu de données TACRED procède à une analyse approfondie des erreurs de quatre modèles (taux d'erreurs sur les longues relations, les relations avec le même type d'entités tête et queue, les relations aux entités éloignées...). Nous nous positionnons dans la lignée de cette démarche, mais souhaitons aller plus loin et comparer des modèles représentatifs d'architectures plus hétérogènes sur davantage de critères afin d'aboutir à une analyse plus fine.

Dans un premier temps, nous présentons les jeux de données utilisés et les modèles comparés, afin d'exposer leurs différences pour contextualiser les résultats de nos expériences. Nous examinons dans un deuxième temps plusieurs critères : l'influence de la prise en compte de la syntaxe sur le typage des relations ; la représentation des entités et la façon dont elle affecte les représentations de relations ; l'intensité du lien entre la similarité des plongements de deux phrases supports de relations et la similarité lexicale, syntaxique et sémantique de ces deux phrases, ainsi que les distances et dispersions inter-relations dans l'espace latent de représentation des relations. Nous explorons ces critères pour déceler des différences de plusieurs natures entre les modélisations étudiées sur les jeux de données choisis. Nous concluons avec un résumé des résultats des expériences et leurs implications grâce au recul apporté.

# 2 Contexte et cadre expérimental

Notre analyse porte sur une variété de modèles de typage et extraction de relations représentatifs de différentes avancées du domaine. L'objectif étant de proposer des éléments de comparaison fiables et fins entre ces modèles, nous choisissons d'homogénéiser l'apprentissage de ceux-ci. Ainsi, tous les classifieurs ont pour point commun qu'une relation est modélisée par un vecteur de dimension fixe $\mathcal{D}$. Le deuxième point commun est l'architecture de la tête de classification utilisée pour déduire de chacune de ces modélisations une prédiction de type de relation par l'équation 1. Cette tête de classification effectue une prédiction sous la forme du vecteur $x_{pred} \in \mathbb{R}^n$ ($n$ est le nombre de types de relation égal à $card(\mathcal{R})$) pour la phrase support d'une relation modélisée par $x_{rel}$, tel que $x_{pred} = W_2ReLU(W_1x_{rel} + b_1) + b_2$. $W_1$ et $W_2$ sont les matrices des poids des deux couches de neurones, et $b_1$ et $b_2$ les biais de ces mêmes neurones. $x_{rel} \in \mathbb{R}^\mathcal{D}$, $W_1 \in \mathbb{R}^{\mathcal{D} \times \mathcal{D}}$, $W_2 \in \mathbb{R}^{\mathcal{D} \times n}$, $b_1 \in \mathbb{R}^\mathcal{D}$, $b_2 \in \mathbb{R}^n$, et nous choisissons $\mathcal{D} = 768$.

L'hypothèse de domaine clos est admise, c'est-à-dire que la tâche de typage de relations est restreinte à identifier une relation parmi $card(\mathcal{R})$ types et aucun autre type de relation n'est supposé possible. Ce contexte permet de se focaliser sur des relations précises et nommées afin de faciliter l'étude de celles-ci.
Une première modélisation que nous examinons s’appuie sur la similarité lexicale (de l’expression) des relations, des (portions de) phrases supports d’une même relation utilisant supposément un vocabulaire voisin. Ce modèle n’est pas neuronal, mais on applique sur sa modélisation des couches de neurones de prédiction du type de la relation, comme décrit au premier paragraphe. Une phrase est donc traitée comme un vecteur sac-de-mots ayant une composante par mot du dictionnaire, pondéré par TF-IDF (*term frequency-inverse document frequency*). Nous concaténons à la fin de ce vecteur l’encodage *one hot* du type des deux entités de la relation. Ce vecteur concaténé est ramené par analyse en composantes principales à la dimension désirée $\mathcal{D}$ pour obtenir la modélisation finale. On remarquera que la notion de séquence est perdue dans ce modèle, ce qui rend, pour lui, impossible l’exploitation de la syntaxe des phrases.

Un deuxième modèle, popularisé par le domaine de la vision par ordinateur, est le réseau de neurones convolutif (Kim, 2014) : différentes tailles de noyaux de convolution sont appliquées sur les plongements des tokens en entrée pour extraire de l’information à plusieurs échelles. La valeur maximale en sortie de chaque strate de traitement est extraite pour obtenir un vecteur par taille de noyau de convolution. Ces vecteurs sont ensuite concaténés, puis leur dimension est réduite par des couches de neurones artificiels. En sortie, la modélisation des relations pour ce modèle est obtenue. Cette méthode repose en grande partie sur des schémas répétés dans les phrases d’entraînement et peut donc souffrir en cas de grande variabilité des formes de surface exprimant un même type de relation.

La troisième modélisation concerne les modèles de réseaux de neurones récurrents, qui traitent de façon séquentielle l’information. On leur reproche de noyer l’information en début de séquence, ainsi que de souffrir de l’évanescence du gradient, mais ce sont des problèmes que les LSTM bidirectionnels ou Bi-LSTM atténuent. Ainsi, nous considérons dans notre étude la concaténation des vecteurs cachés des deux LSTM (avant et arrière) comme modélisation de relation.

Les Transformers, encodeurs-décodeurs tirant parti des mécanismes d’attention, offrent depuis 2017 (Vaswani et al., 2017) des performances élevées sur les données textuelles dans des tâches requérant une compréhension fine du langage, par exemple la traduction ou l’analyse des sentiments. On étudie l’état du vecteur associé au token [CLS] en sortie du modèle comme représentation du texte en entrée. Nous examinons les modèles RoBERTa (Liu et al., 2019), ainsi que LUKE (Yamada et al., 2020) qui possède des plongements et des mécanismes d’attention spécifiques aux entités pour améliorer la classification de relations. Pour nos entraînements, les Transformers ne sont ni appris à partir de poids aléatoires, ni ajustés entièrement à partir de modèles pré-entraînés : nous adaptons les modèles en entraînant des couches de réduction et augmentation de dimensionnalité dans chaque bloc Transformer comme décrit dans (Houlsby et al., 2019). Cette méthode permet l’apprentissage d’une fraction des paramètres originaux du modèle pour des performances similaires. Le modèle RoBERTa base est adapté pour typer les relations, et le modèle RoBERTa+entités est adapté pour typer les relations et les entités tête et queue. Nous considérons LUKE uniquement comme référence pour ses scores, mais l’analyse de sa modélisation n’est pas effectuée, n’étant pas compatible à l’adaptation et nos tentatives de *fine-tuning* ayant échoué.

Enfin, nous étudions la modélisation des relations d'un Transformer appris de manière supervisée pour une tâche proxy, c'est-à-dire la prédiction du type des entités de la relation (entreprise, personne, lieu...), dont les poids sont ensuite gelés pour apprendre la tête de typage de relation : ce modèle est analogue à celui de Huang & Wong (2020), avec pour encodeur un Transformer et non des LSTM. Puisque les types d'entités déterminent en partie le type de la relation, il est réaliste d'estimer que cette tâche proxy de prédiction d'entités apprend des attributs pertinents pour la classification de relations.
Les fonctions utilisées pour entraîner ces différents modèles sont disponibles sur le dépôt de code de l'article<fnref n="1" />.

Les réseaux de neurones sont entraînés par descente de gradient optimisée par Adam avec un taux d'apprentissage de 0.001 par *batch* de 8 relations pendant 128 époques avec interruption précoce (conditionnée sur la mesure F1 du modèle sur le jeu de validation). Chaque modèle est entraîné cinq fois avec une graine aléatoire différente. Les plongements de mots de chaque modèle (sauf TF-IDF+ACP qui n'en nécessite pas) sont ceux du modèle préentraîné RoBERTa base.

Afin d'effectuer selon plusieurs critères l'analyse des modélisations sous-jacentes de modèles, nous employons deux jeux de données conçus pour la tâche de typage de relation, dont les caractéristiques sont déclinées dans le tableau 1.

TACRED (Zhang et al., 2017) (TAC Relation Extraction Dataset) présente 41 types de relations dans 106 264 exemples en anglais. 79,5% de ces relations sont du type « no_relation » (pas de relation entre les deux entités courantes dans une phrase), et les fréquences des types de relations sont peu équilibrées, présentant ainsi des classes très majoritaires et minoritaires (cadre de classification frugale). Nous ignorons la classe « no_relation » car nous étudions la tâche de typage de relations et pas de détection de relations.

FewRel (Han et al., 2018), également en langue anglaise, contient 100 types de relations dans 56 000 exemples, et sa spécificité est son évaluation : il est conçu pour être évalué sur la classification frugale, avec peu d'exemples. Le script d'évaluation échantillonne le jeu de validation selon le schéma N-way K-shot, c'est-à-dire la classification parmi N classes avec seulement K exemples par classe. Souhaitant nous focaliser sur la modélisation des relations des modèles à leur plein potentiel, l'aspect de classification frugale n'est pas pris en compte dans cet article ; ainsi, nous découpons le jeu d'entraînement en deux parties (jeu d'entraînement raccourci et jeu de test) afin d'obtenir un jeu de test dédié en plus des jeux d'entraînement et de validation.

<table><caption>TABLE 1 – Résumé du contenu des jeux de données.</caption><thead><tr><td>jeu de données</td><td>jeu d'entraînement</td><td>jeu de validation</td><td>jeu de test</td><td>total</td></tr></thead><tbody><tr><td>TACRED</td><td>13 012</td><td>5436</td><td>3325</td><td>21 773</td></tr><tr><td>FewRel 1.0</td><td>33 600</td><td>11 200</td><td>11 200</td><td>56 000</td></tr></tbody></table>

## 3 Expériences

Nous procédons par étape aux différentes analyses des modélisations de relations en commençant par étudier l'impact de la syntaxe et de sa prise en compte sur les modélisations obtenues (et donc sur la qualité des représentations pour la tâche de typage de relations). Nous nous penchons ensuite sur l'influence de la représentation choisie des entités de la relation sur ces modélisations. Enfin, pour aller au-delà d'une analyse s'étayant à l'aune de la seule qualité plus ou moins forte en classification, nous proposons une étude comparative des modélisations de relations obtenues d'un point de vue langue (deux relations proches en termes de représentations vectorielles ont-elles des « propriétés langagières » proches ?) et d'un point de vue géométrie des espaces vectoriels appris.

<footnote n="1">1. Dépôt disponible sur ce lien : https://gitlab.inria.fr/huthomas/taln_experiments</footnote>
## 3.1 Impact de la syntaxe

L'identification des relations peut reposer en partie sur la syntaxe des phrases (ou parties de phrases) supports de celles-ci. Étant donné que le typage de la relation dépend de la modélisation, nous souhaitons vérifier l'importance de la syntaxe sur cette modélisation de relation; nous procédons à une comparaison des différents modèles en conservant d'une part la phrase entière en entrée, d'autre part uniquement les mots du plus court chemin de dépendance syntaxique entre les deux entités de la relation, dans l'ordre de ce chemin, de l'entité tête à l'entité queue.

<table><thead><tr><th rowspan="2">modèle</th><th rowspan="2">partie de phrase considérée</th><th colspan="2">F1 sur TACRED</th><th colspan="2">F1 sur FewRel</th></tr><tr><th>moyenne micro</th><th>moyenne macro</th><th>moyenne micro</th><th>moyenne macro</th></tr></thead><tbody><tr><td rowspan="2">TF-IDF+ACP</td><td>plus court chemin</td><td><strong>83.3±0.62%</strong></td><td><strong>61.19±0.75%</strong></td><td>62.32±0.51%</td><td>61.92±0.61%</td></tr><tr><td>phrase entière</td><td><strong>84.14±0.64%</strong></td><td><strong>60.83±1.31%</strong></td><td>61.79±0.59%</td><td>61.16±0.63%</td></tr><tr><td rowspan="2">CNN</td><td>plus court chemin</td><td>74.07±0.73%</td><td>53.85±0.91%</td><td><strong>71.04±0.22%</strong></td><td><strong>70.98±0.23%</strong></td></tr><tr><td>phrase entière</td><td>42.1±0.93%</td><td>27.39±0.64%</td><td>54.24±0.41%</td><td>52.91±0.67%</td></tr><tr><td rowspan="2">Bi-LSTM</td><td>plus court chemin</td><td>72.67±1.13%</td><td>53.71±1.79%</td><td>67.42±2.05%</td><td>66.64±2.41%</td></tr><tr><td>phrase entière</td><td>37.91±0.68%</td><td>23.48±1.32%</td><td>49.74±1.07%</td><td>47.34±1.48%</td></tr><tr><td rowspan="2">RoBERTa base</td><td>plus court chemin</td><td>77.89±0.37%</td><td>58.96±1.53%</td><td><strong>71.43±0.37%</strong></td><td><strong>70.55±0.9%</strong></td></tr><tr><td>phrase entière</td><td>43.17±0.54%</td><td>28.66±0.91%</td><td>58.43±0.95%</td><td>56.06±1.15%</td></tr><tr><td rowspan="2">RoBERTa+entités</td><td>plus court chemin</td><td>76.05±1.13%</td><td>56.36±0.98%</td><td><strong>73.75±0.81%</strong></td><td><strong>73.14±0.91%</strong></td></tr><tr><td>phrase entière</td><td>42.17±1.09%</td><td>29.06±0.77%</td><td>56.14±0.54%</td><td>54±0.63%</td></tr><tr><td rowspan="2">RoBERTa proxy</td><td>plus court chemin</td><td>72.49±1.64%</td><td>50.73±2.2%</td><td>55±0.96%</td><td>53.54±1.15%</td></tr><tr><td>phrase entière</td><td>37.38±1.69%</td><td>23.63±1.28%</td><td>48.97±0.47%</td><td>47.16±0.48%</td></tr></tbody></table>

TABLE 2 – Comparaison des résultats de typage de relations en considérant la phrase entière ou seulement le plus court chemin de dépendance syntaxique entre les deux entités de la phrase. Les meilleurs scores au risque de 5% sont indiqués en gras.

Les résultats sont présentés dans le tableau 2. En étudiant d'abord le modèle TF-IDF+ACP sur les premières lignes, nous observons une faible différence entre les deux configurations sur les deux jeux de données : ce modèle ne prend pas en compte la syntaxe, et cette différence est seulement due au nombre de mots inférieur dans le cas du plus court chemin de dépendance. Les scores de ce modèle sont les meilleurs sur TACRED – signifiant la forte dépendance des types de relations au vocabulaire dans ce jeu de données – et sont bons sur FewRel. Le vocabulaire influe donc en partie sur le typage de relations, mais la syntaxe est nécessaire pour de meilleurs scores, notamment sur FewRel. En se penchant sur les autres lignes du tableau, nous constatons que les autres modèles prenant la syntaxe en compte sont systématiquement meilleurs lorsque les entrées sont les plus courts chemins de dépendance syntaxique : cette normalisation grammaticale des relations est bénéfique, démontrant l'importance de la prise en compte de la syntaxe pour la modélisation des relations dans l'objectif de leur typage.

## 3.2 Influence des représentations des entités

Nous examinons ici l'impact de la représentation des entités sur la modélisation résultante des relations. En effet, les entités sont les sujets et objets mêmes des relations étudiées, et y jouent donc très vraisemblablement un rôle-clé. Les entités sont, dans un premier temps, conservées telles qu'elles apparaissent dans la forme de surface où s'exprime la relation. Ensuite, elles sont entourées de balises afin de signifier au modèle où elles commencent et finissent dans la phrase. Enfin, les entités sont remplacées par leur type (lieu, personne, entreprise...) pour vérifier s'il n'est pas suffisant pour prédire la relation. Le modèle TF-IDF+ACP est exclu, car ajouter les balises d'entités dans son vocabulaire
ne changera rien puisqu'elles apparaissent identiquement dans chaque phrase; de plus, le modèle
bénéficie déjà du type des entités parmi ses attributs.

<table><caption>TABLE 3 – Comparaison des résultats en fonction de la représentation des entités dans la phrase entière. Les meilleurs scores au risque de 5% sont indiqués en gras.</caption><thead><tr><th rowspan="2">modèle</th><th rowspan="2">représentation des entités</th><th colspan="2">F1 sur TACRED</th><th colspan="2">F1 sur FewRel</th></tr><tr><th>moyenne micro</th><th>moyenne macro</th><th>moyenne micro</th><th>moyenne macro</th></tr></thead><tbody><tr><td rowspan="3">CNN</td><td>entité non modifiée</td><td>42.1±0.93%</td><td>27.39±0.64%</td><td>54.24±0.41%</td><td>52.91±0.67%</td></tr><tr><td>type de l'entité</td><td>79.19±0.34%</td><td>61.78±0.92%</td><td>56.67±0.35%</td><td>55.9±0.32%</td></tr><tr><td>entité balisée</td><td>69.71±0.7%</td><td>52.67±1.13%</td><td>66.37±0.35%</td><td>65.55±0.34%</td></tr><tr><td rowspan="3">Bi-LSTM</td><td>entité non modifiée</td><td>37.91±0.68%</td><td>23.48±1.32%</td><td>49.74±1.07%</td><td>47.34±1.48%</td></tr><tr><td>type de l'entité</td><td><strong>80.87±0.35%</strong></td><td><strong>64.39±0.7%</strong></td><td>53.7±1.81%</td><td>52.52±1.61%</td></tr><tr><td>entité balisée</td><td>69.95±0.94%</td><td>54.48±1.29%</td><td>63.34±0.35%</td><td>62.17±0.62%</td></tr><tr><td rowspan="3">RoBERTa base</td><td>entité non modifiée</td><td>43.17±0.54%</td><td>28.66±0.91%</td><td>58.43±0.95%</td><td>56.06±1.15%</td></tr><tr><td>type de l'entité</td><td><strong>80.86±0.27%</strong></td><td><strong>65.62±1.01%</strong></td><td>63.35±0.5%</td><td>61.89±0.78%</td></tr><tr><td>entité balisée</td><td>77.43±0.91%</td><td>61.15±1.34%</td><td><strong>73.79±1.24%</strong></td><td><strong>72.65±1.47%</strong></td></tr><tr><td rowspan="3">RoBERTa+entités</td><td>entité non modifiée</td><td>42.17±1.09%</td><td>29.06±0.77%</td><td>56.14±0.54%</td><td>54±0.63%</td></tr><tr><td>type de l'entité</td><td><strong>79.75±0.36%</strong></td><td><strong>64.39±1.79%</strong></td><td>64.47±0.78%</td><td>63.04±1.12%</td></tr><tr><td>entité balisée</td><td>74.45±0.59%</td><td>57.89±2.88%</td><td><strong>75.16±0.13%</strong></td><td><strong>74.09±0.12%</strong></td></tr><tr><td rowspan="3">RoBERTa proxy</td><td>entité non modifiée</td><td>33.12±8.29%</td><td>19.47±8.52%</td><td>48.97±0.47%</td><td>47.16±0.48%</td></tr><tr><td>type de l'entité</td><td>71.96±1.87%</td><td>46.28±1.71%</td><td>41.67±1.51%</td><td>40.03±1.64%</td></tr><tr><td>entité balisée</td><td>69.08±0.89%</td><td>51.05±2.25%</td><td>59.28±0.88%</td><td>58.03±0.61%</td></tr></tbody></table>

Le tableau 3 résume les scores obtenus. Sur la colonne de TACRED, les lignes liées aux entités non modifiées conduisent systématiquement à des scores plus faibles que les autres configurations : les modèles n'ont pas de repères pour la position des entités et peuvent confondre celles-ci avec d'autres entités de la phrase. Baliser les entités améliore les scores en levant cette confusion. Les meilleurs scores sont obtenus en remplaçant les entités par leur type, qui apporte une information riche et condensée sur elles, au prix de la perte de leurs mentions exactes dans la phrase.

Sur FewRel, le constat reste le même pour les entités non modifiées menant à des scores faibles. Remplacer les entités par leur type améliore encore une fois les scores sauf pour RoBERTa proxy, qui focalise vraisemblablement trop son apprentissage sur le typage des entités et dégrade ses attributs pour le typage de relations. Les balises autour des entités conduisent aux meilleurs scores sur ce jeu de données, conservant la mention d'entité intacte et indiquant sa position.

D'autres représentations des entités existent et peuvent améliorer encore les scores; par exemple, LUKE obtient sur TACRED une mesure F1 micro de 88.91% et macro de 59.82%, mais n'entre pas dans notre comparaison à cause de la différence de largeur du modèle LUKE préentrainé sur TACRED (dimension supérieure des plongements). Ces scores vont tout de même dans le sens de l'existence d'un impact des représentations des entités sur le typage de relations. Il découle de ce constat et des expériences que les entités des relations et leur représentation ont une influence importante pour le typage de celles-ci, impactant directement le score des modèles prenant en compte ces entités.

## 3.3 Analyse des plongements des relations

Les deux expériences précédentes se penchant uniquement sur les scores de classification (mesure F1) pour tirer des conclusions, nous complétons notre analyse avec des métriques décrivant plus finement les différences entre modélisations de relations. Nous choisissons de nous attacher tout d'abord à des mesures directement liées au langage, avant d'effectuer des mesures géométriques.
Dans un premier temps, nous voulons étudier, pour chaque modèle, à quel point la similarité entre deux plongements de relations est proche de la similarité lexicale, syntaxique ou sémantique des formes de surface exprimant ces relations. Ceci permet de nous renseigner sur le fait qu’un modèle s’appuie plus ou moins sur ces trois types d’information. Pour ce faire, nous calculons la corrélation de Spearman entre la similarité cosinus des deux plongements de relations et chacune des trois autres similarités. La similarité lexicale est calculée par un Jaccard (taille de l’intersection des mots divisée par la taille de l’union des mots) entre les (portions de) phrases exprimant les relations. La similarité syntaxique est estimée en calculant la distance entre les arbres syntaxiques des deux phrases selon le noyau décrit dans (Culotta & Sorensen, 2004). La similarité sémantique est obtenue par similarité cosinus entre les moyennes des vecteurs de sortie d’un modèle SentenceBERT (Reimers & Gurevych, 2019) (moyenne des vecteurs de sortie de l’encodeur de chaque token) de détection de paraphrases. Nous échantillonnons 3 000 paires aléatoires de phrases toutes relations confondues dans chacun des jeux de données, mesurons chaque type de similarité sur ces paires, puis calculons la corrélation de Spearman entre la similarité des plongements de relations et chacune des trois autres similarités. Pour les corrélations données au tableau 4, la forme de surface considérée pour tous les modèles est la phrase entière sans modification des entités afin de garantir des similarités fiables ; les mêmes calculs ont été effectués avec les meilleures configurations par modèle, mais donnant des résultats comparables, ne sont pas répertoriés ici par manque de place.

Dans un second temps, nous souhaitons examiner l'organisation géométrique des espaces latents de représentations des relations des différents modèles. En effet, les différents encodeurs étudiés plongent des phrases support de relation dans un espace vectoriel de dimension élevée (768), il est donc important de s'intéresser à l'organisation spatiale de ces vecteurs de relations au sein de l'espace vectoriel pour différencier ces encodeurs. Après avoir constitué des clusters de plongements de relations par type, nous calculons les distances entre leurs centroïdes (vecteur moyen de tous les plongements des phrases exprimant une même relation), afin d'observer la densité relative de chaque espace vectoriel : à cette fin, nous calculons la distance moyenne de chaque centroïde à ses cinq plus proches centroïdes voisins, et établissons la moyenne de ces distances. Nous cherchons, d'autre part, à mesurer le recouvrement des clusters, qui traduit la confusion d'un encodeur entre plusieurs types de relations. Pour cela, pour chaque plongement de relation, ses cinq plus proches voisins sont considérés, et la moyenne, pour tous les plongements, de leurs plus proches voisins (parmi les cinq) n'étant pas du même type de relation qu'eux est calculée. À nouveau, dans le tableau 5 recensant les distances et les recouvrements, les plongements manipulés concernent les phrases entières exprimant les relations (même remarque que précédemment pour ce qui est des expériences faites avec les meilleures configurations des modèles).

Malgré les valeurs assez faibles du tableau 4, explicables par la métrique (corrélation de Spearman) qui détecte les tendances monotones mais décroît rapidement avec la dispersion des valeurs, les différences marquées entre les valeurs de corrélation permettent cependant de tirer des conclusions. Sur la colonne de TACRED, la corrélation avec la similarité sémantique est assez élevée, surtout pour les modèles CNN, RoBERTa base et RoBERTa+entités : leur modélisation s’appuie en partie sur la sémantique des relations pour les représenter. Ces trois modèles ont également des corrélations marquées avec la similarité syntaxique, alors que TF-IDF+ACP a une corrélation extrêmement faible due à son incapacité de prise en compte de la syntaxe. Quant à la similarité lexicale, les modèles RoBERTa base et RoBERTA+entités se démarquent avec des corrélations plus fortes : ces deux modèles prennent le mieux en compte les trois aspects langagiers étudiés. La colonne correspondant à FewRel donne des résultats différents. La similarité des plongements du modèle CNN est la plus fortement corrélée à la similarité sémantique, suivi des autres modèles. Seul TF-IDF+ACP
<table><caption>TABLE 4 – Corrélation de la similarité cosinus des modélisations de relations avec différentes natures de similarité (lexicale, syntaxique et sémantique). Les corrélations sont multipliées par 100 pour améliorer la lisibilité.</caption><thead><tr><th rowspan="3">Modèles</th><th colspan="3">TACRED</th><th colspan="3">FewRel</th></tr><tr><th colspan="3">corrélation (*100) avec similarité</th><th colspan="3">corrélation (*100) avec similarité</th></tr><tr><th>lexicale</th><th>syntaxique</th><th>sémantique</th><th>lexicale</th><th>syntaxique</th><th>sémantique</th></tr></thead><tbody><tr><td>TF-IDF+ACP</td><td>12.58</td><td>2.18</td><td>21.15</td><td>6.76</td><td>4.84</td><td>7.02</td></tr><tr><td>CNN</td><td>14.23</td><td>25.67</td><td>29.13</td><td>14.87</td><td>19.64</td><td>30.68</td></tr><tr><td>Bi-LSTM</td><td>16.07</td><td>11.75</td><td>22.37</td><td>6.26</td><td>10.21</td><td>23.49</td></tr><tr><td>RoBERTa base</td><td>25.76</td><td>34.01</td><td>31.39</td><td>7.40</td><td>14.26</td><td>18.95</td></tr><tr><td>RoBERTa+entités</td><td>20.86</td><td>31.42</td><td>33.43</td><td>8.43</td><td>11.42</td><td>21.30</td></tr><tr><td>RoBERTa proxy</td><td>16.78</td><td>15.61</td><td>24.70</td><td>5.52</td><td>12.81</td><td>18.75</td></tr></tbody></table>

<table><caption>TABLE 5 – Comparaison de la géométrie des espaces latents des différents modèles.</caption><thead><tr><th rowspan="2">modèles</th><th colspan="2">TACRED</th><th colspan="2">FewRel</th></tr><tr><th>distance inter-classes des<br>centroïdes de relations</th><th>recouvrement des clusters de<br>types de relations</th><th>distance inter-classes des<br>centroïdes de relations</th><th>recouvrement des clusters de<br>types de relations</th></tr></thead><tbody><tr><td>TF-IDF+ACP</td><td>0.6916±0.5255</td><td>17.84%</td><td>0.5447±0.3361</td><td>64.12%</td></tr><tr><td>CNN</td><td>6.9164±3.8321</td><td>59.54%</td><td>7.6531±4.6236</td><td>60.97%</td></tr><tr><td>Bi-LSTM</td><td>0.5577±0.3038</td><td>62.92%</td><td>0.8039±0.4639</td><td>54.94%</td></tr><tr><td>RoBERTa base</td><td>0.7980±0.4573</td><td>57.71%</td><td>1.3204±0.7979</td><td>50.26%</td></tr><tr><td>RoBERTa+entités</td><td>1.1839±0.6462</td><td>56.00%</td><td>0.7464±0.4305</td><td>50.17%</td></tr><tr><td>RoBERTa proxy</td><td>0.5315±0.3745</td><td>65.39%</td><td>0.6276±0.3581</td><td>63.03%</td></tr></tbody></table>

possède une très faible valeur de corrélation, qui était pourtant élevée sur TACRED; cette chute peut être due à la complexité relative de FewRel, possédant notamment 100 types de relations contre 41 dans TACRED. La corrélation syntaxique pour le modèle CNN est la plus élevée, explicable par le fonctionnement de celui-ci, s'attachant aux motifs dans la phrase et donc possiblement à la construction grammaticale. Cette corrélation reste faible pour TF-IDF+ACP pour la même raison que sur TACRED. La corrélation avec la similarité lexicale est faible sur ce jeu de données, mais le modèle CNN se démarque encore une fois.

De manière générale sur les deux jeux de données (scores les plus élevés, restant consistants sur TACRED et FewRel), les meilleurs modèles dans leur meilleure configuration selon les tableaux 2 et 3 – soit RoBERTa base et RoBERTa+entités, et CNN dans une moindre mesure – sont parmi les plus corrélés avec les similarités sémantique, syntaxique et lexicale dans ce tableau. Ce résultat suggère des capacités langagières élevées de ces modèles, en particulier les Transformers, et leur faculté à exploiter ces informations, justifiant en partie leurs bonnes performances. Ces corrélations restent toutefois faibles dans l'absolu, n'expliquant donc pas tout, ce qui signifie que les modèles ont probablement appris une autre forme de similarité plus pertinente pour la tâche, que l'on peut nommer similarité de typage de relation.

Ce constat est renforcé par les résultats du tableau 5, révélant des recouvrements des clusters relativement plus faibles pour ces modèles aux scores de typage de relations élevés et aux corrélations précédentes les plus fortes. Sur TACRED, le modèle CNN possède la plus grande distance moyenne inter-classes, suivi de loin par RoBERTa+entités puis RoBERTa base, et ces modèles ont un recouvrement des clusters conséquent malgré leur éloignement suggéré par la métrique précédente. Les modèles Bi-LSTM et RoBERTa proxy souffrent du plus fort recouvrement de leurs clusters et de distances inter-classes faibles, les rendant mal adaptés à l'exploitation des distances dans leur espace
latent. À l'opposé, les types de relations modélisés par TF-IDF+ACP sont bien séparés comme le suggèrent le très faible recouvrement de leurs *clusters*. Dans la colonne de FewRel, nous constatons que les *clusters* modélisés par TF-IDF+ACP et RoBERTa proxy se recouvrent fortement, ces modèles étant donc de mauvais candidats à la recherche de relations similaires dans leur espace latent comme expliqué précédemment. Les modèles RoBERTa avec et sans typage d'entités sont au contraire de bons candidats avec les plus faibles recouvrements.

# 4 Conclusion

Grâce aux expériences effectuées, nous observons que la syntaxe des relations et la représentation des entités ont une influence importante sur le typage des relations : avoir un modèle capable de prendre en compte la syntaxe et adopter une représentation des entités pertinente pour la tâche visée sont donc indispensables pour obtenir la modélisation de relations la plus propice à des meilleurs scores de classification.

La comparaison des espaces latents des différentes architectures de modèles dévoile des modélisations de relations sous-jacentes inégales à plusieurs égards : la corrélation de la similarité des plongements de relations dans ces modélisations avec la similarité lexicale, syntaxique ou sémantique varie significativement d'un modèle à l'autre, révélant leurs affinités respectives avec chacun de ces trois aspects langagiers. La répartition des *clusters* de types de relations nous renseigne également sur ces espaces latents : nous constatons pour certains modèles un recouvrement important des *clusters* et des distances inter-*clusters* faibles. Dans le cas où les distances dans l'espace latent sont à exploiter – par exemple pour la classification frugale à l'aide d'un modèle préentraîné –, il est utile de prendre en compte ces affinités lexicale, syntaxique et sémantique, ainsi que les informations sur la distribution des *clusters* afin d'obtenir les natures de similarité voulues. Il peut, par exemple, être souhaitable d'éviter une similarité des plongements de relations corrélée à la similarité lexicale lorsque les phrases considérées ont un vocabulaire très semblable mais de fines différences syntaxiques ou sémantiques déterminant la classe à prédire ; il peut également être souhaitable de chercher un espace avec des *clusters* distincts lorsque l'objectif est d'utiliser la proximité des voisins d'une relation dans l'espace latent comme notion de similarité du type de relation, afin d'éviter de mauvaises prédictions causées par le recouvrement de plusieurs *clusters*.

Notre étude sur deux jeux de données met donc en lumière l'influence de la syntaxe et de la représentation des entités sur les résultats de la tâche de typage de relations, ainsi que la variété des espaces latents appris par les différentes architectures de modèles pour cette tâche, aux propriétés langagières et spatiales diverses. Elle donne des indicateurs pour la compréhension et l'exploitation d'une modélisation de relations appropriée au traitement désiré, puisque que ceux-ci sont révélateurs de ces hétérogénéités dans les représentations des relations.

# Références

ALT C., GABRYSZAK A. & HENNIG L. (2020). TACRED revisited : A thorough evaluation of the TACRED relation extraction task. In *58th Annual Meeting of the Association for Computational Linguistics*, p. 1558–1569, Online.
BHATTACHARYA I. & GETOOR L. (2007). Collective entity resolution in relational data. *ACM Transactions on Knowledge Discovery from Data*, **1**(1).

CHEN C.-Y. & LI C.-T. (2021). ZS-BERT: Towards zero-shot relation extraction with attribute representation learning. In *2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies*, p. 3470–3479, Online.

CULOTTA A. & SORENSEN J. (2004). Dependency tree kernels for relation extraction. In *42nd Annual Meeting of the Association for Computational Linguistics*, p. 423–429, Barcelona, Spain.

HAN X., ZHU H., YU P., WANG Z., YAO Y., LIU Z. & SUN M. (2018). FewRel: A large-scale supervised few-shot relation classification dataset with state-of-the-art evaluation. In *2018 Conference on Empirical Methods in Natural Language Processing*, p. 4803–4809, Brussels, Belgium.

HONG J., VOSS C. & MANNING C. (2021). Challenges for information extraction from dialogue in criminal law. In *1st Workshop on NLP for Positive Impact*, p. 71–81, Online.

HOULSBY N., GIURGIU A., JASTRZEBSKI S., MORRONE B., DE LAROUSSILHE Q., GESMUNDO A., ATTARIYAN M. & GELLY S. (2019). Parameter-efficient transfer learning for NLP. In *36th International Conference on Machine Learning*, p. 2790–2799, Long Beach, California, USA.

HUANG H. & WONG R. (2020). Deep embedding for relation extraction on insufficient labelled data. In *2020 International Joint Conference on Neural Networks*, p. 1–8, Glasgow, United Kingdom.

JABBARI A., SAUVAGE O., ZEINE H. & CHERGUI H. (2020). A French corpus and annotation schema for named entity recognition and relation extraction of financial news. In *12th Language Resources and Evaluation Conference*, p. 2293–2299, Marseille, France.

KARAA W. B. A., ALKHAMMASH E. H. & AIDA B. (2021). Drug disease relation extraction from biomedical literature using NLP and machine learning. *Mobile Information Systems, special issue Intelligent Data Analytics for Internet of Things-Based Applications, 2021*.

KIM Y. (2014). Convolutional neural networks for sentence classification. In *2014 Conference on Empirical Methods in Natural Language Processing*, p. 1746–1751, Doha, Qatar.

LIU Y., OTT M., GOYAL N., DU J., JOSHI M., CHEN D., LEVY O., LEWIS M., ZETTLEMOYER L. & STOYANOV V. (2019). RoBERTa: A robustly optimized BERT pretraining approach. In *20th China National Conference on Computational Linguistics*, p. 1218–1227, Hohhot, China.

NASAR Z., JAFFRY S. W. & MALIK M. K. (2022). Named entity recognition and relation extraction: State-of-the-art. *ACM Computing Surveys*, **54**(1).

REIMERS N. & GUREVYCH I. (2019). Sentence-BERT: Sentence embeddings using siamese BERT-networks. In *2019 Conference on Empirical Methods in Natural Language Processing and 9th International Joint Conference on Natural Language Processing*, p. 3982–3992, Hong Kong, China.

RIEDEL S., YAO L. & MCCALLUM A. (2010). Modeling relations and their mentions without labeled text. In *European Conference on Machine Learning and Principles and Practice of Knowledge Discovery in Databases*, p. 148–163. Barcelona, Spain: Lecture Notes in Computer Science, vol. 6323, Springer.

SIMON E. (2022). *Deep Learning for Unsupervised Relation Extraction*. Thèse de doctorat, Sorbonne Université.

VASWANI A., SHAZEER N., PARMAR N., USZKOREIT J., JONES L., GOMEZ A. N., KAISER L. & POLOSUKHIN I. (2017). Attention is all you need. In *31st Conference on Neural Information Processing Systems*, p. 6000–6010, Long Beach, California, USA.
YAMADA I., ASAI A., SHINDO H., TAKEDA H. & MATSUMOTO Y. (2020). LUKE : Deep contextualized entity representations with entity-aware self-attention. In *2020 Conference on Empirical Methods in Natural Language Processing*, p. 6442–6454, Online.

ZHANG Y., ZHONG V., CHEN D., ANGELI G. & MANNING C. D. (2017). Position-aware attention and supervised data improve slot filling. In *2017 Conference on Empirical Methods in Natural Language Processing*, p. 35–45, Copenhagen, Denmark.

ZHOU W. & CHEN M. (2022). An improved baseline for sentence-level relation extraction. In *2nd Conference of the Asia-Pacific Chapter of the Association for Computational Linguistics and 12th International Joint Conference on Natural Language Processing (Volume 2: Short Papers)*, p. 161–168, Online.
# CamemBERT-bio : Un modèle de langue français savoureux et meilleur pour la santé

Rian Touchent
Laurent Romary
Éric Villemonte de la Clergerie
INRIA, 2 rue Simone IFF, 75012, France
{prénom.nom}@inria.fr

## RÉSUMÉ

Les données cliniques dans les hôpitaux sont de plus en plus accessibles pour la recherche à travers les entrepôts de données de santé, cependant ces documents sont non-structurés. Il est donc nécessaire d'extraire les informations des comptes-rendus médicaux. L'utilisation du transfert d'apprentissage grâce à des modèles de type BERT comme CamemBERT ont permis des avancées majeures, notamment pour la reconnaissance d'entités nommées. Cependant, ces modèles sont entraînés pour le langage courant et sont moins performants sur des données biomédicales. C'est pourquoi nous proposons un nouveau jeu de données biomédical public français sur lequel nous avons poursuivi le pré-entraînement de CamemBERT. Ainsi, nous présentons une première version de CamemBERT-bio, un modèle public spécialisé pour le domaine biomédical français qui montre un gain de 2,54 points de F-mesure en moyenne sur différents jeux d'évaluations de reconnaissance d'entités nommées biomédicales.

## ABSTRACT

### a Tasty French Language Model Better for your Health

Clinical data in hospitals are increasingly accessible for research through clinical data warehouses, however these documents are unstructured. It is therefore necessary to extract information from medical reports to conduct clinical studies. Transfer learning with BERT-like models such as CamemBERT has allowed major advances, especially for named entity recognition. However, these models are trained for plain language and are less efficient on biomedical data. This is why we propose a new French public biomedical dataset on which we have continued the pre-training of CamemBERT. Thus, we introduce a first version of CamemBERT-bio, a specialized public model for the French biomedical domain that shows 2.54 points of F1 score improvement on average on different biomedical named entity recognition tasks.

**MOTS-CLÉS** : comptes-rendus médicaux, TAL clinique, CamemBERT, extraction d'information, biomédical, reconnaissance d'entités nommées.

**KEYWORDS:** EHR, clinical NLP, CamemBERT, information extraction, biomedical, named entity recognition.

## 1 Introduction

On observe ces dernières années un développement des entrepôts de données de santé (EDS) dans les hôpitaux. Ce sont des bases de données cliniques ayant pour but d'être plus accessibles pour la recherche. Ces documents représentent une opportunité pour des études cliniques massives sur des

<figure><img src="image_78.png" /></figure>
données réelles. Elles peuvent prendre plusieurs formes, comme des comptes-rendus, des imageries médicales ou encore des prescriptions. Cependant c'est dans les comptes-rendus que la plupart des informations se trouvent. On estime que jusqu'à 80% des entités sont absentes des autres modalités (Raghavan et al., 2014). Ces données, bien que très riches, sont non-structurées, ce qui implique un pré-traitement avant de pouvoir être utilisées dans une étude clinique.

**Modèles de langue pour l'extraction d'information** Les modèles de type BERT (Devlin et al., 2019) montrent de manière consistante des résultats à l'état de l'art pour tout un ensemble de tâches de TAL. L'adaptation de BERT au français, avec notamment le modèle CamemBERT (Martin et al., 2020) a permis de répliquer ces performances pour le TAL du français. CamemBERT est basé sur RoBERTa (Liu et al., 2019), une version plus efficiente de BERT. Il est entraîné sur un corpus français extrait du web nommé OSCAR (Ortiz Suárez et al., 2019).

Pour extraire les informations des comptes-rendus, il est nécessaire d'avoir des modèles de langue performants sur des données cliniques françaises, notamment pour de la reconnaissance d'entités nommées. Il est possible de simplement utiliser CamemBERT, cependant les résultats de ce modèle sur des données biomédicales sont décevants (Cardon et al., 2020) car sur certains jeux d'évaluation il présente des performances inférieures à des modèles heuristiques. Ces résultats sont prévisibles car il s'agit d'un modèle entraîné pour du langage courant, souvent issu de pages web de type forum, or les données biomédicales et particulièrement les données cliniques sont bien différentes. Elles présentent des termes techniques, très rares voir absents du langage courant, et un style radicalement distinct, souvent télégraphique, présentant rarement des phrases complètes avec des abréviations qui peuvent varier.

**Confidentialité des données cliniques** Une des problématiques majeures avec les entrepôts de données de santé est la confidentialité des données. En effet ce sont des données réglementées, soumises à des régulations par la CNIL. C'est pourquoi les adaptations de CamemBERT au domaine biomédical réalisées au sein des infrastructures des hôpitaux (Dura et al., 2022) ne peuvent être publiées. Leurs jeux de données d'entraînement sont soumis à des contraintes de publication. Ces contraintes s'appliquent également aux modèles résultants. Il n'est donc pas possible d'échanger ces modèles entre différents établissements de santé. Un modèle public n'aurait pas ses contraintes, et pourrait donc être utilisé dans différents établissements.

Au travers de cet article, nous présentons deux contributions principales<fnref n="1" /> :

- La création d'un nouveau jeu de données français public spécialisé dans le domaine biomédical

- L'introduction d'une adaptation de CamemBERT publique pour le domaine biomédical, présentant un gain de performance sur des tâches de reconnaissance d'entités nommées.

## 2 État de l'art

Les travaux sur l'adaptation de modèles de langue à de nouveaux domaines sont nombreux. Gururangan et al. (2020) montrent qu'une seconde phase de pré-entraînement sur un domaine cible

<footnote n="1">1. Nos contributions sont disponibles sur le hub Huggingface : almanach/camembert-bio-base, rntc/biomed-fr</footnote>
permet d'améliorer les performances sur différentes tâches par la suite, même lorsque le corpus du domaine cible est de taille restreinte. On observe jusqu'à 3 points de gain de F-mesure dans le biomédical par rapport au même modèle sans la seconde phase.

Cet article a inspiré la création de nouveaux modèles basés sur BERT, en utilisant une seconde phase de pré-entraînement sur différents domaines spécialisés. Lee et al. (2019) introduit BioBERT, un modèle de type BERT spécialisé pour le biomédical anglais. BioBERT montre un gain de performance sur de nombreuses tâches de TAL biomédicales, dont 0,62% d'amélioration de F-mesure sur de la reconnaissance d'entités nommées, 2,80% de F-mesure sur de l'extraction de relations, et 12,24% de MMR sur des questions-réponses. La seconde phase se déroule sur un corpus extrait de PubMed et PMC, composé d'articles scientifiques biomédicaux d'environ 18 milliards de mots. C'est un corpus conséquent mais toutefois composé uniquement du style scientifique. On observe cependant des gains de performance dans tous les styles. La présence du vocabulaire médical dans le corpus permet probablement une grande amélioration par rapport au langage courant.

Il est également possible d'entraîner de nouveaux modèles from scratch. C'est l'approche explorée par SciBERT (Beltagy et al., 2019) et PubMedBERT (Gu et al., 2022), deux modèles spécialisés sur des articles scientifiques biomédicaux. PubMedBERT montre que cette méthode permet de meilleures performances que les modèles entraînés par une seconde phase de spécialisation. Cependant, les gains sont assez faibles, et cette approche est particulièrement plus coûteuse. Partir de zéro nécessite un entraînement plus long et un plus grand corpus pour obtenir ces performances.

Pour le français, les modèles de référence sont CamemBERT (Martin et al., 2020) et FlauBERT (Le et al., 2020), cependant il n'existe pas de version biomédicale publique et disponible à ce jour de ces modèles. Cela dit, de nombreux travaux ont tenté d'adapter CamemBERT à ce domaine : Copara et al. (2020) ont exploré une seconde phase de pré-entraînement sur 31 000 articles scientifiques français biomédicaux. Ils n'observent néanmoins pas, sur la version large de CamemBERT, une amélioration significative sur une tâche de reconnaissance d'entités nommées cliniques. La combinaison d'un corpus assez restreint (31k documents contre 18 milliards de mots pour BioBERT) et de la version large du modèle CamemBERT, en sont probablement la cause. Le Clercq de Lannoy et al. (2022) ont également adapté CamemBERT au domaine biomédical. Ils ont pour cela agrégé des documents de différentes sources, tels que PubMed, Cochrane, ISTEX ou encore Wikipédia. Cela forme ainsi un plus grand corpus, partiellement public, d'environ 136 millions de mots. Ils observent une amélioration de 2 points de F-mesure sur un jeu d'évaluation de reconnaissance d'entités nommées composé de notices de médicaments (EMEA), mais pas d'amélioration significative sur un jeu composé de titres d'articles scientifiques (MEDLINE). Enfin, Dura et al. (2022) ont continué le pré-entraînement de CamemBERT sur 21 millions de documents cliniques de l'entrepôt de données de santé de l'APHP. On observe une amélioration significative de 3% sur APMed, un jeu de reconnaissance d'entités nommées cliniques privé appartenant à l'APHP. On note également des scores similaires à CamemBERT sur EMEA et MEDLINE. Ainsi leur nouveau modèle est meilleur sur des données cliniques et obtient des scores similaires à ceux de CamemBERT sur le reste du biomédical. Aucun de ces modèles adaptés pour le biomédical n'a été rendu public<fnref n="2" />.

<footnote n="2">2. Un article publié suite à la soumission de notre travail annonce la publication d'un nouveau modèle biomédical français public nommé DrBERT (Labrak et al., 2023)</footnote>
# 3 Méthodes

## 3.1 Corpus : biomed-fr

Tout d'abord, nous avons constitué un corpus français biomédical, composé uniquement de documents publics pour minimiser les contraintes d'usage précédemment évoquées. Les documents proviennent de trois sources différentes (cf. table 1), dont la principale est ISTEX. Ce nouveau corpus que nous nommons *biomed-fr* est composé de 413 millions de mots, soit 2,7 GB de données. Martin *et al.* (2020) ont montré qu'avec seulement 4 GB de données, il était possible de quasiment égaler les performances du modèle entraîné avec les 138 GB d'OSCAR (Ortiz Suárez *et al.*, 2019). Pour une adaptation de CamemBERT au biomédical, on peut estimer que c'est une quantité de données suffisante.

<table><caption>TABLE 1 – Composition du corpus biomed-fr (en millions de mots)</caption><thead><tr><th>Corpus</th><th>Détails</th><th>Taille</th></tr></thead><tbody><tr><td>ISTEX</td><td>Divers documents de la littérature scientifique indexés sur ISTEX</td><td>276 M</td></tr><tr><td>CLEAR</td><td>Notices de médicaments</td><td>73 M</td></tr><tr><td>E3C</td><td>Divers documents issus de journaux, de notices et de cas cliniques</td><td>64 M</td></tr><tr><td>Total</td><td></td><td>413 M</td></tr></tbody></table>

**ISTEX** La base de données ISTEX référence 27 millions de publications scientifiques. Nous avons extrait 108 183 documents français publiés dans une revue de biologie ou de médecine depuis 1990. Les articles dont l'année de parution est plus ancienne que cette date présentent de nombreuses erreurs typographiques. Ce sont souvent des articles scannés, pour lesquels il faut appliquer des algorithmes de reconnaissance de caractères, ce qui amène à un certain nombre d'erreurs. Ce genre d'erreur se retrouve plus marginalement dans les articles publiés après 1990. Certains documents, bien qu'en français, contiennent des passages en anglais. Il y a donc une quantité indéterminée d'anglais dans ce corpus. Il est cependant peu probable que cela impacte significativement le pré-entraînement. Les erreurs typographiques et la présence d'autres langues sont des points qui pourront être corrigés par de futures versions de biomed-fr.

**CLEAR** Le corpus CLEAR (Grabar & Cardon, 2018) est composé d'articles d'encyclopédies, de notices de médicaments, et de résumés d'articles scientifiques. Chaque document est présent en deux versions, l'une en langage technique et l'autre en langage simplifié. Nous avons récupéré l'ensemble de ces documents dans les deux versions. Concernant les notices de médicaments, nous avons retiré les phrases redondantes en début et fin de document. Il s'agit notamment de la barre de navigation du site web dont ont été extraits les documents, ou encore d'informations sur l'entreprise qui met en vente les documents.

**E3C** Ce corpus (Magnini *et al.*, 2021) est composé de 3 couches. Les deux premières sont annotées ou semi-annotées, et seront retenues pour l'évaluation. La dernière couche n'est pas annotée et c'est celle que nous avons récupérée. Elle est composée de concours d'admission en spécialité de médecine,
de notices de médicaments et de résumés de thèses de médecine. Il est possible que des notices soient
des doublons de ceux présents dans CLEAR.

**biomed-fr-small** Nous avons créé un second corpus plus petit, nommé *biomed-fr-small*. Il est constitué de 10% du contenu de biomed-fr, avec une sélection aléatoire des documents. Il va nous permettre de mesurer l'impact de la taille du corpus.

## 3.2 Pré-entraînements

Pour l'adaptation de CamemBERT au domaine biomédical, nous avons réalisé une seconde phase de pré-entraînement sur les deux versions du corpus biomed-fr en partant des poids et de la configuration du modèle camembert-base. Ainsi, nous avons appliqué la tâche de *Masked Language Modeling* (MLM) avec un masquage de mots entiers, pour suivre la méthode de Martin *et al.* (2020). Nous avons utilisé l'optimisateur Adam (Kingma & Ba, 2017) avec $\beta_1 = 0.9$ et $\beta_2 = 0.98$ et un taux d'apprentissage de 5e-5. Nous avons effectué 50 000 pas (*steps*) pendant 39 heures avec deux Tesla V100. Nous avons utilisé une taille de lots (*batch size*) de 8 par GPU et de l'accumulation de gradient sur 16 pas pour obtenir une taille de lots effective de 256.

## 3.3 Affinages et évaluations

Concernant l'évaluation des modèles, nous avons récolté trois jeux de données d'évaluation de reconnaissance d'entités nommées. Les trois présentent des styles variés, ce qui permet d'évaluer la polyvalence du modèle sur les différents sous-domaines du biomédical.

**QUAERO** Le corpus QUAERO (Névéol *et al.*, 2014) est composé de deux jeux d'évaluation : EMEA, contenant des notices de médicaments et MEDLINE, contenant des titres d'articles scientifiques. Les entités sont annotées manuellement en suivant 10 groupes sémantiques de l'UMLS (Lindberg *et al.*, 1993). Certaines de ces entités étant imbriquées, nous avons simplement gardé les entités de plus large granularité. Les F-mesures sont calculées de la même manière.

**E3C** Pour l'évaluation, contrairement au corpus biomed-fr, nous utilisons les couches 1 et 2. Ces dernières présentent des documents de natures différentes. Il s'agit de cas cliniques extraits d'articles scientifiques. La couche 2 est semi-annotée. C'est celle-ci que nous utilisons comme jeu d'entraînement pour l'affinage, avec 10% dédié au jeu de validation. Nous évaluons sur la couche 1, qui est entièrement annotée à la main. Il n'y a qu'une seule classe, l'objectif est de trouver les entités cliniques dans le texte, quel que soit le type.

**CAS** Le corpus CAS (Grouin *et al.*, 2019) est également composé de cas cliniques issus d'articles scientifiques. Nous nous focalisons sur la tâche 3 de DEFT 2020 (Cardon *et al.*, 2020). C'est une tâche d'extraction d'information basée sur CAS. Elle comprend deux sous-tâches, et donc deux jeux d'annotations. Dans la première il faut identifier deux classes : pathologie et signe ou symptômes. La seconde concerne les informations associées : anatomie, dose, examen, mode, moment, substance, traitement et valeur. Ces deux tâches seront respectivement désignées par la suite par CAS1 et CAS2.
**Affinage** Concernant l'affinage, nous avons utilisé Optuna (Akiba et al., 2019) pour la sélection des hyperparamètres. Ainsi nous avons un taux d'apprentissage de 5e-5, un ratio d'échauffement (warmup ratio) de 0,224 et une taille de lots (batch size) de 16. Nous effectuons 2000 pas (steps). Les prédictions sont faites avec une simple couche linéaire en tête du modèle. Aucune des couches de CamemBERT n'est figée.

**Evaluation** Les scores sont mesurés avec l'outil seqeval (Nakayama, 2018) en mode strict avec micro-moyenne et le schéma "IOB2". Pour chaque évaluation, le meilleur modèle de l'affinage sur le jeu de validation est choisi pour mesurer le score final sur le jeu de test. Nous faisons la moyenne sur 10 évaluations avec différentes amorces (seed).

# 4 Résultats et discussions

<table><caption>TABLE 2 – Moyennes sur 10 évaluations des F-mesures sur différents jeux biomédicaux de reconnaissance d’entités nommées</caption><thead><tr><th rowspan="2">Style</th><th rowspan="2">Dataset</th><th rowspan="2">Score</th><th rowspan="2">CamemBERT</th><th colspan="2">CamemBERT-bio</th></tr><tr><th>biomed-fr-small</th><th>biomed-fr</th></tr></thead><tbody><tr><td rowspan="10">Clinique</td><td rowspan="3">CAS1</td><td>F1</td><td>70,50 ± 1,75</td><td><u>72,94 ± 1,12</u></td><td><b>73,03 ± 1,29</b></td></tr><tr><td>P</td><td>70,12 ± 1,93</td><td><b>72,97 ± 0,84</b></td><td><u>71,71 ± 1,61</u></td></tr><tr><td>R</td><td>70,89 ± 1,78</td><td><u>72,92 ± 1,39</u></td><td><b>74,42 ± 1,49</b></td></tr><tr><td rowspan="3">CAS2</td><td>F1</td><td>79,02 ± 0,92</td><td><u>80,00 ± 0,32</u></td><td><b>81,66 ± 0,59</b></td></tr><tr><td>P</td><td>77,3 ± 1,36</td><td><u>78,29 ± 0,91</u></td><td><b>80,96 ± 0,91</b></td></tr><tr><td>R</td><td>80,83 ± 0,96</td><td><u>81,80 ± 0,48</u></td><td><b>82,37 ± 0,69</b></td></tr><tr><td rowspan="3">E3C</td><td>F1</td><td>67,63 ± 1,45</td><td><u>67,96 ± 1,85</u></td><td><b>69,85 ± 1,58</b></td></tr><tr><td>P</td><td>78,19 ± 0,72</td><td><u>77,41 ± 1,01</u></td><td><b>79,11 ± 0,42</b></td></tr><tr><td>R</td><td><u>59,61 ± 2,25</u></td><td><u>60,57 ± 2,32</u></td><td><b>62,56 ± 2,50</b></td></tr><tr><td rowspan="3">Notices</td><td rowspan="3">EMEA</td><td>F1</td><td>74,14 ± 1,95</td><td><u>75,93 ± 2,42</u></td><td><b>76,71 ± 1,50</b></td></tr><tr><td>P</td><td>74,62 ± 1,97</td><td><u>76,23 ± 2,27</u></td><td><b>76,92 ± 1,96</b></td></tr><tr><td>R</td><td>73,68 ± 2,22</td><td><u>75,63 ± 2,61</u></td><td><b>76,52 ± 1,62</b></td></tr><tr><td rowspan="3">Scientifique</td><td rowspan="3">MEDLINE</td><td>F1</td><td><u>65,73 ± 0,40</u></td><td><u>65,48 ± 0,31</u></td><td><b>68,47 ± 0,54</b></td></tr><tr><td>P</td><td><u>64,94 ± 0,82</u></td><td><u>64,43 ± 0,50</u></td><td><b>67,77 ± 0,88</b></td></tr><tr><td>R</td><td><u>66,56 ± 0,56</u></td><td><u>66,56 ± 0,16</u></td><td><b>69,21 ± 1,32</b></td></tr></tbody></table>

**CamemBERT vs CamemBERT-bio** On observe (cf. table 2) un gain significatif de performance sur tous les jeux d'évaluation avec notre nouveau modèle. Nous avons en moyenne 2,54 points d'amélioration de F-mesure. Ce gain s'observe dans tous les styles, ce qui montre la polyvalence du modèle pour les domaines cliniques et scientifiques du biomédical.

**biomed-fr-small vs biomed-fr** On note une baisse de performance avec le jeu biomed-fr-small, mais toujours un gain significatif sur certains jeux de données par rapport à CamemBERT. Cela
confirme que la taille du corpus influe positivement sur les performances même dans un domaine spécialisé comme le biomédical.

<table><caption>TABLE 3 – Comparaison de CamemBERT-bio avec différentes approches sur les 4 tâches de reconnaissance d'entités nommées. Dans la première partie de la table les scores sont mesurés avec seqeval (Nakayama, 2018), et la seconde avec BRATeval, qui est l'outil d'évaluation fourni pour la campagne CLEF eHealth Evaluation lab 2016 (Névéol et al., 2016).</caption><thead><tr><th rowspan="2">Évaluateur</th><th rowspan="2">Auteurs</th><th colspan="2">CAS1</th><th colspan="3">EMEA</th><th colspan="3">MEDLINE</th></tr><tr><th>F1</th><th>F1</th><th>F1</th><th>P</th><th>R</th><th>F1</th><th>P</th><th>R</th></tr></thead><tbody><tr><td rowspan="3">seqeval</td><td>Dura et al. (2022)-fine-tuned</td><td>-</td><td>-</td><td>72,90</td><td>-</td><td>-</td><td>59,70</td><td>-</td><td>-</td></tr><tr><td>Dura et al. (2022)-from-scratch</td><td>-</td><td>-</td><td>69,30</td><td>-</td><td>-</td><td>60,10</td><td>-</td><td>-</td></tr><tr><td>Notre approche</td><td>73,03</td><td>81,66</td><td>76,71</td><td>76,92</td><td>76,52</td><td>68,47</td><td>67,77</td><td>69,21</td></tr><tr><td rowspan="4">BRATeval</td><td>Le Clercq de Lannoy et al. (2022)</td><td>-</td><td>-</td><td>67,4</td><td>73,4</td><td>62,2</td><td>55,3</td><td>62,2</td><td>49,7</td></tr><tr><td>Mulligen et al. (2016)</td><td>-</td><td>-</td><td>71,6</td><td>78,5</td><td>71,6</td><td>69,8</td><td>68</td><td>71,6</td></tr><tr><td>Copara et al. (2020)</td><td>61,53</td><td>73,7</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td></tr><tr><td>Notre approche</td><td>84,97</td><td>83,25</td><td>77,80</td><td>79,77</td><td>75,93</td><td>56,16</td><td>75,33</td><td>44,82</td></tr></tbody></table>

<table><caption>TABLE 4 – Corpus de pré-entraînement des différents approches (cf. table 3)</caption><thead><tr><th rowspan="2">Auteurs</th><th colspan="2">Corpus d'adaptation</th></tr><tr><th>Origine</th><th>Taille</th></tr></thead><tbody><tr><td>Dura et al. (2022)</td><td>APHP</td><td>21 MD</td></tr><tr><td>Le Clercq de Lannoy et al. (2022)</td><td>divers</td><td>136 MW</td></tr><tr><td>Copara et al. (2020)</td><td>PubMed</td><td>31 KD</td></tr><tr><td>Notre approche</td><td>biomed-fr</td><td>413 MW</td></tr></tbody></table>

**Comparaison avec l'état de l'art** Nous avons comparé les performances de CamemBERT-bio avec les différentes approches précédemment évoquées (cf. table 3). CamemBERT-bio obtient pour presque tous les jeux d'évaluation les meilleurs résultats. Dura et al. (2022) n'ont pas observé d'amélioration sur EMEA et MEDLINE par rapport à CamemBERT car leur corpus de pré-entraînement (cf. table 4) est composé de documents provenant de l'APHP, ce qui en fait un corpus moins varié. Ils gagnent cependant plusieurs points sur leur jeu d'évaluation basé lui aussi sur les documents de l'APHP. Mulligen et al. (2016) présente le meilleur score sur MEDLINE, ainsi que le meilleur rappel sur EMEA. Leur approche est basée sur un modèle à base de connaissances, ce qui leur permet d'obtenir le meilleur rappel sur les deux jeux d'évaluations de QUAERO. Enfin, leur approche est la seule capable de gérer les entités imbriquées, ce qui leur donne un avantage.

Il est important de noter que ces différentes approches basées sur CamemBERT ont des cadres expérimentaux variés. La présence de couches CRF plutôt qu'une simple couche linéaire en sortie de CamemBERT, le gel des couches de CamemBERT ou encore les hyperparamètres sont des exemples de variation qu'on observe en plus des corpus de pré-entraînement, ce qui rend la comparaison plus difficile.
**Analyse de la tokenisation** CamemBERT-bio est un modèle adapté pour le biomédical de CamemBERT. Contrairement à un nouveau modèle entraîné *from scratch*, il partage le même vocabulaire. Le vocabulaire de CamemBERT a été construit en utilisant SentencePiece (Kudo & Richardson, 2018) sur un échantillon d'OSCAR. C'est donc un vocabulaire généraliste fait pour le langage courant. On peut faire l'hypothèse que le tokeniseur de CamemBERT va produire des sur-segmentations de termes techniques biomédicaux.

Nous avons alors exploré cette possibilité en entraînant un tokeniseur spécialisé sur biomed-fr-small, et en calculant l'intersection des deux vocabulaires.

<table><caption>TABLE 5 – Comparaison de la segmentation entre un tokeniseur généraliste et un tokeniseur spécialisé sur quelques termes techniques biomédicaux</caption><thead><tr><td>Termes</td><td>généraliste</td><td>spécialisé</td></tr></thead><tbody><tr><td>échocardiographie</td><td>écho-cardi-ographie</td><td>échocardiographi-e</td></tr><tr><td>transthoracique</td><td>trans-thorac-ique</td><td>trans-thoracique</td></tr><tr><td>glimépiride</td><td>g-lim-épi-ride</td><td>gli-m-épi-ride</td></tr><tr><td>cardiopathie</td><td>cardio-pathie</td><td>cardiopathie</td></tr><tr><td>diastoliques</td><td>dia-s-tol-iques</td><td>diastolique-s</td></tr></tbody></table>

On calcule une intersection de 45% entre les deux vocabulaires, ce qui est assez proche de l'intersection de 42% trouvé par Beltagy et al. (2019) entre le vocabulaire de BERT et celui de SciBERT. Il y a donc une différence significative des termes les plus fréquents.

# 5 Conclusion et perspectives

Nous avons introduit un nouveau corpus biomédical français nommé *biomed-fr* de 413 millions de mots composé de notices de médicaments et de documents de la littérature scientifique en médecine et en biologie. Ce nouveau corpus nous a permis d'adapter CamemBERT au domaine biomédical avec une seconde phase de pré-entraînement. On observe une amélioration des performances sur tous nos jeux d'évaluation de reconnaissance d'entités nommées. On note un gain de 2,54 points de F-mesure en moyenne.

Nous avons des pistes pour de nouvelles versions de biomed-fr. D'une part, réaliser un plus grand nettoyage des données en retirant les passages au sein des documents qui ne sont pas en français, ou en retirant les documents contenant un trop grand nombre d'erreurs typographiques. D'autre part, en augmentant la quantité de données. Cela pourrait passer par l'exploitation des documents archivés sur HAL concernant les sciences de la vie, notamment publiés par l'INSERM, ou la récupération de résumés d'articles français sur PubMed.

L'analyse de la tokenisation nous pousse à réfléchir à la création d'un nouveau vocabulaire pour CamemBERT-bio. Malgré le gain de performance assez faible de PubMedBERT par rapport à BioBERT malgré son vocabulaire spécialisé, la sur-segmentation des termes techniques et le faible taux d'intersection entre le vocabulaire généraliste et le vocabulaire spécialisé montrent l'intérêt de
l'expérience.

Enfin, ces derniers mois, de nombreux modèles génératifs, souvent de plusieurs milliards de para-
mètres, ont montré des performances remarquables sur des tâches biomédicales, outrepassant parfois
les modèles spécialisés comme BioBERT (Agrawal et al., 2022; Singhal et al., 2022). C'est une piste
de recherche prometteuse pour l'extraction d'information biomédicale. Cependant nous avons des
raisons de penser qu'un modèle de type BERT a toujours de l'intérêt (Lehman et al., 2023). D'une
part, dans le contexte clinique, les modèles doivent souvent être utilisés au sein des infrastructures des
établissements de santé, ce qui se traduit par des contraintes de ressources. Il est alors plus facile de
déployer des petits modèles spécialisés que des grands modèles généralistes. D'autre part l'utilisation
de ces modèles génératifs nécessite souvent de passer par des serveurs distants, souvent à travers des
API, ce qui rend difficile leur utilisation compte tenu des contraintes de confidentialité auxquelles
sont soumis les documents cliniques.
Références

AGRAWAL M., HEGSELMANN S., LANG H., KIM Y. & SONTAG D. (2022). Large Language Models are Few-Shot Clinical Information Extractors. arXiv:2205.12689 [cs], DOI: 10.48550/arXiv.2205.12689.

AKIBA T., SANO S., YANASE T., OHTA T. & KOYAMA M. (2019). Optuna: A Next-generation Hyperparameter Optimization Framework. arXiv:1907.10902 [cs, stat], DOI: 10.48550/arXiv.1907.10902.

BELTAGY I., LO K. & COHAN A. (2019). SciBERT: A Pretrained Language Model for Scientific Text. In *Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP)*, p. 3615–3620, Hong Kong, China: Association for Computational Linguistics. DOI: 10.18653/v1/D19-1371.

BENAMARA F., HATOUT N., MULLER P. & OZDOWSKA S., Éds. (2007). *Actes de TALN 2007 (Traitement automatique des langues naturelles)*, Toulouse. ATALA, IRIT.

CARDON R., GRABAR N., GROUIN C. & HAMON T. (2020). Présentation de la campagne d'évaluation DEFT 2020 : similarité textuelle en domaine ouvert et extraction d'information précise dans des cas cliniques. In *DEFT 2020*, Nancy, France.

COPARA J., KNAFOU J., NADERI N., MORO C., RUCH P. & TEODORO D. (2020). Contextualized French Language Models for Biomedical Named Entity Recognition. In R. CARDON, N. GRABAR, C. GROUIN & T. HAMON, Éds., *Traitement Automatique des Langues Naturelles (TALN, 27e édition)*. Atelier DÉfi Fouille de Textes, p. 36–48, Nancy, France : ATALA.

DEVLIN J., CHANG M.-W., LEE K. & TOUTANOVA K. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. arXiv:1810.04805 [cs], DOI: 10.48550/arXiv.1810.04805.

DIAS G., Éd. (2015). *Actes de TALN 2015 (Traitement automatique des langues naturelles)*, Caen. ATALA, HULTECH.

DURA B., JEAN C., TANNIER X., CALLIGER A., BEY R., NEURAZ A. & FLICOTEAUX R. (2022). *Learning structures of the French clinical language :development and validation of word embedding models using 21 million clinical reports from electronic health records*. Rapport interne arXiv:2207.12940, arXiv:2207.12940 [cs, stat] type : article.

GRABAR N. & CARDON R. (2018). CLEAR – Simple Corpus for Medical French. In *Proceedings of the 1st Workshop on Automatic Text Adaptation (ATA)*, p. 3–9, Tilburg, the Netherlands : Association for Computational Linguistics. DOI: 10.18653/v1/W18-7002.

GROUIN C., GRABAR N., CLAVEAU V. & HAMON T. (2019). Clinical Case Reports for NLP. In *Proceedings of the 18th BioNLP Workshop and Shared Task*, p. 273–282, Florence, Italy : Association for Computational Linguistics. DOI: 10.18653/v1/W19-5029.

GU Y., TINN R., CHENG H., LUCAS M., USUYAMA N., LIU X., NAUMANN T., GAO J. & POON H. (2022). Domain-Specific Language Model Pretraining for Biomedical Natural Language Processing. *ACM Transactions on Computing for Healthcare, 3*(1), 1–23. arXiv:2007.15779 [cs], DOI: 10.1145/3458754.

GURURANGAN S., MARASOVIĆ A., SWAYAMDIPTA S., LO K., BELTAGY I., DOWNEY D. & SMITH N. A. (2020). Don't Stop Pretraining: Adapt Language Models to Domains and Tasks. In *Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics*, p. 8342–8360, Online : Association for Computational Linguistics. DOI: 10.18653/v1/2020.acl-main.740.
KINGMA D. P. & BA J. (2017). Adam : A Method for Stochastic Optimization. arXiv :1412.6980 [cs], DOI : 10.48550/arXiv.1412.6980.

KUDO T. & RICHARDSON J. (2018). SentencePiece : A simple and language independent subword
ânformer et detokenizer for Neural Text Processing. In *Proceedings of the 2018 Conference on
Empirical Methods in Natural Language Processing : System Demonstrations*, p. 66–71, Brussels,
Belgium : Association for Computational Linguistics. DOI : 10.18653/v1/D18-2012.

LABRAK Y., BAZOGE A., DUFOUR R., ROUVIER M., MORIN E., DAILLE B. & GOURRAUD P.-A. (2023). Drbert : A robust pre-trained model in french for biomedical and clinical domains.

LAIGNELET M. & RIOULT F. (2009). Repérer automatiquement les segments obsolescents à l'aide d'indices sémantiques et discursifs. In A. NAZARENKO & T. POIBEAU, Éds., *Actes de TALN 2009 (Traitement automatique des langues naturelles)*, Senlis : ATALA LIPN.

LANGLAIS P. & PATRY A. (2007). Enrichissement d'un lexique bilingue par analogie. In (Benamara et al., 2007), p. 101–110.

LE H., VIAL L., FREJ J., SEGONNE V., COAVOUX M., LECOUTEUX B., ALLAUZEN A., CRABBÉ B., BESACIER L. & SCHWAB D. (2020). Flaubert : Unsupervised language model pre-training for french.

LE CLERCQ DE LANNOY T., BESANÇON R., FERRET O., TOURILLE J., BRIN-HENRY F. & VIERU B. (2022). Stratégies d'adaptation pour la reconnaissance d'entités médicales en français (Adaptation strategies for biomedical named entity recognition in French). In *Actes de la 29e Conférence sur le Traitement Automatique des Langues Naturelles. Volume 1 : conférence principale*, p. 215–225, Avignon, France : ATALA.

LEE J., YOON W., KIM S., KIM D., KIM S., SO C. H. & KANG J. (2019). BioBERT : a pre-trained biomedical language representation model for biomedical text mining. *Bioinformatics*, p. btz682. arXiv :1901.08746 [cs], DOI : 10.1093/bioinformatics/btz682.

LEHMAN E., HERNANDEZ E., MAHAJAN D., WULFF J., SMITH M. J., ZIEGLER Z., NADLER D., SZOLOVITS P., JOHNSON A. & ALSENTZER E. (2023). Do We Still Need Clinical Language Models? arXiv :2302.08091 [cs], DOI : 10.48550/arXiv.2302.08091.

LINDBERG D. A., HUMPHREYS B. L. & MCCRAY A. T. (1993). The Unified Medical Language System. *Methods of Information in Medicine*, **32**(4), 281–291. DOI: 10.1055/s-0038-1634945.

LIU Y., OTT M., GOYAL N., DU J., JOSHI M., CHEN D., LEVY O., LEWIS M., ZETTLEMOYER L. & STOYANOV V. (2019). RoBERTa : A Robustly Optimized BERT Pretraining Approach. arXiv :1907.11692 [cs], DOI : 10.48550/arXiv.1907.11692.

MAGNINI B., ALTUNA B., LAVELLI A., SPERANZA M. & ZANOLI R. (2021). The E3C Project : Collection and Annotation of a Multilingual Corpus of Clinical Cases. In J. MONTI, F. TAMBURINI & F. DELL'ORLETTA, Éds., *Proceedings of the Seventh Italian Conference on Computational Linguistics CLiC-it 2020 : Bologna, Italy, March 1-3, 2021*, Collana dell'Associazione Italiana di Linguistica Computazionale, p. 258-264. Torino : Accademia University Press. Code : Proceedings of the Seventh Italian Conference on Computational Linguistics CLiC-it 2020 : Bologna, Italy, March 1-3, 2021.

MARTIN L., MULLER B., ORTIZ SUÁREZ P. J., DUPONT Y., ROMARY L., DE LA CLERGERIE É.,
SEDDAH D. & SAGOT B. (2020). CamemBERT : a tasty French language model. In *Proceedings of
the 58th Annual Meeting of the Association for Computational Linguistics*, p. 7203–7219, Online :
Association for Computational Linguistics.
MULLIGEN E. M. V., AFZAL Z., AKHONDI S. A., VO D. & KORS J. A. (2016). Erasmus MC at CLEF eHealth 2016: Concept Recognition and Coding in French Texts.

NAKAYAMA H. (2018). seqeval: A python framework for sequence labeling evaluation. Software available from https://github.com/chakki-works/seqeval.

NÉVÉOL A., COHEN K. B., GROUIN C., HAMON T., LAVERGNE T., KELLY L., GOEURIOT L., REY G., ROBERT A., TANNIER X. & ZWEIGENBAUM P. (2016). Clinical Information Extraction at the CLEF eHealth Evaluation lab 2016. *CEUR workshop proceedings, 1609*, 28-42.

NÉVÉOL A., GROUIN C., LEIXA J., ROSSET S. & ZWEIGENBAUM P. (2014). The QUAERO French medical corpus : A ressource for medical entity recognition and normalization. In *Proc of BioTextMining Work*, p. 24-30.

ORTIZ SUÁREZ P. J., SAGOT B. & ROMARY L. (2019). Asynchronous pipelines for processing huge corpora on medium to low resource infrastructures. Proceedings of the Workshop on Challenges in the Management of Large Corpora (CMLC-7) 2019. Cardiff, 22nd July 2019, p. 9–16, Mannheim : Leibniz-Institut für Deutsche Sprache. DOI: 10.14618/ids-pub-9021.

RAGHAVAN P., CHEN J. L., FOSLER-LUSSIER E. & LAI A. M. (2014). How essential are unstructured clinical narratives and information fusion to clinical trial recruitment? *AMIA Summits on Translational Science Proceedings, 2014*, 218-223.

SERETAN V. & WEHRLI E. (2007). Collocation translation based on sentence alignment and parsing. In (Benamara et al., 2007), p. 401–410.

SINGHAL K., AZIZI S., TU T., MAHDAVI S. S., et al. (2022). Large Language Models Encode Clinical Knowledge. arXiv:2212.13138 [cs], DOI: 10.48550/arXiv.2212.13138.
# Protocole d'annotation multi-label pour une nouvelle approche à la génération de réponse socio-émotionnelle orientée-tâche

Lorraine Vanel¹,², Alya Yacoubi² Chloé Clavel¹

(1) LTCI, Telecom-Paris, Institut Polytechnique de Paris, 91120 Palaiseau, France

(2) Zaion, 75008 Paris, France

lorraine.vanel@telecom-paris.fr, chloé.clave@telecom-paris.fr, ayacoubi@zaion.ai

## RÉSUMÉ

Depuis l'apparition des systèmes conversationnels, la modélisation des comportements humains constitue un axe de recherche majeur afin de renforcer l'expression des attributs émotionnels de ces systèmes. En nous intéressant aux agents conversationnels génératifs orientés-tâches, nous proposons une nouvelle approche pour rendre la réponse générée plus pertinente au contexte émotionnel de l'interlocuteur. Cette approche consiste à ajouter une étape supplémentaire de prédiction de labels pour conditionner la réponse générée et assurer sa pertinence au contexte socio-émotionnel de l'utilisateur. Nous proposons une formulation de cette nouvelle tâche de prédiction en nous appuyant sur un protocole d'annotation de données que nous avons conçu et implémenté. À travers cet article, nous apportons les contributions suivantes : la formulation de la tâche de prédiction de labels socio-émotionnels et la description du protocole d'annotation associé. Avec cette méthodologie, nous visons à développer des systèmes conversationnels socialement pertinents et indépendants.

## ABSTRACT

**Multi-label annotation protocol for a new approach to task-oriented socio-emotional response generation**

Ever since the emergence of conversational systems, modeling human behaviors has been a major research topic, aiming to improve the expression of the social and emotional attributes of these systems. With a focus on task-oriented generative conversational agents, we propose a new approach to make the generated response more relevant to the emotional context of the interlocutor. This approach consists in adding an additional label prediction step to condition the generated response and ensure its consistency to the user's socio-emotional context. We propose a formulation of this new prediction task based on a data annotation protocol that we have designed and implemented. In this paper, we introduce the following contributions: the formulation of the socio-emotional label prediction task and the description of the associated annotation protocol. With this methodology we aim at developing socially relevant and independent conversational systems.

**MOTS-CLÉS** : Génération de Réponse Émotionnelle ; Dialogue Social ; Système Conversationnel Socio-Émotionnel ; Prédiction Socio-Émotionnelle ; Protocole d'Annotation.

**KEYWORDS:** Emotional Response Generation; Affective Dialogue; Social Dialogue; Socio-Emotionnal Conversational Systems; Socio-Emotional Label Prediction; Annotation Protocol.

<figure><img src="image_79.png" /></figure>
# 1 Introduction

L'essor des technologies de traitement du langage a favorisé l'émergence de nombreux assistants virtuels et autres systèmes conversationnels utilisés dans le secteur de la relation client (Ram et al., 2018; Gnewuch et al., 2017), de la formation ou encore de la médecine (Harilal et al., 2020; Adikari et al., 2022). Traditionnellement basés sur des systèmes de règles ou sur une architecture modulaire composée de briques d'intelligence artificielle séparées, une nouvelle ère de l'IA se dessine : celle de la génération automatique de réponse permettant ainsi un dialogue personnalisé et naturel. Cependant, cette approche implique plusieurs défis techniques, tels que la difficulté à combiner l'aspect orienté-tâche avec la dimension émotionnelle des interactions (Clavel et al., 2022). C'est cette prise en compte spontanée de l'émotion latente, naturelle dans un dialogue entre humains, que nous souhaitons apprendre à nos systèmes. Nous faisons donc l'hypothèse qu'utiliser des données conversationnelles humain-humain est l'approche optimale pour entraîner des modèles capables de détecter la réaction émotionnelle de l'interlocuteur et de prendre en considération le contexte social de l'interaction.

Dans la littérature des systèmes de génération de dialogues sociaux et émotionnels, de nombreux travaux proposent de classer les tours de paroles avec des labels comme des émotions, des actes de dialogues ou encore des stratégies de dialogue afin d'assurer la cohérence de la conversation (Li et al., 2017; Welivita et al., 2021). Bien que dans la majorité des cas, un unique label est donné par tour de parole, celui-ci est souvent constitué de plusieurs segments consécutifs qui présentent des stratégies émotionnelles et dialogiques différentes et logiquement dépendantes.

Dans cet article, nous présentons une nouvelle approche pour la tâche de génération de réponse socio-émotionnelle, où une séquence de labels consécutifs est prédite pour plannifier et conditionner la génération. Cela se traduit par l'ajout d'une étape de prédiction de ces labels représentant les comportements attendus dans la réponse du système. Nous proposons les contributions suivantes :

- La formulation de la tâche additionnelle de prédiction de label socio-émotionnel du prochain tour de parole.

- La description d'un protocole d'annotation d'un corpus socio-émotionnel.

Nous commençons par faire une revue des travaux effectués dans le domaine des systèmes de dialogues socio-émotionnels. Ensuite, nous formalisons la tâche de prédiction de labels socio-émotionnels pour détailler le protocole d'annotation adapté, avant d'analyser un corpus annoté selon ces directives.

# 2 État de l'art

## 2.1 Les modèles de génération de dialogue émotionnel dans la littérature

Les modèles neuronaux appris sur des corpus de grande taille ont permis d'accélérer l'essor du domaine de la génération de dialogue (Shuster et al., 2022; Zhang et al., 2019; Thoppilan et al., 2022) Certains de ces modèles ont été utilisés pour générer des dialogues socio-émotionnels. Dans ce cas, une annotation émotionnelle des données d'apprentissage est souvent nécessaire. Rashkin et al. (2018) proposent un dataset annoté en émotions au niveau de la conversation et évalué sur un modèle Transformers. Ce label émotionnel couvre donc la conversation entière, et malgré la précision de la liste de labels utilisée, cette approche ne permet pas d'observer les comportements émotionnels au niveau du tour de parole. Kumar et al. (2018) montrent que l'utilisation des actes de dialogue en tant que labels augmente considérablement les performances des systèmes conversationnels. Cependant,
la dimension émotionnelle, au cœur du dialogue humain, n'est pas représentée par ces actes de dialogue. C'est ainsi que des jeux de données comme DailyDialog (Li et al., 2017) (utilisé par Zandie & Mahoor (2020) dans leur modèle EmpTransfo, par exemple) ou le Emotional Dialogue in OpenSubtitles (EDOS) par Welivita et al. (2021), présentant une double annotation des stratégies de dialogues et des émotions, capturent les deux aspects que nous cherchons à étudier. Aussi complets soient-ils, ces jeux de données sont composés d'interactions en domaine ouvert et scriptées, ce qui biaise l'authenticité des réponses émotionnelles. De plus, ces corpus ne présentent qu'un unique label par tour de parole, ce qui ne permet pas de représenter les évolutions dynamiques au sein d'un même tour.

Nous avons donc décidé d'explorer les différentes manières d'annoter des données conversationnelles, afin de mettre au point un protocole d'annotation incluant les stratégies de dialogue et les émotions. Cette double annotation nous permet d'exprimer les changements et relations entre les stratégies conversationnelles (stratégies de dialogue et émotions).

## 2.2 Travaux d'annotation dans la littérature

Certains travaux se sont intéressés à la labellisation des conversations pour conditionner la réponse. Nous énumérons les approches les plus étudiées dans la littérature.

### Collecte des données

- **Crowd-sourcing** Appliqué à la collecte de données, le *crowd-sourcing* est une méthode participative où un groupe de personnes contribue à la création d'échantillons de données. Les données collectées sont généralement des interactions humains-humain (H-H). Les données sont collectées en faisant interagir deux participants en suivant des directives précises : le locuteur met en place une situation, souvent initiée par un prompt émotionnel (Rashkin et al., 2018; Liu et al., 2021) et l'auditeur doit répondre en conséquence, sans connaître le prompt initial. Les systèmes de dialogue sont formés pour jouer le rôle d'auditeurs.

- **Extraction du Web** Une autre façon courante de collecter des données consiste à extraire des informations de sources en ligne. Dans le cas des données textuelles, il s'agit souvent de messages et de commentaires récupérés sur les réseaux sociaux et il s'agit donc de discours naturel entre humains (Zhong et al., 2020; Mazaré et al., 2018). Elles peuvent également provenir d'autres sources, comme OpenSubtitles (Welivita et al., 2021) où les données sont scénarisées. Les données extraites de ces sites web ne sont généralement pas étiquetées et des processus d'annotation doivent être conçus pour annoter les corpus.

- **Enregistrements de conversations** Cette approche peut être utilisée pour récupérer des archives de conversation humain-humain à partir de données de centres d'appels, comme dans Clavel et al. (2013). Ces données sont moins accessibles, car cette pratique nécessite d'avoir les moyens de déployer de tels services ou de demander des données à une entreprise disposant de telles ressources. Même dans ce cas, les données sont généralement confidentielles et ne peuvent donc pas être partagées en tant que jeux de données publics, à moins que le consentement de l'utilisateur ait été donné et que les données aient été correctement anonymisées.

**Annotation des données** Il existe plusieurs approches de l'annotation des données : elles diffèrent selon le point de vue de l'annotateur, ou encore par les ressources nécessaires à la tâche d'étiquetage.
— **Annotation externe** L’annotation externe, ou du point de vue observateur, implique que le label est donné après analyse par un parti indépendant. Cette approche peut être utilisée sur tout type de données.

— **Annotation manuelle** Cette approche consiste à entièrement annoter un jeu de données par des experts humains ou des annotateurs qui ont été formés à la tâche spécifique d’annotation. Li et al. (2017) présentent un jeu de données de 13K, DailyDialog, qui a été annoté par 3 experts ayant une bonne compréhension de la théorie du dialogue et de la communication, et qui ont été formés aux directives de la tâche particulière (c’est-à-dire l’annotation des émotions et des actes de dialogue). Toutefois, l’annotation manuelle d’un large corpus peut être très coûteuse en temps et en ressources matérielles.

— **Annotation semi-automatique** Associer l’annotation manuelle à l’usage de modèles permet d’accélérer la tâche d’annotation et d’alléger la charge de travail des juges humains (Lu et al., 2021; Welivita et al., 2021). Il existe de nombreuses manières différentes de réaliser une telle annotation. En général, la première étape consiste à faire annoter par des juges humains une petite fraction des dialogues collectés. Ce sous-ensemble est ensuite utilisé pour entraîner un modèle de classification qui peut soit automatiquement annoter le reste du corpus considéré, ou proposer les labels les plus probables pour chaque exemple du corpus restant. Dans le deuxième cas, c’est aux annotateurs humains de choisir parmi les annotations proposées par le modèle de classification, pour apporter la décision finale.

— **Annotation interne** L’annotation est dite interne lorsque le label est directement dérivé de la source de la donnée.

— **Crowd-sourcing** C’est la principale méthode d’annotation pour ces données, où les émotions et les étiquettes de stratégies de dialogue associées aux données peuvent être directement dérivées des instructions données aux annotateurs (Rashkin et al., 2018; Liu et al., 2021). De plus, Liu et al. (2021) recueillent les réponses aux enquêtes soumises aux participants pendant le processus de collecte, tant du côté de l’auditeur que du locuteur. Cela permet de recueillir davantage de données telles que la notation de l’empathie et les stratégies de dialogue au niveau de l’énoncé.

— **Données extraites d’internet** Zhong et al. (2020) utilisent le contexte dans lequel les données web ont été postées et extraient les messages et les commentaires sur deux subreddits : /r/happy et /r/offmychest. L’environnement original de Reddit fournit donc une étiquette et ce qu’il reste à faire est un contrôle de qualité en demandant à des annotateurs humains d’annoter un petit ensemble de conversations : 100 du Reddit /r/happy, 100 de /r/offmychest et pour le contrôle, 100 de /r/casualconversations.

— **Enregistrements de conversation** Dans ce cas, l’annotation peut venir d’un retour de l’utilisateur. En effet, certains bots déployés demandent un retour sur la satisfaction des clients, soit directement, soit par le biais de sondages. Ces informations peuvent être utilisées pour annoter certaines conversations (Maslowski et al., 2017; Guibon et al., 2021).

La différence de point de vue de l’annotateur est particulièrement marquée lorsque les labels considérés sont aussi subjectifs que l’émotion. L’annotateur interne peut étiqueter avec précision l’émotion qu’il ressent et exprime dans les données, même si cela vient souvent au prix d’interactions jouées et scénarisées. Un annotateur externe fait une hypothèse quant à l’émotion exprimée, et sa perception est colorée par ses expériences culturelles et ses sensibilités personnelles. Cependant, cette approche est accessible et peut être réalisée sur de nombreux formats de données, ce qui laisse la possibilité d’annoter, à posteriori, des données humain-humain spontanées. Il faut donc garder à l’esprit que
les deux approches comportent leurs propre biais, que ce soit au niveau de la nature scriptée des interaction ou du biais de l'annotation en elle-même. Cette subjectivité de la tâche impacte également les attentes au niveau des scores inter-annotateurs attendus.

## 2.3 Stratégies et Labels Socio-Émotionnels

Nous présentons enfin les différentes stratégies utilisées dans les approches de génération conversationnelle socio-émotionnelle, ainsi que les différentes manières dont celles-ci sont représentées en tant que labels dans les différents jeux de données disponible dans la littérature. Les jeux de données que nous citons sont en anglais, car nous n'avons trouvé que peu de ressources conversationnelles et annotées en labels sociaux ou émotionnels en français. Nous rappelons que dans cette étude, nous définissons la notion de dialogue "social" par les aspects relationnels liés aux différentes attitudes sociale et à la communication inter-personnelle.

### Stratégies basées sur les émotions

- **Définition** Les stratégies basées sur les émotions font référence aux approches qui relèvent de la détection, du traitement et de l'expression d'une émotion en réponse à une situation émotionnelle de l'utilisateur. L'une des approches émotionnelles les plus représentées dans la littérature est l'usage de l'empathie (Fung et al., 2018; Wang et al., 2021; Hosseini & Caragea, 2021), définie comme la capacité à se mettre à la place de son interlocuteur et de percevoir ce qu'iel ressent (Cuff et al., 2016).

- **Labels** Il existe plusieurs manières d'annoter les émotions. Le premier niveau est le sentiment, en annotant la polarité positive ou négative (Lu et al., 2021). Pour ce qui est des émotions plus fines, de nombreuses études font référence à diverses théories de la psychologie pour la classification des émotions, mais il n'y a pas de consensus sur la manière de définir et de classer les émotions dans l'analyse des conversations (Clavel & Callejas, 2016). Li et al. (2017) basent leurs annotations sur le modèle d'Ekman (Ekman, 1999), et Liu et al. (2021); Rashkin et al. (2018) utilisent des théories classiques dérivées des réponses biologiques (Ekman, 1999; Plutchik, 1984) ainsi que des études concentrées sur un ensemble plus large d'émotions subtiles et dépendantes du contexte (Skerry et al., 2015) atteignant jusqu'à 32 étiquettes d'émotions. (Feng et al., 2021) utilisent une classification adaptée aux contextes orientés-tâche.

### Stratégies de dialogue

- **Définition** Les stratégies de dialogues sont un ensemble d'actions conversationnelles qui permettent d'exprimer une intention conversationnelle (Galescu et al., 2018; Santos Teixeira & Dragoni, 2022; Liu et al., 2021). Certaines stratégies de dialogue telles qu' *informer* ou *questionner*, se rapprochent des actes de dialogues qui peuvent être interprétés comme la réalisation de ces stratégies. D'autres sont plus émotives, comme *sympathiser* ou *encourager* (Welivita & Pu, 2020).

- **Labels** Certains jeux de données sont doublement annotés en émotions et en stratégies de dialogue. Les deux principales approches que nous avons vues pour ces stratégies sont les stratégies de dialogues elles-mêmes (Hardy et al., 2021; Welivita & Pu, 2020; Liu et al., 2021). Elles peuvent également être associées aux actes de dialogue, résumés et classifiés dans les travaux de Bunt (2006), comme dans le *dataset DailyDialog* (Li et al., 2017).
Stratégies de conception de persona

— **Définition** Une persona est une personnalité fictive dotée de caractéristiques sociales, comme des traits de personnalité ou des préférences (Li et al., 2016). Associer une persona à un système conversationnel revient alors à conditionner les réponses de l’agent pour prendre en compte ces attributs, ce qui permet d’unifier et d’améliorer la cohérence du comportement du système. Plusieurs études relatent les différentes stratégies de conception de ces personas, et de l’influence de certaines caractéristiques sur l’accueil et l’acceptabilité des systèmes chez les utilisateurs (Pradhan & Lazar, 2021; Kim et al., 2019).

— **Labels** Les corpus définissent généralement une persona comme un ensemble de phrases, représentant la personnalité choisie, sur laquelle vont se baser la formulation et le comportement général de l’agent (Mazaré et al., 2018; Zhang et al., 2018). Dans le cadre de données conversationnelles, ces phrases sont souvent collectées à partir de profils d’utilisateurs sur internet, un utilisateur représentant une persona (Zhong et al., 2020; Mazaré et al., 2018).

Ainsi, de nombreuses études s’intéressent à la tâche de génération neuronale de réponse sociale et émotionnelle, en basant leurs approches respectives sur des corpus adéquats. La manière dont ces données sont collectées et annotées en émotions et en stratégies de dialogue est cruciale à la réalisation de la tâche. Le plus souvent, l’annotation est à l’échelle du tour de parole, mais nous souhaitons viser une unité plus fine, en segmentant le tour de parole en segments. Nous nous inspirons des travaux cités pour proposer notre méthodologie d’annotation qui répond au défi technologique que nous souhaitons adresser : la prise en compte dynamique de l’évolution des états émotionnels et dialogiques au cours d’une conversation orientée-tâche.

# 3 Notre proposition d’annotation multi-label des conversations pour un système de dialogue génératif socio-émotionnel

## 3.1 Formalisation de la tâche d’annotation en séquence de labels socio-émotionnel

Soit une conversation $C = (c_i)_{i \in [0,t]}$, $c_t$ le tour de parole en cours. Soit $SE$ la liste des labels socio-émotionnels considérés. $\forall i \in [0, t], \exists y_i = (y_i^j)_{j \in [0, l_i]}$, une séquence ordonnée de labels socio-émotionnels associés au tour de parole $c_i$ et $l_i \in \mathbb{N}$ le nombre de labels associés à $c_i$. $\forall i \in [0, t], \forall j \in [0, l_i], y_i^j \in SE$. Nous considérons maintenant la tâche de prédiction de la séquence $y_{t+1}$ des labels socio-émotionnels associés au tour de parole $t+1$, $c_{t+1}$. En d'autre termes, il s'agit de prédire l'ensemble :

$$y_{t+1} = (y_{t+1}^j)_{j \in [0, l_{t+1}]} \in SE^{l_{t+1}}$$

Cette séquence sera ensuite utilisée afin d’influencer le système, en prenant en compte les comportement désirés représentés par ces labels pour les générer dans le tour suivant.
## 3.2 Conception du protocole d'annotation

Dans le but de développer un système pour accomplir la tâche formulée ci-dessus, nous avons conçu un protocole spécifique pour guider la construction d'un corpus annoté avec ces labels socio-émotionnels. Tout d'abord, nous avons recueilli nos données à partir d'enregistrements de conversations entre clients et agents, extraites de nos systèmes déployés dans le cadre industriel. Notre objectif est donc d'annoter manuellement ces conversations avec des labels émotionnels et des stratégies de dialogue. Ce corpus sera utilisé par la suite pour entraîner notre modèle de génération de réponses socialement et émotionnellement pertinentes. Notre jeu de données est composé de 72 conversations téléphoniques en français qui ont été transcrites manuellement par cinq experts en analyse linguistique. Le caractère personnel de ces informations, recueillies en accord avec les régulations RGPD et le consentement des clients, ne nous permets pas de partager ce dataset. Cette même équipe d'analystes a également mené la tâche d'annotation de ce corpus textuel.

### 3.2.1 Préparation des données

Après une revue approfondie de la littérature des systèmes de dialogues socio-émotionnels présentée dans nos travaux précédents (Vanel. et al., 2023), nous avons composé une première liste d'étiquettes pour les émotions et les stratégies de dialogue. Nous avons ensuite analysé nos données pour sélectionner les étiquettes pertinentes. Pour ce faire, nous avons annoté un échantillon de conversations avec la liste complète pour noter les labels manquants ou superflus. Par exemple, dans cette étape, nous avons ajouté la stratégie de politesse, pour indiquer les formules de politesse comme les salutations et les remerciements. Après cette étape, nous avons pu établir la liste finale *SE* des labels socio-émotionnels. Ces labels ont été annotés à deux niveaux : au niveau du tour de parole (stratégies de dialogue et émotions) et au niveau de la conversation (indices de satisfaction globale). Nous décrivons ces tâches d'annotation plus en détail ci-dessous.

### 3.2.2 Tâches d'étiquetage

**Au niveau du tour de parole** Comme indiqué sur la Figure 1, nous cherchons à annoter une liste de labels, issue de la fusion des annotations issues des deux tâches suivantes :

- **Émotions** Pour cette tâche, nous demandons aux analystes d'étiqueter les émotions exprimées à chaque tour de conversation. Les experts lisent chaque tour de conversation, en analysant leur contenu sémantique. Si une émotion est détectée chez un locuteur, l'annotateur note l'émotion et le segment textuel porteur de l'émotion. À la fin de cette tâche, toutes les conversations sont étiquetées en émotions et leurs "indices sémantiques", au niveau du tour de parole.

- **Stratégies de dialogue** Pour les stratégies de dialogue, nous divisons l'annotation en deux tâches : l'annotation des tours de l'agent et l'annotation des tours du client. Ces tâches sont similaires, mais elles sont conduites séparément. Chaque stratégie de dialogue a un code, par exemple la stratégie "Information" est codée par la lettre "I". Un analyste passe sur chaque tour de l'interlocuteur sélectionné, et annote chaque stratégie en les délimitant par des balises. Un tour de parole est annoté dans son entièreté, avec une ou plusieurs stratégies de dialogue consécutives. Cette annotation permet de diviser un tour de parole en une séquence de segments consécutifs et sans chevauchements.
<figure><img src="image_80.png" /><figcaption>FIGURE 1 – Annotation d'un tour de parole en émotion et stratégie de dialogue. Ici, P code les formules de politesse, I l'information et Q la question.</figcaption></figure>

**Au niveau de la conversation** Pour l'annotation au niveau de la conversation, nous avons défini trois aspects qui permettent d'évaluer le ressenti global de la conversation sur plusieurs plans. Ces indices prennent en considération le point de vue du client et la qualité du travail de l'agent. Ils permettent également le filtrage des conversations, car nous souhaitons entraîner nos modèles sur de bons exemples de conversations avec un support agent de bonne qualité pour assurer la satisfaction du client au terme de l'interaction.

- **Satisfaction de l'utilisateur** (Satisfait - Neutre - Insatisfait) annotée par l'annotateur de la stratégie de dialogue du client, à la fin de l'annotation du fichier. Cet indicateur se base sur le comportement des clients et de leur réaction à l'interaction globale avec l'agent.

- **Qualité du support de l'agent** (Bon - Neutre - Mauvais) annotée par l'annotateur de la stratégie de dialogue de l'agent. Cet indicateur mesure le comportement de l'agent, et la justesse de ses réponses et interactions avec le client selon la situation de ce dernier.

- **Statut de résolution du problème** (Résolu - Incertain - Non résolu) annoté par l'annotateur de la stratégie de dialogue du client. Ce dernier indicateur signale l'état final de la demande du client, si le motif d'appel a été identifié et résolu par l'agent.

### 3.2.3 Réalisation de l'annotation

#### Phase de Calibrage

- **Calibrage** L'objectif de cette phase est d'initier les annotateurs à la tâche d'annotation. Les cinq annotateurs évaluent chacun l'échantillon sélectionné pour les trois tâches : émotions, stratégies de dialogue et indices de satisfaction globale. Ces fichiers ont été échantillonnés aléatoirement, tout en essayant de garder une bonne distribution des longueurs des conversations.

- **Mesure d'accord** Nous avons calculé l'alpha de Krippendorff pour évaluer les niveaux d'accord et sommes arrivés à un alpha de 0,674. La raison pour laquelle nous avons choisi l'alpha de Krippendorff, plutôt que le Kappa de Cohen par exemple, est car il s'agit d'une métrique qui prend en compte l'annotation multi-label et les annotateurs multiples. Cependant, elle ne tient pas compte de l'ordre des labels, uniquement du compte global de chaque annotation par tour.

**Annotation complète** Après avoir confirmé que les mesures d'accord étaient supérieures à notre seuil d'acceptation, nous avons lancé le processus d'annotation sur les échantillons restants.
## 3.3 Analyse du Corpus Annoté

**Le corpus** Le jeu de données annoté est composé de 67 conversations, ce qui représente 3051 tours de parole et 109 841 tokens. L'annotation émotionnelle a été faite avec 20 labels émotionnels secondaires, mais pour des raisons de lisibilité et de clarté, nous avons décidé de mener cette analyse en reprenant les émotions primaires correspondantes (par exemple *agacement* est une émotion secondaire de *peur*). Notre liste de labels est donc composée de 6 labels émotions et de 15 stratégies de dialogue, présentés en Table 3. La longueur moyenne des tours de parole est de 29 tokens. Ces tours de parole sont divisés en segments délimités par ces stratégies de dialogue consécutives, et leur longueur moyenne est de 17 tokens. Le nombre de labels socio-émotionnels $l_i$ moyen par tour de parole est de 2.5 avec un $l_i$ maximum de 23 labels socio-émotionnels, et un $l_i$ minimum de 1 (chaque tour porte au moins un label de stratégie de dialogue). Nous donnons plus de détails sur les différences entre agent et client dans la Table 1. Nous remarquons également que les agents ont tendance à produire des tours de paroles plus longs et riches en stratégies. Une médiane de 2 labels par tour de parole valide notre approche multi-label pour la planification du prochain tour de parole. En effet, il y a en général plusieurs stratégies qui se succèdent, et reproduire le comportement d'un agent implique la prise en considération de ces multiples éléments successifs au sein d'un même tour de parole.

Les 3051 tours de paroles sont donc segmentés en 6852 segments dénotés par les stratégies de dialogue, auxquels se superposent 785 labels émotionnels. Cette différence entre le nombre d'émotions et de stratégies de dialogue s'explique par le protocole : plusieurs stratégies de dialogues sont données par tour de parole et tous les tours de parole sont entièrement annotés en stratégie de dialogue (il n'existe aucun tour de parole neutre sans aucune annotation de stratégie), alors que tous les tours ne sont pas porteurs d'émotion. Lorsqu'ils le sont c'est en général une unique émotion qui est représentée. Nous notons que la majorité des conversations propose un service qui convient au client et que dans 63 conversations, l'agent apporte un bon niveau de support.

**Distribution des labels** Nous avons ensuite étudié la distribution des labels annotés. La liste complète de ces labels est présentée dans la Table 3. Pour les émotions, la satisfaction est l'émotion dominante dans le discours des agents alors que pour les clients, c'est l'agacement. Certaines émotions sont très peu observées, comme la rage ou la détresse, ce qui est attendu dans le contexte des interactions que nous avons choisi. Pour ce qui est des stratégies de dialogue, la stratégie *information* est la plus représentée chez les deux interlocuteurs. En effet, celle-ci est utilisée pour apporter une information, répondre à une question ou indiquer un choix. Au niveau de la fréquence d'utilisation des stratégies,

<table><caption>TABLE 1 – Statistiques liées à $l_i$, le nombre de labels socio-émotionnels associés au tour de parole i.</caption><thead><tr><th></th><th>Agent</th><th>Client</th></tr></thead><tbody><tr><th>Minimum</th><td>1</td><td>1</td></tr><tr><th>Maximum</th><td>16</td><td>23</td></tr><tr><th>Moyenne</th><td>2.7</td><td>2.3</td></tr><tr><th>Médiane</th><td>2</td><td>2</td></tr></tbody></table>

<table><caption>TABLE 2 – Nombre de labels annotés au niveau du tour de parole et au niveau de la conversation.</caption><thead><tr><th>Stratégie</th><th>Total</th><th>Agent</th><th>Client</th></tr></thead><tbody><tr><th>Émotions</th><td>785</td><td>382</td><td>403</td></tr><tr><th>Stratégies de Dialogue</th><td>6852</td><td>3582</td><td>3270</td></tr><tr><th>Total</th><td>7637</td><td>3964</td><td>3673</td></tr><tr><th>Indice</th><td>Satisfait</td><td>Neutre</td><td>Insatisfait</td></tr><tr><th>Satisfaction Utilisateur</th><td>45</td><td>15</td><td>7</td></tr><tr><th></th><th>Bon</th><th>Neutre</th><th>Mauvais</th></tr><tr><th>Qualité Support Agent</th><td>64</td><td>3</td><td>0</td></tr><tr><th></th><th>Résolu</th><th>Incertain</th><th>Non Résolu</th></tr><tr><th>Résolution du Problème</th><td>36</td><td>28</td><td>3</td></tr></tbody></table>
<table><caption>(a) Émotions</caption><thead><tr><th>Emotion</th><th>Total</th><th>Agent</th><th>Client</th></tr></thead><tbody><tr><td>Colère (impatience, aga-cement, rage)</td><td>203</td><td>42</td><td>161</td></tr><tr><td>Surprise</td><td>32</td><td>16</td><td>16</td></tr><tr><td>Peur (stress, inquiétude, confusion)</td><td>115</td><td>26</td><td>89</td></tr><tr><td>Joie (soulagement, satis-faction)</td><td>381</td><td>271</td><td>110</td></tr><tr><td>Tristesse (déception, rési-gnation)</td><td>45</td><td>19</td><td>26</td></tr><tr><td>Dégoût (mépris, moque-rie)</td><td>9</td><td>5</td><td>4</td></tr></tbody></table>

<table><caption>(b) Stratégies de Dialogue</caption><thead><tr><th>Stratégie (Code)</th><th>Total</th><th>Agent</th><th>Client</th></tr></thead><tbody><tr><td>Accord (A)</td><td>20</td><td>7</td><td>13</td></tr><tr><td>Aggressivité (AGR)</td><td>11</td><td>0</td><td>11</td></tr><tr><td>Back-Channeling (BC)</td><td>645</td><td>286</td><td>359</td></tr><tr><td>Correction (C)</td><td>66</td><td>18</td><td>48</td></tr><tr><td>Désaccord (D)</td><td>8</td><td>1</td><td>7</td></tr><tr><td>Encouragement (E)</td><td>52</td><td>43</td><td>9</td></tr><tr><td>Hors-Sujet (HS)</td><td>235</td><td>92</td><td>143</td></tr><tr><td>Information (I)</td><td>3023</td><td>1368</td><td>1655</td></tr><tr><td>Politesse (P)</td><td>721</td><td>367</td><td>354</td></tr><tr><td>Proposition de Suggestions (PS)</td><td>86</td><td>62</td><td>24</td></tr><tr><td>Question (Q)</td><td>1213</td><td>906</td><td>307</td></tr><tr><td>Reformulation (R)</td><td>439</td><td>328</td><td>111</td></tr><tr><td>Sympathie (S)</td><td>49</td><td>42</td><td>7</td></tr><tr><td>Self-Disclosure (SD)</td><td>240</td><td>55</td><td>185</td></tr><tr><td>Autre (U)</td><td>44</td><td>7</td><td>37</td></tr></tbody></table>

<caption>TABLE 3 – Compte de labels par émotion et stratégie de dialogue.</caption>

nous remarquons que pour le client ce sont celles de question et d'information qui dominent. Cela correspond au script général que les agents suivent pour qualifier puis traiter la demande client en réponse à une sollicitation client. Pour les clients, c'est la stratégie d'information qui est majoritaire, et constitue souvent une réponse aux questions de l'agent qui les guide à travers le processus. En effet, les 906 questions de l'agent sont réparties sur 773 tours de paroles différents (un unique tour de parole peut porter plusieurs questions), dont 619 sont suivis par une information donnée par le client.

**Patterns dans les Labels** Nous avons observé des patterns récurrents dans la succession des labels dans un tour de parole. Nous nous intéressons dans un premier temmps aux successions de 2 et 3 labels répétés dans le même ordre dans les énoncés du corpus. Les motifs les plus communs sont présentés en Table 4.

<table><caption>(a) k = 2</caption><thead><tr><th>Pattern</th><th>Count</th></tr></thead><tbody><tr><td>Information, Question</td><td>222</td></tr><tr><td>Information, Information</td><td>178</td></tr><tr><td>Question, Information</td><td>168</td></tr><tr><td>Back-Channeling, Information</td><td>133</td></tr><tr><td>Back-Channeling, Back-Channeling</td><td>127</td></tr><tr><td>Information, Joie</td><td>126</td></tr><tr><td>Reformulation, Information</td><td>100</td></tr><tr><td>Information, Politeness</td><td>98</td></tr><tr><td>Politesse, Information</td><td>85</td></tr><tr><td>Information, Back-Channeling</td><td>85</td></tr></tbody></table>

<table><caption>(b) k = 3</caption><thead><tr><th>Pattern</th><th>Count</th></tr></thead><tbody><tr><td>Information, Question, Information</td><td>92</td></tr><tr><td>Question, Information, Question</td><td>51</td></tr><tr><td>Back-channeling, Back-channeling, Back-channeling</td><td>34</td></tr><tr><td>Back-channeling, Back-channeling, Information</td><td>31</td></tr><tr><td>Information, Joie, Question</td><td>24</td></tr></tbody></table>

<caption>TABLE 4 – Motifs les plus communs pour 2 labels et 3 labels successifs dans le même tour de parole.</caption>

La plupart de ces motifs inclue des stratégies de dialogue, telles qu'Information ou Back-Channeling. Cependant, nous remarquons que les émotions sont aussi représentées, notamment par le label Joie. Les labels ont été annoté séparément, ce qui signifie qu'une succession de deux questions sera annoté 'Question, Question', ce qui explique pourquoi les labels peuvent se répété au sein d'un même tour (par exemple, Back-Channeling est une stratégie répétitive par nature, car cela implique d'interjecter pendant une prise de parole d'un interlocuteur pour le montrer qu'on prête attention). Ces patterns
nous donnent une idée de comment la plupart des réponses sont planifiées et exécutées de manière consciente ou non par les agents humains.

# 4 Discussion

Nous nous sommes posé la question du format des données d'entrée et de sortie de cette tâche de prédiction, particulièrement au niveau de l'unité d'annotation considérée. Dans cet article, nous utilisons le tour de parole, mais notre protocole d'annotation permet de considérer une autre unité : le segment. Chaque tour de parole est annoté en une ou plusieurs stratégies de dialogues consécutives, qui délimitent des segments. Cela impliquerait donc la définition d'un ensemble de segments $c_i^j$ associés au tour de parole $c_i$, et que, pour chaque segment $j$, il existe une liste de labels $y_i^{j,k}$ de labels socio-émotionnels associés à ce segment. La tâche de génération serait donc reportée à l'échelle du segment, ce qui ajoute la difficulté supplémentaire de fusionner ces différents segments pour former l'unique énoncé final $c_{t+1}$. Nous pensons que la planification de la génération du prochain tour de parole dans son ensemble est plus pertinente, et nous avons donc choisi de conserver l'échelle du tour de parole, sans segmentation.

Il est important de noter que l'annotation comprend des biais liés aux expériences personnelles aussi bien que culturelles des annotateurs, qui peuvent influencer leurs perception des émotions et des interactions. Nous avons mis au point la phase de calibrage pour pouvoir privilégier au mieux la communication, l'extraction et l'analyse des possibles divergences, biais et incompréhensions. Cette première annotation nous a permis, au-delà de sortir les mesures d'accord, d'établir des règles et des consignes plus précises d'annotation, agrémentées d'exemples issus des données. De plus, nous avons choisi une fine granularité des annotations, pour améliorer l'explicabilité du contenu social généré. Enfin, nous n'avons pas encore ajouté de profils persona, mais nous considérons explorer cette piste à l'avenir. Nous souhaitons explorer certaines pistes, comme identifier les différents agents humains dans nos données et baser des personas à partir des données associées à ces agents. Nous pouvons également concevoir des fiches de personas fictives élaborées en collaboration avec les clients. Il serait ainsi intéressant d'étudier les différences dans les stratégies de dialogues et labels émotionnels observés selon les personas implémentées.

# 5 Conclusion et prochains travaux

Dans cet article, nous présentons une nouvelle approche pour la tâche de génération, en ajoutant une étape de prédiction d'une séquence de labels d'émotion et de stratégie de dialogue attendus dans le tour suivant. Nous détaillons également le protocole d'annotation associé que nous avons implémenté sur un corpus orienté-tâche. À l'issu de l'analyse de ce jeu de données annoté, la richesse du contenu émotionnel et dialogique nous conforte dans notre choix de données humain-humain, spontanées et issues d'un contexte orienté-tâche réel. L'analyse montre également qu'un tour de parole est souvent porteur de plus d'un seul label socio-émotionnel (médiane de 2 labels par tour) et l'importance des liens entre ces différents labels. Cela justifie notre approche de prédiction d'une séquence multi-label pour planifier et générer le prochain tour de parole du système conversationnel.

Nos futurs travaux utiliseront ce jeu de données annoté pour développer un système conversationnel génératif orienté-tâche capable de s'adapter de manière dynamique aux évolutions du contexte émotionnel et social de la conversation.
Références

ADIKARI A., DE SILVA D., MORALIYAGE H., ALAHAKOON D., WONG J., GANCARZ M., CHACKOCHAN S., PARK B., HEO R. & LEUNG Y. (2022). Empathic conversational agents for real-time monitoring and co-facilitation of patient-centered healthcare. *Future Generation Computer Systems, **126***, 318–329. DOI : https://doi.org/10.1016/j.future.2021.08.015.

BUNT H. (2006). Dimensions in dialogue act annotation. In *Proceedings of the Fifth International Conference on Language Resources and Evaluation (LREC’06)*, Genoa, Italy : European Language Resources Association (ELRA).

CLAVEL C., ADDA G., CAILLIAU F., GARNIER-RIZET M., CAVET A., CHAPUIS G., COURCINOUS S., DANESI C., DAQUO A.-L., DELDOSSI M., GUILLEMIN-LANNE S., SEIZOU M. & SUIGNARD P. (2013). Spontaneous speech and opinion detection : mining call-centre transcripts. *Language Resources and Evaluation, **47*** (4), 1089–1125.

CLAVEL C. & CALLEJAS Z. (2016). Sentiment analysis : From opinion mining to human-agent interaction. *IEEE Transactions on Affective Computing, **7*** (1), 74–93. DOI : 10.1109/TAFFC.2015.2444846.

CLAVEL C., LABEAU M. & CASSELL J. (2022). Socio-conversational systems : Three challenges at the crossroads of fields. *Frontiers in Robotics and AI, **9***. DOI : 10.3389/frobt.2022.937825.

CUFF B., BROWN S., TAYLOR L. & HOWAT D. (2016). Empathy : A review of the concept. *Emotion Review, **8***, 144–153. DOI : 10.1177/1754073914558466.

EKMAN P. (1999). Basic emotions. *Handbook of cognition and emotion, **98*** (45-60), 16.

FENG S., LUBIS N., GEISHAUSER C., LIN H.-C., HECK M., VAN NIEKERK C. & GAŠIĆ M. (2021). Emowoz : A large-scale corpus and labelling scheme for emotion recognition in task-oriented dialogue systems. DOI : 10.48550/ARXIV.2109.04919.

FUNG P., BERTERO D., XU P., PARK J. H., WU C.-S. & MADOTTO A. (2018). Empathetic dialog systems. In *The international conference on language resources and evaluation. European Language Resources Association.*

GALESCU L., TENG C. M., ALLEN J. & PERERA I. (2018). Cogent : A generic dialogue system shell based on a collaborative problem solving model. In *Proceedings of the 19th Annual SIGdial Meeting on Discourse and Dialoguee*, p. 400–409.

GNEWUCH U., MORANA S. & MAEDCHE A. (2017). Towards designing cooperative and social conversational agents for customer service. In *ICIS*.

GUIBON G., LABEAU M., FLAMEIN H., LEFEUVRE L. & CLAVEL C. (2021). Few-shot emotion recognition in conversation with sequential prototypical networks. *CoRR, abs/2109.09366*.

HARDY A., PARANJAPE A. & MANNING C. D. (2021). Effective social chatbot strategies for increasing user initiative. In *Proceedings of the 22nd Annual Meeting of the Special Interest Group on Discourse and Dialoguee*, p. 99–110.

HARILAL N., SHAH R., SHARMA S. & BHUTANI V. (2020). Caro : An empathetic health conversational chatbot for people with major depression. In *Proceedings of the 7th ACM IKDD CoDS and 25th COMAD, CoDS COMAD 2020*, p. 349–350, New York, NY, USA : Association for Computing Machinery. DOI : 10.1145/3371158.3371220.

HOSSEINI M. & CARAGEA C. (2021). It takes two to empathize : One to seek and one to provide. In *Proceedings of the AAAI Conference on Artificial Intelligence. To appear*.

KIM H., KOH D. Y., LEE G., PARK J.-M. & LIM Y.-K. (2019). Designing personalities of conversational agents. In *Extended Abstracts of the 2019 CHI Conference on Human Factors in Computing Systems, CHI EA ’19*, p. 1–6, New York, NY, USA : Association for Computing Machinery. DOI : 10.1145/3290607.3312887.

KUMAR H., AGARWAL A. & JOSHI S. (2018). Dialogue-act-driven conversation model : An experimental study. In *Proceedings of the 27th International Conference on Computational Linguistics*, p. 1246–1256, Santa Fe, New Mexico, USA : Association for Computational Linguistics.
LI J., GALLEY M., BROCKETT C., SPITHOURAKIS G. P., GAO J. & DOLAN B. (2016). A persona-based neural conversation model. *arXiv preprint arXiv:1603.06155*.

LI Y., SU H., SHEN X., LI W., CAO Z. & NIU S. (2017). Dailydialog : A manually labelled multi-turn dialogue dataset. DOI: 10.48550/ARXIV.1710.03957.

LIU S., ZHENG C., DEMASI O., SABOUR S., LI Y., YU Z., JIANG Y. & HUANG M. (2021). Towards emotional support dialog systems. *ArXiv, abs/2106.01144*.

LU X., TIAN Y., ZHAO Y. & QIN B. (2021). Retrieve, discriminate and rewrite : A simple and effective framework for obtaining affective response in retrieval-based chatbots. In *Findings of the Association for Computational Linguistics : EMNLP 2021*, p. 1956–1969.

MASLOWSKI I., LAGARDE D. & CLAVEL C. (2017). In-the-wild chatbot corpus : from opinion analysis to interaction problem detection. In *ICNLSSP 2017*, p. 115–120, Casablanca, Morocco : ISGA, Institut Supérieur d'inGénierie et des Affaires. HAL : hal-02288505.

MAZARÉ P.-E., HUMEAU S., RAISON M. & BORDES A. (2018). Training millions of personalized dialogue agents. In *Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing*, p. 2775–2779, Brussels, Belgium : Association for Computational Linguistics. DOI: 10.18653/v1/D18-1298.

PLUTCHIK R. (1984). Emotions : a general psychoevolutionary theory.

PRADHAN A. & LAZAR A. (2021). Hey google, do you have a personality ? designing personality and personas for conversational agents. In *Proceedings of the 3rd Conference on Conversational User Interfaces*, CUI '21, New York, NY, USA : Association for Computing Machinery. DOI: 10.1145/3469595.3469607.

RAM A., PRASAD R., KHATRI C., VENKATESH A., GABRIEL R., LIU Q., NUNN J., HEDAYATNIA B., CHENG M., NAGAR A., KING E., BLAND K., WARTICK A., PAN Y., SONG H., JAYADEVAN S., HWANG G. & PETTIGRUE A. (2018). Conversational ai : The science behind the alexa prize. DOI : 10.48550/ARXIV.1801.03604.

RASHKIN H., SMITH E. M., LI M. & BOUREAU Y.-L. (2018). Towards empathetic open-domain conversation models : A new benchmark and dataset. *arXiv preprint arXiv:1811.00207*.

SANTOS TEIXEIRA M. & DRAGONI M. (2022). A review of plan-based approaches for dialogue management. *Cognitive Computation*, p. 1–20.

SHUSTER K., XU J., KOMEILI M., JU D., SMITH E. M., ROLLER S., UNG M., CHEN M., ARORA K., LANE J., BEHROOZ M., NGAN W., POFF S., GOYAL N., SZLAM A., BOUREAU Y.-L., KAMBADUR M. & WESTON J. (2022). Blenderbot 3 : a deployed conversational agent that continually learns to responsibly engage. DOI: 10.48550/ARXIV.2208.03188.

SKERRY A. E., SAXE R., SKERRY A. E. & SAXE R. (2015). Neural representations of emotion are organized around abstract event features. *Curr. Biol*.

THOPPILAN R., DE FREITAS D., HALL J., SHAZEER N., KULSHRESHTHA A., CHENG H.-T., JIN A., BOS T., BAKER L., DU Y., LI Y., LEE H., ZHENG H. S., GHAFOURI A., MENEGALI M., HUANG Y., KRIKUN M., LEPIKHIN D., QIN J., CHEN D., XU Y., CHEN Z., ROBERTS A., BOSMA M., ZHAO V., ZHOU Y., CHANG C.-C., KRIVOKON I., RUSCH W., PICKETT M., SRINIVASAN P., MAN L., MEIER-HELLSTERN K., MORRIS M. R., DOSHI T., SANTOS R. D., DUKE T., SORAKER J., ZEVENBERGEN B., PRABHAKARAN V., DIAZ M., HUTCHINSON B., OLSON K., MOLINA A., HOFFMAN-JOHN E., LEE J., AROYO L., RAJAKUMAR R., BUTRYNA A., LAMM M., KUZMINA V., FENTON J., COHEN A., BERNSTEIN R., KURZWEIL R., AGUERA-ARCAS B., CUI C., CROAK M., CHI E. & LE Q. (2022). Lamda : Language models for dialog applications. DOI: 10.48550/ARXIV.2201.08239.

VANEL. L., YACOUBI. A. & CLAVEL. C. (2023). A survey of socio-emotional strategies for generation-based conversational agents. In *Proceedings of the 15th International Conference on Agents and Artificial Intelligence - Volume 3 : ICAART*, p. 185–192 : INSTICC SciTePress. DOI: 10.5220/0011632400003393.

WANG Y.-H., HSU J.-H., WU C.-H. & YANG T.-H. (2021). Transformer-based empathetic response generation using dialogue situation and advanced-level definition of empathy. In *2021 12th International Symposium on Chinese Spoken Language Processing (ISCSLP)*, p. 1–5. DOI: 10.1109/ISCSLP49672.2021.9362067.
WELIVITA A. & PU P. (2020). A taxonomy of empathetic response intents in human social conversations. In *Proceedings of the 28th International Conference on Computational Linguistics*, p. 4886–4899, Barcelona, Spain (Online) : International Committee on Computational Linguistics. DOI : 10.18653/v1/2020.coling-main.429.

WELIVITA A., XIE Y. & PU P. (2021). A large-scale dataset for empathetic response generation. In *Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing*, p. 1251–1264.

ZANDIE R. & MAHOOR M. H. (2020). Emptransfo : A multi-head transformer architecture for creating empathetic dialog systems. CoRR, abs/2003.02958.

ZHANG S., DINAN E., URBANEK J., SZLAM A., KIELA D. & WESTON J. (2018). Personalizing dialogue agents : I have a dog, do you have pets too ? In *Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1 : Long Papers)*, p. 2204–2213, Melbourne, Australia : Association for Computational Linguistics. DOI : 10.18653/v1/P18-1205.

ZHANG Y., SUN S., GALLEY M., CHEN Y.-C., BROCKETT C., GAO X., GAO J., LIU J. & DOLAN B. (2019). Dialogpt : Large-scale generative pre-training for conversational response generation. DOI : 10.48550/ARXIV.1911.00536.

ZHONG P., ZHANG C., WANG H., LIU Y. & MIAO C. (2020). Towards persona-based empathetic conversational models. *arXiv preprint arXiv :2004.12316*.
# Exploring Data-Centric Strategies for French Patent Classification: A Baseline and Comparisons

You Zuo¹,²

Houda Mouzoun³

Samir Ghamri Doudane³

Kim Gerdes¹,⁴

Benoît Sagot²

(1) Qatent, Paris, France

(2) Inria, Paris, France

(3) Institut national de la propriété industrielle, Courbevoie, France

(4) Laboratoire Interdisciplinaire des Sciences du Numérique, Université Paris-Saclay, Orsay, France
`firstname.lastname@inria.fr`, `hmouzoun@inpi.fr`, `sghamridoudane@inpi.fr`, `gerdes@lisn.fr`

## ABSTRACT

This paper proposes a novel approach to French patent classification leveraging data-centric strategies. We compare different approaches for the two deepest levels of the IPC hierarchy: the IPC group and subgroups. Our experiments show that while simple ensemble strategies work for shallower levels, deeper levels require more sophisticated techniques such as data augmentation, clustering, and negative sampling. Our research highlights the importance of language-specific features and data-centric strategies for accurate and reliable French patent classification. It provides valuable insights and solutions for researchers and practitioners in the field of patent classification, advancing research in French patent classification.

## RÉSUMÉ

### Exploration des stratégies centrées sur les données pour la classification des brevets français : Une base de référence et des comparaisons

Cet article propose une nouvelle approche de classification des brevets français qui s'appuie sur des stratégies centrées sur les données. Nous comparons différentes approches pour les deux niveaux les plus profonds de la hiérarchie IPC : le groupe IPC et les sous-groupes. Nos expériences montrent que les stratégies d'ensemble simples fonctionnent pour les niveaux peu profonds, mais que les niveaux profonds nécessitent des techniques plus sophistiquées telles que l'augmentation de données, le regroupement et l'échantillonnage négatif. Notre recherche met en évidence l'importance des caractéristiques spécifiques à la langue et des stratégies centrées sur les données pour une classification précise et fiable des brevets français. Elle fournit des informations et des solutions précieuses pour les chercheurs et les praticiens dans le domaine de la classification des brevets, en faisant progresser la recherche en classification des brevets en français.

**KEYWORDS** : Patent Classification, Extreme Multi-label Text Classification, Deep Learning.

**MOTS-CLÉS** : Classification de Brevets d'Invention, Classification de Textes Multi-labels Extrême, Apprentissage Profond.

<figure><img src="image_81.png" /></figure>
# 1 Introduction

A patent is a legal document that grants its holder the exclusive right to prevent others from making, using, selling, offering for sale, or importing the patented invention within a certain jurisdiction for a specific period of time. Patent databases are valuable sources of information that reflect global innovations and technological developments. The number of patent applications has increased significantly over the past two decades, which can be attributed to various factors such as the increasing importance of technology in society, the role of patents in business valuation, and the globalization of commerce. Due to the large volume of patents and patent documents, patent analysis and management have become complex and time-consuming. Additionally, patents are granted within a specific domain, and patent classification is critical for patent scope and patent law. For the reasons mentioned above, automated patent classification systems have become essential for patent professionals to manage large collections of patents.

<figure><img src="image_82.png" /><figcaption>FIGURE 1 – An example of International Patent Classification (IPC) code G06N3/02 1. The IPC scheme is a hierarchical taxonomy with five levels.</figcaption></figure>

The International Patent Classification (IPC)<fnref n="1" /> is a widely used standard taxonomy for patent classification. It comprises a hierarchy of five levels, including section, class, subclass, group, and subgroup. The finest level, the subgroup, consists of over 70,000 leaf nodes. An example of an IPC code is shown in Figure 1. When submitting a patent application, the relevant technical fields are indicated by assigning one or multiple IPC codes at the subgroup level. This helps determine the workload of examiners responsible for assessing the application.

However, the IPC undergoes regular minor updates and occasionally major restructuring. Developing an automatic patent classification system is thus challenging due to the constantly evolving technological language and patent syntax, requiring ongoing efforts to address this moving target. In addition, the classification of patent text is a widely studied problem, particularly in languages with large patent markets, such as English, Chinese, and Japanese. However, due to variations in technical fields across different countries and markets, it can be challenging to directly transfer models or data trained on English patents to other languages. This problem is particularly challenging in the case of French patents, in particular presents unique challenges that require a sizable annotated corpus and experimentation with various classification models. Despite the critical importance of French patents,

<footnote n="1">1. https://www.wipo.int/classifications/ipc/</footnote>
few studies, such as (Zuo et al., 2022), has focused on patent classification in French, and even those have only reported results on IPC subclass or group levels.

To address this gap, this paper proposes a novel approach to French patent classification that builds upon different strategies aimed at addressing several unique challenges, including input length limitation, label imbalance, and data sparsity. Our approach compares and evaluates different strategies for French patent classification at the two deepest levels of the IPC hierarchy : the IPC group and subgroups. To the best of our knowledge, this is the first comprehensive work specifically focused on patent classification at such deep levels for the French language.

## 2 Background

A patent is a well-structured document that typically includes several sections, such as a title, abstract, background, brief summary of the invention, detailed description, one or more claims, drawings, and classification information. The International Patent Classification (IPC) is a widely used system for uniformly classifying the content of patents, with over 100 countries currently employing it. The IPC scheme, which was established by the World Intellectual Property Organization (WIPO)<fnref n="2" /> in 1971, is hierarchical and serves as the preferred classification system for French patent classification. The IPC system consists of eight general categories of patents, represented by the section level of IPC. These categories are hierarchical and represent the broadest possible areas of technology, providing a starting point for patent classification. Table 1 illustrates the eight most general categories of patents.

<table><caption>TABLE 1 – The eight IPC section categories.</caption><thead><tr><td>Section</td><td>Title</td></tr></thead><tbody><tr><td>A</td><td>HUMAN NECESSITIES</td></tr><tr><td>B</td><td>PERFORMING OPERATIONS; TRANSPORTING</td></tr><tr><td>C</td><td>CHEMISTRY; METALLURGY</td></tr><tr><td>D</td><td>TEXTILES; PAPER</td></tr><tr><td>E</td><td>FIXED CONSTRUCTIONS</td></tr><tr><td>F</td><td>MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING</td></tr><tr><td>G</td><td>PHYSICS</td></tr><tr><td>H</td><td>ELECTRICITY</td></tr></tbody></table>

In practice, patent offices assign classification codes to patent applications to accurately describe the subject matter of the invention. They typically assign the most specific level of the International Patent Classification (IPC) to classify the documents in their database. By assigning a specific subgroup level of IPC, broader groups and higher levels of the IPC hierarchy that encompass it can be determined, as the IPC hierarchy is organized in a tree-like structure. This avoids any double classification of "parent" and "child" classes in the IPC hierarchy.

In this work, we focus on exploring the effectiveness of classification methods on groups and subgroups separately.

<footnote n="2">2. https://www.wipo.int</footnote>
# 3 Related Work

Prior research on automated patent classification systems has typically relied on traditional algorithms and feature extraction methods (Verberne & D'hondt, 2011; Yun & Geum, 2020; Wu et al., 2010; Cai & Hofmann, 2007; Qiu et al., 2011). However, designing hand-crafted features can be time-consuming and lead to efficiency problems, making them difficult to apply to large patent collections.

More recently, researchers have turned to deep learning techniques to leverage large-scale training data and generalize well to unseen data. For example, (Grawe et al., 2017) used LSTM on 50 IPC subgroups, while DeepPatent (Li et al., 2018) employed a CNN with skip-gram word embeddings. (Risch & Krestel, 2019) trained fastText word embeddings on full-text patents and then used GRU models on top of these embeddings. Pre-trained language models, such as ULMFiT (Hepburn, 2018) and BERT (Lee & Hsiang, 2019), have also been fine-tuned for this specific task. Comparing the performance of different pre-trained models for multi-label patent classification, XLNet (Yang et al., 2020) was found to outperform other models (Roudsari et al., 2021). Moreover, (Zhang et al., 2022) reduced the uncertainty of classification results through the fusion of multiple patent views. Ensemble techniques have also been explored in patent classification. For instance, (Kamateri et al., 2022) found that an ensemble of classifiers with separate inputs for title-abstract, claims, and description achieved the best performance.

Some researchers have explored mapping patent texts to International Patent Classification (IPC) codes using KNN classification and hybrid methods that combine neural feature encoders with KNN (Cai et al., 2010; Bekamiri et al., 2021, 2022). Another approach is to use a Wide and Deep (WnD) network (Cheng et al., 2016) to combine string-level similarity and semantic embeddings of patent text (Niu & Cai, 2019).

The previous research on patent classification has primarily focused on flat classification, where the classification problem is considered at one specific shallow level of the hierarchy, such as the class or subclass level of the IPC. Only a few studies have addressed the more detailed classification of patent data at the group and subgroup levels. For instance, (Chen & Chang, 2012) proposes a three-phase categorization algorithm using SVM classifiers, (Risch et al., 2020) formulates the hierarchical classification problem as a sequence generation task, and (Zuo et al., 2022) formulates the patent classification problem at deeper levels as an extreme multi-label text classification (XMTC) task.

Despite these efforts, many of these works still rely on feature extraction and model architecture improvements, which only partially address the challenges of accurate patent classification. In contrast, our work focuses on enhancing the quality of the training set and its input format for automatic patent classification, leveraging the same dataset proposed in (Zuo et al., 2022), to improve model performance specifically at the most detailed levels of the IPC hierarchy.

# 4 Methodology

The task can be framed as follows: given a patent document $x$, it is assigned with one or more IPC codes $l \in \mathcal{L} = \{l_1, l_2, \dots, l_L\}$, where $L$ represents the total number of predefined IPC codes at a specific level. Our training set $\mathcal{D} = \{(x_i, y_i) | x_i \in \mathcal{X}, y_i \in \{0, 1\}^L, i = 1, 2, \dots, N\}$ comprises instances $x_i$ and their corresponding labels $y_i$, with the objective of learning a scoring function $f$. This function maps an input $x_i$ and a label $l$ to a score $f(x_i, l) \in \mathbb{R}$ and is optimized to maximize
the score when $y_{i,l} = 1$ (i.e., the label $l$ is relevant to the instance $x_i$) and minimize the score when $y_{i,l} = 0$ (i.e., the label $l$ is irrelevant to the instance $x_i$).

## 4.1 Baseline Model

We selected LightXML (Jiang et al., 2021) as our baseline model because it has shown the best performance on INPI-CLS according to (Zuo et al., 2022). LightXML is a transformer-based model specifically designed for multi-label text classification in English. It employs multiple pre-trained language models, such as BERT (Devlin et al., 2018), Roberta (Liu et al., 2019), and XLNet (Yang et al., 2020), and concatenates the representations of the special token [CLS] in the last five hidden states to create a text representation. To handle negative sampling during training, LightXML utilizes a label-recalling network to dynamically sample negative samples during training, followed by a label-ranking network to separate positive from negative labels. We obtained the codes we used from the online extreme classification repository (Bhatia et al., 2016)<fnref n="3" />.

Since our corpus is in French, we also used three BERT-like language models specifically designed for French (Martin et al., 2020) or multilingual contexts (Pires et al., 2019; Conneau et al., 2019). The final result of LightXML is the ensemble of the three classifiers. In Table 2, we provide a preliminary comparison of the selected pre-trained models.

<table><caption>TABLE 2 – Overview of pre-trained models we use for LightXML for the classification of French patents.</caption><thead><tr><th>Checkpoint</th><th>camembert-base<br>(Martin et al., 2020)</th><th>bert-base-multilingual-cased<br>(Pires et al., 2019)</th><th>xlm-roberta-base<br>(Conneau et al., 2019)</th></tr></thead><tbody><tr><td>Pre-training Dataset</td><td>OSCAR(Suárez et al., 2019)</td><td>Wikipedia</td><td>cleaned CommonCrawl</td></tr><tr><td>Pre-training Tasks</td><td>MLM</td><td>MLM + NSP</td><td>MLM</td></tr><tr><td># Languages</td><td>1</td><td>104</td><td>100</td></tr><tr><td># Parameters</td><td>110M</td><td>110M</td><td>125M</td></tr><tr><td>Tokenization</td><td>SentencePiece</td><td>WordPiece</td><td>SentencePiece</td></tr></tbody></table>

The methods presented in the remainder of this paper aim to enhance the performance of the baseline approach. We conduct a comprehensive ablation study to offer additional insights for future research on the patent classification problem.

## 4.2 Weighted Sum Ensemble

An ensemble is a collection of models designed to improve the performance of individual base models by combining their predictions. In this study, we employed the weighted sum ensemble method, which assigns a weight to each base model based on its performance on a validation set. We evaluated the performance of each base model using the precision@k(k = 1) score, which measures the proportion of correct predictions among the top-ranked k categories suggested by the model. This method assumes that some models in the ensemble are more effective than others.

To build our ensemble, we first trained multiple base models using different architectures or training strategies. Next, we evaluated the performance of each model using a separate validation set and

<footnote n="3">3. http://manikvarma.org/downloads/XC/XMLRepository.html</footnote>
selected the top-performing ones. Finally, we combined the predictions of the selected models by taking a weighted sum of their output probabilities, where the weight of each model is proportional to its precision@1 score.

## 4.3 Information Extraction

Due to the maximum input length restrictions of BERT-like models (512 tokens), we explored different approaches to extract the most critical information from patent content.

**TextRank** (Mihalcea & Tarau, 2004). TextRank is a graph-based ranking model that identifies the most relevant sentences and keywords in text. We considered using TextRank because we observed that using a patent description as input yielded good results. However, the lengthy description text posed a challenge since only the first few hundred words could be entered. To address this issue, we used TextRank <fnref n="4" /> to extract the most critical sentences from the patent description as input.

**SAO (Subject-Action-Object) Extraction.** The SAO structure is a widely used approach in patent analysis for representing technology concepts in a subject-action-object format (Choi et al., 2010; Radauer & Walter, 2010). This structure can be extracted through grammatical processing of patent text and enables a more systematic understanding of the central functional properties of the patent application. For example, consider the sentence, "The super-capacitor electrode further comprising a silane coupling agent." In this sentence, the subject is "super-capacitor electrode," the action is "comprise," and the object is "silane coupling agent." By analyzing many SAO structures in a patent's text, we can extract the underlying functional relationships, identify key features of the invention, and reformulate it as input for classifier models.

To make use of the extracted SAO structures, we typically reformulate them as simple sentences for easier interpretation. For example, the SAO triplet extracted from the above sentence can be reformulated as "The super-capacitors comprise a silane coupling agent." This method <fnref n="5" /> has been applied to the claims section of a patent, which is in a strict syntactic format and hence more amenable to rule-based extraction. The extracted SAO structures can then be used as input for our classifier models to improve their performance.

## 4.4 Vocabulary Enlargement

Another limitation of using pre-trained language models for patent classification is the presence of a large number of scientific and technological terminologies that are seldom encountered in the pre-training corpus, leading to suboptimal model performance. To address this challenge, we propose incorporating external vocabularies from other models. Specifically, we leverage features from sparse classifiers, such as logistic regression with TF-IDF, to extract its 100 most important terms and add them to the vocabulary of the neural encoder. Examples of lemmatized terms can be found in Appendix A.

<footnote n="4">4. https://summanlp.github.io/textrank/</footnote>

<footnote n="5">5. Codes used for SAO extraction: https://github.com/ZoeYou/SAO-extraction</footnote>
## 4.5 Sampling Strategies

**Dynamic Negative Sampling.** LightXML(Jiang et al., 2021) offers a dynamic negative sampling approach that incorporates generative cooperation networks to recall and rank labels from recalled label clusters and dynamically sample negative labels during label ranking. However, for datasets with a small label space, the paper suggests that there is no need to build label clusters and the label recall and re-ranking module degenerates to a linear layer. It can be challenging to determine the appropriate size of the label space to decide whether to set aside the recall and ranking modules. In our study, we compare the classification performance of LightXML with and without the recall and ranking modules at the group and subgroup levels of the IPC.

**Oversampling.** Class imbalance is a common problem in patent classification datasets that can lead to biased models and poor performance on underrepresented classes. Oversampling is a technique that can address class imbalance by increasing the number of samples in the minority class, thereby providing a better representation of rare concepts. Different oversampling techniques are available for patent classification, such as weighted oversampling and SMOTE (Chawla et al., 2002). In our study, we use the weighted oversampling strategy, where the weight of each label is represented by its inverse frequency in the dataset. We leave the exploration of other oversampling methods for future studies.

## 4.6 Data Augmentation

The scarcity of training data is a significant challenge for accurate French patent classification. To overcome this obstacle, we explore the possibility of leveraging annotated data from external sources. Although multilingual patent datasets, such as MAREC/IREC (Piroi, 2021) and (Roda et al., 2009; Piroi, 2010; Piroi et al., 2011), have been previously proposed, we opted not to use them because their publication dates significantly differ from our test set. Instead, we obtained a more recent dataset of annotated patent texts published between 2010 and 2019 from the European Patent Office (EPO). This dataset closely resembles our target test set in terms of label distribution and format.

We present a comprehensive analysis of the label distribution across IPC sections in various datasets in Appendix B. Table 3 provides a summary of the statistics of the EPO data<fnref n="6" /> that we used.

<table><caption>TABLE 3 – Statistics of EPO in English and French.</caption><thead><tr><td>Language</td><td># Title</td><td># Abstract</td><td># Claims</td><td># Description</td></tr></thead><tbody><tr><td>French</td><td>1,087,313</td><td>352,410</td><td>507,998</td><td>29,539</td></tr><tr><td>English</td><td>1,082,679</td><td>591,045</td><td>1,099,062</td><td>981,128</td></tr></tbody></table>

**Introduction of EPO French Data.** We incorporated French patent data published by the EPO from 2010-2019 into our training set to address the issue of limited training data for French patent classification. Our test set remained the same throughout our work.

**Translation of EPO English Data.** Introducing French data from the EPO alone did not yield satisfactory performance in deeper levels of IPC classification. To overcome this challenge, we fine-tuned a T5 model (Raffel et al., 2020) using various strategies to translate EPO English patents into French, which augmented the French training data. We utilized the parallel European patent dataset

<footnote n="6">6. EPO data extracted from EP full-text data for text analytics</footnote>
EuroPat (Heafield et al., 2022) to train our models. Further details of the fine-tuning experiments can be found in Appendix C.

# 5 Experiments and Results

## 5.1 Dataset Description

In this study, we employ the French Patent corpus INPI-CLS (Zuo et al., 2022) as the dataset for our patent classification task. This corpus consists of patents extracted from the internal database of the French National Institute of Industrial Property (INPI)<fnref n="7" /> and covers patent texts from 2002 to 2021, including the title, abstract, claims, and description. Each patent in the corpus has been labeled with IPC codes at all levels, from the most general sections to the more specific subgroup labels. In this study, we specifically focus on the group and subgroup levels of IPC, which have been identified as more challenging in previous research. We conducted a time-based split of the corpus to create separate training and test sets. The training set includes patents published between 2002 and 2019, while the test set is composed of patents published between 2020 and 2021.

<table><caption>TABLE 4 – Basic Statistics of INPI-CLS dataset used for our experiments. *L* indicates the label count, *L̄* stands for the average number of IPC labels per patent document, and *L̂* represents the average number of patent documents per label. The subscripts 6 and 8 indicate the IPC code's length in characters for the IPC's group and subgroup levels, respectively.</caption><thead><tr><th>Dataset</th><th>N</th><th>L<sub>6</sub></th><th>L&#773;<sub>6</sub></th><th>L&#770;<sub>6</sub></th><th>L<sub>8</sub></th><th>L&#773;<sub>8</sub></th><th>L&#770;<sub>8</sub></th></tr></thead><tbody><tr><td>Train</td><td>268,254</td><td>6,788</td><td>2.21</td><td>39.52</td><td>48,932</td><td>2.73</td><td>5.48</td></tr><tr><td>Test</td><td>28,017</td><td>4,351</td><td>2.20</td><td>6.44</td><td>19,593</td><td>2.64</td><td>1.43</td></tr></tbody></table>

## 5.2 Experimental Setup

We evaluate the performances of models with the rank-based metrics *Precision@K* and *Recall@K* (*k* = 1, 3, 5). *Precision@K* and *Recall@K* are calculated for each test patent and then averaged over all the patent documents. Theoretically, each patent document is assigned firstly a primary IPC code, followed by an unlimited number of secondary IPC codes. However, during our evaluation, we did not take into account the order in which the predicted IPC codes are assigned. This aspect is left for future work.

To improve the training efficiency, we fix the maximum input length of each encoder to 128. For other configurations of LightXML, we fix *learning_rate* = 1e-4 with warm-up, *batch_size* = 16, and *number_epoch* = 3.

## 5.3 Results and Discussion

We evaluated the performance of the LightXML model with baseline configurations at the IPC group and subgroup level, and present the results in Table 5 and Table 6, respectively. Our experiments

<footnote n="7">7. https://data.inpi.fr/recherche_avancee/brevets</footnote>
show that the choice of dataset has a significant impact on the performance of the LightXML model for patent classification. In particular, we found that the title+abstract dataset achieved the best performance in terms of *Precision@k* and *Recall@k* values for IPC group classification, while the description dataset yielded the highest performance for IPC subgroup classification.

Moreover, our results indicate that the LightXML algorithm performs better at the IPC group level than at the IPC subgroup level. This is because the latter level requires more detailed information about the invention, and the subgroup classes are often imbalanced, making it more challenging to achieve high performance. However, we believe that our approach can be further improved by addressing these issues, such as by incorporating more relevant information or using more advanced modeling techniques.

<table><caption>TABLE 5 – Baseline performance at IPC group level.</caption><thead><tr><th>Dataset</th><th>P@1</th><th>P@3</th><th>P@5</th><th>R@1</th><th>R@3</th><th>R@5</th></tr></thead><tbody><tr><td>title+abstract</td><td>61.08</td><td>37.24</td><td>26.84</td><td>27.67</td><td>50.61</td><td>60.80</td></tr><tr><td>claims</td><td>58.60</td><td>35.61</td><td>25.83</td><td>26.54</td><td>48.39</td><td>58.50</td></tr><tr><td>description</td><td>58.99</td><td>36.30</td><td>26.26</td><td>26.72</td><td>49.33</td><td>59.48</td></tr></tbody></table>

<table><caption>TABLE 6 – Baseline performance at IPC subgroup level.</caption><thead><tr><th>Dataset</th><th>P@1</th><th>P@3</th><th>P@5</th><th>R@1</th><th>R@3</th><th>R@5</th></tr></thead><tbody><tr><td>title+abstract</td><td>12.59</td><td>8.80</td><td>7.12</td><td>4.76</td><td>9.99</td><td>13.47</td></tr><tr><td>claims</td><td>15.34</td><td>10.65</td><td>8.50</td><td>5.80</td><td>12.09</td><td>16.07</td></tr><tr><td>description</td><td>18.52</td><td>12.54</td><td>9.87</td><td>7.01</td><td>14.23</td><td>18.67</td></tr></tbody></table>

Furthermore, in our experiments comparing the performance of classifiers based on different encoders (as shown in Figure 2), we consistently found that *mbert* outperformed other encoders. These results suggest that *mbert* is highly effective in capturing the nuances of the French language in patent documents. One possible reason for its superior performance is that it is trained on a large and diverse corpus, which includes the Wikipedia corpus that contains a vast range of technical terms and topics relevant to patent texts.

<figure><img src="image_83.png" /><figcaption>FIGURE 2 – P@1 of classifiers based on different encoders (models trained on IPC group level).</figcaption></figure>
Our experiments comparing different strategies for French patent classification are summarized in Tables 7 and 8. Notably, our results indicate that the weighted sum ensemble approach was not always effective in improving classifier performance, particularly for the subgroup level when the ensemble includes a basic classifier with poor performance. We also observed that methods for extracting the most essential information from patent texts, such as TextRank and SAO extraction, led to a significant decrease in classification performance, particularly for the claims dataset. One possible reason for this is that these methods may have removed important details and nuances from the patent texts that are necessary for accurate classification. In addition, TextRank may have selected sentences from different subsections of the patent description that serve different functions, resulting in a loss of coherence among sentences.

Furthermore, we discovered that enlarging the vocabulary did not enhance the baseline performance. One possible reason for this could be that the additional vocabulary was not well-tuned during the pre-training process, and fine-tuning only the last five feature layers did not provide accurate semantic meaning for the added vocabulary.

Our experimental results for dynamic negative sampling indicate that this technique, proposed in the original LightXML paper, had varying effects on the classifiers' performance at different levels of the IPC hierarchy. Specifically, while this technique led to a decrease in performance for classifiers trained at the IPC group level, it resulted in significant performance improvements for classifiers trained at the subgroup level. These results suggest that in the context of multi-label classification, where long-tail distribution is a significant challenge, clustering techniques and effective negative sampling methods can greatly enhance classification performance.

Moreover, our experiments also showed that the oversampling technique, which involved duplicating minority samples to address class imbalance, did not always improve performance. This suggests that weighted oversampling of long-tail labels may not be an effective approach for addressing label imbalance in French patent classification.

To improve our classification performance, we also investigated the use of supplementary training data, including French data sourced from the EPO, as well as English data translated to French using neural machine translation. We focused on incorporating claims data from the EPO dataset, as it is typically longer and more complete than other sections of patents such as abstracts and descriptions. Our experiments show that the introduction of additional French data from the EPO led to a significant improvement in performance, as demonstrated in Table 8. Furthermore, our models were able to benefit from the increased volume and variety of training examples when augmenting the EPO French data with EPO English data, even when part of the latter dataset was translated from English.

<table><caption>TABLE 7 – Overall Precision@1 of proposed methods on IPC group level.</caption><thead><tr><th>Methods</th><th>title+abstract</th><th>claims</th><th>description</th></tr></thead><tbody><tr><td>Baseline</td><td>61.08</td><td>58.60</td><td>58.99</td></tr><tr><td>Ensemble</td><td></td><td>63.97</td><td></td></tr><tr><td>TextRank</td><td></td><td>47.11</td><td>56.35</td></tr><tr><td>SAO Extraction</td><td></td><td>47.57</td><td></td></tr><tr><td>Vocabulary Enlargement</td><td>60.98</td><td>58.52</td><td>58.08</td></tr><tr><td>Dynamic Negative Sampling</td><td>54.16</td><td>48.90</td><td>52.38</td></tr><tr><td>Oversampling</td><td>56.86</td><td>53.62</td><td>55.47</td></tr></tbody></table>
<table><caption>TABLE 8 – Overall Precision@1 of proposed methods on IPC subgroup level.</caption><thead><tr><th>Methods</th><th>title+abstract</th><th>claims</th><th>description</th></tr></thead><tbody><tr><td>Baseline</td><td>12.59</td><td>15.34</td><td>18.52</td></tr><tr><td>Ensemble</td><td></td><td>17.40</td><td></td></tr><tr><td>Dynamic Negative Sampling</td><td>28.93</td><td>26.91</td><td>28.18</td></tr><tr><td>++data EPO_fr</td><td></td><td>32.43</td><td></td></tr><tr><td>++data EPO_fr &amp; EPO_en by NMT</td><td></td><td>34.06</td><td></td></tr></tbody></table>

## 6 Conclusion

In this paper, we proposed and compared various data-centric approaches for French patent classification. Through extensive experiments, we demonstrated that an ensemble strategy can significantly improve patent classification at shallower levels, such as the IPC group level. However, for deeper levels of classification, such as the IPC subgroup level, where data scarcity and long-tail label distribution are common problems, we recommend using data augmentation techniques, clustering, and negative sampling during the training process to improve model performance.

Our research makes a valuable contribution to the development of automated patent classification systems in the French language, and we hope that our findings will inspire further research in this area. In summary, our work highlights the potential of data-centric strategies to overcome the challenges associated with patent classification and lays the groundwork for future studies in this field.

## Acknowledgements

This work was funded and conducted within the framework of a cooperation agreement between the French National Industrial Property Office (INPI) and the French National Institute for Research in Computer Science and Automation (INRIA) for the development of a patent classification model. We would like to express our gratitude to the CLEPS infrastructure at Inria Paris for providing resources and support. The last author's contribution was also supported by his chair in the PRAIRIE institute funded by the French national agency ANR as part of the "Investissements d'avenir" programme under the reference ANR-19-P3IA-0001.
References

BEKAMIRI H., HAIN D. S. & JUROWETZKI R. (2021). Hybrid model for patent classification using augmented SBERT and KNN. *CoRR*, abs/2103.11933.

BEKAMIRI H., HAIN D. S. & JUROWETZKI R. (2022). A survey on sentence embedding models performance for patent analysis. *arXiv preprint arXiv:2206.02690*.

BHATIA K., DAHIYA K., JAIN H., KAR P., MITTAL A., PRABHU Y. & VARMA M. (2016). The extreme classification repository: Multi-label datasets and code.

CAI L. & HOFMANN T. (2007). Exploiting known taxonomies in learning overlapping concepts. In *IJCAI*, volume 7, p. 708–713.

CAI Y. L., JI D. & CAI D. (2010). A knn research paper classification method based on shared nearest neighbor. In *NTCIR*.

CHAWLA N. V., BOWYER K. W., HALL L. O. & KEGELMEYER W. P. (2002). Smote: synthetic minority over-sampling technique. *Journal of artificial intelligence research*, **16**, 321–357.

CHEN Y.-L. & CHANG Y.-C. (2012). A three-phase method for patent classification. *Information Processing & Management*, **48**(6), 1017–1030.

CHENG H.-T., KOC L., HARMSEN J., SHAKED T., CHANDRA T., ARADHYE H., ANDERSON G., CORRADO G., CHAI W., ISPIR M. *et al*. (2016). Wide & deep learning for recommender systems. In *Proceedings of the 1st workshop on deep learning for recommender systems*, p. 7–10.

CHOI S., LIM J., YOON J. & KIM K. (2010). Patent function network analysis: A function based approach for analyzing patent information. In *19th International conference for the international association of management of technology, Cairo, Egypt, March*, p. 8–11.

CONNEAU A., KHANDELWAL K., GOYAL N., CHAUDHARY V., WENZEK G., GUZMÁN F., GRAVE E., OTT M., ZETTLEMOYER L. & STOYANOV V. (2019). Unsupervised cross-lingual representation learning at scale. *arXiv preprint arXiv:1911.02116*.

DEVLIN J., CHANG M.-W., LEE K. & TOUTANOVA K. (2018). Bert: Pre-training of deep bidirectional transformers for language understanding. *arXiv preprint arXiv:1810.04805*.

GRAWE M. F., MARTINS C. A. & BONFANTE A. G. (2017). Automated patent classification using word embedding. In *2017 16th IEEE International Conference on Machine Learning and Applications (ICMLA)*, p. 408–411 : IEEE.

HEAFIELD K., FARROW E., VAN DER LINDE J., RAMÍREZ-SÁNCHEZ G. & WIGGINS D. (2022). The europat corpus: A parallel corpus of european patent data. In *Proceedings of the Thirteenth Language Resources and Evaluation Conference*, p. 732–740.

HEPBURN J. (2018). Universal language model fine-tuning for patent classification. In *Proceedings of the Australasian Language Technology Association Workshop 2018*, p. 93–96, Dunedin, New Zealand.

JEHL L. & RIEZLER S. (2018). Document-level information as side constraints for improved neural patent translation. In *Proceedings of the 13th Conference of the Association for Machine Translation in the Americas (Volume 1: Research Track)*, p. 1–12.

JIANG T., WANG D., SUN L., YANG H., ZHAO Z. & ZHUANG F. (2021). Lightxml: Transformer with dynamic negative sampling for high-performance extreme multi-label text classification. In *Proceedings of the AAAI Conference on Artificial Intelligence*, volume 35, p. 7987–7994.