GHOSAL D., MAJUMDER N., PORIA S., CHHAYA N. & GELBUKH A. (2019). DialogueGCN : A graph convolutional neural network for emotion recognition in conversation. In *Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP)*, p. 154–164, Hong Kong, China : Association for Computational Linguistics. DOI: 10.18653/v1/D19-1015.

GUIBON G., LABEAU M., FLAMEIN H., LEFEUVRE L. & CLAVEL C. (2021). Few-shot emotion recognition in conversation with sequential prototypical networks. In *Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing*, Punta Cana, Dominican Republic.

GUIBON G., LABEAU M., LEFEUVRE L. & CLAVEL C. (2023). An adaptive layer to leverage both domain and task specific information from scarce data. *Proceedings of the AAAI Conference on Artificial Intelligence*, **37**(6), 7757–7765. DOI: 10.1609/aaai.v37i6.25940.

HAYALE W., NEGI P. S. & MAHOOR M. H. (2023). Deep siamese neural networks for facial expression recognition in the wild. *IEEE Transactions on Affective Computing*, **14**(2), 1148–1158. DOI: 10.1109/TAFFC.2021.3077248.

HOCHREITER S. & SCHMIDHUBER J. (1997). Long Short-Term Memory. *Neural Computation*, **9**(8), 1735–1780. DOI: 10.1162/neco.1997.9.8.1735.

HOSPEDALES T., ANTONIOU A., MICAELLI P. & STORKEY A. (2022). Meta-learning in neural networks : A survey. *IEEE Transactions on Pattern Analysis and Machine Intelligence*, **44**(9), 5149–5169.

HU G., LIN T.-E., ZHAO Y., LU G., WU Y. & LI Y. (2022). UniMSE : Towards unified multimodal sentiment analysis and emotion recognition. In *Proceedings of the 2022 Conference on Empirical Methods in Natural Language Processing*, p. 7837–7851, Abu Dhabi, United Arab Emirates : Association for Computational Linguistics. DOI: 10.18653/v1/2022.emnlp-main.534.

ISHIWATARI T., YASUDA Y., MIYAZAKI T. & GOTO J. (2020). Relation-aware graph attention networks with relational position encodings for emotion recognition in conversations. In *Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP)*, p. 7360–7370, Online : Association for Computational Linguistics. DOI: 10.18653/v1/2020.emnlp-main.597.

JIN M., ZHENG Y., LI Y.-F., GONG C., ZHOU C. & PAN S. (2021). Multi-scale contrastive siamese networks for self-supervised graph representation learning. In Z.-H. ZHOU, Éd., *Proceedings of the Thirtieth International Joint Conference on Artificial Intelligence, IJCAI-21*, p. 1477–1483 : International Joint Conferences on Artificial Intelligence Organization. Main Track, DOI: 10.24963/ijcai.2021/204.

JORDAN M. I. (1986). Serial order : a parallel distributed processing approach. technical report, june 1985-march 1986.

KHOSLA P., TETERWAK P., WANG C., SARNA A., TIAN Y., ISOLA P., MASCHINOT A., LIU C. & KRISHNAN D. (2020). Supervised contrastive learning. *Advances in neural information processing systems*, **33**, 18661–18673.

KOCH G., ZEMEL R. & SALAKHUTDINOV R. (2015). Siamese neural networks for one-shot image recognition.

LEE B. & CHOI Y. S. (2021). Graph based network with contextualized representations of turns in dialogue. In *Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing*, p. 443–455, Online and Punta Cana, Dominican Republic : Association for Computational Linguistics. DOI: 10.18653/v1/2021.emnlp-main.36.

LI J., LIN Z., FU P. & WANG W. (2021). Past, present, and future : Conversational emotion recognition through structural modeling of psychological knowledge. In *Findings of the Association*
*for Computational Linguistics: EMNLP 2021*, p. 1204–1214, Punta Cana, Dominican Republic : Association for Computational Linguistics. DOI: 10.18653/v1/2021.findings-emnlp.104.

LI Y., SU H., SHEN X., LI W., CAO Z. & NIU S. (2017). DailyDialog : A manually labelled multi-turn dialogue dataset. In *Proceedings of the Eighth International Joint Conference on Natural Language Processing (Volume 1: Long Papers)*, p. 986–995, Taipei, Taiwan : Asian Federation of Natural Language Processing.

LI Z., TANG F., ZHAO M. & ZHU Y. (2022). EmoCaps : Emotion capsule based model for conversational emotion recognition. In *Findings of the Association for Computational Linguistics : ACL 2022*, p. 1610–1618, Dublin, Ireland : Association for Computational Linguistics. DOI : 10.18653/v1/2022.findings-acl.126.

LIANG C., XU J., LIN Y., YANG C. & WANG Y. (2022). S+PAGE : A speaker and position-aware graph neural network model for emotion recognition in conversation. In *Proceedings of the 2nd Conference of the Asia-Pacific Chapter of the Association for Computational Linguistics and the 12th International Joint Conference on Natural Language Processing (Volume 1: Long Papers)*, p. 148–157, Online only : Association for Computational Linguistics.

LIU Y., OTT M., GOYAL N., DU J., JOSHI M., CHEN D., LEVY O., LEWIS M., ZETTLEMOYER L. & STOYANOV V. (2019). Roberta : A robustly optimized bert pretraining approach.

LORRAINE J., VICOL P. & DUVENAUD D. (2020). Optimizing millions of hyperparameters by implicit differentiation. In S. CHIAPPA & R. CALANDRA, Éds., *Proceedings of the Twenty Third International Conference on Artificial Intelligence and Statistics*, volume 108 of *Proceedings of Machine Learning Research*, p. 1540–1552 : PMLR.

MAJUMDER N., PORIA S., HAZARIKA D., MIHALCEA R., GELBUKH A. & CAMBRIA E. (2019). Dialoguernn : An attentive rnn for emotion detection in conversations. *Proceedings of the AAAI Conference on Artificial Intelligence*, **33**(01), 6818–6825. DOI: 10.1609/aaai.v33i01.33016818.

MATTHEWS B. W. (1975). Comparison of the predicted and observed secondary structure of t4 phage lysozyme. *Biochimica et biophysica acta*, **405 2**, 442–51.

MISHRA N., ROHANINEJAD M., CHEN X. & ABBEEL P. (2017). A simple neural attentive meta-learner. In *International Conference on Learning Representations*.

ONG D., SU J., CHEN B., LUU A. T., NARENDRANATH A., LI Y., SUN S., LIN Y. & WANG H. (2022). Is discourse role important for emotion recognition in conversation? *Proceedings of the AAAI Conference on Artificial Intelligence*, **36**(10), 11121–11129. DOI: 10.1609/aaai.v36i10.21361.

PEARSON K. (1895). Vii. note on regression and inheritance in the case of two parents. *proceedings of the royal society of London*, **58**(347-352), 240–242.

PENEDO G., MALARTIC Q., HESSLOW D., COJOCARU R., CAPPELLI A., ALOBEIDLI H., PANNIER B., ALMAZROUEI E. & LAUNAY J. (2023). The refinedweb dataset for falcon llm : Outperforming curated corpora with web data, and web data only.

PEREIRA P., MONIZ H., DIAS I. & CARVALHO J. P. (2023). Context-dependent embedding utterance representations for emotion recognition in conversations. In *Proceedings of the 13th Workshop on Computational Approaches to Subjectivity, Sentiment, & Social Media Analysis*, p. 228–236, Toronto, Canada : Association for Computational Linguistics. DOI: 10.18653/v1/2023.wassa-1.21.

PLUTCHIK R. (2001). The Nature of Emotions. *American Scientist*, **89**(4), 344. DOI : 10.1511/2001.4.344.

PORIA S., CAMBRIA E., HAZARIKA D., MAJUMDER N., ZADEH A. & MORENCY L.-P. (2017). Context-dependent sentiment analysis in user-generated videos. In *Proceedings of the 55th Annual
*Meeting of the Association for Computational Linguistics (Volume 1: Long Papers)*, p. 873–883, Vancouver, Canada : Association for Computational Linguistics. DOI: 10.18653/v1/P17-1081.

PORIA S., HAZARIKA D., MAJUMDER N., NAIK G., CAMBRIA E. & MIHALCEA R. (2019).
MELD: A multimodal multi-party dataset for emotion recognition in conversations. In *Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics*, p. 527–536, Florence, Italy : Association for Computational Linguistics. DOI: 10.18653/v1/P19-1050.

RAVI S. & LAROCHELLE H. (2016). Optimization as a model for few-shot learning. In *International Conference on Learning Representations*.

REN F. & XUE S. (2020). Intention detection based on siamese neural network with triplet loss. *IEEE Access*, **8**, 82242–82254. DOI: 10.1109/ACCESS.2020.2991484.

RUMELHART D. E., HINTON G. E. & WILLIAMS R. J. (1985). *Learning internal representations by error propagation*. Rapport interne, California Univ San Diego La Jolla Inst for Cognitive Science.

SCHROFF F., KALENICHENKO D. & PHILBIN J. (2015). Facenet: A unified embedding for face recognition and clustering. In *2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)*, p. 815–823. DOI: 10.1109/CVPR.2015.7298682.

SCHULTZ M. & JOACHIMS T. (2003). Learning a distance metric from relative comparisons. In S. THRUN, L. SAUL & B. SCHÖLKOPF, Éds., *Advances in Neural Information Processing Systems*, volume 16 : MIT Press.

SHEN W., WU S., YANG Y. & QUAN X. (2021). Directed acyclic graph network for conversational emotion recognition. In *Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers)*, p. 1551–1560, Online : Association for Computational Linguistics. DOI: 10.18653/v1/2021.acl-long.123.

SNELL J., SWERSKY K. & ZEMEL R. (2017). Prototypical networks for few-shot learning. In *Proceedings of the 31st International Conference on Neural Information Processing Systems*, NIPS’17, p. 4080–4090, Red Hook, NY, USA : Curran Associates Inc.

SONG K., TAN X., QIN T., LU J. & LIU T.-Y. (2020). Mpnet: Masked and permuted pre-training for language understanding. In H. LAROCHELLE, M. RANZATO, R. HADSELL, M. BALCAN & H. LIN, Éds., *Advances in Neural Information Processing Systems*, volume 33, p. 16857–16867 : Curran Associates, Inc.

SONG X., HUANG L., XUE H. & HU S. (2022). Supervised prototypical contrastive learning for emotion recognition in conversation. In *Proceedings of the 2022 Conference on Empirical Methods in Natural Language Processing*, p. 5197–5206, Abu Dhabi, United Arab Emirates : Association for Computational Linguistics. DOI: 10.18653/v1/2022.emnlp-main.347.

SRIVASTAVA A. et al. (2022). Beyond the imitation game: Quantifying and extrapolating the capabilities of language models. *arXiv preprint arXiv:2206.04615*.

SUNG F., YANG Y., ZHANG L., XIANG T., TORR P. H. & HOSPEDALES T. M. (2018). Learning to compare: Relation network for few-shot learning. In *2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition*, p. 1199–1208. DOI: 10.1109/CVPR.2018.00131.

TOUVRON H., MARTIN L., STONE K., ALBERT P., ALMAHAIRI A., BABAEI Y., BASHLYKOV N., BATRA S., BHARGAVA P., BHOSALE S., BIKEL D., BLECHER L., FERRER C. C., CHEN M., CUCURULL G., ESIOBU D., FERNANDES J., FU J., FU W., FULLER B., GAO C., GOSWAMI V., GOYAL N., HARTSHORN A., HOSSEINI S., HOU R., INAN H., KARDAS M., KERKEZ V., KHABSA M., KLOUMANN I., KORENEV A., KOURA P. S., LACHAUX M.-A., LAVRIL T., LEE J., LISKOVICH D., LU Y., MAO Y., MARTINET X., MIHAYLOV T., MISHRA P., MOLYBOG I., NIE
Y., POULTON A., REIZENSTEIN J., RUNGTA R., SALADI K., SCHEL TEN A., SILVA R., SMITH E. M., SUBRAMANIAN R., TAN X. E., TANG B., TAYLOR R., WILLIAMS A., KUAN J. X., XU P., YAN Z., ZAROV I., ZHANG Y., FAN A., KAMBADUR M., NARANG S., RODRIGUEZ A., STOJNIC R., EDUNOV S. & SCIALOM T. (2023). Llama 2: Open foundation and fine-tuned chat models.

TU G., WEN J., LIU C., JIANG D. & CAMBRIA E. (2022). Context- and sentiment-aware networks for emotion recognition in conversation. *IEEE Transactions on Artificial Intelligence, 3*(5), 699-708. DOI: 10.1109/TAI.2022.3149234.

VASWANI A., SHAZEER N., PARMAR N., USZKOREIT J., JONES L., GOMEZ A. N., KAISER L. & POLOSUKHIN I. (2017). Attention is all you need.

VINYALS O., BLUNDELL C., LILLICRAP T., KAVUKCUOGLU K. & WIERSTRA D. (2016). Matching networks for one shot learning. In *Proceedings of the 30th International Conference on Neural Information Processing Systems*, NIPS’16, p. 3637–3645, Red Hook, NY, USA : Curran Associates Inc.

WANG W., WEI F., DONG L., BAO H., YANG N. & ZHOU M. (2020). Minilm : Deep self-attention distillation for task-agnostic compression of pre-trained transformers. In H. LAROCHELLE, M. RANZATO, R. HADSELL, M. BALCAN & H. LIN, Éds., *Advances in Neural Information Processing Systems*, volume 33, p. 5776–5788 : Curran Associates, Inc.

ZHANG D., CHEN F. & CHEN X. (2023). DualGATs : Dual graph attention networks for emotion recognition in conversations. In *Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers)*, p. 7395–7408, Toronto, Canada : Association for Computational Linguistics. DOI : 10.18653/v1/2023.acl-long.408.

ZHAO W., ZHAO Y. & LU X. (2022). Cauain : Causal aware interaction network for emotion recognition in conversations. In L. D. RAEDT, Éd., *Proceedings of the Thirty-First International Joint Conference on Artificial Intelligence, IJCAI-22*, p. 4524–4530 : International Joint Conferences on Artificial Intelligence Organization. Main Track, DOI : 10.24963/ijcai.2022/628.

ZHONG P., WANG D. & MIAO C. (2019). Knowledge-enriched transformer for emotion detection in textual conversations. In *Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP)*, p. 165–176, Hong Kong, China : Association for Computational Linguistics. DOI : 10.18653/v1/D19-1016.

ZHU L., PERGOLA G., GUI L., ZHOU D. & HE Y. (2021). Topic-driven and knowledge-aware transformer for dialogue emotion detection. In *Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers)*, p. 1571–1582, Online : Association for Computational Linguistics. DOI : 10.18653/v1/2021.acl-long.125.
# Une approche par graphe pour l'analyse syntaxique en dépendances de bout en bout de la parole

Adrien Pupier, Maximin Coavoux, Benjamin Lecouteux, Jérôme Goulian

Univ. Grenoble Alpes, CNRS, Grenoble INP, LIG, 38000 Grenoble, France

first.last@univ-grenoble-alpes.fr

## RÉSUMÉ

Effectuer l'analyse syntaxique du signal audio –plutôt que de passer par des transcriptions de l'audio– est une tache récemment proposée par Pupier et al. (2022), dans le but d'incorporer de l'information prosodique dans le modèle d'analyse syntaxique et de passer outre les limitations d'une approche cascade qui consisterait à utiliser un système de reconnaissance de la parole (RAP) puis un analyseur syntaxique. Dans cet article, nous effectuons un ensemble d'expériences visant à comparer les performances de deux familles d'analyseurs syntaxiques : (i) l'approche par graphe et (ii) la réduction à une tâche d'étiquetage de séquence ; directement sur la parole. Nous évaluons notre approche sur un corpus arboré du français parlé. Nous montrons que (i) l'approche par graphe obtient de meilleurs résultats globalement et (ii) qu'effectuer l'analyse syntaxique directement depuis la parole obtient de meilleurs résultats qu'une approche par cascade de systèmes, malgré 30% de paramètres en moins.

## ABSTRACT

### A graph-based parser for end-to-end dependency parsing of speech

Direct dependency parsing of the speech signal –as opposed to parsing speech transcriptions– has recently been proposed as a task (Pupier et al., 2022), as a way of incorporating prosodic information into the parsing system and bypassing the limitations of a pipeline approach that would consist of using first an Automatic Speech Recognition (ASR) system and then a syntactic parser. In this article, we report on a set of experiments aiming at assessing the performance of two parsing paradigms (graph-based parsing and sequence labeling based parsing) on speech parsing. We perform this evaluation on a large treebank of spoken French, featuring realistic spontaneous conversations. Our findings show that (i) the graph based approach obtain better results across the board, (ii) parsing directly from speech outperforms a pipeline approach, despite having 30% fewer parameters.

**MOTS-CLÉS** : Analyse syntaxique, parole, modèle pré-entraîné, bout-en-bout.

**KEYWORDS**: Syntactic parsing, Speech, Pre-trained model, end-to-end.

## 1 Introduction

L'analyse syntaxique est une tâche centrale en traitement automatique des langues (TAL). Au sein de la communauté du TAL, celle-ci a été plutôt effectuée sur des données textuelles, ou plus rarement sur des transcriptions de la parole. Pourtant, la parole est la principale forme de communication entre humains, et constitue le type de données linguistiques le plus naturel, ce qui motive le développement de systèmes de TAL pour la parole, à la fois pour des objectifs applicatifs (par exemple : le sous-titrage

<figure><img src="image_86.png" /></figure>
automatique) que pour des objectifs de recherche (par exemple : construire des corpus de grande taille annotés en syntaxe). La majorité des travaux existant sur l'analyse syntaxique de transcriptions de la parole se concentrent sur l'anglais et sur la détection et la suppression de disfluences (Charniak & Johnson, 2001; Johnson & Charniak, 2004; Rasooli & Tetreault, 2013; Honnibal & Johnson, 2014; Jamshid Lou et al., 2019). Autrement dit, il s'agit de 'normaliser' les transcriptions de manière à pouvoir les utiliser en aval avec des systèmes de TAL entraînés sur du texte 'standard'. Utiliser uniquement des transcriptions en entrée est un choix naturel d'un point de vue du TAL : il est possible d'utiliser des analyseurs syntaxiques état de l'art sans modifications. Cependant, les transcriptions prédites peuvent être très bruitées, particulièrement dans le cas des conversations spontanées. De plus, les transcriptions sont des abstractions contenant beaucoup moins d'informations que le signal audio. La prosodie, ainsi que les pauses dans un énoncé, sont des indices importants pour l'analyse syntaxique (Price et al., 1991) qui sont complètement absentes des transcriptions. Ainsi, nous effectuons cette tâche en utilisant seulement le signal audio en entrée. En particulier nous proposons un nouvel algorithme d'analyse syntaxique en dépendances pour la parole utilisant l'approche par graphe (graph-based).

Avec la popularisation des méthodes auto-supervisées et les réseaux neuronaux profonds, les domaines de la parole et du texte utilisent désormais une méthodologie similaire (Chrupała, 2023) : affiner les paramètres d'un modèle auto-supervisé générique sur une tâche applicative particulière. Cette convergence méthodologique a suscité l'intérêt d'autres applications des modèles de l'audio pour aller au-delà de la 'simple' reconnaissance de la parole. Ainsi, aborder les tâches classiques du TAL directement depuis l'audio est un enjeu important pour concevoir des outils de TAL robustes au bruit présent dans la parole. De plus, de nombreuses langues n'ont pas de forme écrite, ce qui proscrit d'utiliser des outils classiques du TAL et motive le développement d'outils de documentation travaillant directement sur le signal audio.

En résumé, nos contributions sont les suivantes :

- Nous présentons un algorithme bout-en-bout d'analyse syntaxique basé sur les graphes ;

- Nous évaluons notre analyseur sur Orféo (Benzitoun et al., 2016), un corpus arboré du français parlé contenant essentiellement de la parole spontanée; nous comparons le parser à une approche cascade ainsi qu'à un analyseur basé sur une réduction du problème à l'étiquetage de séquence (Strzyz et al., 2019);

- Nous publions le code à l'adresse suivante : https://github.com/Pupiera/Growing_tree_on.

## 2 Analyseur syntaxique et modèle pré-entraîné

Nous définissons l'analyse syntaxique de la parole comme la tâche consistant à prédire un arbre de dépendance depuis un signal audio correspondant à un énoncé<fnref n="1" />. Les nœuds de l'arbre syntaxique étant constitués des tokens, nous réalisons la reconnaissance automatique de la parole de manière conjointe à l'analyse syntaxique.

Notre analyseur est composé de deux modules (figure 1a) : (i) un modèle acoustique qui prédit les transcriptions et la segmentation du signal en mots et (ii) un module d'analyse syntaxique qui utilise cette segmentation pour construire des représentations vectorielles de mots et prédit les arbres. Ces

<footnote n="1">1. Dans le reste de l'article, nous utiliserons le terme *phrase* pour garder la terminologie issue de la littérature en analyse syntaxique automatique, même si ce terme est sujet à débat lorsqu'il s'agit de langue parlée.</footnote>
<figure><img src="image_87.png" /><figcaption>(a) Les deux modèles basés sur des représentations de l’audio. La flèche bleue désigne la configuration **AUDIO**, et la flèche rouge **ORACLE** (cf section 4).</figcaption></figure>

<figure><img src="image_88.png" /><figcaption>(b) Les deux modèles de référence basés sur un modèle de langue pré-entraîné. La flèche bleue désigne la configuration **CASCADE**, et la flèche rouge **TEXTE**, (transcriptions manuelles de référence).</figcaption></figure>

FIGURE 1 – Vue générale de l’architecture avec les 4 configurations décrites dans la section 4.

deux modules sont entraînés de manière simultanée.

## Construire des vecteurs de mots directement à partir du signal de parole
Pour extraire des représentations depuis le signal de parole, nous utilisons un modèle wav2vec2 (Baevski et al., 2020) pré-entraîné sur 7000 heures de parole en français : LeBenchmark7K<fnref n="2" /> (Parcollet et al., 2024). Ce modèle wav2vec2 construit une suite de représentations vectorielles, chaque vecteur correspondant à un intervalle de 25ms dans le signal de parole. On appelle cette suite de vecteurs la trame du signal.

L’analyse syntaxique nécessitant des représentations vectorielles mot. Nous utilisons la méthodologie de Pupier et al. (2022) pour construire des représentations de mots à partir de ces représentations du signal. Nous utilisons l’algorithme de reconnaissance de la parole CTC (connectionist temporal classification, Graves et al., 2006), qui a la particularité d’étiqueter chaque vecteur de la trame avec soit une lettre soit un caractère de séparation ou un caractère spécial ‘vide’ qui permet d’obtenir plusieurs fois la même lettre à la suite. Il est ainsi possible, en identifiant le caractère spécial de séparation (espace) de segmenter la trame du signal audio en mots. Ensuite, la méthode consiste à combiner les vecteurs de trames correspondant à un seul mot à l’aide d’un LSTM, afin d’obtenir une représentation vectorielle de taille fixe pour chaque mot. Intuitivement, cette procédure peut être considérée comme l’analogue des bi-LSTM de caractères classiquement utilisés pour le texte, mais où l’on utiliserait la forme acoustique d’un mot au lieu de sa forme orthographique.

## Analyse syntaxique par graphe
Nous utilisons les représentations de mot audio –dont la construction est décrite ci-dessus– comme entrée de notre implémentation d’un analyseur syntaxique par

<footnote n="2">2. https://huggingface.co/LeBenchmark/wav2vec2-FR-7K-large</footnote>
<figure><img src="image_89.png" /><figcaption>FIGURE 2 – Illustration d'une phrase extraite d'Orféo étiquetée en dep2label ainsi que l'arbre syntaxique en dépendance correspondant.</figcaption></figure>

graphes classique (Dozat & Manning, 2016). Cet analyseur consiste à (i) calculer un score pour chaque arc possible à l'aide d'un classifieur biaffine puis (ii) trouver l'arbre de meilleur score (c'est-à-dire l'arbre maximisant les probabilités globales) en utilisant un algorithme d'arbre couvrant maximal.

**Analyse syntaxique par étiquetage de séquence**
Nous utilisons le même analyseur syntaxique par étiquetage de séquence que Pupier et al. (2022). Cet analyseur est basé sur l'approche dep2label (Gómez-Rodríguez et al., 2020; Strzyz et al., 2020). Cette méthode réduit le problème de l'analyse syntaxique à un simple problème d'étiquetage de séquence. Elle nécessite un algorithme réversible pour coder un arbre en dépendances dans une séquence d'étiquettes. Nous utilisons l'algorithme d'encodage par position relative en prenant en compte les parties du discours (appelé Relative POS-based par Strzyz et al., 2019). Le gouverneur de chaque mot est codé dans une étiquette de la forme ±Entier@POS. L'entier correspond à la distance relative du gouverneur en prenant uniquement compte les mots ayant la même partie de discours. Par exemple, -3@NOM signifie que le gouverneur du mot courant est le troisième nom avant le mot courant. Un exemple de cet étiquetage est présenté dans la figure 2. On note que cette méthode ne garantit pas que l'arbre prédit est un arbre en dépendances bien formé.

## 3 Jeu de données

Nous utilisons le corpus arboré CEFC-Orféo, un corpus du français annoté en dépendances et composé de plusieurs sous-corpus : CFPP (CLESTHIA, 2018), Clapi (ICAR, 2017) TCOF (ATILF, 2020), OFROM (Mathieu et al., 2012 2020), Fleuron (André, 2016), French Oral Narrative (FON Carruthers, 2013), C-ORAL-ROM (Cresti et al., 2004), Corpus de référence du français parlé (DELIC et al., 2004), Valibel (Francard et al., 2009), TUFS (Kawaguchi et al., 2006), Corpus de réunions de travail (Husianycia, 2011), et mis à disposition avec les enregistrements audios. Ce corpus contient des types
<table><caption>TABLE 1 – Évaluation sur le corpus de test d'Orféo avec les configurations décrites dans la section 4.</caption><thead><tr><th>Modèle</th><th>WER↓</th><th>CER↓</th><th>POS↑</th><th>UAS↑</th><th>LAS↑</th><th>Nombre de paramètres</th><th>Modèles préentraînés</th></tr></thead><tbody><tr><td>AUDIO SEQ2LABEL</td><td>35.9</td><td>22.3</td><td>73.0</td><td>65.7</td><td>60.4</td><td>315M + 34.9M</td><td>Wav2vec2</td></tr><tr><td>AUDIO GRAPHE</td><td><b>35.6</b></td><td><b>22.1</b></td><td><b>73.1</b></td><td><b>66.0</b></td><td><b>60.9</b></td><td>315M + 34.9M</td><td>Wav2vec2</td></tr><tr><td>ORACLE SEQ2LABEL</td><td>36.3</td><td>22.2</td><td>75.6</td><td>68.7</td><td>62.7</td><td>315M + 34.9M</td><td>Wav2vec2</td></tr><tr><td>ORACLE GRAPHE</td><td><b>35.6</b></td><td><b>22.2</b></td><td><b>77.4</b></td><td><b>73.3</b></td><td><b>67.5</b></td><td>315M + 34.9M</td><td>Wav2vec2</td></tr><tr><td>CASCADE SEQ2LABEL</td><td>35.6</td><td>22.0</td><td>70.8</td><td>63.8</td><td>58.4</td><td>314M + 110M + 39.2M</td><td>Wav2vec2 + CamemBERT</td></tr><tr><td>CASCADE GRAPHE</td><td>35.6</td><td>22.0</td><td>69.3</td><td>60.5</td><td>53.1</td><td>314M + 110M + 41.4M</td><td>Wav2vec2 + CamemBERT</td></tr><tr><td>CASCADE HOPS</td><td>35.6</td><td>22.0</td><td><b>72.4</b></td><td><b>65.8</b></td><td><b>61.0</b></td><td>314M + 110M + 100M</td><td>Wav2vec2 + CamemBERT</td></tr><tr><td>TEXTE SEQ2LABEL</td><td>–</td><td>–</td><td>96.9</td><td>88.8</td><td>85.7</td><td>110M + 39.2M</td><td>CamemBERT</td></tr><tr><td>TEXTE GRAPHE</td><td>–</td><td>–</td><td>95.1</td><td>87.4</td><td>84.0</td><td>110M + 41.4M</td><td>CamemBERT</td></tr><tr><td>TEXTE HOPS</td><td>–</td><td>–</td><td><b>98.2</b></td><td><b>90.3</b></td><td><b>87.7</b></td><td>110M + 100M</td><td>CamemBERT</td></tr></tbody></table>

<table><caption>TABLE 2 – Évaluation sur le corpus Valibel (un sous-corpus du jeu de test).</caption><thead><tr><th>Modèle</th><th>WER↓</th><th>CER↓</th><th>POS↑</th><th>UAS↑</th><th>LAS↑</th><th>Nombre de paramètres</th><th>Modèles préentraînés</th></tr></thead><tbody><tr><td>AUDIO SEQ2LABEL</td><td>31.0</td><td>18.4</td><td><b>77.1</b></td><td>70.2</td><td>65.2</td><td>315M + 34.9M</td><td>Wav2vec2</td></tr><tr><td>AUDIO GRAPHE</td><td><b>30.6</b></td><td><b>18.2</b></td><td>77.0</td><td><b>70.9</b></td><td><b>66.2</b></td><td>315M + 34.9M</td><td>Wav2vec2</td></tr><tr><td>ORACLE SEQ2LABEL</td><td><b>30.9</b></td><td><b>18.6</b></td><td>78.3</td><td>71.9</td><td>66.2</td><td>315M + 34.9M</td><td>Wav2vec2</td></tr><tr><td>ORACLE GRAPHE</td><td>31.4</td><td>19.2</td><td><b>79.8</b></td><td><b>76.0</b></td><td><b>70.4</b></td><td>315M + 34.9M</td><td>Wav2vec2</td></tr><tr><td>CASCADE SEQ2LABEL</td><td>30.5</td><td>18.2</td><td>74.7</td><td>67.7</td><td>62.4</td><td>314M + 110M + 39.2M</td><td>Wav2vec2 + CamemBERT</td></tr><tr><td>CASCADE GRAPHE</td><td>30.5</td><td>18.2</td><td>73.5</td><td>64.2</td><td>57.3</td><td>314M + 110M + 41.4M</td><td>Wav2vec2 + CamemBERT</td></tr><tr><td>CASCADE HOPS</td><td>30.5</td><td>18.2</td><td><b>76.3</b></td><td><b>69.4</b></td><td><b>64.6</b></td><td>314M + 110M + 100M</td><td>Wav2vec2 + CamemBERT</td></tr><tr><td>TEXTE SEQ2LABEL</td><td>–</td><td>–</td><td>94.5</td><td>86.7</td><td>83.1</td><td>110M + 39.2M</td><td>CamemBERT</td></tr><tr><td>TEXTE GRAPHE</td><td>–</td><td>–</td><td>96.8</td><td>88.3</td><td>84.5</td><td>110M + 41.4M</td><td>CamemBERT</td></tr><tr><td>TEXTE HOPS</td><td>–</td><td>–</td><td><b>98.2</b></td><td><b>90.3</b></td><td><b>87.1</b></td><td>110M + 100M</td><td>CamemBERT</td></tr></tbody></table>

d'interactions variés, ayant toutes des spécificités de la parole spontanée, à l'exception de French Oral Narrative qui contient de la parole lue. Les situations de paroles sont également variées (ex : interactions commerciales, discussions informelles entre amis). Il s'agit du corpus de parole français le plus volumineux annoté en dépendances (196h, 2.5M tokens). Le schéma d'annotation (Benzitoun et al., 2016) contient 20 parties du discours et 14 étiquettes de relations syntaxiques.

Les annotations syntaxiques d'Orféo ont été effectuées manuellement (données *gold* ou de référence) pour environ 5% du corpus, et automatiquement pour le reste (données *silver*). Les jeux d'entraînement/validation/test que nous utilisons dans cet article font en sorte que le jeu de validation ainsi que celui de test ne contiennent que des données annotées manuellement. Cependant, les sous-corpus avec les annotations de référence correspondent aussi à des enregistrements audios de qualité faible, ce qui rend la tâche difficile.

# 4 Expérimentations

**Configurations expérimentales** Nos expériences ont pour but de répondre aux questions suivantes :

- Est-ce qu'une approche bout-en-bout est préférable à une approche par cascade de systèmes ?

- Quel algorithme d'analyse (par graphe ou par étiquetage de séquence) est le plus approprié pour l'analyse syntaxique de la parole ?
<table><caption>TABLE 3 – Comparaison des métriques d'analyse syntaxique avec l'architecture basée sur les graphes et différents nombres de paramètres.</caption><thead><tr><th></th><th>WER↓</th><th>CER↓</th><th>POS↑</th><th>UAS↑</th><th>LAS↑</th><th>Nombre de paramètres</th></tr></thead><tbody><tr><td>Graph-tiny</td><td>35.7</td><td>22.3</td><td>73.0</td><td>65.9</td><td>60.8</td><td>314M + 11.7M</td></tr><tr><td>Graph-base</td><td>35.6</td><td>22.1</td><td>73.1</td><td>66.1</td><td>60.9</td><td>314M + 34.9M</td></tr><tr><td>Graph-large</td><td>35.6</td><td>22.0</td><td>73.2</td><td>66.0</td><td>60.7</td><td>314M + 67.6M</td></tr></tbody></table>

— Est-ce qu'une approche est plus ou moins robuste au bruit inhérent du signal de parole ? Est-ce que les frontières de mot prédites sont un facteur important pour les différents systèmes ? Est-ce que les deux approches sont aussi robustes aux erreurs du module de RAP ?

Pour répondre à ces questions, nous comparons les configurations expérimentales suivantes, également illustrées par la figure 1 :

— **AUDIO**: Utilise uniquement **l'audio** comme entrée, le modèle crée des représentations vectorielles de mot depuis les représentations acoustiques comme décrit dans la section 2.

— **ORACLE**: Utilise **l'audio** ainsi que les **horodatages des mots** disponibles dans le corpus<fnref n="3" />, ce qui rend la construction de vecteurs de mot plus facile et réduit l'impact de la qualité de la reconnaissance de la parole sur l'analyse syntaxique.

— **CASCADE**: Utilise seulement les **transcriptions prédites** par le modèle acoustique. Ensuite, un modèle de langue pré-entraîné calcule des vecteurs de mots contextualisés qui sont ensuite utilisés par le module d'analyse syntaxique. Dans cette configuration, nous modifions les arbres d'entraînement pour prendre en compte les suppressions ou insertions de mot. Cependant, comme pour l'approche basée sur l'audio, les insertions ou suppressions impactent le score global, car le score final est évalué sur les transcriptions manuelles et non sur une version modifiée. L'inconvénient de cette approche est que les informations prosodiques ne sont pas accessibles.

— **TEXTE**: Utilise les **transcriptions manuelles de référence**: cette configuration artificielle permet d'obtenir une borne supérieure pour les performances du modèle dans un cas idéal (RAP parfaite).

Les configurations **AUDIO** et **ORACLE** sont des modèles conjoints multitâches pour la RAP et l'analyse syntaxique. Comme les deux modules (RAP et analyse syntaxique) sont entraînés simultanément dans ces configurations, les résultats en RAP ne sont pas identiques d'une expérience à l'autre.

Les configurations **CASCADE** et **TEXTE** utilisent un modèle BERT du français : camembert-base<fnref n="4" /> (Martin et al., 2020) pour extraire des représentations vectorielles contextualisées. En plus de nos implémentations, nous utilisons également hops (Grobol & Crabbé, 2021), un analyseur syntaxique état-de-l'art. L'analyseur hops utilise également un bi-LSTM de caractères en plus de BERT pour produire des représentations vectorielles des mots, contrairement à nos implémentations qui sont conçues pour varier minimalement d'une configuration à l'autre.

Chaque méthode d'analyse pour chaque modalité est entraînée avec le même nombre d'époques, les même hyperparamètres (voir tables 4 et 5) et approximativement le même nombre de paramètres. Nos implémentations utilisent la bibliothèque speechbrain (Ravanelli et al., 2021). La liste complète

<footnote n="3">3. Le corpus contient des horodatages construits automatiquement via un alignement forcé, c'est-à-dire que l'on dispose pour chaque mot des instants correspondant à son début et à sa fin.</footnote>

<footnote n="4">4. https://huggingface.co/almanach/camembert-base</footnote>
<table><thead><tr><th>Analyseur</th><th>SEQ2LABEL</th><th>GRAPHE</th></tr></thead><tbody><tr><td>Époques</td><td>30</td><td>30</td></tr><tr><td>Taille de batch</td><td>8</td><td>8</td></tr></tbody></table>

<table><thead><tr><th colspan="3">Paramètres d'optimisation</th></tr></thead><tbody><tr><td>Pas d'apprentissage</td><td>0.0001</td><td>0.0001</td></tr><tr><td>Algorithme d'optimisation</td><td>AdaDelta</td><td>AdaDelta</td></tr><tr><td>Model préentrainé</td><td colspan="2">LeBenchmark7K</td></tr></tbody></table>

<table><thead><tr><th colspan="3">Encodeur</th></tr></thead><tbody><tr><td>Nombre de couches</td><td>3</td><td>3</td></tr><tr><td><i>Dropout</i></td><td>0.15</td><td>0.15</td></tr><tr><td>Dimension de l'encodeur</td><td>1024</td><td>1024</td></tr><tr><td>Fonction d'activation</td><td>LeakyReLU</td><td>LeakyRelu</td></tr></tbody></table>

<table><thead><tr><th colspan="3">Fusion LSTM</th></tr></thead><tbody><tr><td>Nombre de couches</td><td>2</td><td>2</td></tr><tr><td>Dimension</td><td>500</td><td>500</td></tr><tr><td>Bidirectionnel</td><td>non</td><td>non</td></tr><tr><td>Biais</td><td>oui</td><td>oui</td></tr></tbody></table>

<table><thead><tr><th colspan="3">LSTM parser</th></tr></thead><tbody><tr><td>Nombre de couches</td><td>2</td><td>3</td></tr><tr><td>Dimensions</td><td>800</td><td>768</td></tr><tr><td>Bidirectionnel</td><td>oui</td><td>oui</td></tr></tbody></table>

<table><thead><tr><th colspan="2">Étiqueteur (SEQ2LABEL)</th></tr></thead><tbody><tr><td>Dimension</td><td>1600</td></tr><tr><td>Nombre de couches</td><td>1</td></tr><tr><td>Nombre d'étiquettes dep2label</td><td>846</td></tr><tr><td>Nombre d'étiquettes POS</td><td>23</td></tr><tr><td>Nombre d'étiquettes syntaxiques</td><td>19</td></tr></tbody></table>

<table><thead><tr><th colspan="2">MLP pour les arcs (GRAPHE)</th></tr></thead><tbody><tr><td>Dimension</td><td>768</td></tr><tr><td>Nombre de couches</td><td>1</td></tr><tr><td>Taille de la couche de sortie</td><td>768</td></tr></tbody></table>

<table><thead><tr><th colspan="2">MLP pour les étiquettes syntaxiques (GRAPHE)</th></tr></thead><tbody><tr><td>Dimension</td><td>768</td></tr><tr><td>Nombre de couches</td><td>1</td></tr><tr><td>Taille de la couche de sortie</td><td>768</td></tr></tbody></table>

<table><thead><tr><th colspan="2">MLP pour les POS (GRAPHE)</th></tr></thead><tbody><tr><td>Dimension</td><td>768</td></tr><tr><td>Taille de la couche de sortie</td><td>24</td></tr></tbody></table>

<table><thead><tr><th>Analyseur</th><th>SEQ2LABEL</th><th>GRAPHE</th><th>HOPS</th></tr></thead><tbody><tr><td>Époques</td><td>40</td><td>40</td><td>40</td></tr><tr><td>Taille de batch</td><td>32</td><td>32</td><td>32</td></tr></tbody></table>

<table><thead><tr><th colspan="3">Paramètres d'optimisation</th></tr></thead><tbody><tr><td>Pas d'apprentissage</td><td>0.001</td><td>0.001</td></tr><tr><td>Algorithme d'optimisation</td><td>Adam</td><td>Adam</td></tr><tr><td>Modèle préentrainé</td><td colspan="2">camembert_base</td></tr><tr><td>Plongements lexicaux</td><td> dernière couche</td><td> dernière couche</td></tr><tr><td>Taille des plongements</td><td>768</td><td>768</td></tr></tbody></table>

<table><thead><tr><th colspan="3">Bi-LSTM de caractères HOPS</th></tr></thead><tbody><tr><td>Taille des plongements</td><td colspan="2">128</td></tr><tr><td colspan="3">Plongements lexicaux HOPS</td></tr><tr><td>Taille des plongements</td><td colspan="2">256</td></tr><tr><td colspan="3">LSTM parser</td></tr><tr><td>Dimension</td><td>768</td><td>768</td></tr><tr><td>Nombre de couches</td><td>3</td><td>2</td></tr><tr><td>Bidirectionnel</td><td>oui</td><td>oui</td></tr></tbody></table>

<table><thead><tr><th colspan="3">Étiqueteur (SEQ2LABEL)</th></tr></thead><tbody><tr><td>Dimension</td><td>1536</td><td></td></tr><tr><td>Nombre de couches</td><td>1</td><td></td></tr><tr><td>Nombre d'étiquettes dep2label</td><td>846</td><td></td></tr><tr><td>Nombre d'étiquettes POS</td><td>23</td><td></td></tr><tr><td>Nombre d'étiquettes syntaxiques</td><td>19</td><td></td></tr></tbody></table>

<table><thead><tr><th colspan="3">MLP pour les arcs (GRAPHE and HOPS)</th></tr></thead><tbody><tr><td>Dimension</td><td>768</td><td>1024</td></tr><tr><td>Nombre de couches</td><td>1</td><td>2</td></tr><tr><td>Taille de la couche de sortie</td><td>768</td><td>768</td></tr></tbody></table>

<table><thead><tr><th colspan="3">MLP pour les étiquettes syntaxiques (GRAPHE)</th></tr></thead><tbody><tr><td>Dimension</td><td>768</td><td>1024</td></tr><tr><td>Nombre de couches</td><td>1</td><td>2</td></tr><tr><td>Taille de la couche de sortie</td><td>768</td><td>768</td></tr></tbody></table>

<table><caption>TABLE 5 – Hyperparamètres pour les configurations CASCADE et TEXTE SEQ2LABEL, GRAPHE et CASCADE.</caption><thead><tr><th colspan="3">POS MLP (GRAPHE)</th></tr></thead><tbody><tr><td>Dimension</td><td>768</td><td>1024</td></tr><tr><td>Taille de la couche de sortie</td><td>24</td><td>24</td></tr></tbody></table>

<caption>TABLE 4 – Hyperparamètres pour les configurations AUDIO et ORACLE SEQ2LABEL et GRAPHE.</caption>

des hyperparamètres que nous utilisons est présentée dans les tableaux 4 et 5.

**Métriques d'évaluation** Nous utilisons les métriques d'évaluation classiques : taux d'erreur mot (WER) et taux d'erreur caractère (CER) pour la RAP, exactitude des parties de discours (POS), Score d'attachement non étiqueté (UAS), et Score d'attachement étiqueté (LAS) pour l'analyse en dépendances.

Les résultats sont présentés dans le tableau 1 pour tout le corpus, et dans le tableau 2 pour un sous-corpus du jeu de test (Valibel) pour lequel la RAP est moins difficile.

**Résultats : effet de la reconnaissance de la parole sur la qualité de l'analyse syntaxique** Dans le tableau 1, nous observons que les approches par graphe ou seq2label donnent des résultats similaires quand aucune information additionnelle n'est fournie, ce qui montre que le facteur limitant du modèle est la reconnaissance de la parole plutôt que l'analyse syntaxique.

Il est important de noter qu'étant donnée la nature du corpus (conversation spontanée), le WER est plus haut que ce que l'on pourrait typiquement attendre en reconnaissance de la parole sur des corpus classiques de cette tâche (qui contiennent plutôt de la parole lue). Par exemple, le module RAP de notre modèle atteint environ 8 WER quand il est entraîné et évalué sur CommonVoice5.1 (Ardila et al.,
2020). D'autres indices de cela sont montrés dans le tableau 3 : changer le nombre de paramètres du modèle basé sur les graphes ne modifie pas significativement les performances. De plus, dans le tableau 2, nous observons une claire amélioration des résultats quand on évalue sur un corpus avec des meilleures performances au niveau de la RAP. La qualité du module de RAP affecte directement le nombre de mots reconnus (certains peuvent être supprimés ou ajoutés), ce qui affecte la qualité de l'analyse.

## Résultats : différence entre étiquetage de séquence et approche par graphe
Il est relativement surprenant que sur la modalité textuelle (CASCADE), l'approche par étiquetage obtient de meilleures performances que l'approche par graphe étant donné que ce n'est pas le cas sur d'autres modalités (AUDIO). Ainsi, l'approche GRAPHE semble être plus sensible au bruit provenant de l'approche par CASCADE que l'approche SEQ2LABEL. Cependant, elle ne parvient pas à surpasser un modèle graphe plus large et plus complexe utilisant un bi-LSTM de caractères comme hops. Ce bi-LSTM de caractères réduit probablement l'impact des mots hors vocabulaire produits à cause des erreurs orthographiques de la RAP.

Sur les configurations AUDIO et ORACLE, le modèle basé sur les graphes obtient de meilleures performances, mais l'écart entre la configuration AUDIO et ORACLE est plus important que pour le modèle SEQ2LABEL. En effet, cet écart sur le LAS est de 7 points pour le modèle GRAPHE alors qu'il est de seulement 2 points pour SEQ2LABEL. Cela suggère que le modèle GRAPHE est plus efficace pour extraire des informations syntaxique directement depuis le signal, mais qu'il est plus sensible au bruit présent dans le signal de parole. On peut également faire l'hypothèse que le décodage global du système GRAPHE est plus adapté pour extraire les arbres syntaxiques. Le plus grand écart entre les deux approches a lieu quand plus d'informations à propos de la segmentation du signal audio sont données au modèle (ORACLE), réduisant l'influence de la RAP sur la qualité de l'analyse. On peut supposer que l'approche GRAPHE est plus adaptée pour l'analyse syntaxique directement depuis le signal de parole, particulièrement quand le WER baisse.

## Transcrire puis analyser ou analyser directement ?
L'approche CASCADE avec hops atteint des performances similaires à la version AUDIO avec notre analyseur par graphe. Cependant, le modèle cascade utilisant hops est un modèle plus complexe et n'est pas complètement comparable à notre analyseur. De plus, il possède environ 50% de paramètres en plus que notre modèle, nécessite 2 modèles pré-entraînés; il est donc plus coûteux à entraîner.

Finalement, le tableau 2 montre que l'approche AUDIO surpasse l'approche CASCADE quand la qualité de la RAP augmente. Ce résultat suggère que l'analyse syntaxique profite de l'audio dès lors que la RAP atteint une qualité raisonnable.

## Limitations
Nous évaluons seulement nos analyseurs sur le français, grâce à la disponibilité d'un grand corpus arboré, ainsi nos conclusions doivent être interprétées dans ce cadre restreint. Nous comptons étendre ce travail à d'autres langues dans le futur.

Nous n'avons pas effectué une recherche poussée d'hyperparamètres, à cause du coût computationnel, mais nous avons dédié approximativement le même budget computationnel pour chaque modèle dans une configuration donnée.
# 5 Conclusion

Nous avons présenté un analyseur syntaxique par graphe prenant uniquement le signal audio en tant qu'entrée et avons évalué ses performances dans des expériences variées et avec plusieurs expériences contrôles. Nous montrons qu'un simple analyseur syntaxique basé sur les graphes avec wav2vec2 obtient des résultats similaires ou surpasse des modèles plus complexe nécessitant deux modèles pré-entraînés. Avec l'expérience de contrôle (ORACLE), nous montrons qu'obtenir des représentations vectorielles de mot de bonne qualité est le défi principal pour l'analyse syntaxique de la parole. Nous supposons également que l'approche par GRAPHE est plus adapté pour l'analyse syntaxique directement depuis le signal de parole qu'une approche par étiquetage de séquence. Nous concentrerons nos efforts futurs sur l'amélioration de la qualité de la segmentation du signal audio pour pallier ces problèmes.

# Remerciements

Nous remercions les relecteures anonymes pour leur remarques et suggestions. Ce travail a bénéficié d'un financement du Fond National Suisse (No. 197864) et de l'Agence Nationale de la Recherche, via les projet PROPICTO (ANR-20-CE93-0005) et SynPaX (ANR-23-CE23-0017). Ce travail a également bénéficié d'un accès aux moyens de calcul de l'IDRIS via l'allocation de ressources AD011013463R1 attribuée par GENCI.

# Références

ANDRÉ V. (2016). Fleuron : Français langue Étrangère universitaire-ressources et outils numériques.

ARDILA R., BRANSON M., DAVIS K., KOHLER M., MEYER J., HENRETTY M., MORAIS R., SAUNDERS L., TYERS F. & WEBER G. (2020). Common voice : A massively-multilingual speech corpus. In *Proceedings of the Twelfth Language Resources and Evaluation Conference*, p. 4218–4222, Marseille, France : European Language Resources Association.

ATILF (2020). Tcof : Traitement de corpus oraux en français. ORTOLANG (Open Resources and TOols for LANGuage) –www.ortolang.fr.

BAEVSKI A., ZHOU Y., MOHAMED A. & AULI M. (2020). wav2vec 2.0 : A framework for self-supervised learning of speech representations. *Advances in Neural Information Processing Systems*, **33**, 12449–12460.

BENZITOUN C., DEBAISIEUX J.-M. & DEULOFEU H.-J. (2016). Le projet orféo : un corpus d'étude pour le français contemporain. *Corpus*, (15).

CARRUTHERS J. (2013). French oral narrative corpus. Commissioning Body / Publisher : Oxford Text Archive.

CHARNIAK E. & JOHNSON M. (2001). Edit detection and parsing for transcribed speech. In *Second Meeting of the North American Chapter of the Association for Computational Linguistics*.

CHRUPAŁA G. (2023). Putting natural in natural language processing. In A. ROGERS, J. BOYD-GRABER & N. OKAZAKI, Éds., *Findings of the Association for Computational Linguistics : ACL 2023*, p. 7820–7827, Toronto, Canada : Association for Computational Linguistics. DOI : 10.18653/v1/2023.findings-acl.495.
CLESTHIA (2018). Cfpp2000. ORTOLANG (Open Resources and TOols for LANGuage) -www.ortolang.fr.

CRESTI E., DO NASCIMENTO F. B., SANDOVAL A. M., VERONIS J., MARTIN P. & CHOUKRI K. (2004). The c-oral-rom corpus. a multilingual resource of spontaneous speech for romance languages. p. 26–28.

DELIC E., TESTON-BONNARD S. & VÉRONIS J. (2004). Présentation du corpus de référence du français parlé. *Recherches sur le français parlé, 18*, 11–42. Equipe DELIC, HAL : halshs-01388193.

DOZAT T. & MANNING C. D. (2016). Deep biaffine attention for neural dependency parsing. In *International Conference on Learning Representations*.

FRANCARD M., HAMBYE P., SIMON A.-C. & DISTER A. (2009). Du corpus à la banque de données. : Du son, des textes et des métadonnées. l'évolution de banque de données textuelles orales valibel (1989-2009). *Cahiers de l'Institut de linguistique de Louvain-CILL, 33*(2), 113.

GÓMEZ-RODRÍGUEZ C., STRZYZ M. & VILARES D. (2020). A unifying theory of transition-based and sequence labeling parsing. In D. SCOTT, N. BEL & C. ZONG, Éds., *Proceedings of the 28th International Conference on Computational Linguistics*, p. 3776–3793, Barcelona, Spain (Online) : International Committee on Computational Linguistics. DOI: 10.18653/v1/2020.coling-main.336.

GRAVES A., FERNÁNDEZ S., GOMEZ F. & SCHMIDHUBER J. (2006). Connectionist temporal classification : Labelling unsegmented sequence data with recurrent neural networks. In *Proceedings of the 23rd International Conference on Machine Learning*, ICML ’06, p. 369–376, New York, NY, USA : Association for Computing Machinery. DOI : 10.1145/1143844.1143891.

GROBOL L. & CRABBÉ B. (2021). Analyse en dépendances du français avec des plongements contextualisés (French dependency parsing with contextualized embeddings). In P. DENIS, N. GRABAR, A. FRAISSE, R. CARDON, B. JACQUEMIN, E. KERGOSIEN & A. BALVET, Éds., *Actes de la 28e Conférence sur le Traitement Automatique des Langues Naturelles. Volume 1 : conférence principale*, p. 106–114, Lille, France : ATALA.

HONNIBAL M. & JOHNSON M. (2014). Joint incremental disfluency detection and dependency parsing. *Transactions of the Association for Computational Linguistics, 2*, 131–142. DOI : 10.1162/tacl_a_00171.

HUSIANYCIA M. (2011). *Caractérisation de types de discours dans des situations de travail*. Theses, Université Nancy 2. HAL : tel-01749085.

ICAR (2017). Clapi. ORTOLANG (Open Resources and TOols for LANGuage) -www.ortolang.fr.

JAMSHID LOU P., WANG Y. & JOHNSON M. (2019). Neural constituency parsing of speech transcripts. In *Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics : Human Language Technologies, Volume 1 (Long and Short Papers)*, p. 2756–2765, Minneapolis, Minnesota : Association for Computational Linguistics. DOI : 10.18653/v1/N19-1282.

JOHNSON M. & CHARNIAK E. (2004). A TAG-based noisy-channel model of speech repairs. In *Proceedings of the 42nd Annual Meeting of the Association for Computational Linguistics (ACL-04)*, p. 33–39, Barcelona, Spain. DOI : 10.3115/1218955.1218960.

KAWAGUCHI Y., ZAIMA S. & TAKAGAKI T., Éds. (2006). *Spoken Language Corpus and Linguistic Informatics*. John Benjamins.

MARTIN L., MULLER B., ORTIZ SUÁREZ P. J., DUPONT Y., ROMARY L., DE LA CLERGERIE É., SEDDAH D. & SAGOT B. (2020). CamemBERT : a tasty French language model. In D. JURAFSKY, J. CHAI, N. SCHLUTER & J. TETREAULT, Éds., *Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics*, p. 7203–7219, Online : Association for Computational Linguistics. DOI : 10.18653/v1/2020.acl-main.645.
MATHIEU A., MARIE-JOSÉ B., GILLES C., FEDERICA D. & ANNE J. L. ((2012-2020)). Corpus ofrem - corpus oral de français de suisse romande. Université de Neuchâtel.

PARCOLLET T., NGUYEN H., EVAIN S., ZANON BOITO M., PUPIER A., MDHAFFAR S., LE H., ALISAMIR S., TOMASHENKO N., DINARELLI M., ZHANG S., ALLAUZEN A., COAVOUX M., ESTÈVE Y., ROUVIER M., GOULIAN J., LECOUTEUX B., PORTET F., ROSSATO S., RINGEVAL F., SCHWAB D. & BESACIER L. (2024). LeBenchmark 2.0 : A standardized, replicable and enhanced framework for self-supervised representations of french speech. *Computer Speech Language*, **86**, 101622. DOI: https://doi.org/10.1016/j.csl.2024.101622.

PRICE P. J., OSTENDORF M., SHATTUCK-HUFNAGEL S. & FONG C. (1991). The use of prosody in syntactic disambiguation. *the Journal of the Acoustical Society of America*, **90**(6), 2956-2970.

PUPIER A., COAVOUX M., LECOUTEUX B. & GOULIAN J. (2022). End-to-End Dependency Parsing of Spoken French. In *Proc. Interspeech 2022*, p. 1816–1820. DOI: 10.21437/Interspeech.2022-381.

RASOOLI M. S. & TETREAULT J. (2013). Joint parsing and disfluency detection in linear time. In *Proceedings of the 2013 Conference on Empirical Methods in Natural Language Processing*, p. 124–129, Seattle, Washington, USA : Association for Computational Linguistics.

RAVANELLI M., PARCOLLET T., PLANTINGA P., ROUHE A., CORNELL S., LUGOSCH L., SUBAKAN C., DAWALATABAD N., HEBA A., ZHONG J., CHOU J.-C., YEH S.-L., FU S.-W., LIAO C.-F., RASTORGUEVA E., GRONDIN F., ARIS W., NA H., GAO Y., MORI R. D. & BENGIO Y. (2021). SpeechBrain : A general-purpose speech toolkit. arXiv:2106.04624.

STRZYZ M., VILARES D. & GÓMEZ-RODRÍGUEZ C. (2019). Viable dependency parsing as sequence labeling. In J. BURSTEIN, C. DORAN & T. SOLORIO, Éds., *Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics : Human Language Technologies, Volume 1 (Long and Short Papers)*, p. 717–723, Minneapolis, Minnesota : Association for Computational Linguistics. DOI: 10.18653/v1/N19-1077.

STRZYZ M., VILARES D. & GÓMEZ-RODRÍGUEZ C. (2020). Bracketing encodings for 2-planar dependency parsing. In D. SCOTT, N. BEL & C. ZONG, Éds., *Proceedings of the 28th International Conference on Computational Linguistics*, p. 2472–2484, Barcelona, Spain (Online) : International Committee on Computational Linguistics. DOI: 10.18653/v1/2020.coling-main.223.
# Vers la traduction automatique des néologismes scientifiques

Paul Lerner François Yvon

Sorbonne Université, CNRS, ISIR, 75005, Paris, France

lerner@isir.upmc.fr, yvon@isir.upmc.fr

## RÉSUMÉ

La recherche scientifique découvre et invente continuellement de nouveaux concepts qui sont alors désignés par de nouveaux termes, des néologismes, ou néonymes dans ce contexte. Puisque les publications se font très majoritairement en anglais, diffuser ces nouvelles connaissances en français demande souvent de traduire ces termes, afin d'éviter de multiplier les anglicismes qui sont moins facilement compréhensibles pour le grand public. Nous proposons d'explorer cette tâche à partir de deux thésaurus en exploitant la définition du terme afin de le traduire plus fidèlement. Pour ce faire, nous explorons les capacités de deux grands modèles de langue multilingues, BLOOM et CroissantLLM, qui parviennent à traduire des néologismes scientifiques dans une certaine mesure. Nous montrons notamment qu'ils utilisent souvent des procédés morphosyntaxiques appropriés mais sont limités par la segmentation en unités sous-lexicales et biaisés par la fréquence d'occurrences des termes ainsi que par des similarités de surface entre l'anglais et le français.

## ABSTRACT

### Towards Machine Translation of Scientific Neologisms

Scientific research continually discovers and invents new concepts, which are then referred to by new terms, neologisms, or neonyms in this context. As the vast majority of publications are written in English, disseminating this new knowledge in French often requires translating these terms, to avoid multiplying anglicisms that are less easily understood by the general public. We propose to explore this task using two thesauri, exploiting the definition of the term to translate it more accurately. To this end, we explore the capabilities of two large multilingual models, BLOOM and CroissantLLM, which can translate scientific terms to some extent. In particular, we show that they often use appropriate morphological procedures, but are limited by the segmentation into sub-lexical units. They are also biased by the frequency of term occurrences and surface similarities between English and French.

**MOTS-CLÉS** : néologisme, terminologie, morphologie, traduction automatique.

**KEYWORDS:** neologism, terminology, morphology, machine translation.

## 1 Introduction

De nouveaux concepts sont continuellement découverts et inventés par des chercheurs du monde entier, ce qui mène à une prolifération de néologismes. Cabré (1999) parle alors de néonymes, par opposition aux néologismes du langage courant (Cartier et al., 2018). L'immense majorité des publications scientifiques se font en anglais (Gordin, 2015; Larivière & Riddles, 2021)<fnref n="1" />, ce qui pose

<figure><img src="image_90.png" /></figure>

<footnote n="1">1. Il subsiste une part importante de publications en français en sciences humaines et sociales.</footnote>
<figure><img src="image_91.png" /><figcaption>FIGURE 1 – Aperçu des procédés néologiques étudiés dans ce travail. D’après Daille (2017).</figcaption></figure>

problème en particulier dans une optique de diffusion des connaissances dans la société<fnref n="2" />. Les termes scientifiques sont produits et construits en anglais, ce qui amène à multiplier les anglicismes pour communiquer et diffuser les savoirs vers des publics non-spécialistes. Par exemple, un enseignant de Traitement Automatique des Langues (TAL) pourrait préférer « le grand modèle de langue GPT-3 apprend une nouvelle tâche grâce au contexte sans ajuster ses paramètres » à « le large language model GPT-3 learn une nouvelle task grâce au in-context learning sans fine-tuner ses paramètres » afin de rendre son cours plus intelligible. Pour citer Liu et al. (2021) : « la définition précise de la terminologie est la première étape de la communication scientifique. » <fnref n="3" />

Notre principale question de recherche est : comment traduire automatiquement un néologisme scientifique ? Par définition, il n'existe pas de données parallèles où trouver des exemples de traduction. Nous proposons donc d'exploiter la définition des termes afin de les traduire plus fidèlement. Nous étudions alors comment exploiter cette définition et sa complémentarité au terme source. Enfin, puisque les termes peuvent être formés par divers procédés non-exclusifs (par ex. la préfixation, suffixation, composition néoclassique, ordinaire ou syntagmatique), qui peuvent différer de la langue source à la langue cible, nous analysons : (i) l'impact de cette différence sur la qualité des traductions ; (ii) les procédés utilisés lors de la génération.

À notre connaissance, le seul travail à envisager une approche similaire est (Zhang et al., 2020), qui est limité au domaine très spécifique de la génétique, où un terme décrit la fonction du gène et est lié à plusieurs gènes selon sa fonction moléculaire, son processus biologique et sa composante cellulaire. Dans notre étude, nous expérimentons avec des thésaurus qui fournissent directement la définition du terme, en laissant l'extraction automatique des définitions à partir des publications (Jin et al., 2013; Head et al., 2021; August et al., 2022; Huang et al., 2022) pour des travaux futurs. Une telle extraction serait d'autant plus nécessaire que certains termes ne sont utilisés que dans l'article les définissant ou les quelques articles s'y référant. Ce nouveau problème se rapproche de l'extraction de termes multilingues (Laroche & Langlais, 2010; Delpech et al., 2012; Rigouts Terryn et al., 2020), à l'importante exception près que nous ne supposons pas que le terme cible apparaisse, même une seule fois, dans un corpus comparable. En effet, nous verrons qu'une part importante des termes étudiés n'apparaissent pas une seule fois, même dans le gigantesque corpus OSCAR (Abadji et al., 2022).

Nous explorons ce nouveau problème en testant les capacités de deux grands modèles de langues (Large Language Model; LLM) multilingues, BLOOM (BigScience & et al., 2023) et CroissantLLM (Faysse et al., 2024). Nous montrons que ces modèles sont capables, dans une certaine mesure, de traduire des termes isolés de l'anglais vers le français, mais surtout, de générer un terme à partir

<footnote n="2">2. Cf. l'initiative d'Helsinki : https://www.helsinki-initiative.org/</footnote>

<footnote n="3">3. « Precisely defining the terminology is the first step in scientific communication. »</footnote>
de sa définition et de combiner les deux sources d'information. Toutefois, ces modèles traduisent
mieux les termes français proches des termes anglais. Nous étudions deux types de similarité :
morphosyntaxique et surfacique (distance d'édition). La similarité surfacique révèle souvent des
cognats ou des emprunts, pour lesquels la traduction se rapproche davantage d'une translittération
(exocytosis → exocytose; Claveau & Zweigenbaum, 2005). Par ailleurs, nos résultats suggèrent une
corrélation négative entre la fertilité des termes et la performance des modèles, notamment pour
les termes préfixés qui sont sursegmentés par le tokeniseur BPE (Gage, 1994). Enfin, il est souvent
difficile de classer objectivement un terme comme néologique ou lexicalisé (Lombard & Huyghe,
2020). Certains termes de thésaurus sont plus fréquents en corpus et sont alors mieux traduits par les
modèles.

Cette étude ouvre donc un nouveau défi pour le TAL, sur une thématique importante pour la diffusion
des savoirs en français, et sur laquelle il reste beaucoup à faire, comme nous l'évoquons en conclusion.
Notre code est disponible à l'adresse : https://github.com/PaulLerner/neott.

## 2 Procédés néologiques et morphologiques

Notre typologie des néologismes, d'après Lieber (2010) et Daille (2017), repose sur des traits morpho-syntaxiques qui peuvent facilement être détectés automatiquement. D'autres typologies existent, voir par exemple (Lombard & Huyghe, 2020). Nous avons retenu les cinq procédés suivants : (i) la **pré-fixation**, où un affixe est concatené au début d'un mot pour en former un nouveau (pré+entraînement = préentraînement); (ii) la **suffixation**, où l'affixation se fait à la fin du mot (généraliser+ion = généralisation); (iii) la **composition ordinaire** (native compounding), qui compose deux mots indépendants, est plus fréquente en anglais (bench+mark = benchmark) qu'en français (où elle se développe cependant de plus en plus; Arnaud, 2003); (iv) la **composition néoclassique** (ou savante), qui compose uniquement des morphèmes liés (bound morphemes), c'est-à-dire qui ne peuvent agir comme mots indépendants (azo+phile = azophile)<fnref n="4" />; (v) enfin, la **composition syntagmatique**, où des syntagmes qui suivent les règles syntaxiques de la langue se lexicalisent et donnent lieu à des termes, souvent non-compositionnels. Par exemple, modèle de langue a pris un sens bien plus spécifique que la simple somme du sens individuel de chacun de ses composants. De plus, remarquons que l'insertion n'est pas possible à l'intérieur d'un terme : on dira « modèle de langue préentraîné » et non pas « *modèle préentraîné de langue* ». D'autre part, ces figements empêchent souvent une traduction compositionnelle (littéralement, mot-à-mot), par exemple low-resource language → langue peu dotée. Également, l'anglais modifie fréquemment les noms avec d'autres noms pour former des syntagmes (language modifie model dans language model; Biber et al., 2010). Ces formes sont alors souvent traduites NPN (language model → modèle de langue; Isabelle et al., 2017) ou NA (machine translation → traduction automatique) en français<fnref n="5" />.

Remarquons qu'il y a souvent une adaptation phonologique des morphèmes à leur jonction, et non pas
une simple concatenation. Remarquons également que plusieurs procédés peuvent être cumulés, ainsi
surapprentissage est une préfixation (sur-) d'une suffixation (-age). Ces procédés sont représentés à
la figure 1, de laquelle sont exclus les flexions, qui ne créent pas de nouveaux lexèmes.

<footnote n="4">4. Remarquons que, contrairement à la grammaire française, l'élément recteur est à droite (*azophile* se dit d'un composé qui présente une affinité pour un atome d'azote, et pas d'un atome d'azote amoureux; Namer, 2003; Amiot & Dal, 2008).</footnote>

<footnote n="5">5. Dans les cas plus rares où le français conserve la formation N N, l'ordre est inversé pour garder la tête à gauche (*source language* → langue source).</footnote>
Cette figure inclut également des procédés qui ne sont pas pris en compte par notre analyse<fnref n="6" /> : (i) **La néologie sémantique**, où une unité lexicale est associée à un nouveau concept, créant ainsi un homonyme, souvent par transfert métaphorique d'un domaine source à un domaine cible. Par exemple, *hallucination* est désormais utilisé en TAL pour désigner des générations infondées de modèles, par analogie avec les hallucinations humaines<fnref n="7" />. Certains changements sémantiques suivent une régularité métaphorique (Lombard et al., 2023). Par exemple, les parties du corps humain sont souvent utilisées pour désigner une partie d'un objet selon sa position (*tête d'attention*). Nous étudierons ce phénomène, non pas selon la forme du terme, puisqu'elle ne change pas, ni par son contexte, dont nous ne disposons pas, mais par la fréquence du terme dans un corpus. (ii) **La conversion**, ou changement de catégorie morphosyntaxique (Tribout, 2010), résultant également en un homonyme. Par exemple, « une métrique neuronale » où *métrique* est utilisé comme un nom et non comme un adjectif. Nous ne pouvons étudier ce phénomène faute de contexte pour les termes. (iii) La **dérivation régressive** (*back-affixation*) qui demande une perspective diachronique pour la différencier des autres affixations (*embranchement - ment = embrancher*). (iv) Le **mot-valisage**, qui compose deux lexèmes tronqués (*biologie + électronique = bionique*). Nous ne disposons pas de ressource pour ce procédé par ailleurs relativement rare (Cartier et al., 2018).

Nous n'étudions pas les quatre procédés suivants, bien qu'ils soient fréquents en anglais et en français :
(i) les **emprunts**, que nous cherchons justement à éviter (*token* est calqué tel quel depuis l'anglais)<fnref n="8" />;
(ii) les **troncations**, qui sont plus souvent utilisées dans un langage courant voire familier, mais sont moins présentes dans les publications scientifiques (*labo = laboratoire*);
(iii) les **créations** (*coinage*), très rares et qui ont allure de nom propre, donc ne doivent pas être traduites (*quark* qui provient de Joyce; Gell-Mann, 1964);
(iv) les **sigles et acronymes**, pour la même raison (à l'exception d'un éventuel réordonnancement de leurs lettres).

Nous renvoyons finalement vers (Dal, 2003b), (Lieber, 2010) ou (Corbin, 2012) pour une introduction plus complète à la morphologie <fnref n="9" />, couvrant d'autres langues que l'anglais et le français, et donc, d'autres procédés (par exemple les *transfixes* dans les langues sémitiques).

## 3 Méthodes

Nous étudions trois approches pour traduire des néologismes scientifiques, sachant que la langue cible est toujours le français : (i) traduire le terme anglais isolé, ce qui n'est pas notre intérêt premier mais sert de point de référence ; (ii) générer le terme à partir de sa définition (en français également), la principale nouveauté que nous proposons ; (iii) générer le terme à partir du terme anglais et de sa définition en français, c'est-à-dire en combinant les deux sources d'information.

Fort heureusement, nous pouvons traiter ces trois sous-tâches de la même manière dans un cadre de génération de texte (Raffel et al., 2020; Brown et al., 2020). Nous adoptons l'approche maintenant standard qui consiste à laisser un LLM compléter une amorce (*prompt*). L'amorce contiendra donc :
(i) le terme anglais ;
(ii) la définition du terme ;
(iii) les deux. Remarquons que ces trois approches sont

<footnote n="6">6. La troncation et le mot-valisage, de par leur irrégularité, ne sont habituellement pas classés comme dérivation et composition, respectivement. Toutefois, nous préférons organiser les procédés de façon hiérarchique.</footnote>

<footnote n="7">7. L'analogie est souvent considérée de façon orthogonale aux autres procédés néologiques (Dal, 2003a; Mattiello, 2017).</footnote>

<footnote n="8">8. Les traductions littérales sont habituellement considérés comme des emprunts mais, étant donné l'écrasante majorité de publication scientifique anglophone, donc de création et de définition de terme en anglais, nous acceptons les traductions littérales et évitons seulement d'utiliser des mots anglais.</footnote>

<footnote n="9">9. Voir aussi (Aronoff, 1976) et (Fradin, 2015) pour une approche lexématique de la morphologie.</footnote>
<table><caption>TABLE 1 – Les différentes amorces utilisées pour les modèles décodeurs.</caption><thead><tr><th>Langue</th><th>Formulation</th><th>Patron de l'amorce</th></tr></thead><tbody><tr><td>EN</td><td>VERSION</td><td>If the original version says {src_term} then the French version should say :</td></tr><tr><td>EN</td><td>TERM</td><td>The term {src_term} can be translated in French as :</td></tr><tr><td>EN</td><td>TATOEBA_MT</td><td>Translate the following term from English to French {src_term} :</td></tr><tr><td>FR</td><td>TERM</td><td>Le terme anglais {src_term} peut se traduire en français par :</td></tr><tr><td>FR</td><td>DEF</td><td>{src_def} définit le terme :</td></tr><tr><td>FR</td><td>DEF+TERM</td><td>{src_def} définit le terme anglais {src_term} qui peut se traduire en français par :</td></tr><tr><td>FR</td><td>TATOEBA_MT</td><td>Traduis le terme anglais suivant en français {src_term} :</td></tr></tbody></table>

donc : (i) translingue (traduction classique); (ii) monolingue (français seulement); (iii) multilingue (anglais et français mélangés). Ces différents scénarios impliquent d'utiliser des modèles multilingues.

Un autre point de comparaison pour (i) repose sur un scénario de traduction classique utilisant ici un modèle de traduction neuronal séquence-à-séquence dérivé de mBART50-One-to-Many (610M de paramètres; Tang et al., 2021). Ce modèle est ajusté avec 1,1 million de phrases parallèles (EN-FR) extraites du corpus SciPar (Roussis et al., 2022) afin de le rendre robuste au vocabulaire scientifique. Il atteint 37,3 BLEU sur un jeu d'évaluation de 3 000 phrases (voir Peng et al. (2024) pour une présentation détaillée). Contrairement aux LLM, ce modèle ne prend pas en charge des entrées bilingues qui associeraient terme (en anglais) et définition (en français).

**Implémentation** Nous expérimentons avec deux modèles multilingues : BLOOM (BigScience & et al., 2023) et CroissantLLM (Faysse et al., 2024). BLOOM fut le premier modèle multilingue librement disponible à franchir le seuil des milliards de paramètres. C'est un modèle entraîné sur de nombreuses langues, dont l'anglais et le français, qui est très efficace pour la traduction et pour diverses tâches de TAL en français (Bawden & Yvon, 2023; Bawden et al., 2024). Nous expérimenterons avec deux versions de BLOOM, comprenant respectivement 1,1G et 7,1G de paramètres. CroissantLLM est un modèle bilingue (anglais-français) ouvert, entraîné sur une quantité égale de données dans les deux langues. Plus compact (1,3G de paramètres), il a été conçu pour être efficace à l'inférence pour amortir son coûteux pré-entraînement, dans la lignée de (Liu et al., 2019) et (Hoffmann et al., 2022). Les différentes formulations d'amorce sont listées dans le tableau 1. L'amorce peut être formulée en anglais et en français, mais le terme source est toujours en anglais et la définition est toujours en français. Les formulations VERSION et TATOEBA_MT ont été adaptées d'après (Bawden & Yvon, 2023) et (Muennighoff et al., 2023), respectivement. Les autres formulations ont été inventées pour le besoin de ce travail. Ces variantes seront validées sur le jeu de validation mais nous verrons que la formulation a peu d'impact sur les performances puisque nous utilisons systématiquement cinq exemples aléatoires dans l'amorce comme contexte (in-context learning; ICL). Remarquons que les formulations (i) TERM, (ii) DEF et (iii) DEF+TERM ont des entrées différentes qui correspondent aux trois approches proposées. Les exemples sont séparés par les trois caractères ###.

**Évaluation** Nous évaluons principalement les modèles avec des métriques standard en question-réponse (Rajpurkar et al., 2016) : (i) la correspondance exacte (exact match; EM) entre les chaînes de caractères prédite et attendue; (ii) le score F1 au niveau du token; après un prétraitement simpliste (insensible à la casse, filtrage des mots vides et de la ponctuation). Nous évaluons également la capacité des modèles à prédire une forme néologique adéquate.
<figure><img src="image_92.png" /></figure>

<table><thead><tr><th rowspan="2">Modèle</th><th rowspan="2">Entrée</th><th colspan="2">FranceTerme</th><th colspan="2">TERMIUM</th></tr><tr><th>EM</th><th>F1</th><th>EM</th><th>F1</th></tr></thead><tbody><tr><td>mBART</td><td>TERM</td><td><u>26,3</u></td><td>41,3</td><td><u>36,8</u></td><td>49,4</td></tr><tr><td>BLOOM-1,1G</td><td>TERM</td><td>15,9</td><td>31,3</td><td>22,7</td><td>35,0</td></tr><tr><td>BLOOM-1,1G</td><td>DEF</td><td>1,1</td><td>11,3</td><td>3,8</td><td>9,8</td></tr><tr><td>BLOOM-1,1G</td><td>DEF+TERM</td><td>17,8</td><td>34,9</td><td>25,3</td><td>38,2</td></tr><tr><td>BLOOM-7,1G</td><td>TERM</td><td>23,7</td><td>40,3</td><td>38,8</td><td>50,9</td></tr><tr><td>BLOOM-7,1G</td><td>DEF</td><td><u>10,0</u></td><td><u>24,7</u></td><td><u>13,6</u></td><td><u>23,6</u></td></tr><tr><td>BLOOM-7,1G</td><td>DEF+TERM</td><td><b>27,1</b></td><td><b>44,6</b></td><td><b>41,8</b></td><td><b>54,6</b></td></tr><tr><td>CroissantLLM</td><td>TERM</td><td>25,6</td><td><u>42,2</u></td><td>41,6</td><td><u>53,9</u></td></tr><tr><td>CroissantLLM</td><td>DEF</td><td>4,6</td><td>19,8</td><td>7,2</td><td>16,5</td></tr><tr><td>CroissantLLM</td><td>DEF+TERM</td><td>25,3</td><td>42,9</td><td>38,7</td><td>51,6</td></tr></tbody></table>

FIGURE 2 – (a) Correspondance exacte (EM) selon les formulations de l'amorce sur le jeu de validation de FranceTerme (gauche). (b) Résultats de tous les modèles selon les différentes entrées sur les jeux de test de FranceTerme et TERMIUM. Les meilleurs résultats sont en gras, et les meilleurs pour chaque type d'entrée sont soulignés.

# 4 Résultats

**Jeux de données** Nous exploitons deux thésaurus bilingues (anglais / français) dans ce travail : FranceTerme<fnref n="10" /> et TERMIUM<fnref n="11" />, fournis par le gouvernement français et canadien, respectivement. Pour TERMIUM, nous limitons ici notre analyse au sous-domaine "symptômes" (biomédical). Afin de filtrer les emprunts (cf. section 2), nous filtrons les termes qui sont identiques en anglais et en français (insensible à la casse). Pour filtrer les sigles et acronymes, nous filtrons les termes comprenant plus de deux lettres majuscules successives. Nous conservons uniquement les entrées auxquelles sont associées une version anglaise, française et une définition en français. Après filtrage, FranceTerme est réduit à 6 623 termes que nous divisons aléatoirement en jeu de validation et de test de taille égale. TERMIUM-Symptômes ne contient que 1 608 termes donc nous l'utilisons seulement pour le test (sans ajuster aucun paramètre ou hyperparamètre).

**Différentes amorces pour des résultats similaires** Nous commençons par valider les différentes amorces sur le jeu de validation de FranceTerme (figure 2a). Pour tous les modèles, la meilleure amorce est TERM, formulée en français, que nous utilisons dans la suite des expériences. De façon générale, toutes les amorces donnent des résultats proches, ce que nous attribuons à l'utilisation de plusieurs exemples en contexte (Bawden & Yvon, 2023). Les préférences entre les formulations sont plutôt intuitives : le français est préféré à l'anglais et l'amorce TERM, d'un style « test de complétion » (cloze test) est préféré à TATOEBA_MT, d'un style « instruction » et ce pour tous les modèles.

**Performances générales** Les résultats principaux sont présentés à la figure 2b. Sur tous les jeux de données, les modèles qui prennent uniquement le terme en entrée surpassent ceux qui prennent seulement la définition. Nous trouvons cependant que la performance de ces modèles semble limitée, mBART, BLOOM-7,1G et CroissantLLM obtenant tous trois des résultats similaires. Sur tous les jeux

<footnote n="10">10. https://www.culture.fr/franceterme, version du 17 novembre 2023.</footnote>

<footnote n="11">11. https://www.btb.termiumplus.gc.ca/, version du 6 février 2023.</footnote>
<table><caption>TABLE 2 – Pouvoir de prédiction (F1) des procédés morphosyntaxiques du terme français *F* selon les modèles de BLOOM-7,1G (et comparé aux procédés morphosyntaxiques du terme anglais *A*) sur le jeu de validation de FranceTerme.</caption><thead><tr><th>Modèle</th><th>Ordinaire</th><th>Néo.</th><th>Pré.</th><th>Suff.</th><th>Synt.</th></tr></thead><tbody><tr><td>anglais A</td><td>5,8</td><td>26,7</td><td>52,5</td><td>67,4</td><td>87,4</td></tr><tr><td>TERM</td><td>13,5</td><td>57,3</td><td>71,3</td><td>85,6</td><td>87,2</td></tr><tr><td>DEF</td><td>19,6</td><td>36,6</td><td>59,1</td><td>81,9</td><td>77,5</td></tr><tr><td>DEF+TERM</td><td>14,9</td><td>55,9</td><td>73,5</td><td>87,0</td><td>87,5</td></tr></tbody></table>

de données nous trouvons que BLOOM-7,1G parvient à combiner les informations provenant du terme anglais et de la définition française et surpasse largement la version TERM. BLOOM-7,1G parvient même à légèrement surpasser une fusion oracle tardive des modèles TERM et DEF, ce qui suggère une interaction positive entre ces deux informations. Par exemple, BLOOM-7,1G DEF+TERM parvient à correctement prédire *capteur de mission* pour *mission sensor* « capteur réalisant des mesures qui font partie de l’objet de la mission d’un engin spatial », contrairement à TERM qui prédit *mission de reconnaissance* et DEF qui prédit *instrument de mesure*. Nous avons vérifié que la performance de ce modèle était stable en faisant varier les exemples de l’amorce aléatoirement. Comme souvent, la taille du modèle semble enfin importante pour cette tâche, notamment pour traiter les définitions, puisque les performances de BLOOM-1,1G (DEF+TERM), comme celles de CroissantLLM dépassent à peine, voire sont moindres que pour les versions TERM seul.

**Classification morphosyntaxique** Nous construisons un classifieur multi-étiquettes pour quatre des cinq classes définies à la section 2 : préfixation, suffixation, composition néoclassique ou ordinaire. Pour la cinquième (composition syntagmatique), nous nous reposons sur la simple heuristique du nombre de mots segmentés par spaCy (Honnibal et al., 2020). S’il y a plusieurs mots, nous considérons que le terme est un syntagme (possiblement lexicalisé). Pour détecter ces quatre procédés morphologiques, nous utilisons l’architecture de FastText (Joulin et al., 2017). Dans notre utilisation, ce classifieur est entraîné en mode « un contre tous » (*one versus all*), équivalent à un classifieur binaire pour chacune des classes identifiées supra. Le classifieur est entraîné sur les bases étymologiques MorphyNet (Batsuren et al., 2021) et de celle utilisée pour la *shared task* SIGMORPHON 2022 (Batsuren et al., 2022), toutes deux extraites depuis le Wiktionnaire anglais<fnref n="12" />. Nous vérifions que ce classifieur est efficace sur un ensemble d’évaluation où il arrive à 92,5 de F1 en anglais et 95,8 en français. Ce classifieur est décrit plus précisément à l’annexe A.

**Impact sur la génération** Pour mesurer l’impact de la morphosyntaxe des termes sur nos modèles génératifs, nous mesurons la différence symétrique $\Delta$ entre les procédés morphosyntaxiques du terme anglais *A* et français *F* (prédites par notre classifieur multi-étiquettes) : $\Delta = |(A \setminus F) \cup (F \setminus A)|$. La figure 3a montre que les prédictions de BLOOM-7,1G (DEF+TERM) sont bien plus souvent correctes lorsque les termes anglais et français ont des morphosyntaxes proches (identiques ou différant seulement d’un procédé). Même lorsque les morphosyntaxes sont différentes, nous observons que les modèles prédissent souvent le bon procédé morphosyntaxique, cf. le tableau 2. Par exemple, BLOOM prédit bien un composé néoclassique avec *polyactif* alors qu’il devrait produire *pluriactif* (EN : *slasher*). Notons qu’il n’est pas surprenant que les composés ordinaires anglais aident peu à prédire

<footnote n="12">12. https://en.wiktionary.org/</footnote>
<figure><img src="image_93.png" /><figcaption>FIGURE 3 – (a) Exactitude de la prédiction de BLOOM-7,1G (DEF+TERM) selon la différence symétrique Δ entre les procédés morphosyntaxiques du terme anglais *A* et français *F*. (b) Exactitude de la prédiction de BLOOM-7,1G (TERM) selon la distance d'édition entre les termes anglais et français monolexicaux. (c) exactitude de la prédiction de BLOOM-7,1G (DEF+TERM) sur tous les termes selon la fertilité des mots. (d) fertilité des mots selon que le terme soit préfixé ou suffixé. Les distributions sont normalisées séparément (comme s'il y avait autant de préfixes que de suffixes) afin de faciliter la visualisation. Tous les résultats proviennent du jeu de validation de FranceTerme.</figcaption></figure>

leurs équivalents français (rappel de 51% mais précision de 3%) puisque ce procédé est très rare en français.

**Traduction ou translittération?** Nous avons vu plus haut que les modèles parvenaient beaucoup mieux à générer le terme français à partir du terme anglais que de sa définition. Ce résultat est dû pour partie à la similarité de surface entre un grand nombre de termes anglais et français, pour lesquels la traduction s'apparente à une translittération. Pour quantifier ce phénomène, nous étudions la distance d'édition entre les termes anglais et français monolexicaux (l'ordre des mots étant rarement le même en anglais et en français, la distance d'édition n'est pas fiable pour les termes polylexicaux). La figure 3b montre que le modèle BLOOM-7,1G (TERM) traduit beaucoup mieux les termes qui diffèrent de trois caractères ou moins (par ex., *mycotoxin* → *mycotoxine*, *exocytosis* → *exocytose*, *iconomatic* → *iconomatique*). Le modèle qui prédit à partir de la définition du terme ne montre pas cette tendance. Ce phénomène explique, au moins partiellement, la différence de performances entre FranceTerme et TERMIUM-Symptômes (figure 2b), où les termes anglais et français sont souvent proches avec une distance d'édition médiane de 2 pour les termes monolexicaux contre 6 pour FranceTerme. La distance minimale est de 1 puisque nous avons préalablement filtré les termes identiques.

**BPE et fertilité des termes, en relation avec la préfixation BLOOM et CroissantLLM** utilisent tous deux la tokenisation BPE, comme la majorité des LLM (Gage, 1994; Sennrich et al., 2016). Cette méthode permet de décomposer en unités sous-lexicales les mots inconnus ou trop rares pour bénéficier d'une représentation dédiée. Toutefois, elle n'est pas fondée morphologiquement mais statistiquement, s'appuyant sur des co-occurrences de n-grammes de caractères. Cette méthode différencie les tokens en début et en milieu de mot. Par conséquent, les préfixations et suffixations subissent des sorts différents (Hofmann et al., 2020). Par exemple, le terme suffixé *collisionneur* est raisonnablement segmenté en _collision neur_ (ou _indique le début de mot) et partagera
<figure><img src="image_94.png" /><figcaption>(a)</figcaption></figure>

<table><caption>(b)</caption><thead><tr><th>Décile</th><th>Terme</th><th>Occurrences</th></tr></thead><tbody><tr><td>min</td><td>classification semi-dirigée</td><td>0</td></tr><tr><td>0,1</td><td>moment d'exécution</td><td>0</td></tr><tr><td>0,2</td><td>stellarateur</td><td>2</td></tr><tr><td>0,3</td><td>horloge à fontaine atomique</td><td>7</td></tr><tr><td>0,4</td><td>sondage au limbe</td><td>22</td></tr><tr><td>0,5</td><td>sauvetage côtier sportif</td><td>74</td></tr><tr><td>0,6</td><td>planche nautique</td><td>273</td></tr><tr><td>0,7</td><td>effet de rebond</td><td>1 052</td></tr><tr><td>0,8</td><td>embardée</td><td>4 327</td></tr><tr><td>0,9</td><td>clonage</td><td>45 680</td></tr><tr><td>max</td><td>pas</td><td>232 506 256</td></tr></tbody></table>

FIGURE 4 – (a) Exactitude de la prédiction de BLOOM-7,1G (DEF) sur le jeu de validation de FranceTerme selon le nombre d'occurrences des termes dans OSCAR-fr et ROOTS-fr. L'abscisse est logarithmique. (b) On montre un exemple aléatoire de terme pour chaque décile.

donc la même représentation que sa racine _collision. En revanche, le terme préfixé *précollision* sera segmenté _préc oll ision. Outre le fait que ni oll ni préc ne sont des morphèmes du français, nous observons que le modèle ne partage pas de représentation entre ces tokens et la racine _collision (il en irait de même si le terme avait été segmenté en _pré collision).

Nous quantifions ce phénomène à la figure 3d où l'on voit que les mots préfixés ont une plus grande fertilité que les mots suffixés. Pour les termes polylexicaux, nous définissons la fertilité d'un terme comme le nombre de segments maximum pour chacun de ses mots. D'autre part, nous montrons dans la figure 3c que BLOOM a plus de difficulté à prédire correctement les termes les plus fertiles. Ainsi, BLOOM prédit consultation à distance plutôt que le compact téléconsultation (référence) qui est segmenté _tél éc ons ult ation (contrairement à consultation qui a un token dédié). Ces résultats encouragent de futurs travaux sur une segmentation morphologique des termes complexes.

## Fréquence et changement sémantique
Faute d'une méthode objective pour classer un terme français comme néologisme ou lexicalisé, nous étudions à quelle fréquence les termes apparaissent dans deux grands corpus. Le premier, ROOTS-fr-open (Laurençon et al., 2022), est un sous-ensemble du corpus d'entrainement du modèle BLOOM (BigScience & et al., 2023), restreint aux documents français disponibles sous licence Creative Commons<fnref n="13" /> : il comprend environ 4 milliards de mots (20 Go), principalement extraits de contenus Wikimedia. Le second, OSCAR-fr 22.01 (Abadji et al., 2022), est un extrait "nettoyé" du Common Crawl, dont une partie a également servi à l'entraînement de BLOOM. Il comprend 42 milliards de mots (382 Go).

Les résultats sont présentés à la figure 4a. Nous trouvons que 15,8% des termes de FranceTerme n'ap-
paraissent aucune fois, même dans cet immense corpus. Nous estimons que les exemples aléatoires
de la figure 4b, pour chaque décile, montrent bien une progression du sentiment néologique. À partir
du septième décile, soit environ 1 000 occurrences, l'effet néologique est moins fort. C'est en effet à
partir de ce seuil où BLOOM-7,1G (DEF) prédit bien mieux les termes.

D'autre part, nous remarquons que les termes très fréquents sont bien des néologismes mais sont

<footnote n="13">13. https://huggingface.co/bigscience-data</footnote>
employés dans un sens différent dans FranceTerme : il s’agit donc de néologismes sémantiques (cf. section 2). Par exemple, *pas*, le terme le plus fréquent, provient du domaine électronique et est défini comme la « distance séparant deux lignes d’interconnexion voisines dans un circuit intégré ou sur un circuit imprimé nu », et non pas dans le sens du pas de la marche ou de l’adverbe de négation, dans lequel il apparaît vraisemblablement le plus souvent. Parmi les termes les plus fréquents, on peut citer d’autres exemples de néologismes sémantiques dans différents domaines : cœur (nucléaire), entrée (spatiologie), bois (sports). Encore une fois, nos observations se reflètent dans les performances de BLOOM-7,1G (DEF) qui prédit beaucoup moins précisément les termes à partir de 10⁵ occurrences et ne fait aucune prédiction correcte après 10⁷. Par exemple, pour *pression* « marquage serré de l’adversaire en possession du ballon », le modèle génère *marquage individuel*, ou bien pour *pont* « dispositif destiné à assurer entre deux réseaux locaux l’échange des trames de données sans les modifier, tout en détectant et en corrigeant les erreurs », le modèle génère *réseau local sans fil*.

Ces métaphores ne sont pas bien traitées par le modèle et il ne serait pas trivial de lui apprendre. Une première étape serait de mieux les identifier grâce à un corpus diachronique (Ryskina et al., 2020) ou en étudiant le contexte d'utilisation des termes.

# 5 Conclusions et perspectives

Nous avons présenté une nouvelle approche pour traduire des néologismes scientifiques en exploitant leurs définitions. Nos expériences sur les thésaurus FranceTerme et TERMIUM montrent que les grands modèles de langues BLOOM et CroissantLLM sont capables d'utiliser cette information pour traduire le terme plus fidèlement, en particulier BLOOM qui dispose d'une plus grande expressivité. Nous avons également montré que ces modèles prédisent souvent une forme de néologisme adéquate mais qu'ils sont pénalisés lorsque la forme diffère entre l'anglais et le français.

Nous avons également mis en évidence plusieurs limites de ces modèles, qui traduisent mieux les termes lorsque la source et la cible sont surfaciquement proches (des emprunts ou des cognats) ou lorsque la cible apparaît assez fréquemment en corpus. Dans ce dernier cas, nous estimons qu'il ne s'agit pas d'un néologisme mais d'un terme lexicalisé. Ce phénomène est un travers de nos données d'évaluation : dès lors qu'un terme est présent dans un lexique ou thésaurus, il est institutionnalisé<fnref n="14" />, contrairement aux néologismes que l'on peut rencontrer dans une nouvelle publication scientifique. Cette analyse devrait être approfondie car nous avons également remarqué que les termes les plus fréquents étaient créés par glissement sémantique, et sont très difficiles à traduire depuis leur définition donc, puisque leur sens n'est pas reflété par leurs composants (Temmerman, 2010).

Par ailleurs, nos futurs efforts porteront sur une modélisation morphologique des termes et de leurs définitions. En effet, nous avons mis en évidence les limites de la tokenisation BPE, en particulier pour les termes préfixés. Une segmentation morphologique pourrait être effectuée par un modèle dédié (Smit et al., 2014; Batsuren et al., 2022) ou apprise implicitement, directement à partir des caractères (Cherry et al., 2018; Wang et al., 2024). D'un point de vue applicatif, notre méthode pourrait être intégrée dans un système de traduction intégrant des lexiques (voir (Yvon & Abdul Rauf, 2020), pour un état de l'art ou encore (Semenov et al., 2023)) ou pourrait servir à suggérer de nouvelles traductions aux lexicographes et traducteurs (pour enrichir FranceTerme, par exemple).

<footnote n="14">14. On peut distinguer l'institutionnalisation d'un terme de sa lexicalisation, qui supposerait un changement phonologique, syntaxique ou sémantique (Hohenhaus, 2005).</footnote>
# Remerciements

Nous remercions les membres du comité de programme pour leurs précieux commentaires. Nos remerciements s'adressent également à Natalie Kübler, Mathilde Huguin et Alexandra Mestivier pour leurs retours sur une première version de l'article, avec nos excuses pour les entorses aux théories linguistiques, dans l'intérêt de concilier TAL, morphologie et terminologie. Nous remercions enfin Ziqian Peng pour les expériences avec mBART et Felix Herron pour ses premiers travaux sur le sujet.

Ce projet a reçu un soutien de l'Agence Nationale de la Recherche (convention ANR-22-CE23-0033).

# Références

ABADJI J., ORTIZ SUAREZ P., ROMARY L. & SAGOT B. (2022). Towards a Cleaner Document-Oriented Multilingual Crawled Corpus. In *Proceedings of the Thirteenth Language Resources and Evaluation Conference*, p. 4344–4355, Marseille, France : European Language Resources Association.

AMIOT D. & DAL G. (2008). La composition néoclassique en français et l'ordre des constituants. *La composition dans une perspective typologique*. Arras : Artois Presses Université, p. 89–113.

ARNAUD P. J. (2003). *Les composés timbre-poste*. Presses Universitaires Lyon.

ARONOFF M. (1976). Word formation in generative grammar. *Linguistic Inquiry Monographs Cambridge, Mass*, (1), 1–134.

AUGUST T., REINECKE K. & SMITH N. A. (2022). Generating Scientific Definitions with Controllable Complexity. In S. MURESAN, P. NAKOV & A. VILLAVICENCIO, Éds., *Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1 : Long Papers)*, p. 8298–8317, Dublin, Ireland : Association for Computational Linguistics. DOI : 10.18653/v1/2022.acl-long.569.

BATSUREN K., BELLA G., ARORA A., MARTINOVIC V., GORMAN K., ŽABOKRTSKÝ Z., GAN-BOLD A., DOHNALOVÁ S., SEVČÍKOVÁ M., PELEGRINOVÁ K., GIUNCHIGLIA F., COTTERELL R. & VYLOMOVA E. (2022). The SIGMORPHON 2022 Shared Task on Morpheme Segmentation. In G. NICOLAI & E. CHODROFF, Éds., *Proceedings of the 19th SIGMORPHON Workshop on Computational Research in Phonetics, Phonology, and Morphology*, p. 103–116, Seattle, Washington : Association for Computational Linguistics. DOI : 10.18653/v1/2022.sigmorphon-1.11.

BATSUREN K., BELLA G. & GIUNCHIGLIA F. (2021). Morphynet : a large multilingual database of derivational and inflectional morphology. In *Proceedings of the 18th sigmorphon workshop on computational research in phonetics, phonology, and morphology*, p. 39–48.

BAWDEN R., BOURFOUNE H., CABOT B., CASSEREAU N., CORNETTE P., NAGUIB M., NÉVÉOL A. & YVON F. (2024). Les modèles Bloom pour le traitement automatique de la langue française. working paper or preprint, HAL : hal-04435371.

BAWDEN R. & YVON F. (2023). Investigating the Translation Performance of a Large Multilingual Language Model : the Case of BLOOM. DOI : 10.48550/ARXIV.2303.01911.

BIBER D., GRIEVE J. & IBERRI-SHEA G. (2010). Noun phrase modification.

BIGSCIENCE & ET AL. (2023). BLOOM : A 176B-Parameter Open-Access Multilingual Language Model. arXiv :2211.05100 [cs], DOI : 10.48550/arXiv.2211.05100.

BROWN T., MANN B., RYDER N., SUBBIAH M., KAPLAN J. D., DHARIWAL P., NEELAKANTAN A., SHYAM P., SASTRY G., ASKELL A., AGARWAL S., HERBERT-VOSS A., KRUEGER G.,
HENIGHAN T., CHILD R., RAMESH A., ZIEGLER D., WU J., WINTER C., HESSE C., CHEN M., SIGLER E., LITWIN M., GRAY S., CHESS B., CLARK J., BERNER C., MCCANDLISH S., RADFORD A., SUTSKEVER I. & AMODEI D. (2020). Language Models are Few-Shot Learners. In H. LAROCHELLE, M. RANZATO, R. HADSELL, M. F. BALCAN & H. LIN, Éds., *Advances in Neural Information Processing Systems*, volume 33, p. 1877–1901 : Curran Associates, Inc.

CABRÉ M. T. (1999). *Terminology : Theory, methods, and applications*, volume 1. John Benjamins Publishing.

CARTIER E., SABLAYROLLES J.-F., BOUTMGHARINE N., HUMBLEY J., BERTOCCI M., JACQUET-PFAU C., KÜBLER N. & TALLARICO G. (2018). Détection automatique, description linguistique et suivi des néologismes en corpus : point d'étape sur les tendances du français contemporain. In *6e Congrès Mondial de Linguistique Française-Université de Mons, Belgique, 9-13 juillet 2018*, volume 46, p. 1–20. EDP Sciences.

CHERRY C., FOSTER G., BAPNA A., FIRAT O. & MACHEREY W. (2018). Revisiting Character-Based Neural Machine Translation with Capacity and Compression. In E. RILOFF, D. CHIANG, J. HOCKENMAIER & J. TSUJII, Éds., *Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing*, p. 4295–4305, Brussels, Belgium : Association for Computational Linguistics. DOI: 10.18653/v1/D18-1461.

CLAVEAU V. & ZWEIGENBAUM P. (2005). Translating Biomedical Terms by Inferring Transducers. In S. MIKSCH, J. HUNTER & E. T. KERAVNOU, Éds., *Artificial Intelligence in Medicine*, Lecture Notes in Computer Science, p. 236–240, Berlin, Heidelberg : Springer. DOI: 10.1007/11527770_34.

CORBIN D. (2012). *Morphologie dérivationnelle et structuration du lexique*, volume 193. Walter de Gruyter.

DAILLE B. (2017). *Term Variation in Specialised Corpora : Characterisation, automatic discovery and applications*, volume 19 de *Terminology and Lexicography Research and Practice*. Amsterdam : John Benjamins Publishing Company. DOI: 10.1075/tlrp.19.

DAL G. (2003a). Analogie et lexique construit : quelles preuves ? Publisher : Toulouse : Université de Toulouse-le-Mirail, 1979-2006.

DAL G. (2003b). Productivité morphologique : définitions et notions connexes. *Langue française*, p. 3–23.

DELPECH E., DAILLE B., MORIN E. & LEMAIRE C. (2012). Extraction of Domain-Specific Bilingual Lexicon from Comparable Corpora : Compositional Translation and Ranking. In M. KAY & C. BOITET, Éds., *Proceedings of COLING 2012*, p. 745–762, Mumbai, India : The COLING 2012 Organizing Committee.

FAYSSE M., FERNANDES P., GUERREIRO N., LOISON A., ALVES D., CORRO C., BOIZARD N., ALVES J., REI R., MARTINS P., CASADEMUNT A. B., YVON F., MARTINS A., VIAUD G., HUDELOT C. & COLOMBO P. (2024). CroissantLLM : A Truly Bilingual French-English Language Model. arXiv:2402.00786 [cs], DOI: 10.48550/arXiv.2402.00786.

FRADIN B. (2015). *Nouvelles approches en morphologie*. PUF.

GAGE P. (1994). A New Algorithm for Data Compression. *Computer Users Journal*, **12**(2), 23–38. Place : USA Publisher : R & D Publications, Inc.

GELL-MANN M. (1964). A schematic model of baryons and mesons. *Physics Letters*, **8**(3), 214–215. DOI: https://doi.org/10.1016/S0031-9163(64)92001-3.

GORDIN M. D. (2015). *Scientific Babel : How Science Was Done Before and After Global English*. University of Chicago Press. Google-Books-ID: UrnnBgAAQBAJ.

HEAD A., LO K., KANG D., FOK R., SKJONSBERG S., WELD D. S. & HEARST M. A. (2021). Augmenting Scientific Papers with Just-in-Time, Position-Sensitive Definitions of Terms and
Symbols. In *Proceedings of the 2021 CHI Conference on Human Factors in Computing Systems*, CHI '21, p. 1–18, New York, NY, USA : Association for Computing Machinery. DOI : 10.1145/3411764.3445648.

HOFFMANN J., BORGEAUD S., MENSCH A., BUCHATSKAYA E., CAI T., RUTHERFORD E., CASAS D. D. L., HENDRICKS L. A., WELBL J., CLARK A., HENNIGAN T., NOLAND E., MILLICAN K., DRIESSCHE G. V. D., DAMOC B., GUY A., OSINDERO S., SIMONYAN K., ELSEN E., RAE J. W., VINYALS O. & SIFRE L. (2022). Training Compute-Optimal Large Language Models. arXiv:2203.15556 [cs], DOI: 10.48550/arXiv.2203.15556.

HOFMANN V., PIERREHUMBERT J. & SCHÜTZE H. (2020). DagoBERT: Generating Derivational Morphology with a Pretrained Language Model. In *Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP)*, p. 3848–3861, Online: Association for Computational Linguistics.

HOHENHAUS P. (2005). Lexicalization and institutionalization. In *Handbook of word-formation*, p. 353–373. Springer.

HONNIBAL M., MONTANI I., VAN LANDEGHEM S. & BOYD A. (2020). spaCy: Industrial-strength Natural Language Processing in Python. DOI: 10.5281/zenodo.1212303.

HUANG J., SHAO H., CHANG K. C.-C., XIONG J. & HWU W.-M. (2022). Understanding Jargon: Combining Extraction and Generation for Definition Modeling. In Y. GOLDBERG, Z. KOZAREVA & Y. ZHANG, Éds., *Proceedings of the 2022 Conference on Empirical Methods in Natural Language Processing*, p. 3994–4004, Abu Dhabi, United Arab Emirates : Association for Computational Linguistics. DOI: 10.18653/v1/2022.emnlp-main.266.

ISABELLE P., CHERRY C. & FOSTER G. (2017). A Challenge Set Approach to Evaluating Machine Translation. In M. PALMER, R. HWA & S. RIEDEL, Éds., *Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing*, p. 2486–2496, Copenhagen, Denmark : Association for Computational Linguistics. DOI: 10.18653/v1/D17-1263.

JIN Y., KAN M.-Y., NG J. P. & HE X. (2013). Mining scientific terms and their definitions: A study of the ACL anthology. In *Proceedings of the 2013 Conference on Empirical Methods in Natural Language Processing*, p. 780–790.

JOULIN A., GRAVE E., BOJANOWSKI P. & MIKOLOV T. (2017). Bag of Tricks for Efficient Text Classification. In M. LAPATA, P. BLUNSOM & A. KOLLER, Éds., *Proceedings of the 15th Conference of the European Chapter of the Association for Computational Linguistics : Volume 2, Short Papers*, p. 427–431, Valencia, Spain : Association for Computational Linguistics.

LARIVIÈRE V. & RIDDLES A. (2021). Langues de diffusion des connaissances : quelle place reste-t-il pour le français. *Magazine de l'Acfas*.

LAROCHE A. & LANGLAIS P. (2010). Revisiting context-based projection methods for term-translation spotting in comparable corpora. In *Proceedings of the 23rd international conference on computational linguistics (Coling 2010)*, p. 617–625.

LAURENÇON H., SAULNIER L., WANG T., AKIKI C., VILLANOVA DEL MORAL A., LE SCAO T., VON WERRA L., MOU C., GONZÁLEZ PONFERRADA E. & NGUYEN H. (2022). The bigscience roots corpus : A 1.6 tb composite multilingual dataset. *Advances in Neural Information Processing Systems*, **35**, 31809–31826.

LIEBER R. (2010). *Introducing morphology*. Cambridge : Cambridge University Press. OCLC : 650278652.

LIU Y., OTT M., GOYAL N., DU J., JOSHI M., CHEN D., LEVY O., LEWIS M., ZETTLEMOYER L. & STOYANOV V. (2019). RoBERTa : A Robustly Optimized BERT Pretraining Approach.
LIU Z., WANG S., GU Y., ZHANG R., ZHANG M. & WANG S. (2021). Graphine : A Dataset for Graph-aware Terminology Definition Generation. In M.-F. MOENS, X. HUANG, L. SPECIA & S. W.-T. YIH, Éds., *Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing*, p. 3453-3463, Online and Punta Cana, Dominican Republic : Association for Computational Linguistics. DOI: 10.18653/v1/2021.emnlp-main.278.

LOMBARD A. & HUYGHE R. (2020). Catégorisation comme néologisme et sentiment des locuteurs. *Langue française*, **207**(3), 123-138. Place : Paris Publisher : Armand Colin, DOI : 10.3917/lf.207.0123.

LOMBARD A., HUYGHE R., BARQUE L. & GRAS D. (2023). Regular polysemy and novel word-sense identification. *The Mental Lexicon*, **18**(1), 94-119. DOI: 10.1075/ml.21002.lom.

MATTIELLO E. (2017). *Analogy in word-formation : A study of English neologisms and occasiona-lisms*, volume 309. Walter de Gruyter GmbH & Co KG.

MUENNIGHOFF N., WANG T., SUTAWIKA L., ROBERTS A., BIDERMAN S., SCAO T. L., BARI M. S., SHEN S., YONG Z.-X., SCHOELKOPF H., TANG X., RADEV D., AJI A. F., ALMUBARAK K., ALBANIE S., ALYAFEAI Z., WEBSON A., RAFF E. & RAFFEL C. (2023). Crosslingual Generalization through Multitask Finetuning. arXiv:2211.01786 [cs], DOI: 10.48550/arXiv.2211.01786.
NAMER F. (2003). Automatiser l'analyse morpho-sémantique non affixale : le système DériF. *Cahiers de grammaire*, **28**, 31-48.

PENG Z., BAWDEN R. & YVON F. (2024). À propos des difficultés de traduire automatiquement de longs documents. In *Actes de la conférence conjointe JEP-TALN-RECITAL 2024*, Toulouse, France.

RAFFEL C., SHAZEER N., ROBERTS A., LEE K., NARANG S., MATENA M., ZHOU Y., LI W. & LIU P. J. (2020). Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer. *Journal of Machine Learning Research*, **21**, 1-67. https://github.com/google-research/text-to-text-transfer-transformer.

RAJPURKAR P., ZHANG J., LOPYREV K. & LIANG P. (2016). Squad : 100,000+ questions for machine comprehension of text. In *Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing*, p. 2383-2392.

RIGOUTS TERRYN A., HOSTE V. & LEFEVER E. (2020). In no uncertain terms : a dataset for monolingual and multilingual automatic term extraction from comparable corpora. *Language Resources and Evaluation*, **54**(2), 385-418. DOI: 10.1007/s10579-019-09453-9.

ROUSSIS D., PAPAVASSILIOU V., PROKOPIDIS P., PIPERIDIS S. & KATSOUROS V. (2022). SciPar : A collection of parallel corpora from scientific abstracts. In N. CALZOLARI, F. BÉCHET, P. BLACHE, K. CHOUKRI, C. CIERI, T. DECLERCK, S. GOGGI, H. ISAHARA, B. MAEGAARD, J. MARIANI, H. MAZO, J. ODIJK & S. PIPERIDIS, Éds., *Proceedings of the Thirteenth Language Resources and Evaluation Conference*, p. 2652-2657, Marseille, France : European Language Resources Association.

RYSKINA M., RABINOVICH E., BERG-KIRKPATRICK T., MORTENSEN D. R. & TSVETKOV Y. (2020). Where New Words Are Born : Distributional Semantic Analysis of Neologisms and Their Semantic Neighborhoods. In *Proceedings of the Society for Computation in Linguistics 2020*, p. 367-376.

SEMENOV K., ZOUHAR V., KOCMI T., ZHANG D., ZHOU W. & JIANG Y. E. (2023). Findings of the WMT 2023 Shared Task on Machine Translation with Terminologies. In *Proceedings of the Eighth Conference on Machine Translation*, p. 663-671, Singapore : Association for Computational Linguistics. DOI: 10.18653/v1/2023.wmt-1.54.

SENNRICH R., HADDOW B. & BIRCH A. (2016). Neural Machine Translation of Rare Words with Subword Units. In *Proceedings of the 54th Annual Meeting of the Association for Compu-
tational Linguistics (Volume 1 : Long Papers), p. 1715–1725, Berlin, Germany : Association for Computational Linguistics. DOI : 10.18653/v1/P16-1162.

SMIT P., VIRPIOJA S., GRÖNROOS S.-A. & KURIMO M. (2014). Morfessor 2.0 : Toolkit for statistical morphological segmentation. In S. WINTNER, M. TADIĆ & B. BABYCH, Éds., *Proceedings of the Demonstrations at the 14th Conference of the European Chapter of the Association for Computational Linguistics*, p. 21–24, Gothenburg, Sweden : Association for Computational Linguistics. DOI : 10.3115/v1/E14-2006.

TANG Y., TRAN C., LI X., CHEN P.-J., GOYAL N., CHAUDHARY V., GU J. & FAN A. (2021). Multilingual translation from denoising pre-training. In C. ZONG, F. XIA, W. LI & R. NAVIGLI, Éds., *Findings of the Association for Computational Linguistics : ACL-IJCNLP 2021*, p. 3450–3466, Online : Association for Computational Linguistics. DOI : 10.18653/v1/2021.findings-acl.304.

TEMMERMAN R. (2010). Why special language translators need insight into the mechanisms of metaphorical models and figurative denominations. *Meaning in Translation*, **19**, 347–365.

TRIBOUT D. (2010). *Les conversions de nom à verbe et de verbe à nom en français*. Thèse de doctorat, Université Paris Diderot (Paris 7).

WANG J., GANGAVARAPU T., YAN J. N. & RUSH A. M. (2024). MambaByte : Token-free Selective State Space Model. arXiv:2401.13660 [cs], DOI: 10.48550/arXiv.2401.13660.

YVON F. & ABDUL RAUF S. (2020). *Utilisation de ressources lexicales et terminologiques en traduction neuronale*. Research Report 2020-001, LIMSI-CNRS.

ZHANG Y., CHEN Q., ZHANG Y., WEI Z., GAO Y., PENG J., HUANG Z., SUN W. & HUANG X.-J. (2020). Automatic term name generation for gene ontology : task and dataset. In *Findings of the Association for Computational Linguistics : EMNLP 2020*, p. 4705–4710.

# A Classification morphosyntaxique

Nous construisons un classifieur multi-étiquettes pour quatre des cinq classes définies à la section 2 : préfixation, suffixation, composition néoclassique ou ordinaire. Pour la cinquième (composition syntagmatique), nous nous reposons sur la simple heuristique du nombre de mots segmentés par spaCy. S'il y a plusieurs mots, nous considérons que le terme est un syntagme.

Pour détecter ces quatre procédés morphologiques, nous utilisons l'architecture de FastText (Joulin *et al.*, 2017), qui fournit un classifieur linéaire pour des séquences de caractères, représentées par l'ensemble des mots et des n-grammes de caractères qui y sont trouvées. Dans notre utilisation, ce classifieur est entraîné en mode « un contre tous » (*one versus all*), équivalent à un classifieur binaire pour chacune des classes identifiées supra.

Dans cette section, nous décrivons plus précisément les données utilisées pour entraîner et évaluer ce classifieur.

## A.1 MorphyNet et SIGMORPHON

Nous construisons un jeu d'entraînement et d'évaluation à partir des bases étymologiques MorphyNet (Batsuren et al., 2021) et de celle utilisée pour la *shared task* SIGMORPHON 2022 (Batsuren et al., 2022), toutes deux extraites depuis le Wiktionnaire anglais<fnref n="15" />. Nous combinons les deux bases car

<footnote n="15">15. https://en.wiktionary.org/</footnote>
<table><caption>TABLE 3 – Nombre de mots dans nos corpus de classification morphologique anglais et français pour chaque procédé indépendamment</caption><thead><tr><td>Procédé</td><td>Occurrences EN</td><td>Occurrences FR</td></tr></thead><tbody><tr><td>Ordinaire</td><td>45 463</td><td>2 854</td></tr><tr><td>Néoclassique</td><td>32 766</td><td>7 583</td></tr><tr><td>Préfixation</td><td>190 305</td><td>96 721</td></tr><tr><td>Suffixation</td><td>217 404</td><td>155 169</td></tr></tbody></table>

elles contiennent des informations complémentaires : SIGMORPHON contient des compositions ordinaires mais fournit seulement la segmentation morphologique, tandis que MorphyNet permet de retrouver la racine de tous les mots, même complexes, et différencie préfixation et suffixation.

Ces deux bases partagent toutefois le même défaut : elles ne considèrent pas les compositions néoclassiques, qui se trouvent mêlées aux affixations. Pour les différencier, nous usons d'une simple heuristique : si tous les morphèmes d'un mot sont classés comme affixes par MorphyNet, alors aucun n'est libre, il s'agit donc d'un composé néoclassique.

Notre algorithme est récursif pour décomposer les termes complexes (avec plus de deux morphèmes). Par exemple, *prétraitement* sera décomposé en *pré+traitement* (préfixation) et *traitement* sera à son tour décomposé en *traiter+ment* (suffixation). *Prétraitement* héritera donc de ces deux étiquettes.

## A.2 Implémentation

Les statistiques des lexiques anglais et français sont dans le tableau 3, qui confirment que les composés ordinaires sont bien plus rares en français. Nous remarquons également que les composés néoclassiques sont moins systématiquement annotés en français qu'en anglais, peut-être parce que MorphyNet et SIGMORPHON proviennent du Wiktionnaire anglais. Nous montrons également comment les différents procédés se combinent dans le tableau 5. Il est fréquent que des termes dérivés soient à la fois préfixés et suffixés, ce qui est en revanche impossible, par construction, pour les composés néoclassiques.

Ces lexiques sont divisés aléatoirement en ensemble d'entraînement (80%), de validation (10%) et de test (10%). Nous entraînons un modèle pour chaque langue. Les monomorphèmes (fléchis ou non) sont conservés et servent d'exemple négatifs pour toutes les classes pendant l'entraînement.

Les hyperparamètres de FastText sont déterminés automatiquement sur le jeu de validation grâce à la bibliothèque python fastText. Pour les deux langues, nous trouvons notamment qu'il est optimal d'utiliser des n-grammes de caractères pour $n \in [3, 6]$.

## A.3 Résultats

Les résultats sur le jeu de test sont dans le tableau 4. Le classifieur est très précis et a un très bon rappel, à l'exception des composés ordinaires en français qui sont sous-représentés, de par leur rareté, et dont le rappel est modeste. Dans une moindre mesure, le rappel pour les composés néoclassiques est moins élevé en français qu'en anglais à cause de leur sous-représentation dans SIGMORPHON,
<table><caption>TABLE 4 – Résultats de la classification morphologique multi-étiquettes, en anglais et en français</caption><thead><tr><th rowspan="2"></th><th colspan="3">Anglais</th><th colspan="3">Français</th></tr><tr><th>Précision</th><th>Rappel</th><th>F1</th><th>Précision</th><th>Rappel</th><th>F1</th></tr></thead><tbody><tr><th>Ordinaire</th><td>95.3</td><td>93.0</td><td>94.1</td><td>89.7</td><td>66.3</td><td>76.2</td></tr><tr><th>Néoclassique</th><td>93.4</td><td>91.4</td><td>92.4</td><td>92.2</td><td>87.2</td><td>89.6</td></tr><tr><th>Préfixation</th><td>91.5</td><td>91.3</td><td>91.4</td><td>93.8</td><td>93.5</td><td>93.6</td></tr><tr><th>Suffixation</th><td>93.2</td><td>93.3</td><td>93.2</td><td>97.4</td><td>98.0</td><td>97.7</td></tr></tbody><tfoot><tr><th>Total</th><td>92.7</td><td>92.4</td><td>92.5</td><td>95.9</td><td>95.7</td><td>95.8</td></tr></tfoot></table>

<table><caption>TABLE 5 – Nombre de mots dans nos corpus de classification morphologique anglais et français pour chaque combinaison de procédé</caption><thead><tr><th>Ordinaire</th><th>Néo.</th><th>Pré.</th><th>Suff.</th><th>Occ. EN</th><th>Occ. FR</th></tr></thead><tbody><tr><td></td><td></td><td></td><td></td><td>207 074</td><td>118 811</td></tr><tr><td></td><td></td><td></td><td>X</td><td>109 353</td><td>90 646</td></tr><tr><td></td><td></td><td>X</td><td></td><td>91 115</td><td>35 646</td></tr><tr><td></td><td></td><td>X</td><td>X</td><td>88 349</td><td>60 307</td></tr><tr><td></td><td>X</td><td></td><td></td><td>17 191</td><td>3 508</td></tr><tr><td></td><td>X</td><td></td><td>X</td><td>9 677</td><td>3 640</td></tr><tr><td></td><td>X</td><td>X</td><td></td><td>5 593</td><td>432</td></tr><tr><td></td><td>X</td><td>X</td><td>X</td><td>0</td><td>0</td></tr><tr><td>X</td><td></td><td></td><td></td><td>34 425</td><td>2 162</td></tr><tr><td>X</td><td></td><td></td><td>X</td><td>5 552</td><td>353</td></tr><tr><td>X</td><td></td><td>X</td><td></td><td>808</td><td>115</td></tr><tr><td>X</td><td></td><td>X</td><td>X</td><td>4 373</td><td>221</td></tr><tr><td>X</td><td>X</td><td></td><td></td><td>138</td><td>1</td></tr><tr><td>X</td><td>X</td><td></td><td>X</td><td>100</td><td>2</td></tr><tr><td>X</td><td>X</td><td>X</td><td></td><td>67</td><td>0</td></tr><tr><td>X</td><td>X</td><td>X</td><td>X</td><td>0</td><td>0</td></tr></tbody></table>

comme évoqué plus haut.
# WikiFactDiff: Un Grand jeu de données Réaliste et Temporellement Adaptable pour la Mise à Jour Atomique des Connaissances Factuelles dans les Modèles de Langue Causaux

Hichem Ammar Khodja¹, ² Frederic Bechet², ³ Quentin Brabant¹

Alexis Nasr² Gwénolé Lecorvé¹

(1) Orange Innovation - Lannion, France

(2) Aix-Marseille Univ, CNRS, LIS, UMR 7020 - Marseille, France

(3) International Laboratory on Learning Systems (ILLS - IRL2020 CNRS)

hichem.ammarkhodja@orange.com, frederic.bechet@lis-lab.fr, quentin.brabant@orange.com, alexis.nasr@lis-lab.fr, gwenole.lecorve@orange.com

## RÉSUMÉ

La factualité des modèles de langue se dégrade avec le temps puisque les événements postérieurs à leur entraînement leur sont inconnus. Une façon de maintenir ces modèles à jour pourrait être la mise à jour factuelle à l'échelle de faits atomiques. Pour étudier cette tâche, nous présentons WikiFactDiff, un jeu de données qui représente les changements survenus entre deux dates sous la forme d'un ensemble de faits simples, sous format RDF, divisés en trois catégories : les faits à apprendre, les faits à conserver et les faits obsolètes. Ces faits sont verbalisés afin de permettre l'exécution des algorithmes de mise à jour et leur évaluation, qui est présentée dans ce document. Contrairement aux jeux de données existants, WikiFactDiff représente un cadre de mise à jour réaliste qui implique divers scénarios, notamment les remplacements de faits, leur archivage et l'insertion de nouvelles entités.

## ABSTRACT

### WikiFactDiff: A Large, Realistic, and Temporally Adaptable Dataset for Atomic Factual Knowledge Update in Causal Language Models

The factuality of language models deteriorates over time since events subsequent to their training are unknown to them. One way to keep these models up to date could be factual update of atomic facts. To study this task, we present WikiFactDiff, a dataset that represents changes between two dates as a set of simple facts, in RDF format, divided into three categories: facts to learn, facts to keep and obsolete facts. Indeed, WikiFactDiff was built by comparing the state of Wikidata on January 4, 2021 and February 27, 2023. These facts are verbalized in order to allow the execution of update algorithms and their evaluation, which is presented in this document. Unlike existing datasets, WikiFactDiff represents a realistic editing framework that involves various scenarios, including replacements, archiving, and inserting new entities.

**MOTS-CLÉS** : Mise à jour des connaissances, Modèles de langue, Jeu de données.

**KEYWORDS**: Knowledge update, Language models, Dataset.

<figure><img src="image_95.png" /></figure>
# 1 Introduction

Les grands modèles de langue (GML) n’apprennent que les faits datant d’avant la date de collecte de leurs données d’entraînement (Lazaridou et al., 2021). Avec le temps, ces modèles peuvent ainsi propager des informations obsolètes, ce qui peut avoir des implications concrètes dans des domaines tel que la santé ou la politique. Par conséquent, savoir mettre à jour les faits connus par ces modèles est crucial pour garantir leur utilité et leur pertinence, ainsi que la fiabilité globale de toutes les applications d’IA qui en découlent.

Si la notion de connaissance est large (incluant les connaissances sur les faits, la linguistique, les procédures, etc.), la mise à jour des connaissances factuelles constitue actuellement un domaine de recherche particulièrement actif. En effet, contrairement aux approches traditionnelles de mise à jour globale via un affinage, une approche récente propose de réaliser des mises à jour atomiques, c’est-à-dire en considérant des faits uniques pour la mise à jour. Ces faits sont représentés dans la littérature comme des triplets (sujet, relation, objet), tel que (Inde, chef de l’État, Ram Nath Kovind). Dans ce cadre, de nombreux scénarios de mise à jour peuvent se produire (p. ex., l’archivage de faits obsolètes, l’insertion de nouvelles entités). Cependant, à notre connaissance, les algorithmes et les jeux de données de mise à jour actuels se limitent au seul scénario de remplacement (p. ex., mettre à jour le président des USA) (Yao et al., 2023). De plus, les mises à jour dans ces travaux sont irréalistes (p. ex., changer le domaine d’expertise d’Albert Einstein de la physique à la biologie), ce qui introduit des défis dans le maintien de la cohérence globale des connaissances. Cette situation ne reflète pas l’utilisation souhaitée pour des applications réelles.

<table><caption>TABLE 1 – Exemples de mises à jour tirées de WikiFactDiff.</caption><thead><tr><th>Sujet</th><th>Relation</th><th>Objet</th><th>Étiquette</th></tr></thead><tbody><tr><td rowspan="2">Japan</td><td rowspan="2">Population</td><td>125,96M</td><td>obsolète</td></tr><tr><td>125,44M</td><td>nouveau</td></tr><tr><td rowspan="3">Cristiano Ronaldo</td><td rowspan="3">member of sports team</td><td>Portugal national association football team</td><td>inchangé</td></tr><tr><td>Juventus F.C.</td><td>obsolète</td></tr><tr><td>Al-Nassr</td><td>nouveau</td></tr><tr><td rowspan="2">USA</td><td rowspan="2">head of government</td><td>Donald Trump</td><td>obsolète</td></tr><tr><td>Joe Biden</td><td>nouveau</td></tr><tr><td rowspan="2">Vyacheslav Geraschenko</td><td rowspan="2">coach of sports team</td><td>FC Smorgon</td><td>obsolète</td></tr><tr><td>FC Dnepr Mogilev</td><td>nouveau</td></tr><tr><td rowspan="4">ChatGPT</td><td>instance of</td><td>language model</td><td>nouveau</td></tr><tr><td>inception</td><td>30 November 2022</td><td>nouveau</td></tr><tr><td>...</td><td>...</td><td>nouveau</td></tr><tr><td></td><td></td><td></td></tr></tbody></table>

Pour remédier à ces limites, nous introduisons WikiFactDiff, un vaste jeu de données pour la mise à jour des connaissances factuelles des GML avec un large éventail de scénarios pour un large éventail d’entités de popularité variable. Il se présente sous la forme d’un ensemble de 223K mises à jour reflétant l’évolution des connaissances entre deux instances de Wikidata à deux dates, $T_{anc}$ et $T_{nouv}$. Comme illustré dans la table 1, chaque triplet est étiqueté par l’une des classes « nouveau », « obsolète » ou « inchangé »<fnref n="1" />. Ces triplets sont également verbalisés afin de permettre l’application des algorithmes de mise à jour actuels et la mesure des métriques d’évaluation du domaine.

<footnote n="1">1. Chaque triplet dont le sujet est "ChatGPT" est classé comme *nouveau* car cette entité est nouvelle par rapport à $T_{anc}$.</footnote>
En pratique, WikiFactDiff couvre l'évolution des connaissances factuelles entre $T_{anc} = 4$ janvier 2021 et $T_{nouv} = 27$ février 2023. Le choix de $T_{anc}$ est tel que les nouveaux faits du jeu de données sont postérieurs à ceux du corpus Pile (Gao et al., 2021), largement utilisé pour entraîner des GMLs (Wang & Komatsuzaki, 2021; Black et al., 2022; Biderman et al., 2023; Black et al., 2021). Une autre force de WikiFactDiff est que le processus de création s'adapte à la période [$T_{anc}$, $T_{nouv}$] de notre choix. Par conséquent, de nouvelles versions de WikiFactDiff peuvent être publiées pour s'aligner sur les dates de collecte de jeux de données autres que Pile. Pour illustrer l'utilisabilité du corpus, une évaluation des algorithmes de mise à jour existants est présentée. Cela fournit une base de référence à la communauté.

L'article est organisé comme suit : la section 2 présente le domaine et les travaux associés ; la section 3 donne un aperçu global de WikiFactDiff ; la section 4 décrie son processus de création ; et la section 5 présente les performances des algorithmes de mise à jour sur WikiFactDiff.

## 2 État de l'art

La famille d'algorithmes présentée ici permet la mise à jour du modèle en utilisant une phrase en langage naturel, dite d'injection, exprimant un fait (p. ex., "The president of USA is Joe Biden"). De même, l'évaluation de ces algorithmes repose également sur des faits verbalisés, où il est demandé au modèle de compléter des phrases à trou avec les informations correctes. En général, la qualité de la mise à jour est mesurée sur deux aspects : la généralisation du modèle sur des phrases sémantiquement équivalentes à la phrase d'injection (**généralisation**) et le maintien des performances sur des faits indépendants de celui mis à jour (**spécificité**).

Plusieurs algorithmes ont été proposés pour la mise à jour atomique des faits dans les GMLs, telles que le prompting (Si et al., 2023), l'affinage partiel des paramètres, avec ou sans régularisation, noté **FT+L** et **FT** respectivement (Zhu et al., 2020). D'un autre côté, De Cao et al. (2021) et Sinitsin et al. (2020) ont proposé des approches dites "hyper-réseaux", dont la plus avancée, **MEND** (Mitchell et al., 2022) propose une solution rapide et qui passe à l'échelle.

Des progrès ont également été réalisés dans la localisation des connaissances dans les modèles de langue. En particulier, Devlin et al. (2019) ont sondé les connaissances de BERT et ont montré qu'un ensemble restreint de neurones joue un rôle crucial dans la prédiction correcte de faits dans un GML. Plus tard, Meng et al. (2022) ont procédé à une analyse causale (Vig et al., 2020) sur GPT-2 (Radford et al., 2018) qui a conduit à des résultats similaires et ont introduit un algorithme nommé **ROME** qui s'est démarqué comme le plus efficace. Enfin, inspiré de ROME, Meng et al. (2023) ont introduit **MEMIT**, un algorithme de mise à jour capable d'effectuer des milliers de mises à jour simultanées.

En termes de bancs d'essais, CounterFact (Meng et al., 2022) et zsRE (Levy et al., 2017) sont les jeux de données de référence pour évaluer les algorithmes de mise à jour. Cependant, leurs mises à jour se limitent au scénario de remplacement et ne contiennent pas de litéraux (p. ex., la mise à jour de la population d'un pays). De plus, elles sont irréalistes car les nouvelles valeurs d'un fait sont générées de manière aléatoire, donnant lieu à des mises à jour telles que le remplacement de la spécialité d'Albert Einstein, qui est la physique, par la biologie, ce qui est totalement irréaliste. Il convient de noter que les auteurs de zsRE ont sélectionné au hasard les faits utlisés pour évaluer la spécificité. Notamment, les recherches de Meng et al. (2022) ont révélé que l'évaluation de la spécificité sur ces faits sélectionnés au hasard n'est pas une mesure suffisamment sensible. En revanche, l'évaluation de
la spécificité sur des faits voisins s'est avérée plus sensible et met mieux en évidence les limites des algorithmes de mise à jour.

## 3 Présentation de WikiFactDiff

Dans ce travail, les faits sont représentés à l'aide de triplets (sujet, relation, objet) tels que (France, capitale, Paris) ou (Allemagne, partage une frontière, Suisse). Nous définissons alors le (s, r)-groupe comme la collection de triplets qui ont s comme sujet et r comme relation. Au besoin, nous utilisons parfois plus simplement le terme **groupe** pour désigner une collection de triplets partageant le même sujet et la même relation.

WikiFactDiff est collecté pour la période du 4 janvier 2021 au 27 février 2023 et contient 223K mises à jour. Chaque mise à jour concerne un (s, r)-groupe unique avec chacun de ses triplets étiquetés comme : **nouveau** lorsque le fait porté par ce triplet s'est produit après $T_{anc}$, c'est-à-dire qu'il n'était pas valide avant $T_{anc}$ mais qu'il l'est à l'instant $T_{nouv}$ ; **obsolète** lorsque le fait était valide jusqu'à $T_{anc}$ mais ne l'est plus à l'instant $T_{nouv}$ ; ou **inchangé** pour les faits qui sont restés valides entre $T_{anc}$ et $T_{nouv}$.

<table><caption>TABLE 2 – Statistiques des jeux de données. "Adap. temp." signifie "Adaptabilité temporelle"</caption><thead><tr><th></th><th>CounterFact</th><th>WFD<sub>remp</sub></th><th>WikiFactDiff</th></tr></thead><tbody><tr><td>Triplets</td><td>43,838</td><td>20,988</td><td>349,441</td></tr><tr><td>Sujets</td><td>20,391</td><td>9,926</td><td>100,986</td></tr><tr><td>Relations</td><td>34</td><td>153</td><td>667</td></tr><tr><td>Objets</td><td>870</td><td>12,283</td><td>109,122</td></tr><tr><td>Objets "entité"</td><td>870</td><td>5,496</td><td>75,417</td></tr><tr><td>Objets "litéral"</td><td>0</td><td>6,787</td><td>33,705</td></tr><tr><td>Màj</td><td>21,919</td><td>10,494</td><td>223,140</td></tr><tr><td>RemplaceObjet</td><td>21,919</td><td>10,494</td><td>32,996</td></tr><tr><td>Archivage</td><td>0</td><td>0</td><td>2,756</td></tr><tr><td>AjoutObjet</td><td>0</td><td>0</td><td>1,494</td></tr><tr><td>AjoutRelation</td><td>0</td><td>0</td><td>50,541</td></tr><tr><td>AjoutEntité</td><td>0</td><td>0</td><td>132,844</td></tr><tr><td>Autre</td><td>0</td><td>0</td><td>2,509</td></tr><tr><td>Réaliste ?</td><td>✗</td><td>✓</td><td>✓</td></tr><tr><td>Adap. temp. ?</td><td>✗</td><td>✓</td><td>✓</td></tr></tbody></table>

De ce cadre, nous décrivons plusieurs scénarios de mise à jour :

- **RemplaceObjet** : Le groupe mis à jour contient deux triplets : l'un nouveau, l'autre obsolète.

- **Archivage** : Tous les triplets du groupe sont obsolètes.

- **AjoutObjet** : Le groupe contient au moins un triplet nouveau et au moins un triplet inchangé, p. ex., ajouter un membre à une organisation existante.

- **AjoutRelation** : Le groupe ne contient que des triplets nouveau et s n'est pas une nouvelle entité, ce qui signifie ajouter une nouvelle propriété à une entité s existante. Un exemple serait d'ajouter une « date de décès ».

- **AjoutEntité** : Lorsque s est une nouvelle entité. Dans ce cas, tous les triplets du groupe sont nécessairement étiquetés nouveau.
— Autre : Le reste des mises à jour. Il s'agit d'autres situations, plus rares et variées. Puisque les algorithmes actuels ne gèrent que le scénario de remplacement de faits, une version réduite de WikiFactDiff est également proposée dans le but de comparer ces algorithmes, notamment avec le corpus CounterFact. Cette version réduite s'appelle $WFD_{remp}^2$. Une comparaison mettant en évidence les différences entre WikiFactDiff et $WFD_{remp}$ par rapport à CounterFact est présentée dans la table 2.

# 4 Processus de création du corpus

La Figure 1 illustre le processus de création de WikiFactDiff. Ce processus est fondé sur 2 instances brutes de Wikidata aux instants $T_{anc}$ et $T_{nouv}$, notées $W_{anc}$ et $W_{nouv}$. Un aperçu de haut niveau des étapes de création est présentée dans ce qui suit. Une description détaillée se trouve dans l'annexe A.

<figure><img src="image_96.png" /><figcaption>FIGURE 1 – Illustration étape par étape du processus de création du WikiFactDiff</figcaption></figure>

**Prétraitement.** Les triplets dans les instances brutes de Wikidata sont nettoyés et filtrés. Cela inclut la suppression des informations non-pertinentes autour d'un triplet dans Wikidata (p. ex., des informations additionnelles, les références permettant de justifier le fait porté par ce triplet, etc.), la suppression des triplets dont l'information est incomplète ou peu fiable, le filtrage des triplets décrivant des méta-données de Wikidata. De plus, les triplets dont l'objet est non pertinent, tel que qu'un document PDF, une URL, une image ou une vidéo, sont aussi supprimés.

Afin d'assurer la pertinence des entités retenues, nous supprimons les triplets dont le sujet (une entité) ne possède pas un article Wikipédia dédié. Enfin, nous conservons seulement les faits à jour pour chaque version de Wikidata. En d'autres termes, chaque triplet dans la version prétraitée de $W_{anc}$ (resp. $W_{nouv}$), notée $W_{anc}^{Pré}$ (resp. $W_{nouv}^{Pré}$), est valide au temps $T_{anc}$ (resp. $T_{nouv}$).

<footnote n="2">2. $WFD_{remp}$ ne contient que les remplacements de WikiFactDiff avec un sous-échantillonage de la relation "population" d'un facteur 14 afin garder une diversité dans les relations évaluées.</footnote>
**Différence.** L'intersection et la différence sur les ensembles de triplets provenant de $W_{anc}^{Pré}$ et de $W_{nouv}^{Pré}$ sont calculées pour produire les ensembles complémentaires : Les faits qui sont uniquement dans $W_{anc}^{Pré}$, ceux qui sont uniquement dans $W_{nouv}^{Pré}$, et ceux qui sont à la fois dans $W_{anc}^{Pré}$ et $W_{nouv}^{Pré}$.

**Détection de nouvelles entités.** Les nouvelles entités sont des objets tangibles ou intangibles qui n'existait pas avant $T_{anc}$. Des exemples notables incluent *ChatGPT*, *L'invasion russe de l'Ukraine en 2022*, *Lilibet of Sussex*, entre autres (en supposant $T_{anc} = 4 janvier 2021$). Cet ensemble pourra constituer pour la communauté un support pour une tâche d'insertion d'entités dans les GMLs.

Les nouvelles entités sont toutes les entités e telles que : (i) e n'est présent que dans $W_{nouv}^{Pré}$ ; (ii) il existe un triplet $(e, r, d)$ où r est une relation désignant la date de création de $e^3$, et d est une date telle que $d > T_{anc}$. La condition (ii) est nécessaire car certains faits peuvent être antérieurs à $T_{anc}$ mais le fait manquait dans $W_{anc}$.

**Règles de classification.** Tous les triplets de $W_{anc}^{Pré}$ et $W_{nouv}^{Pré}$ sont filtrés à l'aide de règles élaborées manuellement pour les étiqueter avec « nouveau », « obsolète », ou « inchangé » (section 3). L'étape de filtrage permet également de supprimer les $(s, r)$-groupes où la nature des changements n'est pas tout à fait claire. Il s'agit de garantir que les changements factuels retenus reflètent des changements effectifs dans le monde réel (annexe A.3).

**Recherche de faits voisins pour évaluer la spécificité.** Lorsqu'un fait est mis à jour, la distribution de probabilité du modèle de langue est modifiée, ce qui peut dégrader sa précision sur d'autres faits. Ce phénomène est connu sous le nom de **débordement**. Pour permettre sa détection et sa mesure, WikiFactDiff est accompagné de faits voisins susceptibles d'être modifiés négativement lorsqu'un $(s, r)$-groupe donné est mis à jour.

Notre méthode des *K* plus proches triplets s'appuie sur une similarité entre entités. Cette similarité est calculée de la façon suivante : pour chaque entité *s*, nous identifions l'ensemble des triplets $I_s$ dont elle est le sujet $(s, *, *)$. Ensuite, l'ensemble des relations, des objets (de type "entité" seulement), et des paires relation-objet mentionnés dans $I_s$ sont organisés dans une liste $L_s$. Après cela, des représentations TF-IDF de $L_s$ sont calculées pour chaque entité *s*. La similarité entre deux entités est le cosinus entre leurs vecteurs TF-IDF respectifs.

Afin de trouver la liste (notée *P*) des *K* triplets les plus proches d'un $(s, r)$-groupe donné, les entités les plus proches de *s* sont listées. Pour chaque entité, un unique triplet de la forme $(s', r, o')$ est ajouté à *P* s'il existe. Ce processus est maintenu jusqu'à ce que *P* possède *K* triplets. Chaque $(s, r)$-groupe de WikiFactDiff est accompagné de ses 10 triplets les plus proches ($K = 10$). Les détails de notre méthode se trouvent dans l'annexe A.4.

**Verbalisation.** A l'aide de ChatGPT combiné à une procédure de post-traitement, des patrons sont générés pour chaque relation afin de verbaliser tout triplet de WikiFactDiff (détails et exemples en annexe A.5). Des phrases à trou sont générées à partir de ces patrons pour effectuer les mises à jour factuelles applicables par les algorithmes existants et évaluer leurs performances.

En conséquence, WikiFactDiff inclut tous les triplets filtrés et étiquetés, l'ensemble des entités nouvelles, les triplets les plus proches et les verbalisations pour chaque triplet. La chaîne de création sera publié sur GitHub.

<footnote n="3">3. En pratique, ces relations sont 'inception', 'date of birth', 'start time', 'date of discovery or invention', 'date of official opening', 'announcement date', 'point in time' et 'publication date'.</footnote>
<table><caption>TABLE 3 – Définition des métriques d’évaluation. P et P* sont la fonction de probabilité du modèle de langue normalisée par la longueur de l’objet (en utilisant la moyenne géométrique), respectivement avant et après la mise à jour. H<sub>n</sub>(x) est l’entropie n-gramme pondérée sur le texte x. G(φ) est la fonction de génération de texte (gloutonne) du modèle étant donné l’amorce φ.</caption><tr><td>Efficacité : différence</td><td>P*[o*|φ<sub>m</sub>] - P*[o|φ<sub>m</sub>]</td></tr><tr><td>Efficacité : succès</td><td>1P*[o*|φ<sub>m</sub>]>P*[o|φ<sub>m</sub>]</td></tr><tr><td>Généralisation : différence</td><td>1/|Φ| Σ<sub>φ∈Φ</sub> P*[o*|φ] - P*[o|φ]</td></tr><tr><td>Généralisation : succès</td><td>1/|Φ| Σ<sub>φ∈Φ</sub> 1P*[o*|φ]>P*[o|φ]</td></tr><tr><td>Débordement</td><td>-1/|N| Σ<sub>(φ',o')∈N</sub> min(P*[o'|φ'] - P[o'|φ'], 0)</td></tr><tr><td>Fluidité</td><td>1/|Φ| Σ<sub>φ∈Φ</sub> 2/3 H<sub>2</sub>(G(φ)) + 4/3 H<sub>3</sub>(G(φ))</td></tr></table>

# 5 Expérimentations

Cette section évalue les algorithmes de mise à jour atomique existants sur le sous-ensemble WFD<sub>remp</sub>, la version restreinte de WikiFactDiff pour le seul scénario de mise à jour de remplacement d’objet (voir la section 3). Les algorithmes sont ROME, MEMIT, MEND, FT et FT+L, tels qu’implémentés par Meng<sup>4</sup>. Le modèle à mettre à jour est GPT-J configuré en précision bfloat16. Ces mises à jour sont effectuées à l’aide d’une RTX3090 (24 Go de VRAM).

Une mise à jour *m* de WFD<sub>remp</sub> consiste en le remplacement d'un fait (*s*, *r*, *o*) par un fait (*s*, *r*, *o*<sup>*</sup>); par exemple, (Japon, population, 125.96M) par (Japon, population, 125.44M). La phrase d'injection est alors produite à partir d'un patron de phrase *φ*<sub>*m*</sub> ("The population of Japan is __") et instanciée sur *o*<sup>*</sup> en comblant le trou (par exemple, "The population of Japan is 125.44M"). Nous désignons par *φ*<sub>*m*</sub> + *o*<sup>*</sup> la phrase d'injection ainsi construite.

Une fois la mise à jour effectuée, quatre aspects sont évalués : l’efficacité, la généralisation, la spécificité et la fluidité. L’efficacité est atteinte si le modèle préfère le nouvel objet *o*<sup>*</sup> à l’ancien objet *o* étant donné l’amorce *φ*<sub>*m*</sub>. La généralisation est obtenue si le modèle préfère *o*<sup>*</sup> à *o* sur des phrases à trou alternatives à partir d’un ensemble Φ (dans notre expérience, Φ contient 4 phrases à trou). La spécificité est obtenue en minimisant le débordement, qui est une dégradation de la capacité du modèle à prédire les bons objets des phrases à trou correspondantes à des faits indépendants qui

<footnote n="4">4. github.com/kmeng01/memit</footnote>
<table><caption>TABLE 4 – Résultats numériques des algorithmes de mise à jour sur WFD<sub>remp</sub> avec leurs intervalles de confiance respectifs à 95%. **D** et **S** signifient respectivement *différence* et *succès*. Les valeurs **soulignées en vert** représentent les maxima par colonne et les valeurs en **rouge** indiquent un échec évident d'un algorithme sur une métrique. ‡ indique les algorithmes conçus pour les mises à jour par lots.</caption><thead><tr><th rowspan="2">Algo.</th><th rowspan="2">Efficacité-D ↑</th><th rowspan="2">Efficacité-S ↑</th><th rowspan="2">Gén.-D ↑</th><th rowspan="2">Gén.-S ↑</th><th colspan="2">Débordement ↓</th><th rowspan="2">Fluidité ↑</th><th rowspan="2">Temps ↓</th></tr><tr><th>Aléatoire</th><th>K-plus-proche</th></tr></thead><tbody><tr><td>GPT-J</td><td>-1.4 ± 0.2</td><td>44.6 ± 1.0</td><td>-1.3 ± 0.2</td><td>44.4 ± 0.9</td><td>0.0 ± 0.0</td><td>0.0 ± 0.0</td><td>5.2 ± 0.0</td><td>0.0 ± 0.0</td></tr><tr><td>FT</td><td>45.9 ± 0.5</td><td>99.6 ± 0.1</td><td>45.7 ± 0.5</td><td><span style="color:green;">99.5 ± 0.1</span></td><td><span style="color:red;">3.3 ± 0.1</span></td><td><span style="color:red;">5.6 ± 0.2</span></td><td><span style="color:red;">0.6 ± 0.0</span></td><td>1.4 ± 0.0</td></tr><tr><td>FT+L</td><td><span style="color:red;">12.9 ± 0.6</span></td><td><span style="color:red;">72.9 ± 0.9</span></td><td><span style="color:red;">1.1 ± 0.2</span></td><td><span style="color:red;">53.6 ± 0.8</span></td><td>0.1 ± 0.0</td><td><span style="color:green;">0.3 ± 0.0</span></td><td>5.1 ± 0.0</td><td>2.4 ± 0.0</td></tr><tr><td>MEND</td><td>64.5 ± 0.6</td><td>99.4 ± 0.1</td><td>28.8 ± 0.5</td><td>96.5 ± 0.3</td><td><span style="color:green;">0.0 ± 0.0</span></td><td>1.0 ± 0.1</td><td>4.9 ± 0.0</td><td>1.1 ± 0.0</td></tr><tr><td>ROME</td><td><span style="color:green;">95.5 ± 0.2</span></td><td><span style="color:green;">99.7 ± 0.1</span></td><td><span style="color:green;">59.5 ± 0.6</span></td><td>98.0 ± 0.2</td><td><span style="color:green;">0.0 ± 0.0</span></td><td>0.6 ± 0.1</td><td><span style="color:red;">5.2 ± 0.0</span></td><td>4.9 ± 0.0</td></tr><tr><td>MEMIT‡</td><td>87.4 ± 0.3</td><td>99.5 ± 0.1</td><td>42.1 ± 0.6</td><td>94.4 ± 0.3</td><td><span style="color:green;">0.0 ± 0.0</span></td><td><span style="color:green;">0.3 ± 0.0</span></td><td><span style="color:red;">5.2 ± 0.0</span></td><td><span style="color:red;">41.4 ± 0.2</span></td></tr><tr><td>PROMPT</td><td>58.6 ± 0.5</td><td>98.9 ± 0.2</td><td>30.8 ± 0.5</td><td>93.3 ± 0.4</td><td><span style="color:red;">1.1 ± 0.0</span></td><td><span style="color:green;">0.3 ± 0.0</span></td><td>4.4 ± 0.0</td><td><span style="color:green;">0.0 ± 0.0</span></td></tr></tbody></table>

n'ont pas été mis à jour. Pour mesurer le débordement, nous nous appuyons sur un ensemble de triplets {($s_i$, $r$, $o_i$)}<sub>i</sub> sélectionnés soit de manière aléatoire<sup>5</sup>, ou en utilisant la méthode de recherche des faits voisins. Pour chaque triplet ($s_i$, $r$, $o_i$), par ex. (Chine, population, 1.412B), nous choisissons au hasard un patron sur $r$ et remplissons l'emplacement du sujet avec $s_i$ pour créer une phrase à trou $\phi_i$, par ex. "The population of China is __". Enfin, la fluidité (Zhang et al., 2018) est la capacité du modèle à produire des phrases fluides; elle ne devrait pas diminuer après la mise à jour. La définition exacte de ces métriques est disponible dans le tableau 3. Les performances moyennes de chaque algorithme sur WFD<sub>remp</sub> sont présentées dans le tableau 4.

En plus des méthodes de mise à jour mentionnées dans la section 2, nous évaluons l'algorithmes PROMPT, qui consiste à influencer les connaissances du modèle au moment de l'inférence en préfixant chaque phrase à trou avec $\phi_m + o^*$. Par exemple, si nous voulons mettre à jour le président des États-Unis en Joe Biden, nous préfixons le modèle avec "The president of USA is Joe Biden.". C'est une opportunité de comparer deux catégories de méthodes : celles qui modifient les paramètres du modèle (comme évoqué précédemment) et celles qui injectent des connaissances via du prompting. Cette dernière approche, largement utilisée dans les méthodes de génération augmentée par récupération (GAR) (Lewis et al., 2020), évite le défi de la mise à jour des connaissances en insufflant directement les connaissances requises dans le préfixe de génération. Il est pertinent de noter que PROMPT ajoute une surcharge de calcul qui croit quadratiquement avec la taille du préfixe utilisé, qui de plus, est limité par taille du contexte du modèle de langue.

## 5.1 Résultats généraux

Nos résultats (cf. table 4) sont principalement en accord avec ceux produits avec CounterFact (Meng et al., 2023). Ceci valide la qualité des triplets et verbalisations dans notre corpus. Sur un autre plan, il est intéressant de noter que cette similitude tend à démontrer que le réalisme des mises à jours (comme dans WikiFactDiff par rapport à CounterFact) n'est peut-être pas important pour comparer globalement des approches entre elles. Plus en détails, la méthode FT généralise bien mais ne parvient pas complètement à maintenir la spécificité et la fluidité. En revanche, FT+L ne

<footnote n="5">5. Les faits aléatoires sont échantillonnés uniformément à partir de l'union des faits voisins de toutes les instances dans WFD<sub>remp</sub>.</footnote>
provoque pas de débordement mais ne parvient pas à généraliser sur les phrases alternatives. Bien que ROME soit globalement le meilleur algorithme, l'écart avec MEND n'est pas aussi prononcé que dans CounterFact, notamment en termes de spécificité et de généralisation. Nous notons également que l'efficacité de FT+L n'est pas aussi élevée que dans CounterFact.

Enfin, PROMPT est compétitif avec l'état de l'art sur toutes les métriques, à l'exception du débordement sur des triplets aléatoires (cette particularité est commentée plus en détail dans la section 5.2). Étant donné que la solicitation de faits sans rapport avec le préfixe utilisé est rarement effectuée dans la pratique, le débordement de PROMPT sur des faits aléatoires ne constitue pas une faiblesse critique de la méthode. Cependant, il faut garder à l'esprit que l'insertion de connaissances dans un GML à l'aide de préfixes est limitée par la taille du contexte, contrairement aux méthodes qui mettent à jour les paramètres du modèle.

## 5.2 Efficacité de notre recherche des faits voisins pour la détection de débordement

Pour toutes les méthodes sauf PROMPT, nous observons que les scores de débordement sont plus élevés sur les *K* triplets les plus proches que sur les triplets aléatoires. Le débordement plus élevé de PROMPT sur des voisins aléatoires pourrait s'expliquer comme suit : préfixer la phrase à trou par un fait totalement indépendant crée un contexte inhabituel au regard des données d'entraînement du modèle (p. ex., "My Mister has a duration of 90 min. Langenbach has a population of __"), ce qui perturbe son comportement à l'inférence.

Le fait que tous les algorithmes reposant sur la mise à jour des paramètres GML aient un débordement significativement plus élevé sur les *K* voisins les plus proches confirme la pertinence de cette approche. Cependant, le fait que PROMPT soit sujet à des débordements sur des voisins aléatoires suggère que cette dernière métrique pourrait être une mesure complémentaire utile.

Enfin, il existe des améliorations possibles à notre méthode des plus proches triplets. En effet, les connaissances des modèles de langue sont biaisées vers des sujets populaires (Kandpal et al., 2023), nous pouvons donc soupçonner que la popularité d'une entité a une certaine influence sur la magnitude du débordement. Nous avons mesuré cette influence en calculant le débordement moyen sur les triplets, en fonction de la popularité de leur sujet et de leur similarité avec le triplet mis à jour (cf. figure 2). Il apparaît que les deux facteurs ont une influence positive sur la probabilité de débordement. Plus un sujet est populaire et similaire au sujet édité, plus il est probable que des débordements se produiront. Cependant, il existe des cas où la similarité est faible mais où des débordements se produisent lorsque le sujet est populaire. Pour les recherches futures, notre méthode de sélection de voisins pour la détection des débordements pourrait ainsi être améliorée en intégrant la popularité du sujet.

## 6 Conclusion et perspectives

Dans cet article, nous avons présenté WikiFactDiff, un nouveau jeu de données de mise à jour des connaissances contenant des changements de connaissances factuelles sur une période donnée. Il élargit considérablement la gamme des faits considérés et les scénarios précédemment proposés dans la littérature (présence de littéraux; réalisme; insertion d'entités; etc.). Notre jeu de données est accessible avec tout le matériel nécessaire pour exécuter et évaluer les algorithmes de mise à jour. De
<figure><img src="image_97.png" /></figure>

FIGURE 2 – Impact moyen de la popularité et de la similarité des voisins sur le débordement. Cette métrique est normalisée pour chaque algorithme afin d'atténuer la variance entre eux.

plus, le processus de création de corpus est adaptable à de nouvelles périodes.

WikiFactDiff introduit ainsi de multiples pistes de recherche pour le futur. Tout d'abord, les méthodes de mise à jour actuelles ne considérant que le scénario de remplacement (pour lequel des résultats ont été fournis dans cet article), développer des méthodes pour les autres scénarios de mise à jour (comme proposé par WikiFactDiff) ou évaluer comment celles existantes généralisent est une question majeure. Une autre piste est la mise à jour simultanée de multiples connaissances. Les meilleurs algorithmes connus sont efficaces jusqu'à quelques milliers de mises à jour avant de rencontrer des problèmes. Comme WikiFactDiff compte 224 000 mises à jour, il s'agit d'un terrain d'expérimentation propice. Enfin, comme les faits de WikiFactDiff sont dérivés de la réalité, il est naturel de s'attendre à ce que le modèle se souvienne des faits passés. Cette problématique de recherche est encore (à notre connaissance) négligée dans la communauté, et à cet égard, WikiFactDiff introduit d'autres scénarios complexes pour des travaux futurs.

Références

BIDERMAN S., SCHOELKOPF H., ANTHONY Q. G., BRADLEY H., O'BRIEN K., HALLAHAN E., KHAN M. A., PUROHIT S., PRASHANTH U. S., RAFF E., SKOWRON A., SUTAWIKA L. & VAN DER WAL O. (2023). Pythia : A suite for analyzing large language models across training and scaling. In A. KRAUSE, E. BRUNSKILL, K. CHO, B. ENGELHARDT, S. SABATO & J. SCARLETT, Éds., *International Conference on Machine Learning*, ICML 2023, 23-29 July 2023, Honolulu, Hawaii, USA, volume 202 de *Proceedings of Machine Learning Research*, p. 2397-2430 : PMLR.

BLACK S., BIDERMAN S., HALLAHAN E., ANTHONY Q., GAO L., GOLDING L., HE H., LEAHY C., MCDONELL K., PHANG J., PIELER M., PRASHANTH U. S., PUROHIT S., REYNOLDS L.,
TOW J., WANG B. & WEINBACH S. (2022). GPT-NeoX-20B : An open-source autoregressive language model. In A. FAN, S. ILIC, T. WOLF & M. GALLÉ, Éds., *Proceedings of BigScience Episode #5 – Workshop on Challenges & Perspectives in Creating Large Language Models*, p. 95–136, virtual+Dublin : Association for Computational Linguistics. DOI: 10.18653/v1/2022.bigscience-1.9.

BLACK S., GAO L., WANG P., LEAHY C. & BIDERMAN S. (2021). GPT-Neo : Large Scale Autoregressive Language Modeling with Mesh-Tensorflow. DOI: 10.5281/zenodo.5297715.

DAI D., DONG L., HAO Y., SUI Z., CHANG B. & WEI F. (2022). Knowledge neurons in pretrained transformers. In *Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers)*, p. 8493–8502, Dublin, Ireland : Association for Computational Linguistics. DOI: 10.18653/v1/2022.acl-long.581.

DE CAO N., AZIZ W. & TITOV I. (2021). Editing factual knowledge in language models. In *Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing*, p. 6491–6506, Online and Punta Cana, Dominican Republic : Association for Computational Linguistics. DOI: 10.18653/v1/2021.emnlp-main.522.

DEVLIN J., CHANG M.-W., LEE K. & TOUTANOVA K. (2019). BERT : Pre-training of deep bidirectional transformers for language understanding. In *Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics : Human Language Technologies, Volume 1 (Long and Short Papers)*, p. 4171–4186, Minneapolis, Minnesota : Association for Computational Linguistics. DOI: 10.18653/v1/N19-1423.

DHINGRA B., COLE J. R., EISENSCHLOS J. M., GILLICK D., EISENSTEIN J. & COHEN W. W. (2022). Time-aware language models as temporal knowledge bases. *Trans. Assoc. Comput. Linguistics, 10*, 257–273. DOI: 10.1162/tacl_a_00459.

DONG Q., DAI D., SONG Y., XU J., SUI Z. & LI L. (2022). Calibrating factual knowledge in pretrained language models. In Y. GOLDBERG, Z. KOZAREVA & Y. ZHANG, Éds., *Findings of the Association for Computational Linguistics : EMNLP 2022, Abu Dhabi, United Arab Emirates, December 7-11, 2022*, p. 5937–5947 : Association for Computational Linguistics. DOI: 10.18653/v1/2022.findings-emnlp.438.

GAO L., BIDERMAN S., BLACK S., GOLDING L., HOPPE T., FOSTER C., PHANG J., HE H., THITE A., NABESHIMA N., PRESSER S. & LEAHY C. (2021). The pile : An 800gb dataset of diverse text for language modeling. *CoRR*, abs/2101.00027.

JANG J., YE S., LEE C., YANG S., SHIN J., HAN J., KIM G. & SEO M. (2022a). TemporalWiki : A lifelong benchmark for training and evaluating ever-evolving language models. In *Proceedings of the 2022 Conference on Empirical Methods in Natural Language Processing*, p. 6237–6250, Abu Dhabi, United Arab Emirates : Association for Computational Linguistics. DOI: 10.18653/v1/2022.emnlp-main.418.

JANG J., YE S., YANG S., SHIN J., HAN J., KIM G., CHOI S. J. & SEO M. (2022b). Towards continual knowledge learning of language models. In *The Tenth International Conference on Learning Representations, ICLR 2022, Virtual Event, April 25-29, 2022 : OpenReview.net*.

KANDPAL N., DENG H., ROBERTS A., WALLACE E. & RAFFEL C. (2023). Large language models struggle to learn long-tail knowledge. In A. KRAUSE, E. BRUNSKILL, K. CHO, B. ENGELHARDT, S. SABATO & J. SCARLETT, Éds., *International Conference on Machine Learning, ICML 2023, 23-29 July 2023, Honolulu, Hawaii, USA*, volume 202 of *Proceedings of Machine Learning Research*, p. 15696–15707 : PMLR.
LAZARIDOU A., KUNCORO A., GRIBOVSKAYA E., AGRAWAL D., LISKA A., TERZI T., GIMENEZ M., DE MASSON D'AUTUME C., KOCISKÝ T., RUDER S., YOGATAMA D., CAO K., YOUNG S. & BLUNSOM P. (2021). Mind the gap: Assessing temporal generalization in neural language models. In M. RANZATO, A. BEYGELZIMER, Y. N. DAUPHIN, P. LIANG & J. W. VAUGHAN, Éds., *Advances in Neural Information Processing Systems 34: Annual Conference on Neural Information Processing Systems 2021*, NeurIPS 2021, December 6-14, 2021, virtual, p. 29348–29363.

LEVY O., SEO M., CHOI E. & ZETTLEMOYER L. (2017). Zero-shot relation extraction via reading comprehension. In R. LEVY & L. SPECIA, Éds., *Proceedings of the 21st Conference on Computational Natural Language Learning (CoNLL 2017)*, Vancouver, Canada, August 3-4, 2017, p. 333–342: Association for Computational Linguistics. DOI: 10.18653/v1/K17-1034.

LEWIS P. S. H., PEREZ E., PIKTUS A., PETRONI F., KARPUKHIN V., GOYAL N., KÜTTLER H., LEWIS M., YIH W., ROCKTÄSCHEL T., RIEDEL S. & KIELA D. (2020). Retrieval-augmented generation for knowledge-intensive NLP tasks. In H. LAROCHELLE, M. RANZATO, R. HADSELL, M. BALCAN & H. LIN, Éds., *Advances in Neural Information Processing Systems 33: Annual Conference on Neural Information Processing Systems 2020*, NeurIPS 2020, December 6-12, 2020, virtual.

LIVSKA A., KOVCISKÝ T., GRIBOVSKAYA E., TERZI T., SEZENER E., AGRAWAL D., DE MASSON D'AUTUME C., SCHOLTES T., ZAHEER M., YOUNG S., GILSENAN-MCMAHON E., AUSTIN S., BLUNSOM P. & LAZARIDOU A. (2022). Streamingqa: A benchmark for adaptation to new knowledge over time in question answering models. In *International Conference on Machine Learning*.

MENG K., BAU D., ANDONIAN A. & BELINKOV Y. (2022). Locating and editing factual associations in GPT. In *NeurIPS*.

MENG K., SHARMA A. S., ANDONIAN A. J., BELINKOV Y. & BAU D. (2023). Mass-editing memory in a transformer. In *The Eleventh International Conference on Learning Representations, ICLR 2023, Kigali, Rwanda, May 1-5, 2023 : OpenReview.net*.

MITCHELL E., LIN C., BOSSELUT A., FINN C. & MANNING C. D. (2022). Fast model editing at scale. In *The Tenth International Conference on Learning Representations, ICLR 2022, Virtual Event, April 25-29, 2022 : OpenReview.net*.

RADFORD A., WU J., CHILD R., LUAN D., AMODEI D. & SUTSKEVER I. (2018). Language models are unsupervised multitask learners.

SI C., GAN Z., YANG Z., WANG S., WANG J., BOYD-GRABER J. L. & WANG L. (2023). Prompting GPT-3 to be reliable. In *The Eleventh International Conference on Learning Representations, ICLR 2023, Kigali, Rwanda, May 1-5, 2023 : OpenReview.net*.

SINITSIN A., PLOKHOTNYUK V., PYRKIN D. V., POPOV S. & BABENKO A. (2020). Editable neural networks. In *8th International Conference on Learning Representations, ICLR 2020, Addis Ababa, Ethiopia, April 26-30, 2020 : OpenReview.net*.

VIG J., GEHRMANN S., BELINKOV Y., QIAN S., NEVO D., SINGER Y. & SHIEBER S. M. (2020). Investigating gender bias in language models using causal mediation analysis. In H. LAROCHELLE, M. RANZATO, R. HADSELL, M. BALCAN & H. LIN, Éds., *Advances in Neural Information Processing Systems 33: Annual Conference on Neural Information Processing Systems 2020*, NeurIPS 2020, December 6-12, 2020, virtual.

WANG B. & KOMATSUZAKI A. (2021). GPT-J-6B : A 6 Billion Parameter Autoregressive Language Model. https://github.com/kingoflolz/mesh-transformer-jax.
WANG R., TANG D., DUAN N., WEI Z., HUANG X., JI J., CAO G., JIANG D. & ZHOU M. (2021). K-Adapter: Infusing Knowledge into Pre-Trained Models with Adapters. In *Findings of the Association for Computational Linguistics: ACL-IJCNLP 2021*, p. 1405–1418, Online: Association for Computational Linguistics. DOI: 10.18653/v1/2021.findings-acl.121.

YAO Y., WANG P., TIAN B., CHENG S., LI Z., DENG S., CHEN H. & ZHANG N. (2023). Editing large language models: Problems, methods, and opportunities. In H. BOUAMOR, J. PINO & K. BALI, Éds., *Proceedings of the 2023 Conference on Empirical Methods in Natural Language Processing*, p. 10222–10240, Singapore: Association for Computational Linguistics. DOI: 10.18653/v1/2023.emnlp-main.632.

ZHANG Y., GALLEY M., GAO J., GAN Z., LI X., BROCKETT C. & DOLAN B. (2018). Generating informative and diverse conversational responses via adversarial information maximization. In S. BENGIO, H. M. WALLACH, H. LAROCHELLE, K. GRAUMAN, N. CESA-BIANCHI & R. GARNETT, Éds., *Advances in Neural Information Processing Systems 31: Annual Conference on Neural Information Processing Systems 2018, NeurIPS 2018, December 3-8, 2018, Montréal, Canada*, p. 1815–1825.

ZHU C., RAWAT A. S., ZAHEER M., BHOJANAPALLI S., LI D., YU F. X. & KUMAR S. (2020). Modifying memories in transformer models. CoRR, abs/2012.00363.

## A Processus détaillé de la création de WikiFactDiff

La Figure 1 illustre le processus de création de WikiFactDict. Basé sur 2 instances brutes de Wikidata aux instants $T_{anc}$ et $T_{nouv}$, notés $W_{anc}$ et $W_{nouv}$, les étapes clés suivantes sont traitées :

1. **Prétraitement et différence** : les triplets dans les dumps Wikidata sont nettoyés et filtrés pour éliminer les informations et métadonnées non pertinentes, et une différence naïve est calculée entre tous les groupes $(s, r)$ dans ces deux instantanés prétraités. Cela entraîne un partitionnement de tous les triplets en $F^-$, $F^+$ et $F^0$, qu'ils appartiennent à l'ancien ou au nouveau dump, ou aux deux.

2. **Détection de nouvelles entités** Pour déterminer les scénarios de mise à jour, les nouvelles entités apparues pendant la période $[T_{anc}, T_{nouv}]$ sont repérées à partir de $F^+$.

3. **Règles de classification** : Tous les triplets de $F^-$ et $F^+$ sont filtrés à l'aide de règles élaborées manuellement pour les étiqueter avec « nouveau », « obsolète », ou « inchangé » (section 3). Cela permet également de supprimer les groupes $(s, r)$ où la nature des changements n'est pas tout à fait claire. Il s'agit de garantir que les changements factuels retenus reflètent des changements dans le monde réel.

4. **Recherche de faits voisins** : Pour tous les triplets retenus après tout le filtrage, des triplets sémantiquement proches sont identifiés. Cette étape est cruciale pour évaluer les métriques de spécificité des algorithmes de mise à jour.

5. **Verbalisation** : Enfin, des phrases d'injection et des phrases à trou doivent être générées pour effectuer les mises à jour factuelles applicables par les algorithmes existants et évaluer leurs performances sur WikiFactDiff.
## A.1 Prétraitement et différence entre les instantanés Wikidata

Le prétraitement de $W_{anc}$ et $W_{nouv}$ se compose de plusieurs étapes, chaque étape filtrant une partie des données d'origine.

**Triplets vs informations supplémentaires.** Nous divisons les instances Wikidata en deux parties : les faits de base formalisés sous forme de triplets tels que (Elizabeth II, position occupée, Chef du Commonwealth), et toutes les informations supplémentaires entourant ces faits, appelées qualificatifs.

Dans Wikidata, les qualificatifs permettent de développer, d'annoter ou de contextualiser des triplets représentant des faits simples. Par exemple, les qualificatifs "start time" et "end time" permettent de préciser la période de validité d'un fait. Par exemple, (Elizabeth II, position occupée, Chef du Commonwealth) est un triplet Wikidata avec les qualificatifs start time et end time avec les valeurs « 6 février 1952 » et « 8 septembre 2022 », respectivement. Trois qualificatifs temporels sont pris en compte lors de la création de l'ensemble de données : start time, end time et point in time.

Nous incluons uniquement les faits de base dans WikiFactDiff. Les informations supplémentaires sont toutefois utilisées à certaines étapes de la création du jeu de données.

**Triplets restreints.** Les qualificatifs temporels sont des exemples de qualificatifs restrictifs<fnref n="6" />, c'est-à-dire des "qualificatifs qui restreignent ou modifient le référent du sujet, sans quoi la déclaration peut être inexacte ou dénuée de sens". Par exemple, le triplet (Se7en, review score, 83%) est incomplet sans la qualification : reviewed by : Rotten Tomatoes. Nous supprimons tous les triplets avec un qualificatif restrictif autre que point dans le temps, start time ou end time.

**Triplets peu fiables.** Dans Wikidata, un rang<fnref n="7" /> (preferred, normal ou deprecated) est joint à chaque triplet pour évaluer sa pertinence. Nous filtrons tous les triplets dont le rang est deprecated.

**Méta-triplets.** Certaines relations Wikidata sont du type 'Wikidata property about Wikimedia entities' : ce sont des méta-relations, utilisées pour la gestion des projets Wikimédia. Par conséquent, nous supprimons les triplets qui ont une méta-relation.

**Valeurs d'objet non pertinentes ou inexploitables.** Nous filtrons les triplets dont l'objet est une URL ou un identifiant externe identifiant une entité dans une autre base de connaissances. En règle générale, les URL sont des liens vers des sites Web externes ou vers divers fichiers multimédias communs (par exemple, images, vidéos, documents, fichiers audio, etc.).

Les triplets dont l'objet sont les coordonnées du globe sont également filtrés, car ils ont provoqué des divergences lors du calcul de la différence entre $W_{anc}$ et $W_{nouv}$ : des écarts mineurs résultant de la précision en virgule flottante conduisent souvent à une classification erronée de coordonnées égales comme étant distinctes.

Enfin, les triplets dont l'objet est 'some value' ou 'no value' sont également filtrés.

**Entités non pertinentes.** Notre objectif est de conserver uniquement les triplets qui concernent des entités réelles du monde. Pour identifier de telles entités, nous nous appuyons sur Wikipédia : nous supposons qu'une entité n'est pertinente que si elle dispose d'un article Wikipédia dédié (ou rarement, d'une partie d'un article Wikipédia). De plus, cette page ne doit pas être une liste, une catégorie, un modèle ou une page d'homonymie. Les entités qui ne remplissent pas cette condition sont filtrées ; tous les triplets contenant une de ces entités sont également supprimés.

<footnote n="6">6. https://www.wikidata.org/wiki/Q61719275</footnote>

<footnote n="7">7. https://www.wikidata.org/wiki/Help:Ranking</footnote>
**Valeurs obsolètes dans les relations fonctionnelles temporelles.** Nous appelons une relation *r* fonctionnelle temporelle si pour chaque sujet *s* dans le graphe de connaissances, le groupe (*s*, *r*) ne peut posséder qu'un seul élément lorsqu'il est contextualisé dans un certain point temporel. Par exemple, la relation « population » est une relation fonctionnelle temporelle, car il ne peut y avoir qu'une seule valeur pour la population dans un lieu à un moment donné. D'autres relations fonctionnelles temporelles sont : l'espérance de vie, la capitale d'un pays, le chef de l'Etat, etc. D'après cette définition, si une relation est fonctionnelle, alors elle est fonctionnelle temporelle.

**Étape de filtrage** : Si la relation *r* d'un (*s*, *r*)-groupe est fonctionnelle temporelle avec un qualificatif 'point in time', on garde le triplet le plus à jour dans ce groupe et nous supprimons le reste. De cette manière, nous conservons les informations les plus à jour pour chaque version de Wikidata. Si un triplet du groupe ne contient pas de qualificatif *point in time*, on ne garde que le triplet de rang 'preferred' s'il existe.

Nous associons à chaque entité un indicateur de popularité, basé sur le nombre de visites humaines sur son article Wikipédia dans les mois précédant $T_{nouv}$. L'idée est de permettre à la communauté d'étudier comment les performances des algorithmes varient en fonction de cet indicateur. Dans l'ensemble de données, les (*s*, *r*)-groupes sont triés par ordre décroissant en fonction de la popularité de leur sujet *s*.

Tous les faits dans $W_{anc}^{Pré}$ et $W_{nouv}^{Pré}$ sont des triplets fiables (*s*, *r*, *o*) avec des informations temporelles facultatives [$t_{start}$, $t_{end}$]. Si $t_{start}$ ou $t_{end}$ n'est pas défini, les valeurs $-\infty$ et $+\infty$ leur sont respectivement affectées. Pour les faits avec des informations ponctuelles dans le temps *t* (p. ex., populations), l'intervalle de temps est fixé à [$t, +\infty$].

Enfin, l'intersection et la différence sur les ensembles de triplets provenant de $W_{anc}^{Pré}$ et de $W_{nouv}^{Pré}$ sont calculées pour produire les ensembles complémentaires $\mathbf{F}^{-}$ (qui sont uniquement en $W_{anc}^{Pré}$), $\mathbf{F}^{+}$ (qui sont uniquement en $W_{nouv}^{Pré}$), et $\mathbf{F}^{0}$ (qui sont à la fois en $W_{anc}^{Pré}$ et $W_{nouveau}^{Pré}$).

## A.2 Détection de nouvelles entités

Les nouvelles entités sont des objets tangibles ou intangibles qui n'existait pas avant $T_{anc}$. Des exemples notables incluent *ChatGPT*, *L'invasion russe de l'Ukraine en 2022*, *Lilibet of Sussex*, entre autres. Cet ensemble pourrait constituer une référence pour l'insertion d'entités dans les modèles de langage. Les nouvelles entités sont toutes les entités *e* telles que : (i) *e* n'est présent que dans $\mathbf{F}^{+}$ ; (ii) il existe un triplet (*e*, *r*, *d*) où *r* est une relation désignant la date de création 8 de *e*, et *d* est une date telle que $d > T_{anc}$. La condition (ii) est nécessaire car certains faits peuvent être antérieurs à $T_{anc}$ mais le fait manquait dans $W_{anc}$. Si elles ne sont pas rejetées, les expériences de mise à jour des connaissances peuvent être biaisées car le fait pourrait apparaître dans les données d'entraînement du GML à mettre à jour.

<footnote n="8">8. En pratique, ces relations sont 'inception', 'date of birth', 'start time', 'date of discovery or invention', 'date of official opening', 'announcement date', 'point in time' et 'publication date'.</footnote>
## A.3 Règles de classification

Tous les triplets de $F^-$, $F^0$ et $F^+$ sont classés à l'aide de règles afin de spécifier leurs étiquettes. En plus des étiquettes « nouveau », « obsolète » et « garder » définis dans la section 3, deux autres étiquettes techniques sont introduites :

- ‘ignorer’ s'applique aux faits qui ne sont ni corrects au moment $T_{anc}$, ni $T_{nouv}$. C'est généralement le cas pour les faits avec un intervalle de validité $[t_{start}, t_{end}] \subset [T_{anc}, T_{nouv}]$.

- ‘inconnu’ est une étiquette par défaut, attribuée lorsqu'aucune autre étiquette ne peut être attribuée sur la base de nos règles d'étiquetage.

Ces étiquettes sont des informations clés car leur distribution au sein d'un $(s, r)$-groupe donné détermine le scénario de mise à jour. Par exemple, un groupe de 2 triplets, l'un étiqueté « obsolète » et l'autre étiqueté « nouveau », correspond à un scénario de remplacement, similaire au $(s, r)$-groupe (États-Unis, chef du gouvernement) de la table 1.

La table 3 répertorie les variables et prédicats utilisés dans les règles de classification de chaque triplet $(s, r, o)$, la table 5 décrit ces règles. Pour un triplet $(s, r, o)$ donné, les règles sont testées dans l'ordre dans lequel elles apparaissent dans la liste. Dès qu'une règle est évaluée comme vraie, le triplet se voit attribuer la classe correspondante. Si aucune règle ne peut être appliquée, le triplet reste dans la classe « inconnu ».

<table><caption>FIGURE 3 – Caractéristiques du triplet $(s, r, o)$</caption><thead><tr><th>Caractéristique</th><th>Description</th></tr></thead><tbody><tr><td>$t_{start}$</td><td>Qualificatif "start time"</td></tr><tr><td>$t_{end}$</td><td>Qualificatif "end time"</td></tr><tr><td>$e \in E^+$</td><td>L'entité $e$ est-elle nouvelle ?</td></tr><tr><td>$e \notin F^x$</td><td>$e$ apparaît-elle dans un triplet de $F^x$ ?</td></tr><tr><td>$r$ is death</td><td>$r$ est-elle la relation 'date of death' ou 'date of burial or cremation' ?</td></tr><tr><td>$r$ is temporal</td><td>$r$ est-elle temporelle fonctionnelle ?</td></tr><tr><td>$n^-, n^0, n^+$</td><td>Nombre de triplets dans le $(s, r)$-group qui sont dans $F^-$, $F^0$, and $F^+$, resp.</td></tr><tr><td>$n$</td><td>Total number of triplets of the $(s, r)$-group</td></tr></tbody></table>

Enfin, une étape supplémentaire est effectuée sur chaque triplet des $(s, r)$-groupes de taille 2 ($n = 2$) où $r$ est une relation fonctionnelle temporelle. Étant donné la paire de triplets $(s, r, o_1)$ et $(s, r, o_2)$, si l'un d'eux est étiqueté comme « nouveau » et l'autre est dans $F^-$, cet autre se voit attribuer la classe « obsolète ».

À la fin de cette procédure, tous les groupes $(s, r)$ avec au moins un triplet étiqueté comme « inconnu » sont écartés pour ne prendre en compte que les mises à jour des connaissances où le changement est parfaitement compris. Ensuite, tous les triplets étiquetés « ignorer » sont supprimés des groupes restants. Enfin, les groupes dont tous les triplets sont étiquetés avec la classe « inchangé » sont également filtrés. Le résultat est une collection de $(s, r)$-groupes où au moins un triplet est soit « nouveau », soit « obsolète ».
<table><caption>TABLE 5 – Liste des règles de classification pour un triplet (s, r, o)</caption><thead><tr><th>Condition</th><th>Class</th></tr></thead><tbody><tr><td>s &isin; E<sup>+</sup></td><td>nouveau</td></tr><tr><td>e &notin; F<sup>-</sup></td><td>inconnu</td></tr><tr><td>r is death &Lambda; (s, r, o) &isin; F<sup>+</sup> &Lambda; n = 1 &Lambda; T<sub>anc</sub> &lt; o &lt; T<sub>nouv</sub></td><td>nouveau</td></tr><tr><td>r is death &Lambda; &not;((s, r, o) &isin; F<sup>+</sup> &Lambda; n = 1 &Lambda; T<sub>anc</sub> &lt; o &lt; T<sub>nouv</sub>)</td><td>inconnu</td></tr><tr><td>t<sub>start</sub> &gt; t<sub>end</sub></td><td>inconnu</td></tr><tr><td>r is temporal &Lambda; n<sup>-</sup> = 1 &Lambda; n<sup>+</sup> = 1 &Lambda; n<sup>0</sup> = 0 &Lambda; (s, r, o) &isin; F<sup>+</sup> &Lambda; T<sub>anc</sub> &lt; t<sub>start</sub> &lt; T<sub>nouv</sub></td><td>nouveau</td></tr><tr><td>r is temporal &Lambda; n<sup>-</sup> = 1 &Lambda; n<sup>+</sup> = 1 &Lambda; n<sup>0</sup> = 0 &Lambda; (s, r, o) &isin; F<sup>+</sup> &Lambda; T<sub>anc</sub> &lt; t<sub>start</sub> &lt; T<sub>nouv</sub> &Lambda; (t<sub>end</sub> = +&infin; &V; t<sub>end</sub> &gt; T<sub>nouv</sub>)</td><td>nouveau</td></tr><tr><td>(s, r, o) &isin; F<sup>+</sup> &Lambda; T<sub>anc</sub> &lt; t<sub>start</sub> &lt; T<sub>nouv</sub></td><td>nouveau</td></tr><tr><td>t<sub>end</sub> &lt; T<sub>anc</sub></td><td>ignorer</td></tr><tr><td>t<sub>end</sub> = +&infin; &Lambda; t<sub>start</sub> &lt; T<sub>anc</sub></td><td>inchangé</td></tr><tr><td>t<sub>end</sub> = +&infin; &Lambda; T<sub>anc</sub> &lt; t<sub>start</sub> &lt; T<sub>nouv</sub></td><td>nouveau</td></tr><tr><td>t<sub>start</sub> &gt; T<sub>anc</sub></td><td>ignorer</td></tr><tr><td>T<sub>anc</sub> &lt; t<sub>start</sub> &lt; T<sub>nouv</sub> &Lambda; T<sub>anc</sub> &lt; t<sub>end</sub> &lt; T<sub>nouv</sub></td><td>ignorer</td></tr><tr><td>t<sub>start</sub> &lt; T<sub>anc</sub> &Lambda; T<sub>anc</sub> &lt; t<sub>end</sub> &lt; T<sub>nouv</sub></td><td>obsolète</td></tr><tr><td>t<sub>start</sub> &lt; T<sub>anc</sub> &Lambda; t<sub>end</sub> &gt; T<sub>nouv</sub></td><td>inchangé</td></tr><tr><td>T<sub>anc</sub> &lt; t<sub>end</sub> &lt; T<sub>nouv</sub></td><td>obsolète</td></tr><tr><td>t<sub>end</sub> &gt; T<sub>nouv</sub></td><td>inchangé</td></tr><tr><td>(s, r, o) &isin; F<sup>-</sup> &Lambda; t<sub>end</sub> &lt; T<sub>anc</sub></td><td>ignorer</td></tr><tr><td>(s, r, o) &isin; F<sup>+</sup> &Lambda; o &isin; E<sup>+</sup></td><td>nouveau</td></tr></tbody></table>

## A.4 Recherche des faits voisins

Lorsqu’un fait est mis à jour, la distribution de probabilité du modèle de langue est modifiée, ce qui peut dégrader sa précision sur d’autres faits. Ce phénomène est connu sous le nom de **débordement**. Pour permettre sa détection et sa mesure, WikiFactDiff est accompagné de faits voisins susceptibles d’être modifiés négativement lorsqu’un (s, r)-groupe donné est mis à jour. Cette section explique comment cela est effectué.

Il a été montré dans Meng et al. (2022) que, étant donné une mise à jour dans un scénario de remplacement à partir d'un fait (s, r, o), les faits avec une relation et un objet similaires (s', r, o) (avec s' &ne; s) sont plus susceptibles d'être impactés que les faits aléatoires (pour lesquels aucune altération significative n'a été signalée). Par exemple, la mise à jour de (Albert Einstein, spécialité, Physique) vers (Albert Einstein, spécialité, Biologie) peut dégrader l'exactitude du modèle sur le fait (Isaac Newton, spécialité, Physique). La motivation est que parce que s et s' partagent la même paire relation-objet, leurs représentations latentes sont proches et donc les propriétés de s' sont plus susceptibles au débordement.

Cette idée ne peut pas être appliquée dans notre configuration car il n'est pas garanti qu'un fait (s', r, o) existe pour tous les (s, r, o) possibles. La raison est que, dans WikiFactDiff, les objets des
triplets ne se limitent pas aux entités. Ils peuvent aussi être des littéraux. Par exemple, si vous mettez à jour (Seattle, population, 733.92K), trouver une entité proche de Seattle en utilisant la méthode de Meng signifie trouver une autre entité avec exactement la même population, ce qui est très peu probable. De plus, même dans le cas d'objets entités, la spécificité du sujet peut être telle qu'aucun triplet adéquat n'existe.

Pour contourner ce problème, les triplets voisins d'un triplet (s, r, o) sont définis comme des triplets (s', r, o') où s' est une entité similaire à s. Intuitivement, cette stratégie assouplit la contrainte sur o mais renforce celle sur s.

Concrètement, la similarité entre deux entités est calculée comme une similarité cosinus entre les vecteurs TF-IDF représentant chaque entité. Soit $W_{anc}^E$ (resp. $W_{nouv}^E$) l'ensemble de tous les triplets de $W_{anc}$ (ou $W_{nouv}$) dont l'objet est une entité (pas un littéral). Pour chaque entité s, une liste de caractéristiques $I(s)$ est construite comme suit

$$[s] \oplus [o] \mid (s, r, o) \in W_{anc}^E] \oplus [(r, o) \mid (s, r, o) \text{ dans } W_{anc}^E]$$

où $\oplus$ désigne l'opérateur de concaténation sur les listes. Si s n'est pas présent dans $W_{anc}^E$, $I(s)$ est récupéré de $W_{nouv}^E$ à la place. Ensuite, des représentations TF-IDF sont calculées pour toutes les entités s de WikiFactDiff, en considérant chaque représentation $I(s)$ comme un document.

Pour un triplet (s, r, o) donné, les k triplets les plus proches sont collectés en parcourant les n entités les plus similaires à s (en utilisant la similarité cosinus). Un unique triplet de la forme (s', r, o') dans $W_{anc}$ est sélectionné pour chaque s' de cette liste, de manière itérative jusqu'à atteindre k triplets sélectionnés. Dans WikiFactDiff, les k-triplets les plus proches publiés ont été obtenus avec $k = 10$ et $n = 500$.

## A.5 Verbalisation

Pour utiliser les algorithmes de mise à jour existants et les évaluer, des phrases d'injection et des phrases à trou doivent être générées pour tous les triplets de WikiFactDiff. Par exemple, en considérant le triplet (France, capitale, Paris), une phrase d'injection possible est "The capital of France is Paris", et les phrases à trou d'évaluation pourraient être "The capital of France is __", "France's official capital is __" ou "The capital of France is no other than __". Notez que, puisque les phrases à trou sont conçues pour des modèles autorégressifs, le blanc doit être à la fin.

Les phrases d'injection et les phrases à trou sont générées sur la base de patrons où l'objet et le sujet sont manquants, tels que *The capital of * is **. La phrase à trou pour un triplet (s, r, o) peut être produite de manière triviale à partir d'un patron en remplissant le premier emplacement avec s. De même, la phrase d'injection est obtenue en injectant respectivement s et o dans chaque emplacement. Ainsi, disposer de patrons pour chaque relation est suffisant.

Les patrons sont créés comme suit. Tout d'abord, nous échantillonnons aléatoirement des triplets dont le sujet est l'une des 100 000 entités les plus populaires de $W_{anc}$. Ensuite, pour chaque triplet (s, r, o), 10 verbalisations en anglais sont générées à l'aide de ChatGPT<fnref n="9" /> (p. ex., "The capital of France is Paris."). Seules les verbalisations qui (i) contiennent des s, et (ii) se terminent par o sont conservées. Par conséquent, les patrons pour la relation r sont obtenus en remplaçant s et o par des trous. Cependant, tous les patrons ne sont pas suffisamment génériques pour être applicables à tous

<footnote n="9">9. GPT3.5 version 2023-03-15-prev</footnote>
les triplets ayant la relation *r*. Par exemple, "Danish actress ___ was born in ___" ne s'applique que lorsque *s* est une actrice danoise. Pour filtrer ces patrons, nous conservons uniquement les 5 patrons les plus fréquents pour chaque relation, en partant de l'idée que les modèles qui s'appliquent à tous les triplets avec la relation *r* ont tendance à être générés plus fréquemment. Des exemples de phrases à trou construites à partir de ces modèles sont présentées dans la table 6.

<table><caption>TABLE 6 – Échantillons de phrases à trou de WikiFactDiff.</caption><thead><tr><td>Pair sujet-relation</td><td>Phrase à trou</td></tr></thead><tbody><tr><td>(India, head of state)</td><td>India's head of state is ___</td></tr><tr><td>(Google, employees)</td><td>The number of employees at Google is ___</td></tr><tr><td>(Ukraine, BTI Status Index)</td><td>The BTI Status Index rated Ukraine at ___</td></tr><tr><td>(Lionel Messi, head coach)</td><td>Lionel Messi's head coach is ___</td></tr><tr><td>(Amazon, chief executive officer)</td><td>The CEO of Amazon is ___</td></tr><tr><td>(Japan, age of majority)</td><td>In Japan, adulthood is recognized at ___</td></tr></tbody></table>

## B Comment les relations fonctionnelles temporelles sont-elles identifiées ?

Les relations fonctionnelles temporelles sont identifiées à l'aide de la section « *property constraint* » d'une relation dans Wikidata.

Si une relation contient une contrainte qui est soit une « *single-value constraint* », soit une « *best-single-value constraint* », alors la relation est fonctionnelle. Si, en plus de cela, cette contrainte a un qualificatif « *separator* » avec une des valeurs suivantes : « *start time* », « *end time* » ou « *point in time* », alors cette relation est fonctionnelle temporelle.

Par exemple, « *head of state* » est une relation fonctionnelle temporelle (www.wikidata.org/wiki/Property:P35)

## C Préfixe utilisé pour la génération de phrases à trou avec ChatGPT

Voici le préfixe système (en anglais, *system prompt*) de ChatGPT utilisé pour la génération de phrases à trou :
You are an advanced knowledge triple verbalization system.

You take as input a knowledge triple (subject, relation, object) and generate a list of 10 linguistically diverse verbalizations of the triple.

For example, the input could be : (France, capital, Paris) and one of your verbalizations may be : "The capital of France is Paris".

The veracity of the knowledge triple does not affect the quality of your generation.

Examples of correct verbalizations:

- (Matriak, instance of, university) --> "Matriak is a university."

- (Johnathan Smith, date of death, 11-05-2012) --> "Johnathan Smith died in 11-05-2012."

- (Tranquility Base Hotel & Casino, follows, AM) --> "Tranquility Base Hotel & Casino follows AM."

- (Paris, named after, Parisii) --> "Paris was named after Parisii."

## Et voici le préfixe principal :

Here is the knowledge triple to verbalize: ([SUB], [REL], [OBJ]).

Your sentences should be concise and end with the term [OBJ].

Due to the ambiguity that could arise from the provided labels, here is their meaning:

- (subject) "[SUB]" : "[SUB_DEF]"

- (relation) "[REL]" : "[REL_DEF]"

- (object) "[OBJ]" : "[OBJ_DEF]"

Finally, here is an example where the relation "[REL]" is employed : ([EXP_SUB], [REL], [EXP OBJ]).

Nous avons utilisé une génération avide avec une température égale à 0, pas de pénalité de fréquence, pas de pénalité de présence, et avec un nombre maximum de tokens générés égal à 800.
Deuxième partie

Articles présentés en session poster
# Adaptation des modèles de langue à des domaines de spécialité par un masquage sélectif fondé sur le genre et les caractéristiques thématiques

Anas Belfathi Ygor Gallina

Nicolas Hernandez Laura Monceaux Richard Dufour

LS2N, UMR CNRS 6004, Nantes Université

{firstname.lastname}@univ-nantes.fr

## RÉSUMÉ

Les modèles de langue pré-entraînés ont permis de réaliser des avancées significatives dans diverses tâches de Traitement Automatique du Langage Naturel (TALN). Une des caractéristiques des modèles reposant sur une architecture Transformeur concerne la stratégie de masquage utilisée pour capturer les relations syntaxiques et sémantiques inhérentes à une langue. Dans les architectures de type encodeur, comme BERT, les mots à masquer sont choisis aléatoirement. Cette stratégie ne tient néanmoins pas compte des caractéristiques linguistiques spécifiques à un domaine. Dans ce travail, nous proposons de réaliser un masquage sélectif des mots en fonction de leur saillance thématique dans les documents dans lesquels ils se produisent et de leur spécificité au genre de document. Les performances des modèles résultant d'un pré-entraînement continu dans le domaine juridique soulignent l'efficacité de notre approche sur la majorité des tâches de benchmark LexGLUE en langue anglaise.

## ABSTRACT

Language Model Adaptation to Specialized Domains through Selective Masking based on Genre and Topical Characteristics

Pre-trained language models have made significant advances in a variety of natural language processing (NLP) tasks. One of the key components of these models using the transformers architecture is their training based on the masking task, where encoder models, such as BERT, randomly select the tokens to be masked. This masking approach does not take into account domain-specific linguistic features. Thus, we propose a new approach to selective word masking with the aim of adapting language models to specialty domains. Our approach weights words according to their thematic salience or document genre specificity, then uses this weight to select words for masking. The performance of the models resulting from continuous pre-training in the legal domain underlines the effectiveness of our strategy on the majority of tasks of the English-language LexGLUE benchmark.

**MOTS-CLÉS** : Modèle de langue ; stratégie de masquage ; BERT ; méta-discours ; tfidf.

**KEYWORDS** : Language model ; masking strategy ; BERT ; metadiscourse ; tfidf.

<figure><img src="image_98.png" /></figure>
# 1 Introduction

Les modèles de langue pré-entraînés à grande échelle sont devenus indispensables pour modéliser le langage humain, améliorant considérablement les performances dans diverses tâches de Traitement Automatique du Langage Naturel (TALN) (Bao et al., 2020; Guu et al., 2020; Zhang et al., 2022). Toutefois, le pré-entraînement de tels modèles pour des domaines de spécialité n'est pas toujours possible car il requiert une importante quantité de données qui n'est pas toujours disponible, mais aussi en raison du coût de calcul élevé qu'il représente. Une solution réside ainsi dans le pré-entraînement continu (Continual Pre-Training, CPT) pour spécialiser des modèles de fondation (Chalkidis et al., 2020; Wu et al., 2021; Ke et al., 2022; Labrak et al., 2023).

Classiquement, les modèles ainsi construits réutilisent l'algorithm e d'apprentissage utilisé lors du pré-entraînement initial. Dans les modèles qui reposent sur une architecture de type encodeur à la BERT (Devlin et al., 2019), l'algorithme utilisé est le Modèle de Langage Masqué (Masked Language Modeling, MLM). Dans cet algorithme, le modèle apprend à prédire un mot masqué aléatoirement dans une séquence. Les modèles résultants de cet apprentissage ont montré leur capacité à capturer les relations sémantiques complexes et les structures syntaxiques inhérentes au langage naturel. Certains travaux ont étendu le MLM, notamment pour affiner la capacité des modèles à capturer des expressions multimots (Sun et al., 2019; Joshi et al., 2020; Levine et al., 2020; Li & Zhao, 2021). Cependant, aucune étude n'a envisagé d'étendre le MLM pour prendre en compte la spécificité du genre de document étudié.

Dans cet article, nous présentons une nouvelle approche de masquage sélectif pour l'adaptation de modèles de langue à des domaines de spécialité qui exploite les informations relatives à la spécificité au genre de document et à la topicalité. Notre approche pondère les mots en fonction de leur spécificité au genre de documents (on parle aussi de "caractère méta-discursif") et de leur saillance thématique. Nous utilisons un score TF×IDF pour mesurer la saillance et proposons une formule pour estimer la spécificité. En utilisant ces scores pour choisir les mots à masquer, nous forçons le modèle à s'adapter à la compréhension et à la prédiction des mots spécifiques à un domaine cible. Pour illustrer l'efficacité de notre approche, nous menons des expériences sur le pré-entraînement continu de modèles type BERT dans le domaine juridique, en comparant différentes stratégies de masquage des mots.

Nos contributions sont les suivantes :

- Nous proposons une nouvelle approche de masquage fondée sur la sélection de mots (méta-discours et TF×IDF) pour l'entraînement de modèles de langue;

- Nous effectuons une analyse comparative de plusieurs manières de sélectionner les mots pendant le processus d'entraînement;

- Nous partageons nos modèles et notre code source pour rendre plus facile le pré-entraînement de modèles de langue pour des domaines de spécialité, selon notre stratégie d'apprentissage<fnref n="1" />;

# 2 Travaux connexes

L'approche de masquage classique utilisée dans BERT (Devlin et al., 2019) consiste à sélectionner 15 % de tokens dans une séquence. Chacun de ces 15 % de tokens est ensuite substitué par le token spécial [MASK] (80 % de probabilité), remplacé par un mot tiré aléatoirement (10 %) ou bien laissé

<footnote n="1">1. github.com/ygorg/legal-marking</footnote>
intact (10 %). L'objectif du modèle est de prédire les mots masqués originaux.

Dans le but d'enrichir les capacités de représentation des MLMs, ERNIE (Sun et al., 2019) et SpanBERT (Joshi et al., 2020) affinent la stratégie de masquage classique (aléatoire) utilisée par BERT. Ces modèles masquent respectivement des mots entiers et des parties contiguës de texte de manière aléatoire. Ces approches améliorent les performances des tâches de réponse aux questions et de résolution de corréférence. Yang et al. (2023) observent qu'à partir d'un moment de l'entraînement, les modèles cessent d'apprendre à partir de types de mots spécifiques, identifiés par des étiquettes morphosyntaxiques (POS tags), en fonction de la stabilité de la fonction de coût de modèle. Ainsi, ils introduisent une approche de masquage qui varie dans le temps, cette approche diffère des méthodes statiques qui maintiennent un contenu inchangeable tout au long de l'apprentissage. Cette stratégie améliore les performances sur le benchmark GLUE (Wang et al., 2018).

D'autres méthodes s'intéressent à adapter les modèles à des domaines spécifiques et choisissent donc les mots à masquer en tenant compte des spécificités du domaine des documents. Dans le domaine des brevets, Althammer et al. (2021) masque les mots qui apparaissent fréquemment dans des groupes nominaux. Cette approche montre son efficacité dans les tâches de classification. Dans le domaine clinique, EntityBERT (Lin et al., 2021) masque des tokens identifiés comme "entité" (symptôme, médicament, date) par un modèle pré-entraîné de détection d'entités. L'application de cette stratégie repose néanmoins sur la disponibilité de modèles de détection d'entités du domaine cible.

Moins générique, certaines approches adaptent les modèles à une tâche spécifique avant d'effectuer un affinage. Par exemple, pour des tâches de classification de document, l'approche proposée par Golchin et al. (2023) utilise KeyBERT (Grootendorst, 2020) pour masquer uniquement les mots identifiés comme mots-clés. L'approche Difference-Masking (Wilf et al., 2023) quant à elle, masque les mots les plus similaires (en termes de plongement de mots) à des mots "ancres". Les ancres sont des mots ayant une fréquence plus élevée dans le corpus que dans un corpus général. Bien que ces techniques soient similaires à celles faisant de l'adaptation au domaine, les résultats de ces techniques d'adaptation à la tâche ne sont pas directement comparables car moins généralisables.

Le choix du taux de masquage influence de manière significative la tâche de Modèle de Langage Masqué et donc le pré-entraînement. L'étude menée par Wettig et al. (2023) indique que le taux de masquage optimal dépend de la taille du modèle à entraîner, 40% étant optimal pour les modèles larges et 20% pour les modèles de base, comme l'ont montré les évaluations des benchmarks GLUE et SQuAD.

L'approche présentée ici s'intéresse à sélectionner les mots à masquer en fonction de leur saillance thématique et de leur spécificité au genre de document. Elle s'inscrit dans les travaux d'adaptation au domaine et ainsi est indépendante des tâches en aval.

# 3 Stratégie de masquage fondée sur le genre et la topicalité

Contrairement à l'approche originale de BERT, qui sélectionne aléatoirement les tokens à masquer (Devlin et al., 2019), notre approche se concentre sur le masquage au niveau des mots, les choisissant en fonction de leur spécificité par rapport au genre du texte ou bien à leur saillance thématique dans un document. Notre approche fonctionne en deux étapes. Tout d'abord, nous attribuons un score de spécificité au genre et un score de saillance thématique à chaque mot à partir de notre corpus spécifique à un domaine (Section 3.1). Ensuite, nous utilisons ces scores pour hiérarchiser et
sélectionner les mots à masquer (Section 3.2).

## 3.1 Pondération des mots

Nous proposons deux manières de pondérer les mots à partir d'un corpus de documents de spécialité. La première approche, le score de topicalité (TF×IDF), quantifie la saillance thématique d'un mot dans un document donné. Pour cela, nous utilisons la mesure classique TF×IDF (Jones, 1972), qui pondère un mot en fonction de son nombre d'occurrences dans un document particulier et du nombre de documents dans lequel il apparaît dans le corpus.

La seconde approche, le score de spécificité au genre de texte (MetaDis), évalue dans quelle mesure un mot est caractéristique d'un genre de documents. Un genre de documents est caractérisé par une structure commune (Biber & Conrad, 2019; Hyland, 1998). Par exemple, les jurisprudences (domaine juridique) présentent successivement des faits, puis des arguments et enfin un raisonnement pour parvenir à une décision. Chacune de ces parties utilise un lexique particulier à ce genre, nous désignons ce lexique par le terme de méta-discours. Bien que Hernandez & Grau (2003) ait utilisé le score de fréquence inverse de document pour évaluer la spécificité, leur mesure ne tient pas compte de la distribution des occurrences dans les documents. Nous supposons qu'un indicateur de méta-discours est présent dans une proportion constante dans les documents du même genre. Pour capturer de telles propriétés et calculer un score de méta-discours, nous proposons la formule décrite dans l'équation 1 :

$$s_t = \frac{df_t}{tf_t} * \left( 1 - \frac{\text{std}(tf_{d,t})}{\text{max}(tf_{d,t})} \right) * \frac{df_t}{N} \quad (1)$$

Ici, $df_t$ représente le nombre de documents dans lequel le mot $t$ apparaît, $tf_t$ le nombre d'occurrences de $t$ dans le corpus, $tf_{d,t}$ le nombre d'occurrences de $t$ dans le document $d$ et $N$ le nombre de documents dans le corpus. L'intuition derrière le premier terme est de donner un haut score aux mots apparaissant dans de nombreux documents. Le second mesure la constance d'apparition du mot et donne un haut score à ceux qui ont la même fréquence dans tous les documents (faible $\text{std}(tf_{d,t}))$, le dénominateur normalise par la fréquence maximale du mot. Enfin, le troisième terme donne un haut score aux mots apparaissant dans de nombreux documents.

## 3.2 Stratégie de sélection des mots à masquer

Nous proposons deux manières de sélectionner les mots à masquer qui utilisent les scores TF×IDF ou Metadis. Notre première méthode, TopN, sélectionne les mots ayant les scores les plus élevés. Cette méthode est déterministe, pour un document les mots masqués seront toujours les mêmes.

La seconde méthode, Samp (échantillonnage, sample en anglais), vise à améliorer la robustesse du modèle en évitant le masquage systématique des mêmes mots. Cette méthode s'inspire du masquage dynamique utilisé dans RoBERTa (Liu et al., 2019) et introduit un niveau d'aléa pondéré qui change à chaque itération de modèle. En pratique, nous échantillonnons aléatoirement des mots (sans remise) sur la base de la distribution des scores calculés.

<footnote n="2">2. Pour la stratégie TopN la fonction Max est utilisée.</footnote>
**Algorithm 1** Masquage sélectif

1: **function** MASK(token)
2:     $M \leftarrow \{\}$
3:     $W \leftarrow MotsEntiers(token)$
4:     $S \leftarrow CalculeScore(W)$
5:     **while** $|M| < 0.15 * |tokens|$ **do**
6:         $i \leftarrow$ Echantillone($S$)$^2$
7:         Supprime $W[i]$ and $S[i]$
8:         **if** $|M| + |W[i]| \le 0.15 * |tokens|$ **then**
9:             $M \leftarrow M + w$
10:         **end if**
11:     **end while**
12:     **return** $M$
13: **end function**

Une fois les mots sélectionnés, nous choisisons les tokens à masquer suivant l'Algorithme 1 pour masquer effectivement 15 % (Devlin et al., 2019) des tokens de la séquence. Dans l'algorithme, $M$ dénote les mots à masquer, $W$ les mots segmentés et $S$ les scores associés à chaque mot.

# 4 Paramètres expérimentaux

Nous utilisons comme base les modèles pré-entraînés BERT (Devlin et al., 2019) et LegalBERT (Chalkidis et al., 2020). L'efficacité de notre approche de masquage est évaluée par un pré-entraînement continu sur ces modèles, en se concentrant sur l'adaptation au domaine juridique. Dans cette section, nous présentons d'abord les données utilisées pour le pré-entraînement continu (Section 4.1). Puis, les tâches d'évaluation (Section 4.2) et enfin les détails expérimentaux (Section 4.3).

## 4.1 Corpus de pré-entraînement

Pour le pré-entraînement continu et la sélection du masquage de mots, nous avons choisi de nous concentrer sur le domaine juridique en utilisant un sous-ensemble du corpus LexFiles (Chalkidis et al., 2023) représentatif du benchmark LexGLUE (Chalkidis et al., 2022). Les documents ont été sélectionnés pour offrir une collection équilibrée et diversifiée, englobant les nuances linguistiques (voir la Table 1).

<table><caption>TABLE 1 – Détails de l’ensemble de données utilisé pour le pré-entraînement continu.</caption><thead><tr><th>Sous-Corpus</th><th># Doc.</th><th># Tokens</th></tr></thead><tbody><tr><td>EU Case Law</td><td>29,8K</td><td>178,5M (29%)</td></tr><tr><td>ECtHR Case Law</td><td>12,5K</td><td>78,5M (13%)</td></tr><tr><td>U.S. Case Law</td><td>104,7K</td><td>235,5M (39%)</td></tr><tr><td>Indian Case Law</td><td>34,8K</td><td>111,6M (19%)</td></tr></tbody><tfoot><tr><td><strong>Total</strong></td><td><strong>181,8K</strong></td><td><strong>604,1M</strong></td></tr></tfoot></table>
## 4.2 Tâches d'évaluation

Nous évaluons la performance de nos modèles à l'aide de LexGLUE (Chalkidis et al., 2022) un benchmark conçu spécifiquement pour le domaine juridique. LexGLUE englobe une gamme variée de tâches provenant des systèmes juridiques de l'Europe, des États-Unis et du Canada. Une telle configuration permet de tester rigoureusement la capacité de notre stratégie dans un spectre de tâches complexes. Voici un aperçu de chacune de ces tâches : 3

- **ECtHR A & B** consistent à déterminer quels articles de lois sont enfreints (ECtHR A), ou prétendument enfreints (ECtHR B), par une liste de faits. Les articles de loi sont 11 articles de la Cour Européenne des Droits de l'Homme.

- **SCOTUS** consiste à classer les opinions de la Cour suprême des États-Unis (SCOTUS) parmi 14 thèmes, tels que la procédure pénale, les droits civils, l'activité économique...

- **EUR-LEX** concerne la législation de l'Union européenne publiée sur le portail EUR-Lex. L'objectif est d'assigner aux textes de loi les concepts du thésaurus EUROVOC pertinents (parmi les 100 concepts les plus fréquents).

- **LEDGAR**, Labeled EDGAR, consiste à trouver le thème principal (parmi 100) de chaque paragraphe des contrats de la base de données EDGAR.

- **UNFAIR-ToS** cherche à détecter les clauses de conditions de services qui enfreignent potentiellement le droit des consommateurs européens. Chaque phrase est classée parmi 9 types de clauses contractuelles abusives.

## 4.3 Détails expérimentaux

Pour le pré-entraînement continu, nous avons mené des sessions d'entraînement totalisant plus de 20 heures en utilisant 16 GPU V100 sur le supercalculateur Jean Zay. Suivant la méthode de Labrak et al. (2023), nous avons adopté une taille de batch de 16 et configuré les étapes d'accumulation de gradient à 16, ce qui donne une taille de batch effective de 4 096. Pour déterminer les scores de performance de la tâche, nous avons calculé la moyenne des scores de trois exécutions indépendantes. Les métriques utilisées sont les mesures : micro (μF₁) et macro (m-F1) F-mesure.

# 5 Résultats et discussions

Les résultats sont détaillés dans la Table 2, chaque colonne correspondant à une tâche du benchmark LexGLUE.

**Effets du pré-entraînement continu** Nos résultats montrent l'efficacité du pré-entraînement continu dans toutes les tâches pour les modèles BERT et LegalBERT. Plus précisément, la macro F1 (m-F1) de la configuration de référence BERT+CPT augmente sensiblement de 60,39 à 64,69 dans la tâche ECtHR (B). De manière similaire, LegalBERT+CPT montre des améliorations substantielles dans la tâche EUR-LEX au niveau de la m-F1. Ces améliorations, même sans modification de la stratégie de masquage, suggèrent que le corpus utilisé contient de nouvelles caractéristiques spécifiques au domaine permettant d'enrichir les connaissances des modèles de langue.

<footnote n="3">3. Un problème dans le code de la tâche case_hold empêche son exécution, nous ne rapportons donc pas les résultats.</footnote>