nous comparons aux deux approches à l'état de l'art SelfORE (Hu et al., 2020) et EType+ (Tran et al., 2020). Ces deux approches sont entraînées avec les valeurs des hyper-paramètres déterminées par leurs auteurs respectifs. En particulier, ils ont besoin de connaître le nombre de relations *k*, ce qui n'est pas le cas de PromptORE.

**Résultats quantitatifs**<fnref n="5" /> Les résultats sont disponibles sur la Table 1. De manière générale, Prompt-ORE est bien plus performant que SelfORE et EType+ sur les trois métriques : l'écart est de ≈ 19% en B³, ≈ 18% en V-measure et ≈ 23% en ARI. PromptORE ne voit pas ses performances réduites sur FewRel PubMed (domaine biomédical), ce qui démontre sa flexibilité et son adaptabilité à d'autres domaines. SelfORE aussi n'est pas impacté, par contre EType+ ne prédit qu'une seule relation pour FewRel PubMed (ARI et V-measure à 0), montrant la limite du raisonnement sur les types d'entités pour des domaines très spécifiques. Les performances de PromptORE sont d'autant plus impressionnantes qu'il n'a pas accès à *k*, contrairement à SelfORE et EType+. PromptORE démontre qu'il est possible d'extraire des relations en mode non-supervisé sans hyper-paramètres à ajuster, tout en ayant de bien meilleures performances que les modèles à l'état de l'art.

**Analyse qualitative**<fnref n="5" /> Sur la Table 1, nous remarquons que l'estimation $\hat{k}$ par l'elbow rule est correcte pour FewRel PubMed, mais qu'elle est sous-estimée pour FewRel : 65 clusters contre 80 relations. Cela signifie que certains clusters doivent être impurs, c'est-à-dire contenir les instances de plusieurs relations à la fois. La matrice de confusion de PromptORE évalué sur FewRel est disponible en Figure 2. Nous voyons que certains clusters sont impurs (e.g., c-10, c-18, c-31, c-49), mais dans l'ensemble nous observons une diagonale claire : PromptORE extrait précisément la grande majorité des relations, malgré son fonctionnement non-supervisé. La plupart des clusters sont relativement complets : peu de clusters partagent les mêmes relations (à l'exception de c-31, c-40 et c-39, c-49, c-54). En observant les clusters contenant plusieurs relations, nous remarquons qu'ils sont sémantiquement cohérents. Pour ne citer que deux exemples :

- c-10. Deux relations : *language_of_film_or_tv_show* et *language_of_work_or_name*. Ce sont des relations centrées sur le domaine du langage d'une oeuvre artistique.

- c-49. Cinq relations : *sibling*, *father*, *child*, *mother* et *spouse*. Relations autour des liens familiaux.

Du point de vue de FewRel, ces clusters sont impurs et incorrects, mais d'un point de vue qualitatif les relations extraites sont sémantiquement proches et cohérentes.

# 5 Conclusion

Nous avons introduit PromptORE, un modèle d'extraction de relations non-supervisé sans hyper-paramètres à ajuster, qui s'appuie sur la nouvelle méthode du prompt-tuning. Bien que très simple, PromptORE surpasse largement les approches à l'état de l'art. Pour le futur, nous envisageons de fermer la boucle de la connaissance, c'est-à-dire bénéficier de la connaissance extraite par PromptORE pour améliorer itérativement les performances de l'extraction.

<footnote n="5">5. Une évaluation plus détaillée de PromptORE est accessible sur (Genest et al., 2022), contenant plus de datasets, d'approches comparées, et plusieurs formulations pour le prompt *P*.</footnote>
# Remerciements

Ce travail est soutenu par Alteca et l'Association Nationale de la Recherche et de la Technologie (ANRT) par l'intermédiaire de la thèse CIFRE n°2021/0851. Nous remercions les relecteurs anonymes pour leurs remarques instructives et commentaires pertinents.

# Références

BAGGA A. & BALDWIN B. (1998). Algorithms for scoring coreference chain. In *Proceedings of the 1st International Conference on Language Resources and Evaluation Workshop on Linguistics Coreference*, p. 563–566, Granada, Spain : European Language Resources Association.

DEVLIN J., CHANG M. W., LEE K. & TOUTANOVA K. (2019). BERT: Pre-training of deep bidirectional transformers for language understanding. In *Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics : Human Language Technologies*, volume 1, p. 4171–4186, Stroudsburg, PA, USA : Association for Computational Linguistics. DOI: 10.18653/V1/N19-1423.

GAO T., HAN X., ZHU H., LIU Z., LI P., SUN M. & ZHOU J. (2019). Fewrel 2.0: Towards more challenging few-shot relation classification. In *Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and 9th International Joint Conference on Natural Language Processing*, p. 6250–6255, Hong Kong, China : Association for Computational Linguistics. DOI: 10.18653/v1/d19-1649.

GENEST P.-Y., PORTIER P.-E., EGYED-ZSIGMOND E. & GOIX L.-W. (2022). PromptORE - A Novel Approach Towards Fully Unsupervised Relation Extraction. In *Proceedings of the 31st ACM International Conference on Information and Knowledge Management*, p. 11, Atlanta, USA : ACM. DOI: 10.1145/3511808.3557422.

HAN X., ZHU H., YU P., WANG Z., YAO Y., LIU Z. & SUN M. (2018). Fewrel : A large-scale supervised few-shot relation classification dataset with state-of-the-art evaluation. In *Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing*, p. 4803–4809, Brussels, Belgium : Association for Computational Linguistics. DOI: 10.18653/v1/d18-1514.

HU X., WEN L., XU Y., ZHANG C. & YU P. S. (2020). SelfORE : Self-supervised relational feature learning for open relation extraction. In *Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing*, p. 3673–3682, Online : Association for Computational Linguistics. DOI: 10.18653/v1/2020.emnlp-main.299.

HUBERT L. & ARABIE P. (1985). Comparing partitions. *Journal of Classification*, **2**(1), 193–218. Publisher : Springer, DOI: 10.1007/BF01908075.

LLOYD S. P. (1957). Least squares quantization in PCM. *Technical Report RR-5497*.

LV B., JIN L., ZHANG Y., WANG H., LI X. & GUO Z. (2022). Commonsense Knowledge-Aware Prompt Tuning for Few-Shot NOTA Relation Classification. *Applied Sciences*, **12**(4), 2185–2185. Publisher : Multidisciplinary Digital Publishing Institute, DOI: 10.3390/app12042185.

MARCHEGGIANI D. & TITOV I. (2016). Discrete-State Variational Autoencoders for Joint Discovery and Factorization of Relations. *Transactions of the Association for Computational Linguistics*, **4**, 231–244. Publisher : MIT Press - Journals, DOI: 10.1162/tacl_a_00095.
ROSENBERG A. & HIRSCHBERG J. (2007). V-Measure : A conditional entropy-based external cluster evaluation measure. In *Proceedings of the 2007 Joint Conference on Empirical Methods in Natural Language Processing and Computational Natural Language Learning*, p. 410–420, Prague, Czech Republic : Association for Computational Linguistics.

ROUSSEEUW P. J. (1987). Silhouettes : A graphical aid to the interpretation and validation of cluster analysis. *Journal of Computational and Applied Mathematics, 20*(C), 53–65. Publisher : North-Holland, DOI : 10.1016/0377-0427(87)90125-7.

SIMON E., GUIGUE V. & PIWOWARSKI B. (2019). Unsupervised information extraction : Regularizing discriminative approaches with relation distribution losses. In *Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics*, p. 1378–1387, Florence, Italy : Association for Computational Linguistics. DOI : 10.18653/v1/p19-1133.

THORNDIKE R. L. (1953). Who belongs in the family ? *Psychometrika*, **18**(4), 267–276. Publisher : Springer, DOI : 10.1007/BF02289263.

TRAN T. T., LE P. & ANANIADOU S. (2020). Revisiting Unsupervised Relation Extraction. In *Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics*, p. 7498–7505, Online : Association for Computational Linguistics. DOI : 10.18653/v1/2020.acl-main.669.
# Injection de connaissances temporelles dans la reconnaissance d'entités nommées historiques

Carlos-Emiliano González-Gallardo¹ Emanuela Boros²* Edward Giamphy¹,³

Ahmed Hamdi¹ José G. Moreno⁴ Antoine Doucet¹

(1) La Rochelle Université, L3i, 17000 La Rochelle, France

(2) EPFL, Digital Humanities Laboratory, Lausanne, Suisse

(3) Preligens, 75009 Paris, France

(4) Université de Toulouse, IRIT UMR 5505 CNRS, 31000 Toulouse, France

carlos.gonzalez_gallardo@univ-lr.fr, {prénom.nom}@univ-lr.fr,
emanuela.boros@epfl.ch, edward.giamphy@preligens.com

jose.moreno@irit.fr

## RÉSUMÉ

Dans cet article nous abordons la reconnaissance d'entités nommées (NER) dans des documents historiques multilingues. Cette tâche présente des multiples défis, tels que les erreurs générées suite à la numérisation et de la reconnaissance optique des caractères de ces documents. De plus, ces collections sont distribuées sur une période de temps assez longue et suivent plusieurs conventions orthographiques qui évoluent au fil du temps. Pour répondre à ce défi nous récupérons des contextes supplémentaires, sémantiquement pertinents en exploitant des graphes de connaissances temporelles à partir des informations temporelles fournies par les collections historiques. Ces contextes sont ensuite inclus en tant que représentations mises en commun dans un modèle NER basé sur des Transformeurs. Nous menons des expérimentations avec deux collections historiques multilingues récentes en anglais, français et allemand, composées de journaux historiques (XIXe - XXe siècles) et de commentaires classiques (XXe siècle). Les résultats démontrent l'efficacité de l'injection de connaissances temporelles dans ces ensembles de données.

## ABSTRACT

### Injecting Temporal-aware Knowledge in Historical Named Entity Recognition.

In this paper we address the detection of named entities in multilingual historical collections. This task presents multiple challenges as a result of digitization and optical character recognition processes. In addition, these collections are distributed over a fairly long period of time and are affected by changes and evolution of natural language. To address this challenge we retrieve semantically-relevant additional contexts from temporal knowledge graphs by extracting the time information provided on historical data collections and include them as mean-pooled representations in a Transformer-based NER model. We experiment with two recent multilingual historical collections in English, French, and German, consisting of historical newspapers (19C-20C) and classical commentaries (19C). The results show the effectiveness of injecting temporal-aware knowledge into the different datasets.

**MOTS-CLÉS** : Reconnaissance d'entités nommées, Extraction d'informations temporelles, Humanités numériques.

**KEYWORDS:** Named entity recognition, Temporal information extraction, Digital humanities.

<figure><img src="image_32.png" /></figure>

<footnote>∗ Ce travail a été réalisé à l'Université de La Rochelle, à La Rochelle, France.</footnote>
# 1 Introduction

Ces dernières décennies ont vu la mise à disposition d'un nombre croissant de corpus textuels pour les sciences humaines et sociales. Des exemples représentatifs proviennent de *Gallica*, la bibliothèque numérique de la Bibliothèque nationale de France <fnref n="1" />, et de *Trove*, l'agrégateur de bases de données et service de documents en texte intégral, d'images numériques et de stockage de données provenant de la Bibliothèque nationale d'Australie <fnref n="2" />. L'accès à ces données massives offre de nouvelles perspectives à un nombre croissant de disciplines, allant de l'histoire sociopolitique et culturelle à l'histoire économique, ainsi que de la linguistique à la philologie.

Des milliards d'images de documents historiques, y compris des documents manuscrits numérisés, des registres médiévaux et des journaux anciens numérisés, sont désormais stockés et leur contenu est transcrit, soit manuellement grâce à des interfaces dédiées, soit automatiquement en utilisant la reconnaissance optique de caractères (OCR) ou la reconnaissance de texte manuscrit. Le processus de numérisation en masse, initié dans les années 1980 par des projets internes à petite échelle, a conduit à la montée en puissance de la numérisation, qui a atteint une certaine maturité au début des années 2000 avec des campagnes de numérisation à grande échelle dans toute l'industrie (Ehrmann et al., 2020a,c).

Alors que ce processus de numérisation de masse se poursuit de plus en plus d'approches du domaine du traitement du langage naturel (TAL) sont dédiées aux documents historiques, offrant de nouveaux moyens d'accéder à des archives enrichies sémantiquement en texte intégral (Oberbichler et al., 2022), tels que la reconnaissance d'entités nommées (NER) (Boroş et al., 2020a; Ehrmann et al., 2023; Hamdi et al., 2021), l'annotation sémantique (Linhares Pontes et al., 2022) et la détection d'événements (Boros et al., 2022; Nguyen et al., 2020).

La NER est une tâche d'extraction d'information dédiée à l'identification d'entités d'intérêt dans les textes, généralement de type personne, organisation et lieu. Ces entités agissent comme des ancrages référentiels qui sous-tendent la sémantique des textes et guident leur interprétation. Par exemple, en Europe, à l'époque médiévale, la plupart des personnes étaient identifiées par un simple mononyme ou un seul nom propre. Les noms de famille ou patronymes ont commencé à être utilisés à partir du XIIIe siècle, mais beaucoup plus tard dans certaines régions ou classes sociales (XVIIe siècle pour les Gallois). De nombreuses personnes partageaient le même nom et la même orthographe dans les langues vernaculaires et latines, mais aussi au sein d'une même langue (e.g., Guillelmus, Guillaume, Willelmus, Guillaume, Wilhelm). Les lieux ont pu disparaître ou changer complètement. Pour ceux qui ont survécu de la préhistoire jusqu'au XXIe siècle (e.g., l'Écosse, le Pays de Galles, l'Espagne), ils sont très ambigus et possèdent de très différentes orthographes, ce qui rend leur identification très difficile (Boroş et al., 2020b).

Dans cet article, nous nous concentrons sur l'exploration de la temporalité dans la NER à partir de collections historiques. Nous proposons une nouvelle technique pour injecter des connaissances temporelles supplémentaires en s'appuyant sur Wikipédia et Wikidata pour fournir des informations contextuelles sémantiquement proches.

<footnote n="1">1. https://gallica.bnf.fr/</footnote>

<footnote n="2">2. https://trove.nla.gov.au/</footnote>
# 2 Contextes basés sur des connaissances temporelles

Plusieurs travaux ont montré que les erreurs d'OCR peuvent avoir un impact sur des tâches en TAL (van Strien et al., 2020), et plus particulièrement sur la NER (Hamdi et al., 2022). Pour remédier à cela, des efforts ont été déployés pour élaborer des corpus et/ou des systèmes de NER adaptés (Ehrmann et al., 2023). Dans ce travail, nous proposons d'introduire des contextes externes grammaticalement corrects dans les systèmes de NER. Ces contextes supplémentaires contribuent à améliorer les performances des systèmes de NER en dépit les erreurs d'OCR (Wang et al., 2022). De plus, l'inclusion de tels contextes, en tenant compte de la temporalité, pourrait encore améliorer la détection des entités, qui sont particulièrement sensibles au contexte temporel. Ainsi, nous proposons plusieurs configurations pour inclure ces contextes supplémentaires, basés sur Wikidata5m<fnref n="3" /> (Wang et al., 2021), un graphe de connaissances (KG) comportant cinq millions d'entités Wikidata<fnref n="4" />. Wikidata5m contient des entités du domaine général (e.g., des célébrités, des événements, des concepts, des objets) qui sont alignées sur une description correspondant au premier paragraphe de sa page Wikipédia.

## 2.1 Intégration de l'information temporelle

Nous agrégeons la temporalité dans Wikidata5m en utilisant le graphe de connaissances temporelles (TKG) créé par (Leblay & Chekol, 2018) et mis au point par (García-Durán et al., 2018)<fnref n="5" />. Ce TKG contient plus de 11 000 entités, 150 000 faits, et un champ temporel couvrant les années 508 à 2017. Pour une entité donnée, il fournit un ensemble de faits décrivant les interactions de l'entité dans le temps. Il est donc nécessaire de combiner ces faits en un seul élément en utilisant un opérateur d'agrégation sur leurs éléments temporels.

Nous effectuons une transformation sur les informations temporelles de chaque fait d'une entité afin de les combiner en un seul élément d'information temporelle. Soit $e$ une entité décrite par les faits : $F_e i = 1^n = (e, r_1, e_1, t_1), \dots, (e, r_i, e_i, t_i), \dots, (e, r_n, e_n, t_n)$, où le fait $(e, r_i, e_i, t_i)$ est composé de deux entités $e$ et $e_i$ reliées par la relation $r_i$ et l'horodatage $t_i$. Un horodatage est un point discret dans le temps qui correspond à une période (une année dans ce travail). L'opérateur d'agrégation est la fonction $AGG \rightarrow t_e$ qui prend en entrée l'information temporelle de $F_e$ et génère l'information temporelle associée à $e$. Plusieurs opérateurs sont possibles (moyenne, médiane, minimum et maximum). Le minimum d'un ensemble de faits est défini par le fait le plus ancien tandis que le maximum correspond au fait le plus récent. Si une entité est associée à quatre faits s'étendant sur les années 1891, 1997, 2006 et 2011, l'opérateur d'agrégation minimum consiste à conserver le plus ancien, ce qui fait de l'année 1891 l'information temporelle de l'entité.

Étant donné que nos ensembles de données correspondent à des documents entre le XIXe et le XXe siècles, l'opérateur d'agrégation minimum est plus susceptible de créer un contexte temporel approprié pour les entités. Il met en évidence les entités correspondant à une période en accentuant les faits plus anciens. À la fin de l'opération d'agrégation, 8 176 entités de Wikidata5m ont été associées à une année comprise entre 508 et 2001, ce qui permet de filtrer la plupart des faits survenus au cours du XXIe siècle.

<footnote n="3">3. https://deepgraphlearning.github.io/project/wikidata5m</footnote>

<footnote n="4">4. https://www.wikidata.org/</footnote>

<footnote n="5">5. https://github.com/mniepert/mmkb/tree/master/TemporalKGs/wikidata</footnote>
## 2.2 Recherche de contexte

Notre système de base de connaissances repose sur une instance locale d'ElasticSearch 6 et utilise une correspondance de similarité sémantique multilingue, ce qui présente un avantage pour les requêtes multilingues. Cette correspondance est réalisée avec des index de champ vectoriel dense. Ainsi, à partir d'un vecteur de requête, une API de recherche des *k* plus proches voisins (k-NN) récupère les *k* vecteurs les plus proches et renvoie les documents correspondants en tant que résultats de recherche.

Pour chaque entité Wikidata5m, nous créons une entrée ElasticSearch comprenant un identifiant, un champ de description et un champ contenant le vecteur dense de la description, obtenus à l'aide du modèle multilingue pré-entraîné Sentence-BERT (Reimers & Gurevych, 2019, 2020). Nous construisons un index sur l'identifiant de l'entité et un index vectoriel dense sur les vecteurs de description. Nous proposons deux configurations différentes pour la récupération du contexte :

- *non-temporelle* : cette configuration n'utilise aucune information temporelle. Lors de la recherche de contexte pour une phrase d'entrée, nous commençons par obtenir la représentation vectorielle dense correspondante avec le même modèle Sentence-BERT utilisé pendant la phase d'indexation. Ensuite, nous interrogeons la base de connaissances afin de récupérer les entités les plus proches sur le plan sémantique en utilisant une recherche de similarité cosinus via l'algorithme des *k*-NN sur l'index du vecteur dense de la description. Le contexte *C* est finalement composé de *k* descriptions d'entités.

- *temporelle-*δ : cette configuration intègre les informations temporelles. Après la récupération des entités sémantiquement similaires avec *non-temporelle*, nous appliquons une opération de filtrage pour garder ou exclure les entités du contexte. En utilisant l'année $t_{input}$ liée aux métadonnées de la phrase d'entrée lors de la recherche de contexte, nous conservons une entité si son année associée $t_e$ se situe dans l'intervalle $t_{input} - \delta \le t_e \le t_{input} + \delta$, où $\delta$ est le seuil de l'intervalle d'années. Sinon, l'entité est rejetée. La valeur de $t_e$ correspond à l'année la plus ancienne parmi tous les faits de l'entité *e* dans le TKG, conformément à l'opération d'agrégation AGG. Si $t_e$ est absent, l'entité *e* est également conservée. Cette opération est répétée jusqu'à ce que $|C| = k$.

## 2.3 Architecture

Notre modèle de base se compose d'une approche d'apprentissage hiérarchique et multitâche, avec un encodeur ajusté basé sur BERT. Ce modèle comprend un encodeur avec deux couches de Transformeur (Vaswani et al., 2017) dotées de modules adaptateurs (Houlsby et al., 2019; Pfeiffer et al., 2020) au-dessus du modèle pré-entraîné BERT. Les adaptateurs sont ajoutés à chaque couche de Transformeur après la projection suivant l'attention multitêtes et ils s'adaptent non seulement à la tâche, mais aussi à l'entrée bruitée, ce qui a prouvé augmenter les performances de la reconnaissance d'entités dans de telles conditions spéciales (Boroş et al., 2020a). Enfin, la couche de prédiction multitâche est constituée de couches distinctes de champs conditionnels aléatoires (CRF).

Pour inclure les contextes supplémentaires, nous introduisons les jokers contextuels. Chaque contexte supplémentaire passe par l'encodeur pré-entraîné 7 générant un JokerTokRep qui est ensuite réduit

<footnote n="6">6. https://www.elastic.co/guide/en/elasticsearch/reference/8.1/release-highlights.html</footnote>

<footnote n="7">7. Dans ce cas, nous n'utilisons pas les couches de Transformeur supplémentaires avec les adaptateurs, car ceux-ci ont été spécifiquement proposés pour le texte bruité/non standard et n'apportent aucune amélioration des performances sur le texte</footnote>
à la moyenne le long de l'axe de la séquence. Nous appelons cette représentation le *joker contextuel*. Nous les considérons comme des jokers insérés discrètement dans la représentation de la phrase actuelle pour améliorer la reconnaissance des entités. Cependant, nous considérons également que ces jokers peuvent affecter les résultats d'une manière qui n'est pas immédiatement apparente et peuvent nuire aux performances d'un système de NER.

**Configuration expérimentale** Notre configuration expérimentale comprend un modèle de base et quatre configurations avec différents niveaux de contextes basés sur les connaissances :

- sans-contexte : dans cette configuration de base, aucun contexte n'est ajouté aux représentations des phrases d'entrée.

- non-temporelle : les jokers contextuels sont générés et intégrés avec la première configuration de recherche de contexte sans information temporelle.

- temporelle-(50|25|10) : les jokers contextuels sont générés et intégrés à l'aide de la deuxième configuration de recherche de contexte avec un seuil d'intervalle d'année $\delta \in \{50, 25, 10\}$.

L'évaluation est réalisée en termes de [P]récision, de [R]appel et de mesure F1 au niveau micro (Ehrmann et al., 2020a) dans un cadre strict (correspondance exacte des limites)⁸.

**Jeux de données** Nous avons sélectionné deux collections de documents historiques comprenant des journaux historiques et des commentaires classiques.

- hipe-2020 (Ehrmann et al., 2020b) : couvre les XIXᵉ et XXᵉ siècles et rassemble des articles de journaux suisses, luxembourgeois et états-uniens en français, en allemand et en anglais provenant de diverses sources telles que la Bibliothèque nationale suisse (BN), la Bibliothèque nationale du Luxembourg (BnL), la Médiathèque et des Archives d'Etat du Valais et les Archives économiques suisses (AES)⁹ dans le cadre du projet *impresso*.

- ajmc (Romanello et al., 2021) : se compose de commentaires classiques rédigés en français, en allemand et en anglais provenant du projet *Ajax Multi-Commentary*. Ces commentaires, datant du XIXᵉ siècle, fournissent une analyse détaillée de la tragédie grecque *Ajax* de Sophocle datant du début de la période médiévale¹⁰.

## 3 Résultats

Le tableau 1 présente nos résultats pour les trois langues et les deux ensembles de données. Les meilleurs résultats sont en gras. Nous pouvons observer que les modèles avec des *jokers contextuels* présentent une amélioration par rapport au modèle de base sans contextes supplémentaires. De plus, l'inclusion d'informations temporelles conduit à de meilleurs résultats que les contextes non temporels. Les scores sur ajmc s'avèrent plus élevés que ceux obtenus sur hipe-2020, quel que

standard, comme l'ont observé Boroş et al. (2020a).

8. Nous avons utilisé l'évaluateur HIPE disponible sur https://github.com/hipe-eval/HIPE-scorer.

9. BN : https://www.nb.admin.ch; BnL : https://bnl public.lu; AES : https://wirtschaftsarchiv.ub.unibas.ch

10. Bien que la date exacte de sa première représentation soit inconnue, la plupart des spécialistes la datent du début de la carrière de Sophocle (peut-être la plus ancienne pièce de Sophocle encore existante), quelque part entre 450 et 430 avant J.-C., peut-être vers 444 avant J.-C.
<table><caption>TABLE 1 – Résultats sur le français, l’allemand et l’anglais, pour les deux jeux de données.</caption><thead><tr><th colspan="3">Français</th><th colspan="3">Allemand</th><th colspan="3">Anglais</th></tr><tr><th colspan="3">hipe-2020</th><th colspan="3">hipe-2020</th><th colspan="3">hipe-2020</th></tr><tr><th>P</th><th>R</th><th>F1</th><th>P</th><th>R</th><th>F1</th><th>P</th><th>R</th><th>F1</th></tr></thead><tbody><tr><td colspan="9" style="text-align: center;">sans-contexte</td></tr><tr><td>0,755</td><td>0,757</td><td>0,756</td><td>0,829</td><td>0,806</td><td>0,817</td><td>0,754</td><td>0,730</td><td>0,742</td><td>0,910</td><td>0,877</td><td>0,893</td><td>0,604</td><td>0,563</td><td>0,583</td><td>0,789</td><td>0,859</td><td>0,823</td></tr><tr><td colspan="9" style="text-align: center;">non-temporelle</td></tr><tr><td>0,762</td><td><strong>0,767</strong></td><td><strong>0,765</strong></td><td>0,829</td><td>0,783</td><td>0,806</td><td>0,759</td><td><strong>0,767</strong></td><td><strong>0,763</strong></td><td><strong>0,930</strong></td><td>0,898</td><td>0,913</td><td>0,565</td><td>0,601</td><td>0,583</td><td>0,828</td><td>0,871</td><td>0,849</td></tr><tr><td colspan="9" style="text-align: center;">temporelle-50</td></tr><tr><td><strong>0,765</strong></td><td>0,765</td><td><strong>0,765</strong></td><td>0,839</td><td>0,822</td><td>0,830</td><td>0,748</td><td>0,756</td><td>0,752</td><td>0,921</td><td><strong>0,911</strong></td><td><strong>0,916</strong></td><td><strong>0,643</strong></td><td>0,617</td><td><strong>0,630</strong></td><td>0,855</td><td>0,882</td><td>0,868</td></tr><tr><td colspan="9" style="text-align: center;">temporelle-25</td></tr><tr><td>0,759</td><td>0,756</td><td>0,757</td><td><strong>0,848</strong></td><td><strong>0,839</strong></td><td><strong>0,844</strong></td><td>0,757</td><td>0,743</td><td>0,750</td><td>0,925</td><td>0,903</td><td>0,914</td><td>0,621</td><td>0,630</td><td>0,625</td><td>0,833</td><td>0,876</td><td>0,854</td></tr><tr><td colspan="9" style="text-align: center;">temporelle-10</td></tr><tr><td>0,762</td><td>0,764</td><td>0,763</td><td><strong>0,848</strong></td><td><strong>0,839</strong></td><td><strong>0,844</strong></td><td><strong>0,760</strong></td><td>0,765</td><td>0,762</td><td>0,917</td><td>0,898</td><td>0,907</td><td>0,605</td><td><strong>0,646</strong></td><td>0,625</td><td><strong>0,866</strong></td><td><strong>0,888</strong></td><td><strong>0,877</strong></td></tr></tbody></table>

<table><caption>TABLE 2 – Nombre de contextes remplacés par période.</caption><thead><tr><th rowspan="2"></th><th colspan="2">Français</th><th colspan="2">Allemand</th><th colspan="2">Anglais</th></tr><tr><th>train</th><th>test</th><th>train</th><th>test</th><th>train</th><th>test</th></tr></thead><tbody><tr><td colspan="7" style="text-align: center;">temporelle-50 / 25 / 10</td></tr><tr><td>hipe-2020</td><td>120 / 154 / 217</td><td>42 / 47 / 61</td><td>325 / 393 / 482</td><td>12 / 14 / 14</td><td>192 / 222 / 246</td><td>77 / 85 / 96</td></tr><tr><td>ajmc</td><td>10 / 12 / 12</td><td>0 / 0 / 0</td><td>71 / 71 / 73</td><td>20 / 20 / 20</td><td>2 / 2 / 2</td><td>0 / 0 / 0</td></tr></tbody></table>

soit la langue et les contextes utilisés. Nous expliquons ce comportement par la faible diversité de certains types d'entités dans ajmc. Par exemple, les dix entités les plus fréquentes du type "personne" représentent respectivement 55%, 51,5% et 62,5% de toutes les entités "personne" dans les ensembles d'entraînement, de développement et de test. Il existe également une intersection de 80% entre les dix entités les plus fréquentes des ensembles d'entraînement et de test, ce qui signifie que huit des dix entités les plus fréquentes apparaissent à la fois dans les ensembles d'entraînement et de test. Le jeu de données hipe-2020 en anglais présente les scores les plus bas par rapport au français et à l'allemand, indépendamment des contextes. Nous attribuons cette baisse de performance à l'absence d'un corpus d'entraînement en anglais.

**Impact des intervalles de temps** Le jeu de données ajmc en allemand contient des commentaires provenant de deux années (1853 et 1894), le ajmc en anglais provient également de deux années (1881 et 1896), tandis que le ajmc en français ne concerne qu'une seule année (1886). En raison de la taille de la collection, hipe-2020 couvre un plus grand nombre d'années. En termes de couverture, les articles en français ont été collectés de 1798 à 2018, les articles en allemand de 1798 à 1948, et les articles en anglais de 1790 à 1960. Ainsi, nous avons examiné la différence entre les contextes récupérés par les configurations temporelles et non temporelles.

Le tableau 2 résume ces différences pour les ensembles d'entraînement et de test et indique le nombre de contextes qui ont été filtrés et remplacés par non-temporelle pour chaque intervalle de temps. En général, plus l'intervalle d'années est court, plus le nombre de contextes remplacés est élevé. Nous remarquons que le nombre de contextes remplacés est plus faible pour ajmc que pour hipe-2020. Cela s'explique par la taille limitée de la plage temporelle et le manque de diversité des entités pendant cette période. En comparant avec les résultats du tableau 1, nous pouvons déduire qu'en général, l'utilisation d'intervalle de temps plus courts, tels que $\delta = 10$, est bénéfique. En effet, la configuration temporelle-10 présente les scores F1 les plus élevés.
**Impact des erreurs de numérisation** Les commentaires sur la littérature grecque classique de ajmc présentent les difficultés typiques de l'océrisation historique. Avec des mises en page complexes, souvent composées de plusieurs colonnes et lignes de texte, la qualité de la numérisation des commentaires peut avoir un impact significatif sur la NER et d'autres tâches en aval, telles que la liaison d'entités. Statistiquement, environ 10% des entités sont affectées par des erreurs d'OCR dans les corpus ajmc en anglais et en allemand, tandis que ce chiffre s'élève à 27,5% dans le corpus en français. Les modèles intégrant un contexte supplémentaire, en particulier les approches temporelles, contribuent à la reconnaissance correcte des entités nommées, qu'elles soient contaminées ou non par des erreurs d'OCR. Cette amélioration est particulièrement significative pour la reconnaissance des entités nommées contaminées, par rapport à celles qui ne le sont pas (même si ces dernières sont plus fréquentes). Par exemple, dans le corpus en allemand, la configuration *temporelle-50* apporte une amélioration d'environ 14 points de pourcentage par rapport au modèle de base pour les entités contaminées, tandis que cette amélioration est de seulement 2 points de pourcentage pour les entités non contaminées. En outre, les trois quarts des entités présentant un taux d'erreur sur les caractères de 67% sont correctement reconnus, tandis que le modèle de base n'en reconnaît qu'un quart. Enfin, les entités avec des taux d'erreur supérieurs à 70% ne sont pas du tout reconnues par tous les modèles.

# 4 Conclusions et perspectives

Dans cet article, nous avons exploré l'apport de l'injection d'informations temporelles dans la tâche de reconnaissance d'entités nommées à partir de collections historiques. Nos résultats ont démontré que l'injection de *jokers contextuels* sur de courtes périodes offre de meilleurs résultats pour les collections présentant une diversité d'entités limitée et des intervalles de temps restreints. De manière symétrique, l'utilisation de *jokers contextuels* sur une période plus longue est plus bénéfique pour les intervalles d'années plus larges. Nous avons également montré que notre approche est performante dans la détection des entités affectées par des erreurs de numérisation, même lorsque le taux d'erreur des caractères atteint 67%. Enfin, nous avons observé que la qualité des contextes récupérés dépend de l'adéquation entre la collection historique et la base de connaissances. Ainsi, dans de futures recherches, il serait intéressant d'inclure des informations sur la temporalité en prédisant les intervalles d'années à partir d'un large ensemble de pages Wikipédia, afin de les utiliser comme contextes complémentaires.

**Limitations** Idéalement, le système requiert des métadonnées indiquant l'année de rédaction des ensembles de données, ou du moins un intervalle temporel. Dans le cas contraire, il sera nécessaire de recourir à d'autres systèmes pour prédire l'année de publication (Rastas et al., 2022). Cependant, les erreurs générées par ces systèmes se propageront et pourront influencer les résultats de la reconnaissance d'entités nommées.

# Remerciements

Ce travail a été soutenu par les projets ANNA (2019-1R40226), TERMITRAD (AAPR2020-2019-8510010), Pypa (AAPR2021-2021-12263410) et Actuadata (AAPR2022-2021-17014610) financés par la Région Nouvelle-Aquitaine, France.
Références

BOROŞ E., HAMDI A., PONTES E. L., CABRERA-DIEGO L.-A., MORENO J. G., SIDERE N. & DOUCET A. (2020a). Alleviating digitization errors in named entity recognition for historical documents. In *Proceedings of the 24th conference on computational natural language learning*, p. 431–441.

BOROS E., NGUYEN N. K., LEJEUNE G. & DOUCET A. (2022). Assessing the impact of ocr noise on multilingual event detection over digitised documents. *International Journal on Digital Libraries*, p. 1–26.

BOROŞ E., ROMERO V., MAARAND M., ZENKLOVÁ K., KŘEČKOVÁ J., VIDAL E., STUTZMANN D. & KERMORVANT C. (2020b). A comparison of sequential and combined approaches for named entity recognition in a corpus of handwritten medieval charters. In *2020 17th International conference on frontiers in handwriting recognition (ICFHR)*, p. 79–84 : IEEE.

EHRMANN M., HAMDI A., LINHARES PONTES E., ROMANELLO M. & DOUVET A. (2023). A Survey of Named Entity Recognition and Classification in Historical Documents. *ACM Computing Surveys*.

EHRMANN M., ROMANELLO M., BIRCHER S. & CLEMATIDE S. (2020a). Introducing the CLEF 2020 HIPE shared task : Named entity recognition and linking on historical newspapers. In J. M. JOSE, E. YILMAZ, J. MAGALHÃES, P. CASTELLS, N. FERRO, M. J. SILVA & F. MARTINS, Éds., *Advances in information retrieval*, p. 524–532, Cham : Springer International Publishing.

EHRMANN M., ROMANELLO M., CLEMATIDE S., STRÖBEL P. B. & BARMAN R. (2020b). Language resources for historical newspapers : the impresso collection. In *Proceedings of The 12th Language Resources and Evaluation Conference*, p. 958–968.

EHRMANN M., ROMANELLO M., FLÜCKIGER A. & CLEMATIDE S. (2020c). Overview of clef hipe 2020 : Named entity recognition and linking on historical newspapers. In *International Conference of the Cross-Language Evaluation Forum for European Languages*, p. 288–310 : Springer.

GARCÍA-DURÁN A., DUMANČIĆ S. & NIEPERT M. (2018). Learning sequence encoders for temporal knowledge graph completion. *arXiv preprint arXiv:1809.03202*.

HAMDI A., LINHARES PONTES E., BOROS E., NGUYEN T. T. H., HACKL G., MORENO J. G. & DOUCET A. (2021). A multilingual dataset for named entity recognition, entity linking and stance detection in historical newspapers. In *Proceedings of the 44th International ACM SIGIR Conference on Research and Development in Information Retrieval*, p. 2328–2334.

HAMDI A., PONTES E. L., SIDERE N., COUSTATY M. & DOUCET A. (2022). In-depth analysis of the impact of ocr errors on named entity recognition and linking. *Natural Language Engineering*, p. 1–24.

HOULSBY N., GIURGIU A., JASTRZEBSKI S., MORRONE B., DE LAROUSSILHE Q., GESMUNDO A., ATTARIYAN M. & GELLY S. (2019). Parameter-efficient transfer learning for nlp. In *International Conference on Machine Learning*, p. 2790–2799 : PMLR.

LEBLAY J. & CHEKOL M. W. (2018). Deriving validity time in knowledge graph. In *Companion Proceedings of the The Web Conference 2018*, p. 1771–1776.

LINHARES PONTES E., CABRERA-DIEGO L. A., MORENO J. G., BOROS E., HAMDI A., DOUCET A., SIDERE N. & COUSTATY M. (2022). Melhissa : a multilingual entity linking architecture for historical press articles. *International Journal on Digital Libraries*, 23(2), 133–160.
NGUYEN N. K., BOROS E., LEJEUNE G. & DOUCET A. (2020). Impact analysis of document digitization on event extraction. In *4th workshop on natural language for artificial intelligence (NL4AI 2020) co-located with the 19th international conference of the Italian Association for artificial intelligence (AI* IA 2020)*, volume 2735, p. 17–28.

OBERBICHLER S., BOROŞ E., DOUCET A., MARJANEN J., PFANZELTER E., RAUTIAINEN J., TOIVONEN H. & TOLONEN M. (2022). Integrated interdisciplinary workflows for research on historical newspapers: Perspectives from humanities scholars, computer scientists, and librarians. *Journal of the Association for Information Science and Technology*, **73**(2), 225–239.

PFEIFFER J., VULIĆ I., GUREVYCH I. & RUDER S. (2020). MAD-X: An Adapter-Based Framework for Multi-Task Cross-Lingual Transfer. In *Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP)*, p. 7654–7673, Online : Association for Computational Linguistics. DOI: 10.18653/v1/2020.emnlp-main.617.

RASTAS I., RYAN Y. C., TIIHONEN I., QARAEI M., REPO L., BABBAR R., MÄKELÄ E., TOLONEN M. & GINTER F. (2022). Explainable publication year prediction of eighteenth century texts with the bert model. In *Proceedings of the 3rd Workshop on Computational Approaches to Historical Language Change*, p. 68–77.

REIMERS N. & GUREVYCH I. (2019). Sentence-BERT: Sentence embeddings using Siamese BERT-networks. In *Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP)*, p. 3982–3992, Hong Kong, China : Association for Computational Linguistics. DOI: 10.18653/v1/D19-1410.

REIMERS N. & GUREVYCH I. (2020). Making monolingual sentence embeddings multilingual using knowledge distillation. In *Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP)*, p. 4512–4525.

ROMANELLO M., NAJEM-MEYER S. & ROBERTSON B. (2021). Optical character recognition of 19th century classical commentaries : the current state of affairs. In *The 6th International Workshop on Historical Document Imaging and Processing*, p. 1–6.

VAN STRIEN D., BEELEN K., ARDANUY M. C., HOSSEINI K., MCGILLIVRAY B. & COLAVIZZA G. (2020). Assessing the impact of ocr quality on downstream nlp tasks.

VASWANI A., SHAZEER N., PARMAR N., USZKOREIT J., JONES L., GOMEZ A. N., KAISER Ł. & POLOSUKHIN I. (2017). Attention is all you need. *Advances in neural information processing systems*, **30**.

WANG X., GAO T., ZHU Z., ZHANG Z., LIU Z., LI J. & TANG J. (2021). Kepler: A unified model for knowledge embedding and pre-trained language representation. *Transactions of the Association for Computational Linguistics*, **9**, 176–194.

WANG X., SHEN Y., CAI J., WANG T., WANG X., XIE P., HUANG F., LU W., ZHUANG Y., TU K. et al. (2022). Damo-nlp at semeval-2022 task 11 : A knowledge-based system for multilingual named entity recognition. *arXiv preprint arXiv :2203.00545*.
# Oui mais.. ChatGPT peut-il identifier des entités dans des documents historiques ?

Carlos-Emiliano González-Gallardo¹ Emanuela Boros²* Nancy Girdhar¹

Ahmed Hamdi¹ Jose G. Moreno³ Antoine Doucet¹

(1) La Rochelle Université, L3i, 17000 La Rochelle, France

(2) EPFL, Digital Humanities Laboratory, Lausanne, Suisse

(3) Université de Toulouse, IRIT UMR 5505 CNRS, 31000 Toulouse, France

carlos.gonzalez_gallardo@univ-lr.fr, {prénom.nom}@univ-lr.fr,
emanuela.boros@epfl.ch, jose.moreno@irit.fr

## RÉSUMÉ

Les modèles de langage de grande taille (LLM) sont exploités depuis plusieurs années maintenant, obtenant des performances de l'état de l'art dans la reconnaissance d'entités à partir de documents modernes. Depuis quelques mois, l'agent conversationnel ChatGPT a suscité beaucoup d'intérêt auprès de la communauté scientifique et du grand public en raison de sa capacité à générer des réponses plausibles. Dans cet article, nous explorons cette compétence à travers la tâche de reconnaissance et de classification d'entités nommées (NERC) dans des sources primaires (des journaux historiques et des commentaires classiques) d'une manière *zero-shot* et en la comparant avec les systèmes de pointe basés sur des modèles de langage. Nos résultats indiquent plusieurs lacunes dans l'identification des entités dans le texte historique, allant de l'uniformité des directives d'annotation des entités, de la complexité des entités et du *code-switching*, à la spécificité de l' invite. De plus, comme prévu, la relative absence sur Internet des archives historiques et donc dans le corpus d'entraînement de ChatGPT a également un impact sur sa performance.

## ABSTRACT

### Yes but.. Can ChatGPT Identify Entities in Historical Documents ?

Large language models (LLM) have been leveraged for several years now, obtaining state-of-the-art performance in recognizing entities from modern documents. For the last few months, the conversational agent ChatGPT has “prompted” a lot of interest in the scientific community and public due to its capacity of generating plausible-sounding answers. In this paper, we explore this ability by probing it in the named entity recognition and classification (NERC) task in primary sources (i.e., historical newspapers and classical commentaries) in a zero-shot manner and by comparing it with state-of-the-art LM-based systems. Our findings indicate several shortcomings in identifying entities in the historical text that range from the consistency of entity annotation guidelines, entity complexity, and code-switching, to the specificity of prompting. Moreover, as expected, the inaccessibility of historical archives to the public (and thus on the Internet) also impacts its performance.

**MOTS-CLÉS** : Reconnaissance et classification d'entités nommées, Modèles de langage de grande taille, Transformeur génératif pré-entraîné, Documents historiques.

**KEYWORDS:** Named entity recognition and classification, Large language models, Generative pretrained transformer, Historical documents.

<figure><img src="image_33.png" /></figure>

<footnote>* Ce travail a été réalisé à l'Université de La Rochelle, à La Rochelle, France.</footnote>
# 1 Introduction

Depuis qu'OpenAI a lancé ChatGPT lors du trente-sixième colloque sur les systèmes neuronaux de traitement de l'information (NeurIPS) en novembre 2022, sa capacité à fournir des réponses d'apprérence humaines et plausibles a rendu le modèle extrêmement populaire au-delà de la communauté des chercheurs, avec plus d'un million d'utilisateurs en moins d'une semaine. ChatGPT est un agent conversationnel basé sur GPT-3.5 (Transformeur génératif pré-entraîné), un grand modèle de langage avec plus de 175 milliards de paramètres (Ouyang et al., 2022). Étant donné sa grande popularité et son accessibilité, la question de savoir comment ce modèle hautement médiatisé se comporte dans différentes tâches de traitement du langage naturel (TAL) s'est déjà posée dans plusieurs domaines (Biswas, 2023; Pavlik, 2023).

Les modèles de langage de grande taille (LLM) sont exploités depuis plusieurs années maintenant, obtenant des performances de pointe dans la majorité des tâches de TAL, en étant généralement affinés sur des tâches en aval telles que la reconnaissance et la classification d'entités nommées (NERC) et moins dans des paramètres *zero-shot* (Li et al., 2020). Ainsi, pour la reconnaissance et la classification d'entités nommées, mais aussi de manière générale, les efforts sont consacrés à la manière de transférer efficacement les connaissances pour l'adaptation au domaine en développant des systèmes robustes inter-domaines et en explorant l'apprentissage *zero-shot* ou *few-shot* pour traiter la cohérence et l'inadéquation des domaines et des annotations dans des contextes inter-domaines (Ehrmann et al., 2020c, 2022). Simultanément, dans les documents historiques comme la presse ancienne, la tâche de NERC est confrontée à de nouveaux défis, outre l'hétérogénéité des domaines, tels que le bruit des entrées, la dynamique de la langue et le manque de ressources (Ehrmann et al., 2021; Schweter & Baiter, 2019; González-Gallardo et al., 2023; Boroş et al., 2020; Najem-Meyer & Romanello, 2022; Schweter et al., 2022; Boros et al., 2022).

Dans ce court travail préliminaire, nous menons une étude exploratoire pour étudier le potentiel de ChatGPT, qui a été entraîné sur une quantité massive de données Internet (e.g., Common Crawl, WebText2, Wikipedia) (Brown et al., 2020) et des ensembles de données d'invites pour l'apprentissage par renforcement à partir des préférences humaines (RLHF) (Ouyang et al., 2022). Nous menons cette étude sur la tâche de NERC dans une configuration *zero-shot* et en comparant les performances de ChatGPT avec celles des systèmes de pointe.

# 2 Méthodologie

Nous avons suivi une approche de type *zero-shot* pour récupérer les entités nommées extraites par ChatGPT via son interface web officielle<fnref n="1" /> entre le 11 janvier et le 7 février 2023. Une mise à jour a été publiée le 30 janvier pour améliorer la factualité et les capacités mathématiques du modèle<fnref n="2" />, cependant, nous n'avons pas perçu de différence en ce qui concerne la capacité du modèle à détecter les entités.

<footnote n="1">1. https://chat.openai.com</footnote>

<footnote n="2">2. https://help.openai.com/en/articles/6825453-chatgpt-release-notes</footnote>
**Jeux de données** Nous avons sélectionné trois collections de documents historiques englobant une période d'environ 200 ans. Ces ensembles comprennent des commentaires classiques et des journaux historiques provenant de bibliothèques impliquées dans divers projets de recherche internationaux, notamment *NewsEye*<fnref n="3" /> et *impresso*<fnref n="4" />.

<table><caption>TABLE 1 – Description statistique des jeux de données (PERS = personne, LOC = emplacement, ORG = organisation, HumanProd = ouvrage/production, TIME = date/intervalle, SCOPE = partie spécifique de l'ouvrage).</caption><thead><tr><th></th><th>Tokens</th><th>Entités</th><th>PERS</th><th>LOC</th><th>ORG</th><th>HumanProd</th><th>TIME</th><th>SCOPE</th></tr></thead><tbody><tr><td>NewsEye</td><td>30 458</td><td>1 298</td><td>463</td><td>597</td><td>217</td><td>21</td><td>-</td><td>-</td></tr><tr><td>hipe-2020</td><td>48 854</td><td>1 600</td><td>502</td><td>854</td><td>130</td><td>61</td><td>53</td><td>-</td></tr><tr><td>ajmc</td><td>5 390</td><td>360</td><td>139</td><td>9</td><td>-</td><td>80</td><td>3</td><td>129</td></tr></tbody></table>

Le jeu de données *NewsEye* (Hamdi et al., 2021a) a été collecté auprès des bibliothèques nationales de France (BnF), d'Autriche (ONB) et de Finlande (NLF)<fnref n="5" />. Il se compose de quatre corpus (français, allemand, finnois et suédois). Le corpus français est constitué de textes provenant des archives numérisées de neuf journaux, notamment *L'Oeuvre, La Fronde, La Presse, Le Matin, Marie-Claire, Ce soir, Marianne, Paris Soir et Regards*, couvrant la période de 1854 à 1946.

Le jeu de données *hipe-2020* (Ehrmann et al., 2020b) est composé d'articles de journaux suisses, luxembourgeois et états-uniens en français, allemand et anglais couvrant les XIXᵉ et XXᵉ siècles. Il a été collecté principalement auprès de la Bibliothèque nationale suisse (BN), de la Bibliothèque nationale du Luxembourg (BnL), de la Médiathèque et des Archives d'Etat du Valais et des Archives économiques suisses (AES)<fnref n="6" /> dans le cadre du projet *impresso*.

Le jeu de données *ajmc* (Romanello et al., 2021) se compose de commentaires classiques provenant du projet *Ajax Multi-Commentary*. Ce projet rassemble des commentaires numérisés du XIXᵉ siècle rédigés en français, en allemand et en anglais. Ces commentaires offrent une analyse approfondie ainsi qu'une explication détaillée de la tragédie grecque *Ajax* de Sophocle.

Les collections mentionnées ont été annotées à deux niveaux de granularité (grossier et fin) pour la tâche de NERC. Les entités identifiées comprennent des catégories universelles telles que les personnes, les lieux et les organisations ; ainsi que des entités spécifiques au domaine telles que des références bibliographiques à la littérature primaire et secondaire. Les données ont été réparties en ensembles d'entraînement, de développement et de test.

Au cours de ce travail préliminaire, seules les partitions de test en français avec une granularité grossière ont été prises en compte pour simplifier la complexité des invites. Le tableau 1 fournit des informations sur le nombre et le type d'entités identifiées dans les ensembles de données spécifiés.

Nous avons défini les trois invites présentées dans le tableau 2 en fonction des différents types d'entités entre les ensembles de données et pour respecter la casse des étiquettes correspondantes. Même si le format IOB/BIO<fnref n="7" /> est explicitement demandé pour chaque mot, la tokénisation par ChatGPT était

<footnote n="3">3. https://www.newseye.eu/</footnote>

<footnote n="4">4. https://impresso-project.ch/</footnote>

<footnote n="5">5. BnF: https://bnf.fr; ONB: https://onb.ac.at; NLF: https://kansalliskirjasto.fi</footnote>

<footnote n="6">6. BN : https://www.nb.admin.ch; BnL : https://bnl public.lu; AES : https://wirtschaftsarchiv.ub.unibas.ch</footnote>

<footnote n="7">7. https://en.wikipedia.org/wiki/Inside%E2%80%93outside%E2%80%93beginning_(tagging)</footnote>
incohérente avec les fichiers de jeux de données tokénisés IOB. Ainsi, à des fins d'évaluation, une vérification a été nécessaire pour assurer la cohérence de l'évaluation.

Des études antérieures ont démontré que l'inclusion d'instructions détaillées et d'exemples dans les invites ont un impact sur la qualité des résultats obtenus (Wang & Jin, 2023). Cependant, l'introduction d'une telle complexité dans les invites aurait été en contradiction avec notre étude de NERC dans une configuration zero-shot. Par conséquent, nous avons pris la décision de maintenir les invites aussi simples que possible afin de minimiser toute influence potentielle sur les résultats.

<table><caption>TABLE 2 – Invites du jeu de données utilisées pour collecter les prédictions.</caption><thead><tr><th>NewsEye</th><th>hipe-2020</th><th>ajmc</th></tr></thead><tbody><tr><td>Quels sont les emplacements (LOC), les personnes (PER), organisations (ORG) et productions humaines (HumanProd) présents dans le texte historique suivant? {PHRASE} Répondez, pour chaque mot, en utilisant IOB ou BIO séparé par tabulation. Si un mot n'a pas d'entité, ajoutez O.</td><td>Quels sont les emplacements (loc), les personnes (pers), organisations (org), produits (prod) et périodes (temps) présents dans le texte historique suivant? {PHRASE} Répondez, pour chaque mot, en utilisant IOB ou BIO séparé par tabulation. Si un mot n'a pas d'entité, ajoutez O.</td><td>Quels sont les emplacements (loc), les personnes (pers), les périodes de temps (date), œuvres humaines (HumanProd), objets physiques (objet) et partie spécifique des travaux (étendue - scope) présents dans le texte historique suivant? {PHRASE} Répondez, pour chaque mot, en utilisant IOB ou BIO séparé par tabulation. Si un mot n'a pas d'entité, ajoutez O.</td></tr></tbody></table>

## 3 Résultats

Le tableau 3 présente les performances de ChatGPT par rapport au NERC avec une granularité grossière (types d'entités de haut niveau) en termes de précision (P), de rappel (R) et de F-mesure (F1) à micro-niveau strict et fuzzy, évaluées avec CLEF-HIPE-2020-scorer<fnref n="8" />. Nous présentons également les performances de deux systèmes NERC de l'état de l'art basés sur modèles de langage qui ont été entraînés avec l'ensemble d'entraînement des jeux de données figurant à la section 2.

<table><caption>TABLE 3 – Résultats comparatifs utilisant les trois jeux de données (micro).</caption><thead><tr><th rowspan="2"></th><th colspan="3">NewsEye</th><th colspan="3">hipe-2020</th><th colspan="3">ajmc</th></tr><tr><th>P</th><th>R</th><th>F1</th><th>P</th><th>R</th><th>F1</th><th>P</th><th>R</th><th>F1</th></tr></thead><tbody><tr><td colspan="10" style="text-align: center; font-weight: bold;">strict</td></tr><tr><td>Stacked NERC</td><td><strong>75,0</strong></td><td>70,6</td><td><strong>72,7</strong></td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td></tr><tr><td>Temporal NERC</td><td>-</td><td>-</td><td>-</td><td><strong>76,5</strong></td><td><strong>76,5</strong></td><td><strong>76,5</strong></td><td><strong>84,8</strong></td><td><strong>83,9</strong></td><td><strong>84,4</strong></td></tr><tr><td>ChatGPT</td><td>70,9</td><td><strong>72,3</strong></td><td>71,6</td><td>32,5</td><td>50,0</td><td>39,4</td><td>21,8</td><td>26,1</td><td>23,8</td></tr><tr><td colspan="10" style="text-align: center; font-weight: bold;">fuzzy</td></tr><tr><td>Stacked NERC</td><td><strong>85,4</strong></td><td><strong>80,5</strong></td><td><strong>82,9</strong></td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td></tr><tr><td>Temporal NERC</td><td>-</td><td>-</td><td>-</td><td><strong>86,7</strong></td><td><strong>86,7</strong></td><td><strong>86,7</strong></td><td><strong>90,2</strong></td><td><strong>89,2</strong></td><td><strong>89,7</strong></td></tr><tr><td>ChatGPT</td><td>77,8</td><td>79,4</td><td>78,6</td><td>49,0</td><td>75,4</td><td>59,4</td><td>25,5</td><td>30,6</td><td>27,8</td></tr></tbody></table>

Stacked NERC est basé sur le modèle pré-entraîné BERT proposé par (Devlin et al., 2019) avec un empilement de deux blocs de Transformeur au-dessus, finalisé par une couche de prédiction à champ aléatoire conditionnel (CRF). Stacked NERC a démontré une performance accrue dans les documents historiques, tout en ne dégradant pas la performance sur les données modernes (Boros et al., 2020; Boroş et al., 2020). La même architecture a été utilisée comme base de référence dans la description du jeu de données NewsEye (Hamdi et al., 2021a).

<footnote n="8">8. https://github.com/hipe-eval/HIPE-scorer</footnote>
*Temporal NERC* s'appuie sur *Stacked NERC*, et il comprend une amélioration au niveau des données en exploitant des graphes de connaissances temporelles pour générer des informations temporelles contextuelles supplémentaires et une amélioration au niveau du modèle qui incorpore ces informations avec des contextes regroupés par la moyenne (González-Gallardo *et al.*, 2023). *Temporal NERC* a prouvé l'importance de la temporalité pour les journaux historiques et les commentaires classiques, en fonction des intervalles de temps et du taux d'erreur de numérisation.

D'après le tableau 3, il est clair que la capacité de ChatGPT à identifier des entités nommées dépend fortement de l'ensemble de données et du type d'entités. Des performances nettement inférieures en termes de F1 sont observées pour ajmc, avec une diminution de plus de 71% pour la métrique strict et de plus de 69% pour la métrique fuzzy. Pour hipe-2020, les performances ont diminué de manière moins radicale, avec plus de 48% et 31,48% respectivement. En ce qui concerne NewsEye, les scores sont légèrement similaires, avec une baisse d'environ 1,5% et un peu plus de 5% respectivement. Bien que les résultats soient globalement équilibrés, nous observons également un rappel plus élevé dans le cas de hipe-2020, ce qui pourrait indiquer que la complexité de l'annotation des entités permet à ChatGPT de les détecter, mais pas de les classer correctement 9. La section suivante présente une analyse des faiblesses de ChatGPT dans le processus de reconnaissance des entités dans des textes historiques, en tenant compte de la définition des entités nommées, de leur complexité et des erreurs liées au processus de numérisation.

# 4 Analyse des erreurs

**Définition des entités nommées** L'annotation d'entités nommées suit des directives d'annotation bien définies (guidelines) pour décrire la nature et les limites des types d'entités, cependant il est nécessaire de faire confiance à l'intuition et à la conscience linguistiques de l'annotateur (Hamdi et al., 2021b; Ehrmann et al., 2020a; Romanello & Najem-Meyer, 2022). Alors que les définitions des types d'entités universelles sont similaires entre les directives d'annotation, les types d'entités spécifiques à un domaine sont très variables. Celles de hipe-2020 (Ehrmann et al., 2020a) et NewsEye (Hamdi et al., 2021b) définissent une entité de type « production humaine » comme étant tout ce qui est diffusé dans la presse, à la radio ou à la télévision, comme les journaux, les magazines, les émissions ou les catalogues de vente (e.g., *Die Zeit*, *Le Figaro*, *Le sept à huit*, *La ferme célébrités*) et excluent les produits médiatiques tels que les films et les téléfilms, ainsi que les doctrines politiques, philosophiques et religieuses/sectaires, comme *Der Sozialismus, Theheravada Buddhismus, Le socialisme, Le bouddhisme theravâda*. De même, l'entité de type « ouvrage » est décrite par les directives d'annotation pour ajmc (Romanello & Najem-Meyer, 2022) comme une entité désignant une création humaine, qu'elle soit intellectuelle ou artistique, qui peut être désignée par son titre. Pour le FRBR 10, une œuvre « *est une création intellectuelle ou artistique distincte* », notamment les œuvres littéraires, les œuvres religieuses, les éditions de sources papyrologues et épigraphiques (e.g., *IG2*, *P.Oxy* 1.119), et les revues.

Étant donné que nous explorons la tâche de NERC dans une configuration zero-shot et bien que nous convenions que l'uniformité des annotations est une préoccupation majeure en raison de l'ambiguïté de la langue, nous ne pouvons que supposer que la variété des définitions crée nécessairement une difficulté pour ChatGPT, qui n'est pas entraîné sur des jeux de données annotés par des annotateurs.

<footnote n="9">9. Toutes les prédictions sont disponibles sur https://github.com/cic4k/NERC_ChatGPT.</footnote>

<footnote n="10">10. https://www.oclc.org/research/activities/frbr.html</footnote>
**Complexité des entités** Les directives d'annotation de NewsEye définissent à une entité nommée comme un objet du monde réel désignant un individu unique avec un nom propre. Historiquement, le nom d'une personne a joué un rôle influent en reflétant les attributs clés de son travail ou de sa vie, la majorité des entités ont également été annotées avec l'intitulé du métier de la personne. Prenons pour illustration l'exemple suivant : « *Bethoven. - Par le Quatuor de la fondation Beethoven : MM.A, Géioso1er violon ; A. Tracol ; 2e violon ; P. Monteux. aito, F. Schnéklud, violoncelle ; César Geloso, pianiste* ». « César Geloso, le pianiste » est considéré comme une entité « personne », cependant, ChatGPT n'a pas été capable de détecter au-delà de la mention du prénom et du nom. Si des métiers doivent être détectés à l'intérieur des entités, nous supposons que des informations supplémentaires doivent être ajoutées dans l' invite.

L'écriture bicamérale semble également problématique. Alors qu'il est courant que les noms d'organisations et les titres d'articles de journaux soient tout en majuscules (e.g., *LE SPORT*, *NOUVELLES BREVES*), ChatGPT les a tous identifiés comme des organisations. Les démonymes, les lieux et les personnes (e.g., *Carcassonnais*, *Russe*, *Mexicains*, « *Italien, 17 3/4*», « *Japon 1899, 73*», « *Portugais 3 %, 2 1/4*», « *Russe 1906*») ont également posé des problèmes. Il n'est cependant pas clair si la confusion provient du fait que ces mots commencent par des majuscules ou si elle est due à un autre élément de contexte, car cette limitation se retrouve couramment dans des systèmes de NERC de l'état de l'art.

Les directives d'annotation de NewsEye et impresso considèrent des adresses telles que « *130, rue de la Courselle* » et « *56, rue de la Montagne-Sainte-Geneviève, 5e* » comme des emplacements, mais ChatGPT ne semble pas capturer ce niveau fin de granularité. Étant donné que le mot « emplacement » définit l'espace d'une manière sémantiquement plus générique qu'un lieu où une position spécifique, une adresse fait référence aux particularités d'un lieu qui, s'il n'est pas spécifié dans l' invite, ne peut pas être identifié correctement par ChatGPT.

**Erreurs d'océrisation** D'un point de vue quantitatif, ChatGPT n'a identifié que 7% des entités nommées comportant des erreurs de reconnaissance optique de caractères (OCR) dans le jeu de données ajmc, tandis que *Temporal NERC* a correctement identifié environ 40% de ces entités bruitées. *Temporal NERC* a reconnu des entités nommées dont jusqu'à 70% des caractères avaient subi une erreur d'océrisation (i.e., suppression, insertion et substitution).

Cependant, ces erreurs ne devraient pas dépasser 20% pour que les entités puissent être reconnuespar ChatGPT. Notamment, ChatGPT s'est montré incapable de reconnaître les entités nommées comportant des erreurs de segmentation. Par exemple, dans « *13659 - 4360.Hxépra. ... . elloug. Ulysse paraît faire allusion à l'amertume des peroles que vient de prononcer À gamemnon; Agamemnon répond comme si Ulysse avait eu en vue l'amertume de ses propres remontrances, 4866. 'EvOaë' Tlouet, j'en arriverai là, c'est-à-dire, je mourrai, .Dindorf : Kai' αὐτὸς ἵξουμαι πρὸς τὸ θάπτειν αὐτόν. * », le nom d'une personne *Agamemnon* a été correctement identifié. En revanche, « *À gamemnon* » n'a pas été reconnu. Il n'est pas surprenant de constater que lorsque l'entité est fortement impactée par le processus d'océrisation, comme *Bethoven* au lieu de *Beethoven* dans « *XIe Quatuor (op. 95) Beethoven* », ChatGPT ne parvient pas à détecter ces entités. Enfin, en raison d'une quantité abondante de bruit, comme dans « *m _'l'_— "..i -i' i' —'i m Nota. Les Avis à insérer dans cette Feuille, qui ne seront pas remis au Bureau le mardi matin, à neuf-heures au plus tard, seront renvoyés irrévocablement_. [...] * », ChatGPT « abandonne » avec cette déclaration : « *Le texte que vous avez fourni n'est pas dans un langage cohérent, et il est difficile de comprendre ce qu'il essaie de communiquer. Le texte contient principalement de la ponctuation et des caractères spéciaux sans entités reconnaissables.* ».
**Alternance codique** L'alternance codique (code-switching) est un phénomène qui consiste à alterner entre deux ou plusieurs langues dans une même phrase, une même expression ou un même mot. Le biais monolingue dans le multilinguisme est un type de biais qui peut se produire dans les modèles de langage (Talat et al., 2022; Choudhury & Deshpande, 2021). a jmc présente de l'alternance codique entre le français et le grec ancien. GPT-3.5 a été entraîné dans plus de 100 langues, l'anglais étant surreprésenté avec 93% du nombre de mots, 1,82% pour le français et 0,032% pour le grec moderne, tandis que le grec ancien n'est pas représenté (Brown et al., 2020). ChatGPT a été entraîné à l'aide d'autres ensembles de données pour un réglage fin, un retour humain et des messages-guides (Ouyang et al., 2022), mais on peut s'attendre à une distribution similaire des langues. Ainsi, pour un exemple tel que « À la marge d'un exemplaire de Sophocle, on lit la traduction suivante de ces deux vers, due à notre ÆRacine : " O mon fils, sois un jour plas beareux que ton pèren ; Da reste avec honneur tu peux lui ressembler". », ChatGPT répond « Je suis désolé, mais je ne suis pas en mesure de comprendre le texte que vous avez fourni. Le texte semble être un mélange de grec ancien et de français, avec quelques références à la littérature ancienne et des annotations, ce qui rend difficile l'extraction d'informations significatives. De plus, le texte n'est pas un texte historique, mais plutôt un texte littéraire, ce qui rend également difficile l'extraction d'entités historiques. ».

# 5 Conclusions et perspectives

ChatGPT rencontre plusieurs difficultés dans la reconnaissance des entités dans les documents historiques, qui relèvent de la cohérence des directives d'annotation des entités, de la complexité des entités, du multilinguisme, de l'alternance codique et de la spécificité de l' invite. De plus, alors qu'une quantité sans précédent de documents historiques est disponible en format numérique, peu de choses sont disponibles gratuitement avec de nombreuses archives historiques qui restent inaccessibles au public. Par exemple, les sources primaires telles que les journaux et les articles de magazines (comme dans le cas de la majorité des ensembles de données de cette étude) sont disponibles à la fois en ligne et en bibliothèque, mais néanmoins, elles sont généralement filigranées ou derrière un mur payant.

Par conséquent, ChatGPT est « ignorant » (pour l'instant) de ces connaissances, ce qui contribue au degré de confusion du modèle en ce qui concerne les documents historiques. Même si ces ressources deviennent accessibles et que les systèmes basés sur les LLM améliorent leurs capacités de « compréhension » des documents historiques, leur mise en œuvre dans les bibliothèques numériques devra être prise avec précaution pour éviter les réponses biaisées et hors domaine.

# Déclaration éthique

Bien qu'il puisse générer un texte à la consonance plausible, le contenu généré par ChatGPT n'est pas nécessairement vrai. Néanmoins, nous considérons qu'il ne concerne pas la tâche de reconnaissance d'entités nommées, car nous n'ajoutons aucune autre considération éthique que celles posées par ChatGPT. Nous sommes conscients de la position intentionnelle (Dennett, 2009) de termes comme « abandonne », « compréhension » et « ignorant » lorsqu'ils sont appliqués à un agent conversationnel, cependant, dans ce papier, nous les adoptons pour souligner la capacité de ChatGPT à interagir avec un utilisateur.
# Remerciements

Ce travail a été soutenu par les projets ANNA (2019-1R40226), TERMITRAD (AAPR2020-2019-8510010), Pypa (AAPR2021-2021-12263410) et Actuadata (AAPR2022-2021-17014610) financés par la Région Nouvelle-Aquitaine, France.

# Références

* BISWAS S. (2023). Chatgpt and the future of medical writing.

* BOROS E., GONZÁLEZ-GALLARDO C.-E., GIAMPHY E., HAMDI A., MORENO J. G. & DOUCET A. (2022). Knowledge-based contexts for historical named entity recognition & linking. *Conference and Labs of the Evaluation Forum (CLEF 2020)*.

* BOROŞ E., HAMDI A., PONTES E. L., CABRERA-DIEGO L.-A., MORENO J. G., SIDERE N. & DOUCET A. (2020). Alleviating digitization errors in named entity recognition for historical documents. In *Proceedings of the 24th conference on computational natural language learning*, p. 431–441.

* BOROS E., PONTES E. L., CABRERA-DIEGO L. A., HAMDI A., MORENO J. G., SIDÈRE N. & DOUCET A. (2020). Robust named entity recognition and linking on historical multilingual documents. In *Conference and Labs of the Evaluation Forum (CLEF 2020)*, volume 2696, p. 1–17: CEUR-WS Working Notes.

* BROWN T., MANN B., RYDER N., SUBBIAH M., KAPLAN J. D., DHARIWAL P., NEELAKANTAN A., SHYAM P., SASTRY G., ASKELL A. et al. (2020). Language models are few-shot learners. *Advances in neural information processing systems*, **33**, 1877–1901.

* CHOUDHURY M. & DESHPANDE A. (2021). How linguistically fair are multilingual pre-trained language models? In *Proceedings of the AAAI Conference on Artificial Intelligence*, volume 35, p. 12710–12718.

* DENNETT D. (2009). Intentional Systems Theory. In *The Oxford Handbook of Philosophy of Mind*. Oxford University Press. DOI: 10.1093/oxfordhb/9780199262618.003.0020.

* DEVLIN J., CHANG M.-W., LEE K. & TOUTANOVA K. (2019). BERT: Pre-training of deep bidirectional transformers for language understanding. In *Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers)*, p. 4171–4186, Minneapolis, Minnesota: Association for Computational Linguistics. DOI: 10.18653/v1/N19-1423.

* EHRMANN, WATTER, ROMANELLO, CLEMATIDE & FLÜCKIGER (2020a). *Impresso Named Entity Annotation Guidelines*. DOI: 10.5281/zenodo.3604227.

* EHRMANN M., HAMDI A., PONTES E. L., ROMANELLO M. & DOUCET A. (2021). Named entity recognition and classification on historical documents: A survey. *arXiv preprint arXiv:2109.11406*.

* EHRMANN M., ROMANELLO M., CLEMATIDE S., STRÖBEL P. & BARMAN R. (2020b). Language resources for historical newspapers: the impresso collection.

* EHRMANN M., ROMANELLO M., FLÜCKIGER A. & CLEMATIDE S. (2020c). Extended overview of clef hipe 2020: named entity processing on historical newspapers. In *CEUR Workshop Proceedings*, volume 2696: CEUR-WS.
EHRMANN M., ROMANELLO M., NAJEM-MEYER S., DOUCET A. & CLEMATIDE S. (2022). Extended overview of hipe-2022 : Named entity recognition and linking in multilingual historical documents. In *Proceedings of the 13th International Conference of the CLEF Association (Lecture Notes in Computer Science)*, volume 13390 : Springer.

GONZÁLEZ-GALLARDO C.-E., BOROS E., GIAMPHY E., HAMDI A., MORENO J. G. & DOUCET A. (2023). Injecting temporal-aware knowledge in historical named entity recognition. In *Advances in Information Retrieval : 45th European Conference on IR Research, ECIR 2023, Dublin, Ireland*, April 2-6, 2023, *Proceedings, Part I*, p. 65-79 : Springer.

HAMDI A., LINHARES PONTES E., BOROS E., NGUYEN T. T. H., HACKL G., MORENO J. G. & DOUCET A. (2021a). A multilingual dataset for named entity recognition, entity linking and stance detection in historical newspapers. In *Proceedings of the 44th International ACM SIGIR Conference on Research and Development in Information Retrieval*, p. 2328-2334.

HAMDI A., PONTES E. L. & DOUCET A. (2021b). Annotation Guidelines for Named Entity Recognition, Entity Linking and Stance Detection. DOI: 10.5281/zenodo.4574199.

LI J., SUN A., HAN J. & LI C. (2020). A survey on deep learning for named entity recognition. *IEEE Transactions on Knowledge and Data Engineering*, **34**(1), 50-70.

NAJEM-MEYER S. & ROMANELLO M. (2022). Page layout analysis of text-heavy historical documents : a comparison of textual and visual approaches. In *Proceedings of the Computational Humanities Research Conference 2022 Antwerp, Belgium, December 12-14, 2022.*, p. 36-54.

OUYANG L., WU J., JIANG X., ALMEIDA D., WAINWRIGHT C. L., MISHKIN P., ZHANG C., AGARWAL S., SLAMA K., RAY A. et al. (2022). Training language models to follow instructions with human feedback. *arXiv preprint arXiv:2203.02155*.

PAVLIK J. V. (2023). Collaborating with chatgpt : Considering the implications of generative artificial intelligence for journalism and media education. *Journalism & Mass Communication Educator*, p. 10776958221149577.

ROMANELLO M. & NAJEM-MEYER S. (2022). Guidelines for the Annotation of Named Entities in the Domain of Classics. DOI: 10.5281/zenodo.6368101.

ROMANELLO M., NAJEM-MEYER S. & ROBERTSON B. (2021). Optical character recognition of 19th century classical commentaries : The current state of affairs. In *The 6th International Workshop on Historical Document Imaging and Processing*, HIP '21, p. 1-6, New York, NY, USA : Association for Computing Machinery. DOI: 10.1145/3476887.3476911.

SCHWETER S. & BAITER J. (2019). Towards robust named entity recognition for historic German. In *Proceedings of the 4th Workshop on Representation Learning for NLP (RepL4NLP-2019)*, p. 96-103, Florence, Italy : Association for Computational Linguistics. DOI: 10.18653/v1/W19-4312.

SCHWETER S., MÄRZ L., SCHMID K. & ÇANO E. (2022). hmbert : Historical multilingual language models for named entity recognition. *Conference and Labs of the Evaluation Forum (CLEF 2020)*.

TALAT Z., NÉVÉOL A., BIDERMAN S., CLINCIU M., DEY M., LONGPRE S., LUCCIONI S., MASOUD M., MITCHELL M., RADEV D. et al. (2022). You reap what you sow : On the challenges of bias evaluation under multilingual settings. In *Proceedings of BigScience Episode# 5-Workshop on Challenges & Perspectives in Creating Large Language Models*, p. 26-41.

WANG S. & JIN P. (2023). A brief summary of prompting in using gpt models.
# De l'interprétabilité des dimensions à l'interprétabilité du vecteur : parcimonie et stabilité

Simon Guillot¹ Thibault Prouteau¹ Nicolas Dugué¹

(1) LIUM, Le Mans, France

prenom.nom@univ-lemans.fr

## RÉSUMÉ

Les modèles d'apprentissage de plongements parcimonieux (SPINE, SINr) ont pour objectif de produire un espace dont les dimensions peuvent être interprétées. Ces modèles visent des cas d'application critiques du traitement de la langue naturelle (e.g. usages médicaux ou judiciaires) et une utilisation des représentations dans le cadre des humanités numériques. Nous proposons de considérer non plus seulement l'interprétabilité des dimensions de l'espace de description, mais celle des vecteurs de mots en eux-mêmes. Pour cela, nous introduisons un cadre d'évaluation incluant le critère de stabilité, et redéfinissant celui de la parcimonie en accord avec les théories psycholinguistiques. Tout d'abord, les évaluations en stabilité indiquent une faible variabilité sur les modèles considérés. Ensuite, pour redéfinir le critère de parcimonie, nous proposons une méthode d'éparsification des vecteurs de plongements en gardant les composantes les plus fortement activées de chaque vecteur. Il apparaît que pour les deux modèles SPINE et SINr, de bonnes performances en similarité sont permises par des vecteurs avec un très faible nombre de dimensions activées. Ces résultats permettent d'envisager l'interprétabilité de représentations éparses sans remettre en cause les performances.

## ABSTRACT

**From dimension to vector interpretability : sparseness and stability**

Sparse word embeddings models (SPINE, SINr) are designed to embed words in interpretable dimensions. These models are useful for critical downstream tasks in natural language processing (e.g. medical or legal NLP), and digital humanities applications. We propose to shift attention from the interpretability of dimensions to the interpretability of word vectors. We thus introduce stability to the interpretability framework, and redefine sparseness. First, stability evaluations show some variability for both models. Then, our sparsifiaction approach redefines the sparseness criterion by keeping only a limited number of components among the strongest in each vector. Both SPINE and SINr show interesting performances on the similarity task with very few activated dimensions. These results are encouraging and pave the way towards intrinsically interpretable word embeddings.

**MOTS-CLÉS** : Sémantique distributionnelle, traits sémantiques, interprétabilité, plongements.

**KEYWORDS:** Distributional semantics, semantic features, interpretability, word embeddings.

# 1 Introduction

L'interprétabilité (Rudin, 2019) telle qu'elle est définie dans la littérature pour les modèles de plongements lexicaux correspond à assurer la possibilité de trouver une cohérence sémantique (ou syntaxique) aux dimensions de l'espace de représentation (Murphy et al., 2012; Senel et al., 2018;

<figure><img src="image_34.png" /></figure>
Subramanian et al., 2018; Prouteau et al., 2022). Cette interprétabilité facilite également la mise en perspective des représentations du lexique avec des conceptions linguistiques de celui-ci. En effet, des dimensions de description sémantiquement cohérentes sont analysables comme traits sémantiques ou sèmes, unités utilisées dans une variété de modèles théoriques de représentation du sens allant de modèles d'inspiration cognitive (Jackendoff, 1983) à des modèles structuralistes ou néosaussuriens (Pottier, 1963; Rastier, 2009). Ces unités de sens varient quant à leur nombre, leur caractère universel ou relatif (à une langue, ou à un corpus), leur statut de primitives sémantiques et leur portée (le référent ou le concept) selon les cadres théoriques (Rastier, 2009).

Les modèles de plongements denses de l'état de l'art (Mikolov et al., 2013; Pennington et al., 2014; Devlin et al., 2018) ont permis des évolutions importantes dans le traitement automatique. Ils consistent à plonger le lexique dans des espaces de représentation denses aux dimensions opaques. Il est possible d'obtenir une compréhension a posteriori de ces modèles par le sondage (Rogers et al., 2021) ou l'analyse des matrices de plongements (Shin et al., 2018). Ces méthodes correspondent à l'explicabilité en apprentissage automatique. L'article fondateur de Murphy et al. (2012) ouvre la réflexion sur les représentations distributionnelles psycholinguistiquement plausibles. Les auteurs postulent un ensemble de contraintes sur l'espace de représentation : la parcimonie, la positivité, et la performance. La parcimonie est justifiée par la difficulté de couvrir l'ensemble du vocabulaire par un faible nombre de traits partagés. Ainsi, de nombreuses dimensions sont nécessaires, mais seules certaines sont activées pour la description d'un mot. La positivité tient au caractère non économique du stockage d'informations négatives, critère déjà utilisé pour des travaux psychologiquement motivés (Palmer, 1977) sur la factorisation de matrices d'éléments perceptifs (Lee & Seung, 1999). Les travaux sur les modèles de plongement épars ou parcimonieux connaissent des développements avec SPOWV (Faruqui et al., 2015), SPINE (Subramanian et al., 2018) et SINr (Prouteau et al., 2021). Les deux premiers transforment un espace de représentation dense en espace épars, tandis que le troisième construit un espace épars depuis la matrice de cooccurrences.

La positivité et la parcimonie constituent des caractéristiques nécessaires à l'interprétabilité des représentations distributionnelles du lexique. Néanmoins, cette interprétabilité est cantonnée au niveau de la dimension d'un espace de représentation. En effet, les tests d'intrusion qui servent à la caractériser dans Murphy et al. (2012); Senel et al. (2018); Subramanian et al. (2018); Prouteau et al. (2022) examinent les dimensions une à une pour vérifier leur cohérence sémantique interne, ainsi que l'activation de la dimension pour un faible nombre d'items lexicaux.

Dans ce travail, nous proposons de concevoir également l'**interprétabilité au niveau du vecteur** de mot et non plus seulement au niveau des dimensions. Cette interprétabilité devient possible si un mot est décrit par une faible quantité de dimensions dont il est possible de faire sens. En effet, d'une part les tâches d'association utilisées pour établir des listes de traits sémantiques comme celles de (Garrard et al., 2001; McRae et al., 2005) indiquent l'ordre de grandeur d'une dizaine de traits par item à décrire en sommant les réponses de leurs annotateurs. D'autre part, (Miller, 1956; Peterson & Peterson, 1959) posent une limite pour la manipulation d'items lexicaux en mémoire de travail cohérente avec cet ordre de grandeur. Nous prenons ainsi le parti de définir cette quantité de descripteurs comme un horizon souhaitable pour les représentations interprétables, dans la mesure où de tels vecteurs restreints en dimensions sont plus manipulables par d'éventuels locuteurs pour en faire sens. Par ailleurs, nous proposons de définir la stabilité comme un critère supplémentaire à l'interprétabilité des vecteurs. Que ce soit dans le cadre des humanités numériques (Hellrich & Hahn, 2016a,b), ou dans des utilisations critiques du traitement automatique de la langue pour des applications juridiques ou médicales (Digan et al., 2020), la reproductibilité des résultats est un critère essentiel. Or, l'entraînement non déterministe des modèles de plongements neuronaux cause
une certaine instabilité dans les représentations et les voisinages, même pour des représentations entraînées avec les mêmes hyperparamètres sur les mêmes données (Pierrejean, 2020). Rudin (2019) encourage à prioriser les approches interprétables sur les approches explicables qui souffrent de cette instabilité, même si la littérature voit émerger de récents efforts pour la création de méthodes d'explicabilité *a posteriori* déterministes (Zafar & Khan, 2021).

Ainsi, dans cet article, nous évaluons la capacité des modèles parcimonieux de l'état de l'art à se conformer aux contraintes d'interprétabilité des vecteurs que nous définissons : la stabilité de ces vecteurs, et la capacité à produire des représentations performantes avec un très faible nombre de dimensions activées, eu égard aux travaux en psycholinguistiques. Nous décrirons d'abord en Section 2 les deux modèles considérés dans nos expérimentations : SPINE et SINr. Puis nous détaillerons en Section 3 notre cadre expérimental : les corpus utilisés (OANC et BNC) pour apprendre les plongements et les jeux de données pour les évaluer sur des tâches de similarité. Nous introduirons également notre approche d'éparsification des vecteurs pour produire progressivement des modèles qui tendent vers une dizaine de dimensions activées par vecteur. Enfin, nous présenterons en Section 4 les résultats en stabilité et en similarité sur des représentations éparsifiées qui permettent de tendre vers la définition réactualisée de l'interprétabilité que nous proposons.

## 2 Les modèles interprétables

**SPINE.** SPINE est introduit par Subramanian et al. (2018) et permet, à partir d'une représentation dense obtenue avec Word2Vec (Mikolov et al., 2013) ou GloVe (Pennington et al., 2014), de produire un modèle parcimonieux dans un espace de plus grande taille (e.g. 1000 dimensions). Pour cela, SPINE est un auto-encodeur dont la couche cachée est en plus grande dimension que l'entrée à reconstruire. De plus, l'auto-encodeur est dit *k-sparse*, l'objectif est donc de n'activer que *k* neurones dans la couche cachée pour réussir à reconstruire l'entrée. Pour apprendre un tel modèle, trois fonctions de coût sont employées. La fonction de coût de reconstruction (*Reconstruction Loss*) pénalise la mauvaise reconstruction de l'entrée à partir de la représentation parcimonieuse fournie par la couche cachée. Pour imposer l'activation d'un faible nombre de neurones dans la couche cachée et donc la parcimonie de la matrice de plongements, les auteurs introduisent la fonction de coût sur la parcimonie moyenne (*Average Sparsity Loss*) et la fonction de coût sur la parcimonie partielle (*Partial Sparsity Loss*). Ces deux fonctions pénalisent un trop grand nombre d'activations tout en forçant les valeurs d'activation vers 0 ou 1. Le modèle SPINE présente plusieurs hyperparamètres : le niveau minimal de parcimonie, le nombre d'époques d'apprentissage et la dimension de la représentation.

**SINr.** Introduite dans Prouteau et al. (2021), SINr est une approche basée graphes pour la représentation distributionnelle du lexique. En appliquant une fenêtre glissante sur les phrases du corpus, la méthode extrait un graphe de co-occurrences pondéré (les sommets sont des mots et les poids des arêtes le nombre de co-occurrences observées). Prouteau et al. (2021) appliquent ensuite un algorithme de détection de communautés (l'algorithme de Louvain (Blondel et al., 2008)) pour extraire des communautés de mots densément connectés donc fréquemment co-occ Currents. À partir de cette partition du graphe en communautés, SINr calcule la distribution des liens de chaque sommet à travers les communautés détectées. Cela permet ainsi d'avoir une distribution de chaque mot sur les groupes de mots découverts de façon non supervisée par l'algorithme. Les plongements de mots produits sont naturellement parcimonieux, un sommet n'est pas connecté à toutes les communautés.
Le modèle SINr n'a qu'un seul hyperparamètre qui agit sur le nombre de communautés détectées.

# 3 Cadre expérimental

**Modèles.** Outre les modèles parcimonieux présentés Section 2, nous utilisons Word2Vec comme contrôle. Nous utilisons Skipgram with Negative sampling avec les paramètres décrits dans Levy & Goldberg (2014), la dimension des plongements de mots est de 300 avec une fenêtre de contexte de taille 5. Puisque le nombre de dimensions pour SPINE peut être fixé facilement contrairement à la méthode SINr (il dépend du nombre de communautés détectées), on fixe le nombre dimensions de SPINE en fonction de celles obtenues avec SINr. Les performances de la méthode SINr semblent optimales en réglant l'hyperparamètre agissant sur la détection de communautés à 50, aboutissant à 8454 dimensions pour BNC et 4460 pour OANC, ces nombres sont donc également choisis pour SPINE. Les plongements de mots SPINE sont appris à partir du modèle Word2Vec présenté ci-avant. Le niveau de parcimonie obtenu avec SPINE est peu sensible à l'hyperparamètre censé permettre de le régler. Ainsi, un grand nombre de modèles a été lancé et les résultats sont présentés sur le modèle qui obtient les meilleures performances sur la tâche d'évaluation en similarité avec une parcimonie (1000 époques aboutissant à 95% de parcimonie) permettant au modèle de subir le protocole que nous décrivons ci-après.

**Protocole expérimental.** Dans ces travaux, nous introduisons un protocole expérimental permettant d'évaluer l'interprétabilité au niveau des vecteurs. Pour cela, nous commençons par considérer le compromis performance-parcimonie. Nous supposons que des vecteurs plus épars sont à la fois plus interprétables et plus plausibles psycholinguistiquement. Pour travailler avec des modèles à la parcimonie contrôlée, nous introduisons notre approche d'éparsification des vecteurs : des représentations de chaque modèle de plongements sont construites en conservant pour chaque vecteur les *k* composantes ayant les valeurs les plus élevées, en variant *k* de 250 à 10. Les autres composantes sont fixées à 0. Si ce processus est naturel pour les modèles *a priori* parcimonieux et positifs, cela l'est moins pour Word2Vec, notre modèle de contrôle. Dans ce cas, nous avons fait le choix d'utiliser les *k* valeurs les plus élevées de la valeur absolue des composantes des vecteurs.

Pour contrôler la qualité de l'espace une fois ce protocole d'éparsification effectué, nous utilisons l'évaluation en similarité, soit la corrélation entre la similarité entre paires de mots dans les espaces appris et la similarité donnée par des humains. Les jeux de données sélectionnés correspondent dans la mesure du possible à une variété de relations : MEN, WS353, SCWS. Pour évaluer la stabilité des vecteurs produits par les deux modèles SPINE et SINr, le second critère d'interprétabilité que nous considérons, nous reproduisons ces expérimentations dix fois et présentons des résultats consolidés.

Puisque les jeux de données en similarité disponibles portent très majoritairement sur l'anglais, le British National Corpus (BNC) et l'Open American National Corpus (OANC) sont choisis comme corpus d'apprentissage. Le BNC compte environ 100 millions de tokens, tandis que la section de données textuelles de OANC en compte environ 11 millions. Les deux corpus sont composites en domaines et en genres textuels. Un prétraitement commun est appliqué aux deux corpus avec la bibliothèque spaCy : tokenisation et regroupement des entités nommées, suppression des mots de longueur inférieure ou égale à deux caractères comme approximation de suppression des mots vides, suppression de la ponctuation et des caractères numériques, et conservation dans le vocabulaire à représenter des items lexicaux apparaissant au moins vingt fois dans les corpus. Après ce prétraitement,
les données considérées sont : 20 814 types pour 4 millions de tokens pour OANC, 58 687 types pour 40 millions de tokens pour BNC.

# 4 Résultats et discussions

**Résultats en stabilité.** Les premiers résultats que nous considérons Table 1 ont le double emploi d'établir un point de référence sur les résultats en similarité des modèles avant l'application de notre protocole d'éparsification, et de proposer un indice sur la stabilité des représentations. Dix représentations sont produites avec chaque modèle (sur les mêmes données avec les mêmes hyperparamètres) et sont évaluées en similarité sur les trois jeux de données choisis.

<table><caption>TABLE 1 – Stabilité des résultats en similarité sur le corpus BNC en haut, sur OANC en bas. Le coefficient de corrélation de Pearson moyen et l'écart-type sont donnés pour 10 exécutions.</caption><thead><tr><th rowspan="2">BNC</th><th colspan="2">MEN</th><th colspan="2">WS353</th><th colspan="2">SCWS</th></tr><tr><th>Pearson</th><th>σ</th><th>Pearson</th><th>σ</th><th>Pearson</th><th>σ</th></tr></thead><tbody><tr><td>Word2Vec</td><td>0,72</td><td>2e-3</td><td>0,65</td><td>5e-3</td><td>0,57</td><td>2e-3</td></tr><tr><td>SPINE</td><td>0,65</td><td>6e-3</td><td>0,57</td><td>1e-2</td><td>0,60</td><td>4e-3</td></tr><tr><td>SINr</td><td>0,66</td><td>6e-4</td><td>0,63</td><td>2e-3</td><td>0,54</td><td>1e-3</td></tr><tr><th rowspan="2">OANC</th><th colspan="2">MEN</th><th colspan="2">WS353</th><th colspan="2">SCWS</th></tr><tr><th>Pearson</th><th>σ</th><th>Pearson</th><th>σ</th><th>Pearson</th><th>σ</th></tr><tr><td>Word2Vec</td><td>0,43</td><td>2e-3</td><td>0,50</td><td>5e-3</td><td>0,46</td><td>3e-3</td></tr><tr><td>SPINE</td><td>0,36</td><td>9e-3</td><td>0,43</td><td>1e-2</td><td>0,39</td><td>1e-2</td></tr><tr><td>SINr</td><td>0,39</td><td>8e-4</td><td>0,44</td><td>2e-3</td><td>0,39</td><td>2e-3</td></tr></tbody></table>

Les trois modèles proposent des performances du même ordre de grandeur, quoique légèrement meilleures pour Word2Vec. SPINE semble légèrement plus instable que Word2Vec dont il est tributaire, et que SINr. La variabilité de SINr et de Word2Vec sont comparables. Quoique légère, l'instabilité constatée sur ces différents modèles nuit à leur interprétabilité.

**Performance en similarité en fonction de la parcimonie.** Les résultats récapitulés dans la Figure 1 permettent d'observer les performances en similarité en fonction du nombre de composantes conservées par vecteur suivant notre protocole d'éparsification. Il est d'abord notable que les trois modèles proposent des performances comparables à celles obtenues en Table 1 en similarité malgré l'éparsification, et ce jusqu'à ne conserver que cinquante dimensions activées par vecteur. Il apparaît même que pour SINr, le processus d'éparsification améliore les performances sur cette tâche, possiblement en retirant du bruit présent dans les représentations originales. La relation entre parcimonie et performance n'est donc pas nécessairement un compromis. De même, la conservation de résultats convenables malgré l'éparsification forcée sur notre modèle de contrôle, bien qu'il soit originallement dense, est un résultat intéressant sur la répartition de l'information sémantique dans celui-ci.

Pour tendre vers l'horizon de parcimonie fixée Section 1, soit dix dimensions, l'expérience est égale-
<figure><img src="image_35.png" /><figcaption>FIGURE 1 – La similarité(en ordonnée, corrélation de Pearson) en fonction du nombre de dimensions conservées par vecteur (en abscisse) pour Word2Vec à gauche, SPINE au milieu et SINR à droite. En jaune, les performances sur le corpus OANC, en bleu celles sur le corpus BNC.</figcaption></figure>

ment menée à ce palier. Bien que les performances baissent significativement pour trois modèles, et particulièrement pour Word2Vec, une partie importante de l'information sémantique semble conservée dans ces dix dimensions dans la mesure où elles permettent de résoudre, au moins partiellement, la tâche de similarité. Quoique cette restriction de dix dimensions activées sur les vecteurs ne semble pas intéressante pour des utilisations en aval des vecteurs (considérant la chute de performance), elle permet de construire des vecteurs interprétables. Par ailleurs, cette très faible quantité de composantes rend plus plausible la compatibilité de ces représentations aux modèles théoriques utilisant des traits sémantiques, ouvrant ainsi d'éventuelles opportunités empiriques.

# 5 Conclusion

Dans cet article, nous proposons de définir l'interprétabilité au niveau des vecteurs, et plus seulement au niveau des dimensions de l'espace de plongement. Nous proposons ainsi un protocole d'évaluation basé sur deux critères : la stabilité des représentations produites, et la contrainte de parcimonie que nous redéfinissons en accord avec la plausibilité psycholinguistique. Il nous paraît en effet souhaitable, non seulement de pouvoir trouver une cohérence sémantique interne à une dimension de description dans une représentation du lexique, mais de pouvoir décrire chaque mot avec un faible nombre de ces dimensions. Nous faisons l'hypothèse que les vecteurs correspondant à ces contraintes sont interprétables par un locuteur, puisqu'il devient possible de manipuler ce faible nombre de dimensions en mémoire de travail.

Il apparaît que les modèles de plongement lexicaux interprétables conservent des résultats intéressants sur la tâche de similarité même en forçant des parcimonies élevées, la méthode SINR bénéficiant même du processus d'éparsification appliqué. Ce résultat permet de reconsidérer le compromis entre interprétabilité et performance pour les représentations lexicales. La construction de représentations lexicales aux vecteurs interprétables ouvre par ailleurs la perspective de mettre en relation les modèles théoriques décrivant le lexique depuis des traits sémantiques avec des plongements lexicaux.
Remerciements

Ces travaux ont été financés dans le cadre du projet ANR-21-CE23-0010 DIGING.
Références

BLONDEL V. D., GUILLAUME J. L., LAMBIOTTE R. & LEFEBVRE E. (2008). Fast unfolding of communities in large networks. *Journal of Statistical Mechanics: Theory and Experiment*, **2008**(10), P10008.

DEVLIN J., CHANG M.-W., LEE K. & TOUTANOVA K. (2018). Bert: Pre-training of deep bidirectional transformers for language understanding. *arXiv preprint arXiv:1810.04805*.

DIGAN W., NÉVÉOL A., NEURAZ A., WACK M., BAUDOIN D., BURGUN A. & RANCE B. (2020). Can reproducibility be improved in clinical natural language processing? A study of 7 clinical NLP suites. *Journal of the American Medical Informatics Association*, **28**(3), 504–515. DOI: 10.1093/jamia/ocaa261.

FARUQUI M., TSVETKOV Y., YOGATAMA D., DYER C. & SMITH N. (2015). Sparse overcomplete word vector representations. *arXiv preprint arXiv:1506.02004*.

GARRARD P., LAMBON RALPH M., HODGES J. & PATTERSON K. (2001). Prototypicality, distinctiveness, and intercorrelation: Analyses of the semantic attributes of living and nonliving concepts. *Cognitive Neuropsychology*, **18**(2), 125–174.

HELLRICH J. & HAHN U. (2016a). An assessment of experimental protocols for tracing changes in word semantics relative to accuracy and reliability. In *SIGHUM Workshop on Language Technology for Cultural Heritage, Social Sciences, and Humanities*, p. 111–117.

HELLRICH J. & HAHN U. (2016b). Bad Company Neighborhoods in neural embedding spaces considered harmful. In *Conference on Computational Linguistics*, p. 2785–2796.

JACKENDOFF R. (1983). *Semantic and Cognition*. MIT Press.

LEE D. D. & SEUNG H. S. (1999). Learning the parts of objects by nonnegative matrix factorization. *Nature*, **401**, 788–791.

LEVY O. & GOLDBERG Y. (2014). Neural word embedding as implicit matrix factorization. In Z. GHAHRAMANI, M. WELLING, C. CORTES, N. LAWRENCE & K. WEINBERGER, Éds., *Advances in Neural Information Processing Systems*, volume 27: Curran Associates, Inc.

MCRAE K., CREE G. S., SEIDENBERG M. S. & MCNORGAN C. (2005). Semantic feature production norms for a large set of living and nonliving things. *Behavior Research Methods*, **37**(4), 547.

MIKOLOV T., CHEN K., CORRADO G. & DEAN J. (2013). Efficient estimation of word representations in vector space. *arXiv preprint arXiv:1301.3781*.

MILLER G. A. (1956). The magical number seven, plus or minus two: Some limits on our capacity for processing information. *The Psychological Review*, **63**(2), 81–97.

MURPHY B., TALUKDAR P. & MITCHELL T. (2012). Learning effective and interpretable semantic models using non-negative sparse embedding. In *Conference on Computational Linguistics*, p. 1933–1950.

PALMER S. E. (1977). Hierarchical structure in perceptual representation. *Cognitive Psychology*, **9**(4), 441–474. DOI: https://doi.org/10.1016/0010-0285(77)90016-0.

PENNINGTON J., SOCHER R. & MANNING C. (2014). Glove: Global vectors for word representation. In *Empirical Methods in Natural Language Processing*, p. 1532–1543.

PETERSON L. & PETERSON M. J. (1959). Short-term retention of individual verbal items. *Journal of Experimental Psychology*, **58**(3), 193. DOI: 10.1037/h0049234.
PIERREJEAN B. (2020). *Qualitative Evaluation of Word Embeddings: Investigating the Instability in Neural-Based Models*. Thèse de doctorat, Université Toulouse 2 - Jean Jaurès.

POTTIER B. (1963). *Recherches sur l'analyse sémantique en linguistique et en traduction mécanique*. Publications linguistiques de la Faculté des lettres et sciences humaines de Nancy.

PROUTEAU T., CONNES V., DUGUÉ N., PEREZ A., LAMIREL J.-C., CAMELIN N. & MEIGNIER S. (2021). SINr : Fast Computing of Sparse Interpretable Node Representations is not a Sin ! In *Intelligent Data Analysis*, volume 12695, p. 325–337.

PROUTEAU T., DUGUÉ N., CAMELIN N. & MEIGNIER S. (2022). Are embedding spaces interpretable? results of an intrusion detection evaluation on a large french corpus. In *Language Resources and Evaluation Conference*.

RASTIER F. (2009). Principes et conditions de la sémantique componentielle. In *Sémantique interprétative*, Formes sémiotiques, p. 17–37.

ROGERS A., KOVALEVA O. & RUMSHISKY A. (2021). A Primer in BERTology: What We Know About How BERT Works. *Transactions of the Association for Computational Linguistics*, **8**, 842–866.

RUDIN C. (2019). Stop explaining black box machine learning models for high stakes decisions and use interpretable models instead. *Nature machine intelligence*, **1**(5), 206–215.

SENEL L. K., UTLU I., YUCESOY V., KO.C A. & CUKUR T. (2018). Semantic structure and interpretability of word embeddings. *Transactions on Audio, Speech, and Language Processing*, **26**(10), 1769–1779.

SHIN J., MADOTTO A. & FUNG P. (2018). Interpreting word embeddings with eigenvector analysis. *Advances in Neural Information Processing Systems*, **32**.

SUBRAMANIAN A., PRUTHI D., JHAMTANI H., BERG-KIRKPATRICK T. & HOVY E. (2018). Spine: Sparse interpretable neural embeddings. In *AAAI conference on artificial intelligence*, volume 32.

ZAFAR M. R. & KHAN N. (2021). Deterministic local interpretable model-agnostic explanations for stable explainability. *Machine Learning and Knowledge Extraction*, **3**(3), 525–541.
# Effet de l'anthropomorphisme des machines sur le français adressé aux robots: Étude du débit de parole et de la fluence

Natalia Kalashnikova¹ Mathilde Hutin¹, ² Ioana Vasilescu¹
Laurence Devillers¹, ³

(1) Université Paris-Saclay, CNRS, LISN, 91400, Orsay, France

(2) Institut Langage & Communication, Université Catholique de Louvain, 1348 Louvain-la-Neuve, Belgique

(3) Sorbonne Université, Paris, France

{natalia.kalashnikova,hutin,ioana,devil}@lisn.upsaclay.fr

## RÉSUMÉ

"Robot-directed speech" désigne la parole adressée à un appareil robotique, des petites enceintes domestiques aux robots humanoïdes grandeur-nature. Les études passées ont analysé les propriétés phonétiques et linguistiques de ce type de parole ou encore l'effet de l'anthropomorphisme des appareils sur la sociabilité des interactions, mais l'effet de l'anthropomorphisme sur les réalisations linguistiques n'a encore jamais été exploré. Notre étude propose de combler ce manque avec l'analyse d'un paramètre phonétique (débit de parole) et d'un paramètre linguistique (fréquence des pauses remplies) sur la parole adressée à l'enceinte vs au robot humanoïde vs à l'humain. Les données de 71 francophones natifs indiquent que les énoncés adressés aux humains sont plus longs, plus rapides et plus dysfluents que ceux adressés à l'enceinte et au robot. La parole adressée à l'enceinte et au robot est significativement différente de la parole adressée à l'humain, mais pas l'une de l'autre, indiquant l'existence d'un type particulier de la parole adressée aux machines.

## ABSTRACT

### The Effect of Human-Likeliness in French Robot-Directed Speech : A study of Speech Rate and Fluency

Robot-directed speech refers to speech to a robotic device, ranging from small home speakers to full-size humanoid robots. Studies have investigated the phonetic and linguistic properties of this type of speech or the effect of anthropomorphism of the devices on the social aspect of interaction. However, none have investigated the effect of the device's human-likeliness on linguistic realizations. This preliminary study proposes to fill this gap by investigating one phonetic parameter (speech rate) and one linguistic parameter (use of filled pauses) in speech directed at a home speaker vs a humanoid robot vs a human. The data from 71 native speakers of French indicate that human-directed speech shows longer utterances at a faster speech rate and more filled pauses than speech directed at a home speaker and a robot. Speaker- and robot-directed speech is significantly different from human-directed speech, but not from each other, indicating a unique device-directed type of speech.

**MOTS-CLÉS** : parole adressée aux robots, interaction humain-machine, débit de parole, pauses remplies, anthropomorphisme.

**KEYWORDS**: robot-directed speech, human-computer interaction, speech rate, filled pause, human-likeliness.

<figure><img src="image_36.png" /></figure>
# 1 Introduction

Robot-directed speech (RDS), littéralement "parole adressée au robot", désigne les productions langagières d'un humain à un outil robotique, qu'il s'agisse de petites enceintes intelligentes ou de robots humanoïdes grandeur nature. Ce type de parole peut être comparé au computer-directed speech ("parole adressée à l'ordinateur") en ce qu'il appartient lui aussi à la catégorie du device-directed speech ("parole adressée à la machine"), dans la catégorie des registres langagiers spéciaux, tels que la parole adressée aux enfants, aux locuteurs non-natifs, ou même aux animaux. L'exploration de tels styles de parole permet non seulement une meilleure compréhension des interactions humain-machine, mais aussi de l'ajustement dans le dialogue et de l'accommodation entre les interlocuteurs, ce qui à son tour peut permettre de développer des outils concrets tels que la détection de destinataire (addressee-detection).

Certaines études ont spécifiquement analysé les propriétés acoustiques de la parole adressée à l'ordinateur ou au robot à celle adressée aux adultes. Ces travaux de recherche ont montré que, lorsqu'ils s'adressent aux ordinateurs, les humains ont tendance à produire plus d'énoncés (Amalberti et al., 1993) et à hyperarticuler les voyelles (en termes de formants et de durée) sans avoir une fréquence fondamentale (F0) plus élevée (Burnham et al., 2010). En revanche, dans la parole adressée aux robots, les voyelles sont aussi hyperarticulées (Kriz et al., 2010) mais le débit de parole montre peu de différence (Raveh et al., 2019) et la F0 et l'intensité sont plus élevées (Kriz et al., 2010; Raveh et al., 2019). En ce qui concerne les particularités linguistiques de la communication avec les ordinateurs, les humains ont tendance à contrôler et simplifier leur usage du langage (moins de dysfluences, quantité limitée d'informations par proposition, etc.) : en particulier, les locuteurs utilisent moins de pauses remplies (comme euh ou um) (Amalberti et al., 1993). Toutes ces études indiquent également que les différences entre la parole adressée à un appareil et la parole adressée à un humain diminuent au cours de la conversation (Amalberti et al., 1993) et que les adultes montrent plus de variation intra-locuteur dans la parole adressée à un appareil que dans la parole adressée à un enfant (Kriz et al., 2009; Fischer et al., 2011).

Ces différences entre la parole adressée à l'ordinateur et la parole adressée au robot laissent supposer que les appareils ne sont pas tous considérés de la même façon par les humains. De plus, Gong (2008) a montré que, sur une échelle de quatre niveaux d'anthropomorphisme, plus l'appareil ressemble à un humain, plus il reçoit de réponses sociales de la part des utilisateurs lors de l'interaction. Ces résultats ont été confirmés d'un point de vue neurologique, puisque plus l'appareil est anthropomorphique, plus l'activité corticale est forte dans les région du cerveau associées au raisonnement à propos de l'intention d'autrui (la théorie de l'esprit) (Krach et al., 2008).

Dans le présent article, nous présentons les résultats préliminaires d'une étude plus large en opposant les participants dialoguant avec une enceinte Google Home vs un robot Pepper vs un autre humain. Plus précisément, nous analysons les facteurs suivants :

- les **facteurs phonétiques** : si les participants produisent (i) des énoncés (en l'occurrence des tours de parole) plus longs ; (ii) avec un débit de parole moins rapide pour la condition enceinte vs humain ;

- les **facteurs linguistiques** : si les participants produisent (iii) moins de pauses remplies pour la condition enceinte vs humain ;

- la **variation** : (iv) si ces mesures diffèrent plus intra-locuteurs dans la parole adressée à l'enceinte que dans la parole adressée à l'humain et (v) évoluent au cours de la conversation ;

- l'**effet de l'anthropomorphisme** : (vi) si la parole adressée au robot Pepper ressemble plus à
la parole adressée à l'humain ou à la parole adressée à l'enceinte (ou se positionne quelque part entre les deux).

# 2 Méthode

## 2.1 Protocole expérimental

**Procédure.** D'abord, les membres de notre équipe expliquent le déroulé de l'expérience aux participants, qui signent la notice de consentement et remplissent un formulaire de questions de base. Dans ce questionnaire, ils notent leur degré de volonté à adopter une série de 8 habitudes écologiques. Ensuite, ils suivent un ou une bénévole dans l'une des 3 salles (qui correspondent chacune à un agent conversationnel), où deux membres de notre équipe contrôlent la configuration de l'expérience. À la fin de l'enregistrement, les expérimentateurs remercient les participants et les invitent à retourner auprès des organisateurs où ils peuvent poser leurs questions sur l'expérience en prenant une collation. Le déroulement de l'expérience a été validé par un comité d'éthique et a respecté les mesures sanitaires contre le covid-19.

**Enregistrements.** La procédure d'enregistrement a été inspirée de l'étude de Mehenni et al. (2020). Lors de l'enregistrement, l'agent conversationnel (enceinte, robot Pepper ou humain) pose des questions sur les habitudes écologiques des participants. Les protocoles de l'enceinte et du robot Pepper sont réalisés dans un dispositif en Magicien d'Oz, c'est-à-dire que les réponses pré-enregistrées sont envoyées à la machine par un des expérimentateurs sans que le participant s'en rende compte. La voix de synthèse fournie par les paramètres par défaut du robot Pepper est une voix enfantine, qui a été enregistrée séparément afin de pouvoir l'utiliser aussi pour l'enceinte. La condition de la parole adressée à l'humain est réalisée par un des membres de notre équipe, qui lit à haute voix le même script qui a été enregistré pour le robot et l'enceinte. L'échange oral consiste en 4 étapes :

- S0 : L'agent instaure la conversation avec le participant en posant quelques questions anodines.

- S1 : L'agent présente les situations hypothétiques dans lesquelles les participants doivent choisir entre l'option par défaut et l'option respectueuse de l'environnement qui demande plus d'investissement (d'argent ou de temps).

- S2 : L'agent fournit une information présentant les conséquences sur l'environnement de chaque habitude et pose cette fois les questions de base du formulaire écrit.

- S3 : L'agent présente d'autres situations hypothétiques et les participants doivent à nouveau choisir entre l'option par défaut et l'option respectueuse de l'environnement.

Les données audio ont été enregistrées avec le microphone unidirectionnel (AKG45) sur Audacity à 44.1 kHz.

**Participants.** En avril et juin 2022, notre équipe a recruté les visiteurs, le personnel et les étudiants de Collège des Bernardins à Paris, France. Les 71 locuteurs natifs du français (46 femmes, 25 hommes) se répartissent de façon équilibrée dans les groupes d'âge (de 18 à 65+ ans). Parmi tous les participants, 21 (16 femmes, 5 hommes) ont participé à la condition avec l'agent humain, 28 (18 femmes, 10 hommes) à la condition avec l'agent robot, et 22 (12 femmes, 10 hommes) à la condition avec l'agent enceinte. Au total, 16 heures de parole ont été enregistrées.
## 2.2 Méthodologie

Les fichiers audio ont été segmentés manuellement et transcrits en français par deux annotateurs. Les pauses remplies ont été annotées dans la transcription. Les fichiers finaux de transcription contiennent l'horodatage des tours de parole. Tous les calculs sont faits avec Python 3 (Van Rossum & Drake, 2009).

Nous utilisons ces fichiers d'annotation pour calculer la durée totale des énoncés en secondes pour chaque tour de parole de chaque participant. Pour le calcul du débit de parole, nous utilisons l'espace entre les mots de la transcription pour segmenter le discours en unités de type (pseudo-)mots. Nous calculons ensuite la somme des unités pour chaque étape de l'expérience et divisons cette somme par la durée de l'étape. Ainsi, nous obtenons le débit de parole exprimé en nombre d'unités par seconde.

Pour les pauses remplies, nous calculons le nombre total des pauses remplies et divisons ce nombre par la durée de tours de parole pour obtenir le nombre de pauses remplies par seconde.

Pour l'analyse de la variation intra-individuelle, nous calculons l'écart-type de chaque paramètre pour chaque participant et ensuite la moyenne des écarts-types pour chaque condition.

La significativité de nos résultats est testée avec un *t*-test pour les deux échantillons indépendants appliqués avec SciPy (Virtanen *et al.*, 2020). Nous avons ensuite appliqué la correction de Bonferroni (seuil alpha = 0.5) avec Statsmodels (Seabold & Perktold, 2010).

# 3 Résultats

## 3.1 Longueur de l'énoncé et débit de parole

De façon générale, les participants ont tendance à produire des énoncés plus longs en parlant avec un humain (moyenne = 372 sec.) qu'en parlant avec l'enceinte (moyenne = 191 sec., $\Delta$=181 sec., *t*=2,19, p=0,09) et surtout au robot humanoïde (moyenne = 147 sec., $\Delta$=225 sec., *t*=2,87, p=0,01). La durée des énoncés de la parole adressée au robot et à l'enceinte n'est pas significativement différente ($\Delta$=44 sec., *t*=-1,08, p=0,85). En regardant chaque étape séparément, comme dans la Figure 1, il apparaît

<figure><img src="image_37.png" /><figcaption>FIGURE 1 – Durée moyenne des énoncés de la parole adressée à l’humain (bleu), à l’enceinte (rouge) et au robot humanoïde (vert) à chaque étape de la conversation.</figcaption></figure>
que les seules différences significatives sont observées entre la parole adressée à l'humain et celle adressée au robot dans les étapes "S2" (Δ=181,15 sec., p=0,01), et "S3" (Δ=28,14 sec., p=0,02).

Contrairement à la littérature comparant la parole adressée à l'appareil et l'enfant (Kriz et al., 2009; Fischer et al., 2011), les participants montrent plus de variation intra-locuteur dans la condition de la parole adressée à l'humain, avec un écart-type à travers des participants de 137,54 secondes, que dans la parole adressée à l'enceinte (écart-type moyen = 69,57, Δ=67,97 sec., t=2,47, p=0,06). Ce paramètre est significativement différent entre la parole adressée à l'humain et au robot (écart-type moyen = 53,18 sec., Δ=84,36 sec., t=3,24, p=0,004). Néanmoins, les différences entre la parole adressée à l'enceinte et au robot ne sont pas significativement différents l'un de l'autre (Δ=16,39, t=-1,3, p=0,2).

En ce qui concerne le débit de parole (Figure 2), la parole adressée à l'humain est plus lente au début mais s'accélère autour de l'étape S1, au moment où la conversation commence réellement. De manière générale, les participants s'adressent à l'humain avec un débit de 2,96 unités/sec, au robot avec un débit de 2,63 unités/sec, et à l'enceinte avec un débit de 2,5 unités/sec. Comme attendu, la différence entre la parole adressée à l'humain et la parole adressée à l'enceinte est significative (Δ=0,46 unités/sec, t=3,43, p=0,004). Contrairement à Raveh et al. (2019), la différence entre la parole adressée à l'humain et la parole adressée au robot est aussi significative (Δ=0,32 unités/sec, t=2,8, p=0,009), mais pas entre la parole adressée au robot et la parole adressée à l'enceinte (Δ=0,14 unités/sec, t=1,32, p=0,58). L'analyse de chaque étape montre que les deux différences significatives

<figure><img src="image_38.png" /><figcaption>FIGURE 2 – Débit de parole moyen des énoncés de la parole adressée à l'humain (bleu), à l'enceinte (rouge) et au robot humanoïde (vert) à chaque étape de la conversation.</figcaption></figure>

du débit de parole sont observées à l'étape "S2" dans les conditions entre l'humain et l'enceinte (Δ=0,4 unités/sec., p=0,002), et entre l'humain et le robot sur la même étape (Δ=0,36 token/sec., p=0,003). Aucune différence significative n'a été observée entre les étapes de la parole adressée au robot et la parole adressée à l'enceinte.

Contrairement à ce qui était attendu, on observe moins de variation intra-locuteur dans la parole adressée à l'enceinte, avec un écart-type moyen de 0,6 unités/sec. contre un écart-type moyen de 0,68 unités/sec. dans la parole adressée au robot (Δ=-0,08 unités/sec., t=0,92, p>1.) et un écart-type moyen de 0,62 unités/sec dans la parole adressée à l'humain (Δ=-0,02 unités/sec., t=0,19, p>1). La différence entre les paroles adressées au robot et à l'humain n'est pas significative (Δ=0,06 unités/sec., t=-0,7, p>1.).

Ces résultats indiquent que l'anthropomorphisme des appareils impacte de façon modérée la longueur
des énoncés et le débit de parole. Les participants ont tendance à parler plus longtemps à l'humain qu'au robot, mais pas à l'enceinte, tandis qu'ils parlent plus rapidement à l'humain qu'à l'enceinte, et surtout plus rapidement qu'au robot. Cependant, lorsqu'on compare les résultats pour le robot et l'enceinte, aucune différence de longueur des énoncés ni de débit de la parole n'est observée.

## 3.2 Pauses remplies

Les pauses remplies sont des instances de dysfluences, des accidents dans la production de la parole qui sont extrêmement fréquents dans les interaction humain-humain (Shriberg, 1994). De façon générale, les participants produisent significativement moins de pauses remplies quand ils parlent à l'enceinte que quand ils parlent à l'humain ($\Delta$=-0,4, *t*=2,92, p=0,01) et au robot ($\Delta$=-0,29, *t*=2,62, p=0,03). Cependant, la différence de fréquence des pauses remplies entre la parole adressée à l'humain et la parole adressée au robot est non-significative ($\Delta$=0,11, *t*=0,8, p>1.).

<figure><img src="image_39.png" /><figcaption>FIGURE 3 – Score moyen des disfluences des énoncés de la parole adressée à l'humain (bleu), à l'enceinte (rouge) et au robot humanoïde (vert) à chaque étape de la conversation.</figcaption></figure>

Cette situation évolue avec le temps (Figure 3). Au début de la conversation, surtout à l'étape "S0" (échange de banalités), les participants produisent plus des pauses remplies quand ils parlent à l'humain (0,35 pauses remplies par seconde), que quand ils parlent au robot (0,19 pauses/sec., $\Delta$=0,16 pauses/sec., p=0,4), ou surtout à l'enceinte (0,09 pauses/sec., $\Delta$=0,26 pauses/sec., p=0,04). A la fin de l'interaction, par exemple à l'étape "S3", les participants produisent presque autant de pauses remplies quand ils parlent à l'humain (0,27 pauses/sec.), que quand ils parlent au robot (0,28 pauses/sec., $\Delta$=0,01 pauses/sec., p>1.), mais plus quand ils parlent à l'enceinte (0,19 pauses/sec., $\Delta$=0,08, p=0,4).

La variation intra-locuteur est similaire dans les trois conditions, avec un écart-type de 0,17, 0,17, ($\Delta$=0, *t*=0,004, p=1) et 0,12 ($\Delta$=0,05, *t*=1,1, p=0,28) pauses remplies par seconde dans la parole adressée respectivement à l'humain, au robot et à l'enceinte.

Ces résultats en accord avec les recherches passées (Amalberti et al., 1993) indiquent que les participants produisent plus de dysfluences dans la parole adressée à l'humain que dans la parole adressée à un appareil, mais cet écart diminue avec le temps. Cependant, la parole adressée au robot n'est pas significativement différente de la parole adressée ni à l'humain ni à l'enceinte.
# 4 Conclusion et discussion

Dans cet article, nous avons analysé 16 heures de parole de 71 locuteurs natifs du français pour étudier le débit de parole et l'utilisation des pauses remplies dans la parole adressée à l'humain, à l'enceinte et au robot. Partiellement conforme aux recherches passées sur la parole adressée à l'ordinateur (Amalberti et al., 1993), nous montrons que les participants parlent plus vite et produisent plus de pauses remplies en parlant avec l'humain qu'avec l'enceinte. En ce qui concerne le robot humanoïde, en se basant sur les études préconisant l'effet de l'anthropomorphisme sur les interactions parlées (Gong, 2008; Krach et al., 2008), nous avons fait l'hypothèse que la parole adressée au robot partagerait plus de caractéristiques avec la parole adressée à l'humain qu'avec la parole adressée à l'enceinte. Cependant, les participants ont produit des énoncés plus longs de la façon plus rapide avec plus de pauses remplies dans la parole adressée à l'humain que dans la parole adressée au robot. De plus, la parole adressée au robot et celle adressée à l'enceinte ne sont pas différentes en longueur de l'énoncé, ni en débit de parole et en fréquence de dysfluences. Nous nous attendions également à plus de variation intra-locuteur dans la parole adressée à l'appareil qu'à l'humain : nous trouvons la tendance inverse pour la longueur des énoncés, et aucune différence pour la fréquence des pauses remplies et le débit de la parole. De façon générale, la parole adressée à l'humain est opposée à la parole adressée à l'enceinte et la parole adressée au robot.

La similarité entre les paroles adressées au robot et à l'enceinte peut être due au fait que les deux appareils communiquent avec une voix d'enfant, tandis que l'agent conversationnel humain était adulte. Il est possible que les participants se soient davantage alignés avec la parole adressée à l'enfant qu'avec la parole adressée à l'appareil. Cependant, les conditions du robot et de l'enceinte sont comparables mais ne montrent aucune différence significative, indiquant que le comportement des participants peut être considéré comme un type unique de "parole adressée à l'appareil". Enfin, le robot et l'enceinte ont utilisé la même voix alors que l'agent humain a été incarné à tour de rôle par 3 femmes et 1 homme. Il est possible que les données de la condition avec l'agent humain aient été impactées par la différence entre la parole adressée à la femme et celle adressée à l'homme.

Les futures analyses devront aussi prendre en compte l'âge des participants et leur utilisation quotidienne des appareils robotiques pour établir l'effet de la familiarité et de l'habitude. Dans les futures étapes de cette recherche, nous envisageons d'étudier les propriétés linguistiques du discours, tels que les marqueurs discursifs, la complexité de la syntaxe, etc. Nous comptons également analyser la similarité des caractéristiques phonétiques et linguistiques entre la parole des agents et la parole des sujets afin d'étudier les mécanismes de l'alignement linguistique pendant la conversation.

# Remerciements

Les auteurs remercient les relecteurs pour leurs commentaires et leurs suggestions. Cet article est écrit dans le cadre de la thèse financée par Chaire AI HUMAAINE (ANR-19-CHIA-0019) dirigé par Laurence Devillers.

# Références

AMALBERTI R., CARBONELL N. & FALZON P. (1993). User representations of computer systems
in human-computer speech interaction. *International Journal of Man-Machine Studies*, **38**(4), 547–566. DOI: https://doi.org/10.1006/imms.1993.1026.

BENAMARA F., HATOUT N., MULLER P. & OZDOWSKA S., Éds. (2007). *Actes de TALN 2007 (Traitement automatique des langues naturelles)*, Toulouse. ATALA, IRIT.

BURNHAM D., JOEFFRY S. & RICE L. (2010). Computer-and human-directed speech before and after correction. In *Proceedings Of The 13Th Australasian International Conference On Speech Science And Technology*, volume 6, p. 13–17.

DIAS G., Éd. (2015). *Actes de TALN 2015 (Traitement automatique des langues naturelles)*, Caen. ATALA, HULTECH.

FISCHER K., FOTH K., ROHLFING K. J. & WREDE B. (2011). Mindful tutors : Linguistic choice and action demonstration in speech to infants and a simulated robot. *Interaction Studies*, **12**, 134–161. DOI: https://doi.org/10.1075/is.12.1.06fis.

GONG L. (2008). How social is social responses to computers? The function of the degree of anthropomorphism in computer representations. *Computers in Human Behavior*, **24**(4), 1494–1509. Including the Special Issue : Integration of Human Factors in Networked Computing, DOI : https://doi.org/10.1016/j.chb.2007.05.007.

KRACH S., HEGEL F., WREDE B., SAGERER G., BINKOFSKI F. & KIRCHER T. (2008). Can Machines Think ? Interaction and Perspective Taking with Robots Investigated via fMRI. *PLoS ONE*, **3**(7), 1494–1509. Including the Special Issue : Integration of Human Factors in Networked Computing, DOI : https://doi.org/10.1371/journal.pone.0002597.

KRIZ S., ANDERSON G., BUGAJSKA M. & TRAFTON J. G. (2009). Robot-directed speech as a means of exploring conceptualizations of robots. In *Proceedings of the 4th ACM/IEEE International Conference on Human Robot Interaction*, HRI ’09, p. 271–272, New York, NY, USA : Association for Computing Machinery. DOI : 10.1145/1514095.1514171.

KRIZ S., ANDERSON G. & TRAFTON J. G. (2010). Robot-directed speech : Using language to assess first-time users’ conceptualizations of a robot. In *2010 5th ACM/IEEE International Conference on Human-Robot Interaction (HRI)*, p. 267–274. DOI: 10.1109/HRI.2010.5453187.

LAIGNELET M. & RIOULT F. (2009). Repérer automatiquement les segments obsolescents à l'aide d'indices sémantiques et discursifs. In A. NAZARENKO & T. POIBEAU, Éds., *Actes de TALN 2009 (Traitement automatique des langues naturelles)*, Senlis : ATALA LIPN.

LANGLAIS P. & PATRY A. (2007). Enrichissement d'un lexique bilingue par analogie. In (Benamara *et al.*, 2007), p. 101–110.

MEHENNI H. A., KOBYLYANSKAYA S., VASILESCU I. & DEVILLERS L. (2020). Nudges with conversational agents and social robots : a first experiment with children at a primary school. In *11th International Workshop on Spoken Dialog System Technology*, Madrid, Spain. HAL : hal-03083526.

RAVEH E., STEINER I., SIEGERT I., GESSINGER I. & MÖBIUS B. (2019). Comparing phonetic changes in computer-directed and human-directed speech. In P. BIRKHOLZ & S. STONE, Éds., *Studientexte zur Sprachkommunikation : Elektronische Sprachsignalverarbeitung 2019*, p. 42–49 : TUDpress, Dresden.

SEABOLD S. & PERKTOLD J. (2010). statsmodels : Econometric and statistical modeling with python. In *9th Python in Science Conference*.

SERETAN V. & WEHRLI E. (2007). Collocation translation based on sentence alignment and parsing. In (Benamara *et al.*, 2007), p. 401–410.
SHRIBERG E. (1994). *Preliminaries to a Theory of Speech Disfluencies*. Thèse de doctorat, University of California, Berkeley.

VAN ROSSUM G. & DRAKE F. L. (2009). *Python 3 Reference Manual*. Scotts Valley, CA : CreateSpace.

VIRTANEN P., GOMMERS R., OLIPHANT T. E., HABERLAND M., REDDY T., COURNAPEAU D., BUROVSKI E., PETERSON P., WECKESSER W., BRIGHT J., VAN DER WALT S. J., BRETT M., WILSON J., MILLMAN K. J., MAYOROV N., NELSON A. R. J., JONES E., KERN R., LARSON E., CAREY C. J., POLAT I., FENG Y., MOORE E. W., VANDERPLAS J., LAXALDE D., PERKTOLD J., CIMRMAN R., HENRIKSEN I., QUINTERO E. A., HARRIS C. R., ARCHIBALD A. M., RIBEIRO A. H., PEDREGOSA F., VAN MULBREGT P. & SciPy 1.0 CONTRIBUTORS (2020). SciPy 1.0 : Fundamental Algorithms for Scientific Computing in Python. *Nature Methods*, **17**, 261–272. DOI : 10.1038/s41592-019-0686-2.
# Détection de la nasalité du locuteur à partir de réseaux de neurones convolutifs et validation par des données aérodynamiques

Lila Kim¹ Cédric Gendrot¹ Amélie Elmerich¹ Angélique Amelot¹
Shinji Maeda¹

(1) Laboratoire de Phonétique et Phonologie, 4 rue des irlandais, 75005 Paris, France
lila.kim@sorbonne-nouvelle.fr, cedric.gendrot@sorbonne-nouvelle.fr,
amelie.elmerich@gmail.com, angelique.amelot@gmail.com, smaeda75@gmail.com

## RÉSUMÉ

Ce travail se positionne dans le domaine de la recherche d'informations sur le locuteur, reconnue comme une des tâches inhérentes au traitement automatique de la parole. A partir d'un nouveau masque pneumotachographe acoustiquement transparent, nous avons enregistré simultanément des données aérodynamiques (débit d'air oral et nasal) et acoustiques pour 6 locuteurs masculins français, impliquant des consonnes et voyelles orales et nasales sur des logatomes. Un CNN entraîné sur d'autres corpus acoustiques en français a été testé sur les données recueillies à partir du masque pour la distinction de nasalité phonémique, avec une classification correcte de 88% en moyenne. Nous avons comparé ces résultats CNN avec les débit d'air nasal et oral captés par le masque afin de quantifier la nasalité présente par locuteur. Les résultats montrent une corrélation significative entre les erreurs produites par le CNN et des distinctions moins nettes de débit d'air entre nasales et orales.

## ABSTRACT

**Detection of speaker nasality from convolutional neural networks and validation with aerodynamic data**

This work is positioned in the field of speaker information retrieval, which is recognized as one of the inherent tasks of automatic speech processing. Using a new acoustically transparent pneumotachograph mask, we simultaneously recorded aerodynamic (oral and nasal airflow) and acoustic data for 6 French male speakers, involving oral and nasal consonants and vowels on logatomes. A CNN trained on other French acoustic corpora was tested on the data collected from the mask for nasality distinction, with a correct classification of 88% on average. We compared these CNN results with the nasal and oral airflow captured by the mask to quantify the nasality present per speaker. The results show a significant correlation between the errors produced by the CNN and less clear distinctions in airflow between nasal and oral.

**MOTS-CLÉS** : CNN, RI, nasalité, caractérisation des locuteurs, aérodynamique.

**KEYWORDS** : CNN, nasality, speaker characterisation, nasality, aerodynamic.

<figure><img src="image_40.png" /></figure>
# 1 INTRODUCTION

La nasalité est un trait distinctif dans environ un tiers des langues du monde (Basbøll, 1985). Les connaissances de base impliquent que le palais mou doit être suffisamment abaissé pour que l'orifice vélopharyngé soit ouvert et permette à l'air de passer par le nez. L'abaissement du voile du palais et le passage de l'air par le nez ont une incidence sur la composante acoustique du signal de parole, ce qui gêne généralement l'analyse acoustique pour les phonéticiens (Styler, 2017).

Il existe des variations temporelles et spatiales dans la réalisation de la caractéristique [nasale]. Elle varie en fonction du sexe et de l'anatomie du locuteur (Clarke, 1975; Amelot, 2004), de la stratégie du locuteur (Croft et al., 1981; Skolnick et al., 1973; Vaissière, 1988), de la langue (Clumeck, 1976), du style d'élocution (Basset et al., 2001), du débit de parole (Bell-Berti & Krakow, 1991), du type de son de parole, du contexte phonétique et prosodique (Krakow, 1993), etc.

Plus précisément, l'ouverture de l'orifice vélopharyngé diffère d'un locuteur à l'autre et la morphologie des fosses nasales est très variable d'un individu à l'autre (Clarke, 1975; Amelot, 2004). Les voyelles et consonnes nasales sont importantes pour l'identification du locuteur car elles contiennent plus d'informations acoustiques relatives aux locuteurs que les autres sons (Ajili et al., 2016; Kahn et al., 2011).

Les réseaux neuronaux profonds ont récemment connu un développement important dans le domaine de la parole. Des études ont été menées dans le domaine clinique avec des réseaux neuronaux artificiels pour diagnostiquer des pathologies du langage, notamment l'hyper- ou l'hypo-nasalisation (Wang et al., 2019; Mohammed et al., 2020; Abderrazek et al., 2022b). En effet, il a été démontré que les réseaux de neurones artificiels ont la capacité de se spécialiser sur des caractéristiques phonétiques telles que le lieu d'articulation ou le mode articulatoire (Abderrazek et al., 2022b,a; Pellegrini & Mouysset, 2016).

L'objectif de la présente étude est d'évaluer la détection de la nasalité à partir de données acoustiques avec un CNN en la comparant avec les données aérodynamiques collectées lors de l'enregistrement acoustique. Nous prenons l'étiquette phonémique de la voyelle "nasale" ou "orale" comme référence et vérifions si la classification CNN est correcte à partir des données acoustiques. Dans un deuxième temps, le débit d'air nasal fourni validera la classification CNN ou nous aidera à comprendre les erreurs de classification. Enfin, nous étudierons si le niveau de nasalité de chaque locuteur peut être approché avec le CNN.

Ce travail se situe dans le domaine de la recherche d'information en TAL. En effet, la nasalité est une caractéristique inhérente du locuteur dûe à la morphologie peu malléable des cavités nasales ainsi qu'aux habitudes de production idiolectales. Dans le cadre de la vérification du locuteur, les informations propres à la voix du locuteur sont crucales pour l'explicabilité du résultat.

# 2 MATÉRIAUX ET MÉTHODES

## 2.1 Corpus et acquisition de données

Pour cette étude, 6 locuteurs natifs masculins français (âge moyen : 36 ans) ont été enregistrés dans une pièce insonorisée. Les échantillons de parole sont constitués de séquences VCV, où
$C=[p,b,t,d,v,s,z,m,n]$ et $V=[i,a,y,u,e,ã,ê,ô]$. Les séquences ont été insérées dans la phrase cadre, par exemple : " Non, tu n'as pas dit apa quatre fois, tu as dit aba et ada quatre fois ". Finalement, nous avons un total de 270 séquences avec $C= 270$ et $V= 540$. Les données aérodynamiques et acoustiques ont été enregistrées simultanément à l'aide d'un masque pneumotachographe.

Les avantages de ce masque sont les suivants : i) le débit d'air oral et nasal peut être enregistré séparément, ii) il est possible d'adapter la taille et la position de la plaque pour séparer le débit d'air nasal (NAF) du débit d'air oral (OAF) pour chaque locuteur, iii) il n'y a pas de distorsion acoustique.

Il peut y avoir de légères différences dans les mesures de débit en fonction du masque, de la position du capteur et de la taille et de la position de la plaque séparant le débit d'air nasal et le débit d'air oral. Par conséquent, un étalonnage doit être effectué séparément pour chaque masque (masque individuel pour chaque locuteur) : un étalonnage pour le compartiment buccal et un autre pour le compartiment nasal. L'étalonnage des 2 modules de capteurs de pression permet de convertir les valeurs de débit d'air dans l'unité physique (litres/s, voir Figure 1). Le masque offre une faible résistance, nécessaire pour mesurer le débit d'air sans affecter la propagation du son.

Les données acoustiques ont été capturées à l'aide d'un microphone (AKG C520 L). Tous les capteurs aérodynamiques et acoustiques sont reliés à une carte d'acquisition (DT9003). Les données acoustiques et aérodynamiques ont été enregistrées à une fréquence d'échantillonnage de 20kHz. Les données ont été segmentées manuellement dans Praat. Un script Python a été utilisé pour extraire automatiquement la moyenne de l'OAF et du NAF pour chaque voyelle (l/sec).

<figure><img src="image_41.png" /><figcaption>FIGURE 1 – Exemple d'enregistrements acoustiques et de débit d'air de [ana]. De haut en bas, (1) signal audio capturé avec un microphone, (2) spectrogramme, (3) débit d'air nasal (NAF en noir) et débit d'air oral (OAF en rouge)</figcaption></figure>

## 2.2 Réseau de neurones convolutif

Pour la tâche de classification automatique acoustique nasal-non nasal, nous avons choisi de travailler avec des réseaux neuronaux convolutifs (CNN). Pour des raisons d'espace, nous détaillons uniquement les résultats sur 6 voyelles /a, e, o, ã, ê, û/, donc 3 qualités de voyelles /a, e, o/ et leurs homologues nasales. Nous sommes conscients qu'il n'y a pas de correspondance articulaire exacte entre nos 3 voyelles orales et nasales (Zerling, 1984) et nous avons décidé d'inclure les 6 voyelles dans le système de classification (au lieu de comparer par paires) afin de contourner cette asymétrie.

Le choix d'un CNN par rapport à d'autres réseaux neuronaux est lié à notre intention d'utiliser des spectrogrammes de voyelles, l'objectif final étant de localiser, à l'aide d'un algorithme de type
gradCam, l'endroit où se trouve l'information sur la nasalité.

L'ensemble de données d'entraînement est composé des productions de ces voyelles extraites de 3 corpus français avec différents types de discours : NCCFr (Torreira et al., 2010), ESTER (Gravier et al., 2004) et PTSVOX (Chanclu et al., 2020). Dans tous ces corpus, des segmentations automatiques ont été fournies au niveau des phonèmes. Les voyelles ont été extraites aléatoirement à leurs frontières sous la forme d'un spectrogramme, sans aucune sélection du contexte prosodique, lexical ou phonémique. Pour les 2 premiers corpus, le nombre de voyelles de chaque type a été vérifié. 10 887 productions de chaque type ont été extraites de NCCFr et 9 186 d'ESTER. Pour PTSVOX, nous avons pris toutes les voyelles possibles en respectant la fréquence naturelle des phonèmes, ce qui a donné de meilleurs résultats.

<table><caption>TABLE 1 – Nombre de voyelles dans les jeux d'entraînement et de test selon les corpus</caption><thead><tr><th rowspan="2">Source</th><th colspan="3">Entraînement & validation</th><th>Test</th></tr><tr><th>NCCFr</th><th>ESTER</th><th>PTSVOX</th><th>Données enregistrées avec le masque</th></tr></thead><tbody><tr><td>nasal</td><td>32,661</td><td>27,558</td><td>65,669</td><td>198</td></tr><tr><td>non nasal</td><td>32,661</td><td>27,558</td><td>135,119</td><td>198</td></tr></tbody></table>

Dans la phase d'évaluation du modèle, nous avons sélectionné au hasard des productions de voyelles dans les données acoustiques présentées à la section 2.1. et extrait leurs spectrogrammes. Cet ensemble de test contient 66 productions de chaque type de voyelle (6 locuteurs * 11 occurrences), soit 198 voyelles pour chaque catégorie. Toutes ces images de spectrogrammes avec une bande de fréquence de 0 à 8000 Hz ont été réduites en 48x48 pixels et présentées comme entrée à notre réseau.

Pour la partie extraction des caractéristiques, le modèle est composé de deux blocs de couches de convolution et de pooling. Les couches de convolution ont été réalisées avec un noyau de taille 5x5 et ont donc produit respectivement 32 et 64 filtres. Après chaque couche de convolution, une couche de batch normalisation a été insérée avant d'appliquer une couche d'activation afin de permettre au modèle de se généraliser (Ioffe & Szegedy, 2015) sur différents types de corpus et de données. Les couches de max-pooling ont ensuite été utilisées pour réduire la taille des images avec une taille de pool de 2x2. Avec les caractéristiques extraites, 3 couches denses ont effectué la tâche de classification avec 1024 neurones. La fonction d'activation ReLU a été appliquée après chaque couche de batch normalisation et chaque couche dense. Enfin, une fonction d'activation softmax a été utilisée dans la dernière couche dense pour la classification nasale-orale. Au cours de l'apprentissage du modèle, nous avons tenté de minimiser les erreurs du modèle en appliquant Adam comme technique d'optimisation et categorical crossentropy comme fonction de perte pour mesurer la performance du modèle.

# 3 Résultats

## 3.1 Résultats du CNN

Pour une voyelle donnée, le classifieur renvoie une valeur entre 0 et 1, que nous appelons la probabilité de nasalité. Lorsqu'une voyelle est identifiée comme nasale par le modèle, la probabilité de nasalité attendue est supérieure à 0,5 et, inversement, une voyelle classée comme non nasale a une valeur proche de 0 (ou au moins inférieure à 0,5). Notre classifieur a pu identifier avec précision 95% des voyelles non nasales et 82% des voyelles nasales en atteignant une exactitude globale de 88% et
un score F1 de 88% (k = 0,77). Nous avons également testé un autre modèle incluant -en plus des voyelles- les consonnes /m, n, l, b, d, v/, et obtenu des résultats comparables : 89% d'exactitude globale en testant des voyelles et consonnes nasales et orales confondues.

La variabilité inter-locuteurs peut être observée sur la figure 2 (uniquement pour les voyelles pour une question de place). Certains locuteurs génèrent beaucoup d'erreurs de classification alors que pour d'autres, le modèle fait considérablement moins d'erreurs. Par exemple, le modèle fait le plus d'erreurs de classification pour les locuteurs MT01 et MT04. Sur le total des erreurs de classification, 37% des voyelles mal classées proviennent du locuteur MT04 (soit 17 erreurs sur 46). Le locuteur MT01 recueille 13 occurrences incorrectes (soit 28% du total des erreurs de classification) tandis que le locuteur MT03 n'a qu'une seule erreur. En outre, les erreurs sur les voyelles non nasales ne se produisent que pour les locuteurs MT01 et MT05. Pour les autres locuteurs, le modèle fonctionne correctement sur les voyelles non nasales, les erreurs ne se produisant que pour les nasales.

Nous observons que les erreurs de classification apparaissent principalement entre /a/ et /ã/. Plusieurs contextes phonétiques peuvent être considérés comme des facteurs de confusion. D'une part, lorsqu'il y a une pause dans le contexte gauche, les voyelles /a/ ont tendance à être classées comme nasales par notre modèle (5 erreurs sur 10 de /a/, soit 50%). En revanche, la présence d'une consonne labiale ou coronale devant les voyelles /ã/ peut influencer la décision de sa classe (respectivement 5 et 6 sur 14 erreurs de /ã/). Nous remarquons la même influence lorsqu'une pause est située après ces voyelles (5 des 14 erreurs de classification de /ã/). Ces 3 contextes pour les voyelles /ã/ apparaissent également dans les erreurs pour les autres voyelles nasales. Sur 36 classifications incorrectes de voyelles nasales, 12 erreurs sont causées par le contexte des consonnes labiales et coronales précédant les voyelles nasales, et 9 erreurs se produisent avec une pause en contexte gauche.

<figure><img src="image_42.png" /><figcaption>FIGURE 2 – Probabilités de nasalité obtenues par le modèle CNN pour chaque locuteur et chaque type de voyelle (à gauche), Moyenne du débit d'air nasal pour chaque locuteur et chaque type de voyelle (à droite)</figcaption></figure>

## 3.2 Résultats aérodynamiques

Dans la figure 2 à droite, nous observons une plus grande quantité de débit d'air nasal pour les 3 voyelles nasales. Les résultats de l'ANOVA étaient statistiquement significatifs avec p<0,001 pour tous les locuteurs pour la distinction de la NAF entre les voyelles nasales et orales.

Nous constatons que chaque locuteur a un niveau minimum de débit d'air nasal qui diffère entre les voyelles. De plus, pour chaque paire de voyelles (/a/ vs. /ã/, /e/ vs. /ɛ/, et /o/ vs. /ɔ/), le débit d'air
nasal maximum pour les voyelles orales peut être plus important que le débit d'air nasal minimum pour les voyelles nasales. Ceci explique évidemment certaines erreurs de classification faites par le CNN, en particulier pour les locuteurs MT01, MT04 et MT05. Pour le locuteur MT02, le débit d'air nasal moyen pour /ã/ est de 0,065 l/s, et toutes les occurrences de /ã/, sauf une, ont été mal classées en dessous de ce seuil. En ce qui concerne le locuteur MT04, toutes les occurrences de /ɛ/, sauf deux, ont été mal classées en dessous d'un seuil de 0,059 l/s. De nombreux exemples de mauvaises classifications ont été trouvés selon ces critères. Globalement, un coefficient de corrélation de Pearson a révélé que la prédiction de la nasalité et de la non-nasalité est corrélée avec la mesure moyenne de la NAF (avec r = 0,66).

# 4 Discussion et conclusion

Le principal résultat de ce travail est la classification automatique correcte de la nasalité pour les voyelles jusqu'à 88% à partir d'un nouveau corpus acoustique, et 89% lorsqu'on inclue des consonnes dans l'entraînement et dans le test. Nous avons montré qu'il existe un lien significatif entre les probabilités CNN et les données aérodynamiques. Les erreurs de classification du CNN pour les locuteurs MT01 et MT04 ou pour la distinction entre /a/ et /ã/ sont corrélées à des différences plus faibles dans le débit d'air nasal. La même tendance des erreurs de classification de CNN entraîné avec des voyelles a également été observée pour le modèle incluant des voyelles et consonnes : les erreurs sont globalement les plus fréquentes chez les locuteurs MT01, MT04 et MT05.

Notre objectif était également d'établir une corrélation entre les probabilités CNN et le niveau moyen de débit d'air nasal par locuteur afin d'évaluer la nasalité globale par locuteur, et ce point doit encore être approfondi. Une première analyse a montré que les valeurs de probabilité données par le CNN n'étaient pas liées à la quantité de débit d'air nasal, mais que les erreurs de classification parviennent à donner de bonnes indications à ce sujet.

Reste à déterminer pourquoi les erreurs de classification portent plus fréquemment sur les voyelles orales pour le locuteur MT01 et sur les voyelles nasales pour le locuteur MT04. Pour le premier, les valeurs de débit d'air nasal sur les voyelles orales sont moyennes comparativement aux autres locuteurs alors que le débit d'air nasal est bas sur les voyelles nasales. Pour le deuxième, les valeurs de débit d'air nasal sur les voyelles nasales sont moyennes comparativement aux autres locuteurs alors que le débit d'air nasal est haut sur les voyelles orales. Ce résultat surprenant pourrait s'expliquer par d'autres paramètres mis en place par les locuteurs telles que la durée phonétique ou l'intensité, et qui montreraient une stratégie différente de la norme dans la distinction orale vs. nasale. Une étude perceptive de plusieurs items pour ces locuteurs permettrait de répondre à cette question.

Dans un futur proche, en incluant tous les phonèmes de la parole, nous travaillerons sur les fonctions d'activation afin de mieux relier les valeurs de probabilité avec le niveau de débit d'air nasal. L'analyse des zones spectrales utilisées par un CNN pourrait être un élément important de notre travail car la modélisation de la relation entre l'acoustique et l'articulation est encore problématique pour les nasales. Par exemple, des études articulatoires ont montré que le vélum du /a/ est plus bas que celui des autres voyelles, ce qui devrait avoir un impact sur le taux de classification (Durand, 1953). Dans l'ensemble, les implications de ces résultats devraient aider les phonéticiens dans leur analyse des voyelles nasales, et il est prévu de partager ce modèle et ce masque aérodynamique avec la communauté. Pour conclure, le projet de comparaison entre le test de perception et le CNN en anglais ainsi que l'implémentation du système Wav2vec sont en cours de développement.
Références

ABDERRAZEK S., FREDQUILLE C., GHIO A., LALAIN M., MEUNIER C. & WOISARD V. (2022a). Towards interpreting deep learning models to understand loss of speech intelligibility in speech disorders step 2 : contribution of the emergence of phonetic traits. In *ICASSP 2022-2022 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP)*, p. 7387–7391 : IEEE.

ABDERRAZEK S., FREDQUILLE C., GHIO A., LALAIN M., MEUNIER C. & WOISARD V. (2022b). Validation of the neuro-concept detector framework for the characterization of speech disorders : A comparative study including dysarthria and dysphonia. In *Interspeech 2022*.

AJILI M., BONASTRE J.-F., ROSSETTO S. & KAHN J. (2016). Inter-speaker variability in forensic voice comparison : a preliminary evaluation. In *2016 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP)*, p. 2114–2118 : IEEE.

AMELOT A. (2004). *Etude aérodynamique, fibroscopique, acoustique et perceptive des voyelles nasales du français*. Thèse de doctorat, Université de la Sorbonne nouvelle-Paris III.

BASBØLL H. (1985). Ian maddieson (1984). patterns of sounds. with a chapter contributed by sandra ferrari disner.(cambridge studies in speech science and communication) cambridge : Cambridge university press. pp. ix+ 422. *Phonology*, **2**(1), 343–353.

BASSET P., AMELOT A., VAISSIÈRE J. & ROUBEAU B. (2001). Nasal airflow in french spontaneous speech. *Journal of the international phonetic association*, **31**(1), 87–99.

BELL-BERTI F. & KRAKOW R. A. (1991). Anticipatory velar lowering : A coproduction account. *The Journal of the Acoustical Society of America*, **90**(1), 112–123.

CHANCLU A., GEORGETON L., FREDQUILLE C. & BONASTRE J.-F. (2020). Ptsvox : une base de données pour la comparaison de voix dans le cadre judiciaire. In *6e conférence conjointe Journées d'Études sur la Parole (JEP, 33e édition), Traitement Automatique des Langues Naturelles (TALN, 27e édition), Rencontre des Étudiants Chercheurs en Informatique pour le Traitement Automatique des Langues (RÉCITAL, 22e édition). Volume 1 : Journées d'Études sur la Parole*, p. 73–81 : ATALA; AFCP.

CLARKE W. M. (1975). The measurement of the oral and nasal sound pressure levels of speech. *Journal of Phonetics*, **3**(4), 257–262.

CLUMECK H. (1976). Patterns of soft palate movements in six languages. *Journal of phonetics*, **4**(4), 337–351.

CROFT C. B., SHPRINTZEN R. J. & RAKOFF S. J. (1981). Patterns of velopharyngeal valving in normal and cleft palate subjects : A multi-view videofluoroscopic and nasendoscopic study. *The Laryngoscope*, **91**(2), 265–271.

DIAS G., Éd. (2015). *Actes de TALN 2015 (Traitement automatique des langues naturelles)*, Caen. ATALA, HULTECH.

DURAND M. (1953). De la formation des voyelles nasales. *Studia Linguistica*, **7**(1-2), 33–53.

ELMERICH A., AMELOT A., MAEDA S., LAPRIE Y., PAPON J. F. & CREVIER-BUCHMAN L. (2020). F1 and f2 measurements for french oral vowel with a new pneumotachograph mask. In *ISSP 2020-12th International Seminar on Speech Production*.

GRAVIER G., BONASTRE J.-F., GEOFFROIS E., GALLIANO S., MCTAIT K. & CHOUKRI K. (2004). The ester evaluation campaign for the rich transcription of french broadcast news. In *LREC*.
HONDA K. & MAEDA S. (2008). Glottal-opening and airflow pattern during production of voiceless fricatives : a new non-invasive instrumentation. *The Journal of the Acoustical Society of America*, **123**(5), 3738–3738.

IOFFE S. & SZEGEDY C. (2015). Batch normalization : Accelerating deep network training by reducing internal covariate shift. In *International conference on machine learning*, p. 448–456 : pmlr.

KAHN J., AUDIBERT N., BONASTRE J.-F. & ROSSATO S. (2011). Inter and intra-speaker variability in french : An analysis of oral vowels and its implication for automatic speaker verification. In *ICPhS*, p. 1002–1005.

KRAKOW R. A. (1993). Nonsegmental influences on velum movement patterns : Syllables, sentences, stress, and speaking rate. In *Nasals, nasalization, and the velum*, p. 87–116. Elsevier.

MOHAMMED M. A., ABDULKAREEM K. H., MOSTAFA S. A., KHANAPI ABD GHANI M., MAASHI M. S., GARCIA-ZAPIRAIN B., OLEAGORDIA I., ALHAKAMI H. & AL-DHIEF F. T. (2020). Voice pathology detection and classification using convolutional neural network model. *Applied Sciences*, **10**(11), 3723.

PELLEGRINI T. & MOUYSSET S. (2016). Inferring phonemic classes from cnn activation maps using clustering techniques. In *Annual conference Interspeech (INTERSPEECH 2016)*, p. pp–1290.

SKOLNICK M. L., MCCALL G. N. & BARNES M. (1973). The sphincteric mechanism of velopharyngeal closure. *The Cleft Palate Journal*, **10**(3), 286–305.

STYLER W. (2017). On the acoustical features of vowel nasality in english and french. *The Journal of the Acoustical Society of America*, **142**(4), 2469–2482.

TEAM R. D. C. (2009). A language and environment for statistical computing. http://www.R-project.org.

TORREIRA F., ADDA-DECKER M. & ERNESTUS M. (2010). The nijmegen corpus of casual french. *Speech Communication*, **52**(3), 201–212.

VAISSIÈRE J. (1988). Prediction of velum movement from phonological specifications. *Phonetica*, **45**(2-4), 122–139.

WANG X., TANG M., YANG S., YIN H., HUANG H. & HE L. (2019). Automatic hypernasality detection in cleft palate speech using cnn. *Circuits, Systems, and Signal Processing*, **38**, 3521–3547.

ZERLING J.-P. (1984). Phénomènes de nasalité et de nasalisation vocalique : Étude cinéradiographique pour deux locuteurs. *Travaux de l'Institut de Phonétique de Strasbourg Strasbourg*, (16), 241–266.
# DrBERT: Un modèle robuste pré-entraîné en français pour les domaines biomédical et clinique

Yanis Labrak¹,⁴, Adrien Bazoge²,³, Richard Dufour², Mickael Rouvier¹, Emmanuel Morin², Béatrice Daille² and Pierre-Antoine Gourraud³

(1) LIA - Avignon Univserité (2) Nantes Université, École Centrale Nantes, CNRS, LS2N, UMR 6004, F-44000 Nantes, France (3) Nantes Université, Clinique des données, CHU de Nantes (4) Zenidoc {prenom.nom}@univ-avignon.fr, {prenom.nom}@univ-nantes.fr

## RÉSUMÉ

Ces dernières années, les modèles de langage pré-entraînés ont obtenu les meilleures performances sur un large éventail de tâches de traitement automatique du langage naturel (TALN). Alors que les premiers modèles ont été entraînés sur des données issues de domaines généraux, des modèles spécialisés sont apparus pour traiter plus efficacement des domaines spécifiques. Dans cet article, nous proposons une étude originale de modèles de langue dans le domaine médical en français. Nous comparons pour la première fois les performances de modèles entraînés sur des données publiques issues du web et sur des données privées issues d'établissements de santé. Nous évaluons également différentes stratégies d'apprentissage sur un ensemble de tâches biomédicales. Enfin, nous publions les premiers modèles spécialisés pour le domaine biomédical en français, appelés DrBERT, ainsi que le plus grand corpus de données médicales sous licence libre sur lequel ces modèles sont entraînés.

## ABSTRACT

**DrBERT: A Robust Pre-trained Model in French for Biomedical and Clinical domains.**

In recent years, pre-trained language models (PLMs) achieve the best performance on a wide range of natural language processing tasks. While the first models were trained on general domain data, specialized ones have emerged to more effectively treat specific domains. In this paper, we propose an original study of PLMs in the medical domain on French language. We compare, for the first time, the performance of PLMs trained on both public data from the web and private data from healthcare establishments. We also evaluate different learning strategies on a set of biomedical tasks. Finally, we release the first specialized PLMs for the biomedical field in French, called DrBERT, as well as the largest corpus of medical data under free license on which these models are trained.

**MOTS-CLÉS:** BERT; RoBERTa; Transformers; Biomédical; Clinique; Modèle de langue.

**KEYWORDS:** BERT; RoBERTa; Transformers; Biomedical; Clinical; Language Model.

## 1 Introduction

Au cours des dernières années, les modèles de langage pré-entraînés ont permis d'améliorer considérablement les performances de nombreuses tâches du traitement automatique du langage naturel (TALN). Les modèles récents, tels que BERT (Devlin et al., 2019) ou RoBERTa (Liu et al., 2019), tirent profit des énormes quantités de données non étiquetées grâce à des approches non-supervisées fondées sur l'architecture Transformers (Vaswani et al., 2017). La plupart de ces modèles sont souvent pré-entraînés sur des corpus de domaines généraux et une étape supplémentaire de réglage fin

<figure><img src="image_43.png" /></figure>
(fine-tuning) peut être appliquée pour utiliser ces modèles sur une tâche cible (Devlin et al., 2019).

L'adaptation des modèles de langue à un domaine de spécialité suit généralement deux stratégies. La première consiste à entraîner à partir de zéro (from scratch) un nouveau modèle en utilisant uniquement les données de la spécialité cible. La seconde approche, appelée pré-entraînement continué (Howard & Ruder, 2018), poursuit l'entraînement de modèles déjà pré-entraînés, permettant de passer d'un modèle générique à un modèle spécialisé. Bien que des études aient montré que la première stratégie offre généralement de meilleures performances (Lee et al., 2019), la seconde nécessite un nombre de ressources moins important (Chalkidis et al., 2020; El Boukkouri et al., 2022) que ce soit en termes de ressources informatiques ou de quantité de données.

Récemment, de multiples modèles de langue ont été développés pour les domaines biomédical et clinique, principalement pour l'anglais. Les modèles BioBERT (Lee et al., 2019), BlueBERT (Peng et al., 2019) et ClinicalBERT (Huang et al., 2019) ont utilisé le pré-entraînement continué à partir d'un modèle BERT générique. D'autres modèles, comme SciBERT (Beltagy et al., 2019) et PubMed-BERT (Gu et al., 2021), ont été pré-entraînés à partir de zéro. Dans les langues autres que l'anglais, les modèles s'appuyant sur BERT sont plus rares et reposent principalement sur un pré-entraînement continué. Pour le français, il n'existe, à notre connaissance, aucun modèle disponible publiquement pour le domaine biomédical.

Dans cet article, nous décrivons et diffusons librement DrBERT, les premiers modèles spécialisés dans le domaine biomédical pour le français, ainsi que le corpus qui a permis leur entraînement. Nous proposons également une étude originale évaluant les différentes stratégies de pré-entraînement de modèles de langue pour le domaine médical, en comparant les modèles DrBERT avec un modèle pré-entraîné sur des données cliniques privées, nommé ChuBERT. Nos contributions sont :

- Un nouveau benchmark agrégeant un ensemble de tâches de TALN dans le domaine médical en français, permettant d'évaluer les modèles de langue au niveau syntaxique et sémantique.

- Un corpus de données textuelles, nommé NACHOS, rassemblant plusieurs sources biomédicales en ligne.

- La construction et l'évaluation des premiers modèles de langues libres en français pour le domaine biomédical fondés sur l'architecture RoBERTa, appelés DrBERT, comprenant l'analyse de différentes stratégies de pré-entraînement.

- Un ensemble de modèles utilisant des données publiques et privées entraînés sur des tailles de données comparables. Ces modèles ont ensuite été comparés en évaluant leurs performances sur un large éventail de tâches, tant publiques que privées.

- La distribution des modèles de langue publics sous la licence open-source MIT ainsi que le corpus NACHOS sous la licence CC0 1.0.

## 2 Corpus de pré-entraînement

Les travaux précédents dans le domaine biomédical (Gu et al., 2021) sur les modèles de langue ont souligné l'importance de faire correspondre les sources de données utilisées lors de l'entraînement avec les tâches cibles. En raison de leur nature sensible, les données cliniques sont extrêmement difficiles à obtenir. La collecte massive de données web relatives à ce domaine apparaît comme une solution permettant de pallier ce manque.

Le tableau 1 donne un aperçu général des deux corpus collectés. Les données publiques issues du web ont permis la constitution d'un corpus, appelé NACHOS<sub>large</sub>, à partir de sources disponibles ouvertement en ligne contenant 7,4 Go de données. Le jeu de données privées, appelé XBDW<sub>small</sub>,
<table><caption>TABLE 1 – Aperçu des corpus de données publiques (NACHOS) et privées (XBDW) collectées.</caption><thead><tr><th>Corpus</th><th>Taille</th><th>#mots</th><th>#phrases</th></tr></thead><tbody><tr><td>NACHOS<sub>large</sub> (public)</td><td>7,4 Go</td><td>1,1 G</td><td>54,2 M</td></tr><tr><td>NACHOS<sub>small</sub> (public)</td><td>4 Go</td><td>646 M</td><td>25.3 M</td></tr><tr><td>XBDW<sub>small</sub><sup>1</sup> (privé)</td><td>4 Go</td><td>655 M</td><td>43.1 M</td></tr><tr><td>XBDW<sub>mixed</sub> (public+privé)</td><td>4+4 Go</td><td>1,3 G</td><td>68,4 M</td></tr></tbody></table>

contient 4 Go de données provenant du Centre Hospitalier Universitaire (CHU) de XXX<fnref n="2" />. Afin d'effectuer des expériences comparables, nous avons extrait un sous-corpus NACHOS ($NACHOS_{small}$) de la même taille que les données privées.

**Corpus public - NACHOS** opeN crAwled frenCh Healthcare cOrpuS (NACHOS) est un ensemble de données textuelles médicales françaises distribué de façon libre et obtenu à partir de la collecte massive d'une variété de sources textuelles autour du sujet médical sur le web. Il se compose de plus d'un milliard de mots, tirés de 24 sites web francophones de haute qualité. Le corpus comprend un large éventail d'informations médicales : descriptions de maladies, fiches d'information sur les traitements et les médicaments, conseils généraux sur la santé, rapports de réunions scientifiques officielles, cas cliniques anonymisés, littérature scientifique, thèses, cours de médecine universitaire, ainsi que de nombreuses données obtenues à partir de sources textuelles brutes, de *scrapping web* et de Reconnaissance Optique de Caractères (ROC) comme présenté dans le Tableau 6 en annexe. Nous avons utilisé des heuristiques pour découper les textes en phrases et filtrer les phrases courtes ou de mauvaise qualité comme celles obtenues par ROC. Ensuite, nous les classons par langues en utilisant notre propre classificateur entraîné sur les corpus multilingues Opus EMEA (Tiedemann & Nygaard, 2004) et MASSIVE (FitzGerald et al., 2022) pour ne garder que les phrases en français. Pour la version 4 Go de NACHOS ($NACHOS_{small}$), nous avons mélangé l'ensemble du corpus et sélectionné au hasard 25,3 millions de phrases afin de maximiser l'homogénéité des sources de données.

**Corpus privé - XBDW** Le corpus privé, appelé XXX Biomedical Data Warehouse (XBDW), a été obtenu en utilisant l'entrepôt de données du CHU de XXX. Cet entrepôt de données comprend différentes dimensions de données relatives aux patients : socio-démographiques, prescriptions médicamenteuses et autres informations associées au séjour hospitalier (diagnostic, biologie, imagerie, etc.). L'autorisation de mise en œuvre et d'exploitation de l'entrepôt de données XBDW a été accordée en XXXX<fnref n="3" /> par la CNIL (Commission Nationale de l'Informatique et des Libertés) ; autorisation N° XXX<fnref n="4" />. Pour ce travail, un échantillon de 1,7 millions de comptes-rendus hospitaliers désidentifiés a été sélectionné aléatoirement et extrait de l'entrepôt de données. Les comptes-rendus proviennent de différents services hospitaliers, tels que les urgences, la gynécologie et la cardiologie. Ce corpus contient 655 millions de mots, issus de 43,1 millions de phrases, pour une taille totale d'environ 4 Go.

# 3 Pré-entraînement des modèles

## 3.1 Impact des données

L'un des problèmes consiste à identifier la quantité de données nécessaires pour créer un modèle performant et capable de rivaliser avec les modèles pré-entraînés sur des domaines généraux. Des études récentes, comme celles de Martin et al. (2020) et Zhang et al. (2021), discutent de l'impact de

<footnote n="2">2. Nom de la ville masqué à des fins d'anonymisation lors de la relecture par les pairs.</footnote>

<footnote n="3">3. Année cachée pour le double aveugle.</footnote>

<footnote n="4">4. Numéro d'autorisation caché pour le double aveugle.</footnote>
la taille des données de pré-entraînement sur la performance des modèles et montrent que certaines tâches bénéficient d'une quantité moindre de données. Dans le domaine médical, aucune étude n'a été menée pour comparer l'impact de la variation de la quantité de données sur le pré-entraînement, ou pour évaluer l'impact de la qualité des données en fonction de leur source de collecte.

Nous proposons donc d'évaluer l'impact des différentes sources de données en comparant NACHOS<sub>small</sub> et XBDW<sub>small</sub> entre elles comme décrit dans la section 2. De plus, nous proposons de comparer les résultats obtenus avec ceux d'un modèle pré-entraîné sur une quantité de données plus grande (NACHOS<sub>large</sub>) afin d'étudier si le fait de disposer de presque deux fois plus de données permet d'améliorer les performances. Pour finir, nous avons évalué une combinaison des corpus public (NACHOS<sub>small</sub>) et privé (XBDW<sub>small</sub>) pour un total de 8 Go (XBDW<sub>mixed</sub>), afin de démontrer si la combinaison de données de qualité variable permettent des représentations complémentaires.

## 3.2 Stratégies de pré-entraînement

En plus de l'analyse de la taille et des sources de données, nous cherchons également à évaluer trois stratégies de pré-entraînement des modèles de langue pour le domaine médical :

- Pré-entraînement du modèle à partir de zéro, incluant une tokenization spécifique des mots à partir de nos données d'apprentissage.

- Poursuivre le pré-entraînement d'un modèle de langue général pour le français, ici CamemBERT, sur nos données du domaine médical, tout en conservant le tokenizer initial (i.e. celui de CamemBERT).

- Poursuivre le pré-entraînement d'un modèle de langage spécifique au domaine médical anglais, appelé PubMedBERT, sur nos données en français, en conservant le tokenizer initial.

Concernant la dernière stratégie, l'objectif est de comparer les performances d'un modèle médical anglais pré-entraîné sur nos données médicales françaises, à un autre modèle basé sur un modèle générique français. En effet, ces deux langues partagent une terminologie de spécialité commune.

<table><caption>TABLE 2 – Liste des configurations des modèles pré-entraînés.</caption><thead><tr><th>Modèle</th><th>Architecture</th><th>Stratégie de pré-entraînement</th><th>Corpus</th></tr></thead><tbody><tr><td>DrBERT</td><td>RoBERTa</td><td>À partir de zéro</td><td>NACHOS<sub>large</sub></td></tr><tr><td>DrBERT</td><td>RoBERTa</td><td>À partir de zéro</td><td>NACHOS<sub>small</sub></td></tr><tr><td>ChuBERT</td><td>RoBERTa</td><td>À partir de zéro</td><td>XBDW<sub>small</sub></td></tr><tr><td>ChuBERT</td><td>RoBERTa</td><td>À partir de zéro</td><td>XBDW<sub>mixed</sub></td></tr><tr><td>CamemBERT</td><td>RoBERTa</td><td>Pré-entraînement continué</td><td>NACHOS<sub>small</sub></td></tr><tr><td>PubMedBERT</td><td>BERT</td><td>Pré-entraînement continué</td><td>NACHOS<sub>small</sub></td></tr><tr><td>CamemBERT</td><td>RoBERTa</td><td>Pré-entraînement continué</td><td>XBDW<sub>small</sub></td></tr></tbody></table>

Le tableau 2 résume toutes les configurations évaluées dans cet article, intégrant à la fois l'étude de la taille des données et les stratégies de pré-entraînement.

## 4 Jeux de données et tâches d'évaluation

Pour évaluer les différentes configurations de pré-entraînement de nos modèles, un ensemble de tâches biomédicales est nécessaire. Si un tel benchmark spécifique au domaine existe pour l'anglais (BLURB (Gu et al., 2021)), il n'en existe aucun pour le français. Dans cette section, nous décrivons un benchmark original, résumé dans le tableau 3, intégrant diverses tâches biomédicales de TALN pour le français. Parmi celles-ci, certaines proviennent de corpus publics, permettant la réplication de nos expériences. D'autres tâches proviennent de corpus privés et ne peuvent être partagées. Cependant,
<table><caption>TABLE 3 – Corpus, tâches et métrique utilisés pour évaluer les modèles de langue.</caption><thead><tr><th>Thématique / Corpus</th><th>Tâche</th><th>Métrique</th><th>Entraînement</th><th>Validation</th><th>Test</th></tr></thead><tbody><tr><td colspan="6"><em>Corpus Publics</em></td></tr><tr><td>ESSAIS (Dalloux et al., 2021)</td><td>POS Tagging</td><td>Macro F1</td><td>9 693</td><td>2 077</td><td>2 078</td></tr><tr><td>CAS : Corpus de cas cliniques (Grabar et al., 2018)</td><td>POS Tagging</td><td>Macro F1</td><td>5 306</td><td>1 137</td><td>1 137</td></tr><tr><td>MUSCA-DET - Déterminants sociaux de santé (Task 1)</td><td>REN imbriquée</td><td>Macro F1</td><td>19 861</td><td>2 207</td><td>5 518</td></tr><tr><td>MUSCA-DET - Déterminants sociaux de santé (Task 2)</td><td>Classification Multi-label</td><td>Macro F1</td><td>19 861</td><td>2 207</td><td>5 518</td></tr><tr><td>QUAERO French Medical Corpus - EMEA (Névéol et al., 2014)</td><td>REN imbriquée</td><td>Weighted F1</td><td>11</td><td>12</td><td>15</td></tr><tr><td>QUAERO French Medical Corpus - MEDLINE (Névéol et al., 2014)</td><td>REN imbriquée</td><td>Weighted F1</td><td>833</td><td>832</td><td>833</td></tr><tr><td>FrenchMedMCQA (Labrak et al., 2022)</td><td>MCQA</td><td>EMR / Hamming Score</td><td>2 171</td><td>312</td><td>622</td></tr><tr><td colspan="6"><em>Corpus Privés</em></td></tr><tr><td>Structuration de l'insuffisance cardiaque aiguë dans les comptes-rendus</td><td>REN</td><td>Macro F1</td><td>2 527</td><td>281</td><td>703</td></tr><tr><td>Classification de l'insuffisance cardiaque aiguë</td><td>Classification Binaire</td><td>Macro F1</td><td>1 179</td><td>132</td><td>328</td></tr><tr><td>Tri des comptes-rendus par spécialité</td><td>Classification Multi-classe</td><td>Macro F1</td><td>4 413</td><td>1 470</td><td>1 473</td></tr><tr><td>Structuration des prescriptions dans les comptes-rendus</td><td>REN</td><td>Macro F1</td><td>61</td><td>15</td><td>26</td></tr></tbody></table>

elles sont utiles pour évaluer nos modèles avec plus de précision et ainsi observer leurs capacités de généralisation.

# 5 Résultats et discussions

Comme décrit précédemment, nous évaluons les performances de nos modèles de langue pré-entraînés sur un ensemble de tâches publiques et privées liées au domaine biomédical. Nous proposons d'analyser les résultats en fonction des différentes stratégies de pré-entraînement (section 5.1) puis de discuter de l'impact des données de pré-entraînement, que ce soit en termes de taille ou de nature (section 5.2).

<table><caption>TABLE 4 – Performance sur nos tâches biomédicales privées. Le meilleur modèle est en gras et le second est souligné. Pour les modèles CamemBERT NACHOS<sub>small</sub> et CamemBERT XBDW<sub>small</sub>, le modèle CamemBERT OSCAR 138 GB a été utilisé comme abse initiale pour le pré-entraînement continué.</caption><thead><tr><th rowspan="2"></th><th colspan="3">aHF NER</th><th colspan="3">aHF classification</th><th colspan="3">NER Medical Report</th><th colspan="3">Specialities Classification</th></tr><tr><th>P</th><th>R</th><th>F1</th><th>P</th><th>R</th><th>F1</th><th>P</th><th>R</th><th>F1</th><th>P</th><th>R</th><th>F1</th></tr></thead><tbody><tr><td>CamemBERT OSCAR 138 GB</td><td>40,89</td><td>35,22</td><td>35,13</td><td>81,90</td><td>79,12</td><td>80,13</td><td>87,98</td><td>91,66</td><td>89,35</td><td>99,32</td><td>99,09</td><td>99,20</td></tr><tr><td>CamemBERT OSCAR 4 GB</td><td>46,32</td><td>43,17</td><td>42,66</td><td>81,49</td><td>81,42</td><td>81,41</td><td>87,79</td><td>90,74</td><td>88,78</td><td>99,53</td><td>99,69</td><td>99,61</td></tr><tr><td>CamemBERT CCNET 4 GB</td><td>47,25</td><td>42,2</td><td>43,11</td><td>82,02</td><td>79,30</td><td>79,98</td><td>87,61</td><td>92,28</td><td>89,34</td><td>99,54</td><td>99,55</td><td>99,55</td></tr><tr><td>DrBERT NACHOS<sub>large</sub></td><td>55,29</td><td>46,66</td><td>48,22</td><td>81,33</td><td>81,25</td><td>81,25</td><td>87,99</td><td>92,80</td><td>89,83</td><td>99,82</td><td>99,90</td><td>99,86</td></tr><tr><td>DrBERT NACHOS<sub>small</sub></td><td>54,55</td><td>43,39</td><td>45,93</td><td>79,85</td><td>80,10</td><td>79,87</td><td>87,57</td><td>92,76</td><td>89,44</td><td>99,85</td><td>99,85</td><td>99,85</td></tr><tr><td>ChuBERT XBDW<sub>small</sub></td><td>56,92</td><td>47,46</td><td>49,01</td><td>81,03</td><td>82,67</td><td>81,56</td><td>87,76</td><td>92,63</td><td>89,58</td><td>99,76</td><td>99,90</td><td>99,83</td></tr><tr><td>ChuBERT XBDW<sub>mixed</sub></td><td>54,62</td><td>47,81</td><td>49,14</td><td>82,23</td><td>81,71</td><td>81,98</td><td>87,42</td><td>92,36</td><td>89,30</td><td>99,81</td><td>99,82</td><td>99,81</td></tr><tr><td>CamemBERT NACHOS<sub>small</sub></td><td>22,02</td><td>16,67</td><td>16,08</td><td>74,86</td><td>69,82</td><td>69,80</td><td>65,72</td><td>68,49</td><td>66,74</td><td>99,44</td><td>99,67</td><td>99,54</td></tr><tr><td>PubMedBERT NACHOS<sub>small</sub></td><td>53,44</td><td>48,21</td><td>48,72</td><td>83,06</td><td>80,39</td><td>81,40</td><td>87,35</td><td>92,69</td><td>89,36</td><td>99,52</td><td>99,58</td><td>99,55</td></tr><tr><td>CamemBERT XBDW<sub>small</sub></td><td>25,44</td><td>19,33</td><td>19,12</td><td>79,50</td><td>74,74</td><td>76,02</td><td>68,80</td><td>71,23</td><td>69,64</td><td>99,60</td><td>99,57</td><td>99,58</td></tr></tbody></table>

Tous les modèles ont été réglés finement (fine-tuned) de la même façon pour toutes les tâches. Tous les résultats rapportés sont la moyenne des scores de quatre exécutions. Les performances obtenues sur les tâches biomédicales sont présentées dans les tableaux 4 et 5 pour les tâches privées et publiques respectivement. Pour des raisons de lisibilité, la première partie de chaque tableau présente les résultats des modèles déjà existants, la deuxième partie nos modèles spécialisés entraînés à partir de zéro, et la dernière partie nos modèles utilisant un pré-entraînement continué.

## 5.1 Impact des stratégies de pré-entraînement

Comme montré dans les tableaux 4 et 5, les modèles pré-entraînés à partir de zéro (DrBERT NACHOS et ChuBERT XBDW) obtiennent les meilleurs scores F1 sur toutes les tâches privées et sur la majorité
<table><caption>TABLE 5 – Performance sur les tâches biomédicales publiques. Le meilleur modèle est en gras et le second est souligné. Pour les modèles CamemBERT NACHOS<sub>small</sub> et CamemBERT XBDW<sub>small</sub>, le modèle CamemBERT OSCAR 138 GB a été utilisé comme abse initiale pour le pré-entraînement continué.</caption><thead><tr><th rowspan="2"></th><th colspan="3">MUSCA-DET T1</th><th colspan="3">MUSCA-DET T2</th><th colspan="3">ESSAI POS</th><th colspan="3">CAS POS</th><th colspan="3">FrenchMedMCQA</th><th colspan="3">QUAERO-EMEA</th><th colspan="3">QUAERO-MEDLINE</th></tr><tr><th>P</th><th>R</th><th>F1</th><th>P</th><th>R</th><th>F1</th><th>P</th><th>R</th><th>F1</th><th>P</th><th>R</th><th>F1</th><th>Hamming</th><th>EMR</th><th>P</th><th>R</th><th>F1</th><th>P</th><th>R</th><th>F1</th></tr></thead><tbody><tr><td>CamemBERT OSCAR 138 GB</td><td>89,04</td><td>88,59</td><td>88,54</td><td>89,87</td><td>87,12</td><td>88,20</td><td>81,57</td><td>81,01</td><td>81,10</td><td>96,37</td><td>94,53</td><td>95,22</td><td>36,24</td><td><b>16,55</b></td><td>90,57</td><td>91,06</td><td>90,71</td><td>76,58</td><td>78,67</td><td>77,41</td></tr><tr><td>CamemBERT OSCAR 4 GB</td><td>86,09</td><td>85,45</td><td>85,43</td><td>92,68</td><td>90,34</td><td>91,27</td><td>84,01</td><td>83,51</td><td>83,69</td><td><u>98,15</u></td><td>95,34</td><td>96,42</td><td>35,75</td><td>15,37</td><td>90,75</td><td>91,16</td><td>90,83</td><td>78,55</td><td>79,33</td><td><u>78,76</u></td></tr><tr><td>CamemBERT CCNET 4 GB</td><td>91,12</td><td>89,91</td><td>90,33</td><td>93,10</td><td>90,42</td><td>91,38</td><td>85,60</td><td>85,63</td><td>85,42</td><td><b>98,19</b></td><td><b>96,75</b></td><td><b>97,33</b></td><td>34,71</td><td>14,41</td><td>90,31</td><td>90,59</td><td>90,33</td><td>78,06</td><td>78,11</td><td>77,61</td></tr><tr><td>DrBERT NACHOS<sub>large</sub></td><td>92,10</td><td>90,27</td><td>91,04</td><td><b>94,97</b></td><td>90,41</td><td><u>92,24</u></td><td><b>90,96</b></td><td><b>89,19</b></td><td><b>89,75</b></td><td>97,37</td><td>94,49</td><td>95,65</td><td><u>36,66</u></td><td>15,32</td><td><b>91,93</b></td><td><b>92,52</b></td><td><b>92,09</b></td><td>77,85</td><td>78,54</td><td>77,88</td></tr><tr><td>DrBERT NACHOS<sub>small</sub></td><td>93,35</td><td>90,62</td><td>91,77</td><td>91,31</td><td>86,60</td><td>88,57</td><td><u>90,12</u></td><td>88,37</td><td>88,76</td><td>97,04</td><td>94,88</td><td>95,70</td><td><b>37,37</b></td><td>13,34</td><td><u>91,54</u></td><td><u>92,00</u></td><td>91,66</td><td>77,91</td><td><u>79,34</u></td><td>78,18</td></tr><tr><td>ChuBERT XBDW<sub>small</sub></td><td><b>94,88</b></td><td>90,79</td><td>92,23</td><td>94,77</td><td>90,27</td><td>92,17</td><td>88,53</td><td>87,73</td><td>87,71</td><td>97,00</td><td>94,65</td><td>95,61</td><td>35,16</td><td>14,79</td><td>88,11</td><td>88,78</td><td>88,15</td><td>75,05</td><td>76,57</td><td>74,94</td></tr><tr><td>ChuBERT XBDW<sub>mixed</sub></td><td>94,39</td><td><b>91,93</b></td><td><b>92,73</b></td><td>94,22</td><td>90,02</td><td>91,71</td><td>86,36</td><td>85,50</td><td>85,73</td><td>97,77</td><td>95,30</td><td>96,35</td><td>34,58</td><td>12,21</td><td>90,36</td><td>90,94</td><td>90,52</td><td>78,61</td><td>79,32</td><td>78,63</td></tr><tr><td>CamemBERT NACHOS<sub>small</sub></td><td>81,44</td><td>81,39</td><td>80,96</td><td>79,74</td><td>78,08</td><td>78,70</td><td>80,59</td><td>79,88</td><td>80,04</td><td>95,64</td><td>91,57</td><td>92,46</td><td>32,87</td><td>13,76</td><td>67,56</td><td>77,48</td><td>71,10</td><td>55,45</td><td>62,34</td><td>57,43</td></tr><tr><td>PubMedBERT NACHOS<sub>small</sub></td><td>92,51</td><td><b>91,49</b></td><td>91,53</td><td><b>94,95</b></td><td><b>92,55</b></td><td><b>93,62</b></td><td>84,73</td><td>83,80</td><td>83,85</td><td>97,82</td><td>96,12</td><td>96,81</td><td>35,88</td><td>15,21</td><td>90,97</td><td>91,27</td><td>91,03</td><td><b>82,03</b></td><td><b>81,71</b></td><td><b>81,73</b></td></tr><tr><td>CamemBERT XBDW<sub>small</sub></td><td>82,35</td><td>81,59</td><td>81,57</td><td>78,14</td><td>76,38</td><td>77,12</td><td>79,44</td><td>79,79</td><td>79,25</td><td>95,98</td><td>92,11</td><td>93,18</td><td>27,73</td><td>11,89</td><td>53,44</td><td>73,11</td><td>61,75</td><td>48,71</td><td>61,33</td><td>53,05</td></tr></tbody></table>

des tâches publiques (5 tâches sur 7). Les deux tâches publiques restantes (MUSCA-DET T2 et Quaero-Medline) sont mieux traitées avec PubMedBERT NACHOS<sub>small</sub>, un modèle pré-entraîné deux fois, une première fois sur des données biomédicales anglaises, puis sur nos données biomédicales françaises (NACHOS<sub>small</sub>). Nous observons également que le pré-entraînement continué à partir des modèles génériques français (CamemBERT NACHOS<sub>small</sub> ou CamemBERT XBDW<sub>small</sub>) est moins performant que le pré-entraînement à partir de zéro. Enfin, les modèles état de l'art pré-entraînés sur des données génériques (CamemBERT OSCAR) restent compétitifs dans un certain nombre de tâches publiques biomédicales (CAS POS, FrenchMCQA ou MUSCA-DET T2), mais rencontrent plus de difficultés sur les tâches privées. Cela met en évidence la difficulté des tâches privées lorsque les données de pré-entraînement sont moins spécialisées.

## 5.2 Impact des données

En ce qui concerne la quantité de données utilisées pour le pré-entraînement des modèles (*small* vs. *large* ou *mixed*), les résultats montrent que plus les quantités de données sont grandes, plus les modèles sont performants, quelle que soit la stratégie de pré-entraînement ou la source de données (privée ou publique). Nous remarquons une nette domination des modèles pré-entraînés sur des sources web, notamment OSCAR et NACHOS, lorsqu'ils sont appliqués à des tâches publiques. En effet, les modèles reposant sur des données privées XBDW n'obtiennent les meilleures performances (en termes de score F1) que pour la tâche MUSCA-DET T1. Cette tendance n'est pas tout à fait observée sur les tâches privées, où les modèles fondés sur XBDW obtiennent des performances similaires, voire meilleures, lorsqu'ils sont mélangés avec des données biomédicales publiques (ChuBERT XBDW<sub>mixed</sub>), comme le montre le tableau 4. Nous pensons que cette divergence est principalement due à la nature différente des données traitées. Enfin, nous observons que les modèles issus d'un pré-entraînement continué en partant d'un modèle spécialisé anglais (ici PubMedBERT) ont des performances supérieures à celles des modèles fondés sur CamemBERT, corroborant en partie notre hypothèse sur l'efficacité du transfert de connaissances inter-langues.
# 6 Conclusion

Dans ce travail, nous avons introduit les premiers modèles de langage français pour le domaine bio-
médical et clinique fondés sur l'architecture RoBERTa. Nous proposons aussi une étude comparative
sur une collection de tâches biomédicales diverses provenant de sources privées et publiques. Nos
modèles open-source DrBERT ont établi des performances à l'état de l'art dans la quasi-totalité des
tâches biomédicales, surpassant le modèle généraliste français (CamemBERT). De plus, nous avons
démontré que les pré-entraînements sur des ressources spécialisées de taille limitées (4 Go) obtenues
sur le web permettent de très souvent dépasser les modèles entraînés avec des données spécialisées
provenant de comptes-rendus médicaux.

Les modèles pré-entraînés ainsi que les scripts de pré-apprentissage<fnref n="5" /> ont été publiés publiquement en
ligne sous une licence open source MIT. Pour ce qui est du corpus NACHOS, l'objectif principal est
de promouvoir le développement d'outils de TALN robustes par la communauté, nous avons donc
décidé de rendre les corpus accessibles pour la recherche académique seulement.

# Remerciements

Ce travail a été réalisé grâce aux ressources de GENCI-IDRIS (Grant 2022-AD011013061R1 and 2022-AD011013715) et du CCIPL (Centre de Calcul Intensif des Pays de la Loire). Ce travail a été soutenu financièrement par l'ANR AIBy4 (ANR-20-THIA-0011) and Zenidoc.

# Références

BELTAGY I., LO K. & COHAN A. (2019). SciBERT : A pretrained language model for scientific text. In *Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP)*, p. 3615–3620, Hong Kong, China : Association for Computational Linguistics. DOI : 10.18653/v1/D19-1371.

CHALKIDIS I., FERGADIOTIS M., MALAKASIOTIS P., ALETRAS N. & ANDROUTSOPOULOS I. (2020). LEGAL-BERT : The muppets straight out of law school. In *Findings of the Association for Computational Linguistics : EMNLP 2020*, p. 2898–2904, Online : Association for Computational Linguistics. DOI : 10.18653/v1/2020.findings-emnlp.261.

DALLOUX C., CLAVEAU V., GRABAR N., OLIVEIRA L. E. S., MORO C. M. C., GUMIEL Y. B. & CARVALHO D. R. (2021). Supervised learning for the detection of negation and of its scope in French and Brazilian Portuguese biomedical corpora. *Natural Language Engineering*, **27**(2), 181–201. DOI : 10.1017/S1351324920000352.

DEVLIN J., CHANG M.-W., LEE K. & TOUTANOVA K. (2019). BERT : Pre-training of deep bidirectional transformers for language understanding. In *Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics : Human Language Technologies, Volume 1 (Long and Short Papers)*, p. 4171–4186, Minneapolis, Minnesota : Association for Computational Linguistics. DOI : 10.18653/v1/N19-1423.

<footnote n="5">5. https://drbert.univ-avignon.fr/</footnote>
EL BOUKKOURI H., FERRET O., LAVERGNE T. & ZWEIGENBAUM P. (2022). Re-train or Train from Scratch? Comparing Pre-training Strategies of BERT in the Medical Domain. In *Proceedings of the 13th Language Resources and Evaluation Conference (LREC)*, p. 2626–2633, Marseille, France : European Language Resources Association.

FITZGERALD J., HENCH C., PERIS C., MACKIE S., ROTTMANN K., SANCHEZ A., NASH A., URBACH L., KAKARALA V., SINGH R., RANGANATH S., CRIST L., BRITAN M., LEEUWIS W., TUR G. & NATARAJAN P. (2022). Massive : A 1m-example multilingual natural language understanding dataset with 51 typologically-diverse languages. DOI: 10.48550/ARXIV.2204.08582.

GRABAR N., CLAVEAU V. & DALLOUX C. (2018). CAS : French Corpus with Clinical Cases. In *Proceedings of the 9th International Workshop on Health Text Mining and Information Analysis (LOUHI)*, p. 1–7, Brussels, Belgium. HAL : hal-01937096.

GU Y., TINN R., CHENG H., LUCAS M., USUYAMA N., LIU X., NAUMANN T., GAO J. & POON H. (2021). Domain-Specific Language Model Pretraining for Biomedical Natural Language Processing. *ACM Transactions on Computing for Healthcare*, 3(1), 1–23. DOI: 10.1145/3458754.

HOWARD J. & RUDER S. (2018). Universal Language Model Fine-tuning for Text Classification. In *Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (ACL)*, p. 328–339, Melbourne, Australia : Association for Computational Linguistics. DOI: 10.18653/v1/P18-1031.

HUANG K., ALTOSAAR J. & RANGANATH R. (2019). Clinicalbert : Modeling clinical notes and predicting hospital readmission. DOI: 10.48550/ARXIV.1904.05342.

LABRAK Y., BAZOGE A., DUFOUR R., DAILLE B., GOURRAUD P.-A., MORIN E. & ROUVIER M. (2022). FrenchMedMCQA : A French Multiple-Choice Question Answering Dataset for Medical domain. In *Proceedings of the 13th International Workshop on Health Text Mining and Information Analysis (LOUHI)*, Abou Dhabi, United Arab Emirates. HAL : hal-03824241.

LEE J., YOON W., KIM S., KIM D., KIM S., SO C. H. & KANG J. (2019). BioBERT : a pre-trained biomedical language representation model for biomedical text mining. *Bioinformatics*. DOI: 10.1093/bioinformatics/btz682.

LIU Y., OTT M., GOYAL N., DU J., JOSHI M., CHEN D., LEVY O., LEWIS M., ZETTLEMOYER L. & STOYANOV V. (2019). Roberta : A robustly optimized BERT pretraining approach. *CoRR*, abs/1907.11692.

LUCCIONI A. S., VIGUIER S. & LIGOZAT A.-L. (2022). Estimating the carbon footprint of bloom, a 176b parameter language model.

MARTIN L., MULLER B., SUÁ REZ P. J. O., DUPONT Y., ROMARY L., DE LA CLERGERIE É., SEDDAH D. & SAGOT B. (2020). CamemBERT : a Tasty French Language Model. In *Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics (ACL)*, p. 7203–7219 : Association for Computational Linguistics. DOI: 10.18653/v1/2020.acl-main.645.

NÉVÉOL A., GROUIN C., LEIXA J., ROSSET S. & ZWEIGENBAUM P. (2014). The QUAERO French medical corpus : A ressource for medical entity recognition and normalization. In *Proc of BioTextMining Work*, p. 24–30.

PENG Y., YAN S. & LU Z. (2019). Transfer learning in biomedical natural language processing : An evaluation of bert and elmo on ten benchmarking datasets. In *Proceedings of the 2019 Workshop on Biomedical Natural Language Processing (BioNLP 2019)*, p. 58–65.

TIEDEMANN J. & NYGAARD L. (2004). The OPUS corpus - parallel and free : http://logos.uio.no/opus. In *Proceedings of the Fourth International Conference on Language Resources and Evaluation (LREC'04)*, Lisbon, Portugal : European Language Resources Association (ELRA).
VASWANI A., SHAZEER N., PARMAR N., USZKOREIT J., JONES L., GOMEZ A. N., KAISER L. U. & POLOSUKHIN I. (2017). Attention is all you need. In I. GUYON, U. V. LUXBURG, S. BENGIO, H. WALLACH, R. FERGUS, S. VISHWANATHAN & R. GARNETT, Éds., *Advances in Neural Information Processing Systems (NIPS)*, volume 30: Curran Associates, Inc.

ZHANG Y., WARSTADT A., LI X. & BOWMAN S. R. (2021). When do you need billions of words of pretraining data? In *Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers)*, p. 1112–1125, Online : Association for Computational Linguistics. DOI: 10.18653/v1/2021.acl-long.90.

# A Annexes

## A.1 Sources NACHOS

<table><caption>TABLE 6 – Sources de données comprises dans le corpus NACHOS.</caption><thead><tr><td>Ressource</td><td># mots</td></tr></thead><tbody><tr><td>HAL</td><td>638 508 261</td></tr><tr><td>Haute Autorité de Santé (HAS)</td><td>113 394 539</td></tr><tr><td>Drug leaflets</td><td>74 770 229</td></tr><tr><td>Scrapping Web Médical</td><td>64 904 334</td></tr><tr><td>ANSES SAISINE</td><td>51 372 932</td></tr><tr><td>Base de données publique des médicaments (BDPM)</td><td>48 302 695</td></tr><tr><td>ISTEX</td><td>44 124 422</td></tr><tr><td>CRTT</td><td>26 210 756</td></tr><tr><td>WMT-16</td><td>10 282 494</td></tr><tr><td>EMEA-V3</td><td>6 601 617</td></tr><tr><td>Wikipedia Science de la vie</td><td>4 671 944</td></tr><tr><td>ANSES RCP</td><td>2 953 045</td></tr><tr><td>Cerimes</td><td>1 717 552</td></tr><tr><td>LiSSa</td><td>235 838</td></tr><tr><td>DEFT-2020</td><td>231 396</td></tr><tr><td>CLEAR</td><td>225 898</td></tr><tr><td>CNEDIMTS</td><td>175 416</td></tr><tr><td>QUAERO French Medical Corpus</td><td>72 031</td></tr><tr><td>ANSM Registre des essais cliniques</td><td>47 678</td></tr><tr><td>ECDC</td><td>44 482</td></tr><tr><td>QualiScope</td><td>12 718</td></tr><tr><td>WMT-18-Medline</td><td>7 673</td></tr><tr><td>Total</td><td>1,088,867,950</td></tr></tbody></table>

## A.2 Impact écologique

Une quantité considérable de ressources de calcul a été utilisée pour mener cette étude, puisqu'environ 18 000 heures de calcul GPU ont été utilisées pour créer les 7 modèles présentés ici, ainsi qu'environ 7 500 heures de GPU pour le débogage en raison de problèmes techniques liés aux configurations des modèles et à la mauvaise performance, pour un total de 25 500 heures. Le coût environnemental total, selon la documentation du supercalculateur Jean Zay<fnref n="6" /> équivaut à 6 604 500 Wh soit 376,45 kg CO2eq

<footnote n="6">6. http://www.idris.fr/media/jean-zay/jean-zay-conso-heure-calcul.pdf</footnote>
basé sur l'intensité carbone du réseau énergétique mentionné par l'étude de coût environnemental de BLOOM, qui elle aussi a été réalisée sur Jean Zay (Luccioni et al., 2022).

## A.3 Pré-traitement des corpus d'évaluation

L'extraction d'entités imbriquées n'est pas directement réalisable avec un modèle BERT sans adapter le corpus. Parmi les corpus d'évaluation, deux corpus traitent la tâche de reconnaissance d'entités nommées imbriquées : QUAERO et MUSCA-DET. Pour simplifier le processus d'évaluation de ces corpus, nous trions les étiquettes imbriquées par ordre alphabétique et les concaténons en une seule pour transformer la tâche en un format utilisable pour la classification de tokens avec les architectures basées sur BERT.

## A.4 Évaluation généraliste sur le français

Le tableau 7 donne les résultats obtenus par tous les modèles sur les tâches généralistes. Ces tâches proviennent de Martin et al. (2020) et ont été utilisées pour évaluer les différents modèles CamemBERT. Les quatre premières sont des tâches d'étiquetage morphosyntaxique POS (GSD, SEQUOIA, SPOKEN et PARTUT) et la dernière est une tâche d'inférence en langage naturel (XNLI).

Tous les résultats de nos modèles diminuent les performances sur toutes les tâches. La baisse la plus importante concerne la tâche d'inférence en langage naturel, avec une performance de ChuBERT NBDW<sub>small</sub> presque 13% inférieure à celle de CamemBERT 138 Go. Nous observons également que les modèles spécialisés en anglais sont aussi performants que nos modèles biomédicaux en français. Il semble assez clair d'après les observations précédentes que les modèles spécialisés sont difficiles à généraliser à d'autres tâches, mais que des informations spécialisées capturées dans une langue pourraient être transférées dans une autre langue.

<table><caption>TABLE 7 – Performance sur les tâches généralistes. Le meilleur modèle est en gras et le deuxième est souligné.</caption><thead><tr><th></th><th>GSD</th><th>SEQUOIA</th><th>SPOKEN</th><th>PARTUT</th><th>XNLI</th></tr></thead><tbody><tr><td>CamemBERT OSCAR 138 Go</td><td><strong>98.28</strong></td><td>98.68</td><td><u>97.26</u></td><td>97.70</td><td><strong>81.94</strong></td></tr><tr><td>CamemBERT OSCAR 4 Go</td><td>98.14</td><td><strong>99.18</strong></td><td><strong>97.57</strong></td><td><u>97.86</u></td><td>81.76</td></tr><tr><td>CamemBERT CCNET 4 Go</td><td><u>98.18</u></td><td><u>98.92</u></td><td>97.20</td><td><strong>97.92</strong></td><td>81.26</td></tr><tr><td>PubMedBERT</td><td>96.48</td><td>96.49</td><td>90.00</td><td>93.97</td><td>73.79</td></tr><tr><td>BERT clinique</td><td>96.49</td><td>96.31</td><td>89.60</td><td>93.17</td><td>70.57</td></tr><tr><td>BioBERT v1.1</td><td>97.32</td><td>96.54</td><td>91.81</td><td>94.52</td><td>71.54</td></tr><tr><td>DrBERT NACHOS<sub>large</sub></td><td>96.94</td><td>98.05</td><td>95.92</td><td>96.54</td><td>72.18</td></tr><tr><td>DrBERT NACHOS<sub>small</sub></td><td>97.17</td><td>98.21</td><td>96.38</td><td>96.45</td><td>72.86</td></tr><tr><td>ChuBERT NBDW<sub>small</sub></td><td>96.45</td><td>97.38</td><td>94.90</td><td>95.83</td><td>69.00</td></tr><tr><td>ChuBERT NBDW<sub>mixed</sub></td><td>97.18</td><td>98.10</td><td>96.43</td><td>96.33</td><td>72.32</td></tr><tr><td>CamemBERT NACHOS<sub>small</sub></td><td>97.63</td><td>96.90</td><td>91.12</td><td>94.00</td><td>71.26</td></tr><tr><td>PubMedBERT NACHOS<sub>small</sub></td><td>97.41</td><td>98.71</td><td>95.54</td><td>97.01</td><td>77.35</td></tr><tr><td>CamemBERT NBDW<sub>small</sub></td><td>97.55</td><td>96.26</td><td>89.17</td><td>91.34</td><td>72.73</td></tr></tbody></table>
## A.5 Intersection des vocabulaires

<figure><img src="image_44.png" /><figcaption>FIGURE 1 – Matrice d'intersection des vocabulaires.</figcaption></figure>

Comme nous pouvons le voir sur la figure 1, malgré des performances similaires, certains modèles ne partagent pas beaucoup de vocabulaire mutuel.

## A.6 Stabilité des modèles

Nous observons lors de la phase d'évaluation que la plupart des modèles basés sur la stratégie de pré-formation continue de CamemBERT OSCAR 138 Go souffrent d'une mauvaise stabilité lors de l'affinage, ce qui se traduit par une fluctuation des performances entre les exécutions.
<figure><img src="image_45.png" /><figcaption>(1.a) aHF classification</figcaption></figure>

<figure><img src="image_46.png" /><figcaption>(1.b) MUSCADET T1</figcaption></figure>

<figure><img src="image_47.png" /><figcaption>(2.c) QUAERO MEDLINE</figcaption></figure>

<figure><img src="image_48.png" /><figcaption>(2.d) XNLI</figcaption></figure>

<caption>FIGURE 2 – Boîte à moustaches pour chaque modèle.</caption>
# Classification automatique de données déséquilibrées et bruitées : application aux exercices de manuels scolaires

Elise Lincker¹

Camille Guinaudeau²,³

Olivier Pons¹

Jérôme Dupire¹

Céline Hudelot⁴

Vincent Mousseau⁴

Isabelle Barbet¹

Caroline Huron⁵,⁶

(1) Cedric, CNAM, Paris, France

(2) Japanese French Laboratory for Informatics, CNRS, NII, Tokyo, Japon

(3) Université Paris-Saclay, Orsay, France

(4) MICS, CentraleSupélec, Université Paris-Saclay, Orsay, France

(5) SEED, Inserm, Université Paris Cité, Paris, France

(6) Learning Planet Institute, Paris, France

elise.lincker@lecnam.net, guinaudeau@nii.ac.jp, olivier.pons@lecnam.net, jerome.dupire@lecnam.net, celine.hudelot@centralesupelec.fr, vincent.mousseau@centralesupelec.fr, isabelle.barbet@lecnam.net, caroline.huron@cri-paris.org

## RÉSUMÉ

Pour faciliter l'inclusion scolaire, il est indispensable de pouvoir adapter de manière automatique les manuels scolaires afin de les rendre accessibles aux enfants dyspraxiques. Dans ce contexte, nous proposons une tâche de classification des exercices selon leur type d'adaptation à la dyspraxie. Nous introduisons un corpus d'exercices extraits de manuels de français de niveau élémentaire, qui soulève certains défis de par sa petite taille et son contenu déséquilibré et bruité. Afin de tirer profit des modalités textuelles, structurelles et visuelles présentes dans nos données, nous combinons des modèles état de l'art par des stratégies de fusion précoce et tardive. Notre approche atteint une exactitude globale de 0.802. Toutefois, les expériences témoignent de la difficulté de la tâche, particulièrement pour les classes minoritaires, pour lesquelles l'exactitude tombe à 0.583.

## ABSTRACT

### Noisy and Unbalanced Multimodal Document Classification: Textbook Exercises as a Use Case

In order to foster inclusive education, automatic systems that can adapt textbooks to make them accessible to children with Developmental Coordination Disorder (DCD) are necessary. In this context, we propose a task to classify exercises according to their DCD's adaptation. We introduce an exercises dataset automatically extracted from French textbooks, with two major difficulties: a small size and an unbalanced and noisy data. To set a baseline on the dataset, we use state-of-the-art models combined through early and late fusion techniques to take advantage of text and vision/layout modalities. Our approach achieves an overall accuracy of 0.802. However, the experiments show the difficulty of the task, especially for minority classes, where the accuracy drops to 0.583.

**MOTS-CLÉS:** adaptation de manuels scolaires, classification multimodale, données bruitées, données déséquilibrées.

**KEYWORDS:** textbook adaptation, multimodal document classification, noisy data, unbalanced data.

<figure><img src="image_49.png" /></figure>
# 1 Introduction et travaux connexes

La dyspraxie est un trouble développemental de la coordination affectant 5% des enfants, qui interfère avec la réussite scolaire et les activités de la vie quotidienne. Plus précisément, les enfants dyspraxiques n'automatisent pas l'écriture manuscrite et leurs troubles des mouvements oculaires peuvent les empêcher de lire un texte si sa présentation n'est pas adaptée. Ainsi, pour que les enfants dyspraxiques réussissent à l'école, les manuels utilisés en classe doivent tenir compte de leurs difficultés d'écriture et d'organisation du regard. Une adaptation au format numérique permet de contourner le déficit d'écriture manuscrite sans modifier le contenu des exercices et leur objectif pédagogique. La Figure 1 montre un exemple d'exercice de type « choix multiple » et son adaptation, permettant aux enfants de compléter la phrase en cliquant sur la bonne réponse. Des associations commencent à produire de tels manuels numériques adaptés, en effectuant toutes les transformations à la main. Malheureusement, étant donné la grande diversité des collections et le renouvellement des programmes d'enseignement, ces adaptations artisanales ne permettent pas de répondre aux besoins. D'autre part, les manuels scolaires sont peu explorés en Traitement Automatique du Langage Naturel (TALN), et la plupart des études existantes portent sur l'analyse du contenu linguistique (Green, 2019; Lucy et al., 2020) ou la génération de questions (Ch & Saha, 2022; Ghosh, 2022), généralement dans des manuels de niveau universitaire. À notre connaissance, aucune ne traite des tâches de classification ou de formatage du contenu.

<figure><img src="image_50.png" /><figcaption>FIGURE 1 – Exercice à trous de type choix multiple et son adaptation.</figcaption></figure>

Dans ce contexte, nous proposons une première étape vers l'automatisation de l'adaptation des manuels scolaires, avec la classification des exercices en fonction du type d'adaptation à la dyspraxie. Nous construisons un corpus d'exercices de manuels scolaires de français de niveau élémentaire annotés manuellement avec des étiquettes de type d'adaptation. Ce jeu de données reflète les difficultés de la tâche. Tout d'abord, le jeu de données est non seulement déséquilibré, certains types d'adaptation étant beaucoup plus fréquents que d'autres, mais aussi bruité, car il peut contenir des phrases agrammaticales ou incomplètes ainsi que des erreurs d'extraction. Ensuite, la classification concerne l'objectif pédagogique des exercices, qui peut être porté de manières très différentes. Enfin, les droits de propriété intellectuelle restreignent l'accès à un nombre limité de manuels scolaires, et conduisent par conséquent à un ensemble de données relativement petit. Notre approche de classification des exercices repose sur des stratégies de fusion précoce et tardive, afin de prendre en compte les informations sémantiques ainsi que structurelles et visuelles des documents.

Deux modèles de langue française basés sur RoBERTa (Liu et al., 2019) – CamemBERT (Martin et al., 2020), entraîné sur la partie française d'OSCAR (Suárez et al., 2019) et FlauBERT (Le et al., 2020), entraîné sur 24 corpus de styles variés collectés sur Internet – présentent des résultats similaires pour la classification. Cependant, ces modèles entraînés sur du texte sans erreur peuvent être impactés négativement par les erreurs présentes dans notre corpus, comme l'ont montré les études de Huang & Chen (2020) et Jiang et al. (2021). Alors que de nombreuses approches de classification reposent sur