PRADHAN S., MOSCHITTI A., XUE N., NG H. T., BJÖRKELUND A., URYUPINA O., ZHANG Y. & ZHONG Z. (2013). Towards robust linguistic analysis using OntoNotes. In J. HOCKENMAIER & S. RIEDEL, Éds., *Proceedings of the Seventeenth Conference on Computational Natural Language Learning*, p. 143–152, Sofia, Bulgaria : Association for Computational Linguistics.

RAFFEL C., SHAZEER N., ROBERTS A., LEE K., NARANG S., MATENA M., ZHOU Y., LI W. & LIU P. J. (2019). Exploring the limits of transfer learning with a unified text-to-text transformer. *CoRR*, abs/1910.10683.

RÖDER M., USBECK R. & NGONGA NGOMO A.-C. (2018). Gerbil-benchmarking named entity recognition and linking consistently. *Semantic Web*, 9(5), 605–625.

SANG E. F. T. K. & MEULDER F. D. (2003). Introduction to the conll-2003 shared task : Language-independent named entity recognition. *CoRR*, cs.CL/0306050.

SHAVARANI H. & SARKAR A. (2023). SpEL : Structured prediction for entity linking. In H. BOUAMOR, J. PINO & K. BALI, Éds., *Proceedings of the 2023 Conference on Empirical Methods in Natural Language Processing*, p. 11123–11137, Singapore : Association for Computational Linguistics. DOI: 10.18653/v1/2023.emnlp-main.686.

VAN HULST J. M., HASIBI F., DERCKSEN K., BALOG K. & DE VRIES A. P. (2020). REL : an entity linker standing on the shoulders of giants. *CoRR*, abs/2006.01969.

VASWANI A., SHAZEER N., PARMAR N., USZKOREIT J., JONES L., GOMEZ A. N., KAISER L. & POLOSUKHIN I. (2017). Attention is all you need. *CoRR*, abs/1706.03762.

WU W., WANG F., YUAN A., WU F. & LI J. (2020). CorefQA : Coreference resolution as query-based span prediction. In D. JURAFSKY, J. CHAI, N. SCHLUTER & J. TETREAULT, Éds., *Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics*, p. 6953–6963, Online : Association for Computational Linguistics. DOI: 10.18653/v1/2020.acl-main.622.

YAMADA I., SHINDO H., TAKEDA H. & TAKEFUJI Y. (2016). Joint learning of the embedding of words and entities for named entity disambiguation. In S. RIEZLER & Y. GOLDBERG, Éds., *Proceedings of the 20th SIGNLL Conference on Computational Natural Language Learning*, p. 250–259, Berlin, Germany : Association for Computational Linguistics. DOI: 10.18653/v1/K16-1025.

ZAPOROJETS K., DELEU J., DEVELDER C. & DEMEESTER T. (2020). DWIE : an entity-centric dataset for multi-task document-level information extraction. *CoRR*, abs/2009.12626.

ZAPOROJETS K., DELEU J., JIANG Y., DEMEESTER T. & DEVELDER C. (2022). Towards consistent document-level entity linking : Joint models for entity linking and coreference resolution. In S. MURESAN, P. NAKOV & A. VILLAVICENCIO, Éds., *Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 2 : Short Papers)*, p. 778–784, Dublin, Ireland : Association for Computational Linguistics. DOI: 10.18653/v1/2022.acl-short.88.

ZHANG W., HUA W. & STRATOS K. (2021). Entqa : Entity linking as question answering. *CoRR*, abs/2110.02369.

ZHANG W., WISEMAN S. & STRATOS K. (2023). Seq2seq is all you need for coreference resolution.
# Extension d'AZee avec des règles de production concernant les gestes non-manuels pour la langue des signes française

Camille Challant, Michael Filhol

Université Paris-Saclay, CNRS, Laboratoire Interdisciplinaire des Sciences du Numérique, 91400, Orsay, France

camille.challant@lisn.upsaclay.fr, michael.filhol@cnrs.fr

## RÉSUMÉ

Cet article présente une étude sur les gestes non-manuels (GNM) en utilisant AZee, une approche qui permet de représenter formellement des discours en langue des signes (LS) et de les animer avec un signeur virtuel. Les GNM étant essentiels en LS et donc nécessaires à une synthèse de qualité, notre objectif est d'augmenter l'ensemble de règles de production AZee avec des règles concernant les GNM. Pour cela, nous avons appliqué la méthodologie permettant de trouver de nouvelles règles de production sur un corpus de langue des signes française, *40 brèves*. 23 règles concernant les GNM ont été identifiées. Nous avons profité de cette étude pour insérer ces règles dans le premier corpus d'expressions AZee, qui décrivent avec AZee les productions en LS du corpus *40 brèves*. Notre étude donne lieu à une nouvelle version du corpus d'expressions AZee, qui comporte 533 occurrences de règles relatives aux GNM.

## ABSTRACT

Extending AZee with Non-manual Gesture Rules for French Sign Language

This paper presents a study on non-manual gestures using AZee, an approach which allows to formally represent Sign Language (SL) discourses and to animate them with a virtual signer. As the non-manual gestures are essential in SL and therefore necessary for a quality synthesis, we wanted to extend the AZee production set with non-manual production rules. For this purpose, we applied the methodology which allows to find new production rules on a French Sign Language corpus, *40 brèves*. We identified 23 production rules for non-manual gestures. We took advantage of this study to insert these new rules in the first corpus of AZee discourses expressions, which describe with AZee the productions in SL of the *40 brèves* corpus. Our study results in a new version of the AZee expressions corpus, which includes 533 occurrences of non-manual rules.

MOTS-CLÉS : Modélisation, Langue des signes, AZee, Gestes non-manuels.

KEYWORDS: Modelling, Sign Language, AZee, Non-manual gestures.

# 1 Introduction

Aujourd'hui encore, les langues des signes (LS) sont considérées comme des langues peu dotées. L'outillage informatique de ces langues est plus complexe que pour les langues vocales, principalement parce qu'il est nécessaire de travailler avec des vidéos, les LS ne possédant pas de système d'écriture officiellement reconnu et adopté par la communauté Sourde. Cela explique également, en partie,

<figure><img src="image_124.png" /></figure>
pourquoi les LS sont considérablement moins décrites que les langues vocales.

De plus, en LS, les gestes non-manuels (désormais GNM), c'est-à-dire l'activité de toutes les parties du corps excepté les mains (comme les mouvements des yeux, des épaules, de la tête, etc.) sont relativement peu étudiés. Bien que la plupart des études reconnaisse leur importance, l'accent est encore souvent placé sur l'activité des mains uniquement. Les GNM font pourtant entièrement partie de la langue et permettent de transmettre des informations au même titre que ce qui est signé avec les mains. Les travaux sur les GNM sont donc cruciaux, notamment pour la synthèse avec des signeurs virtuels : il a été prouvé que les expressions faciales aident considérablement les personnes Sourdes à comprendre les avatars signants (Huenerfauth et al., 2011). Malgré cela, les avatars actuels animés à partir de règles<fnref n="1" /> ne sont pas encore assez performants dans ce domaine, car les GNM ne sont pas ou peu décrits. Un aperçu de ce problème a été présenté par Wolfe & McDonald (2021).

Par ailleurs, peu de travaux en linguistique synthétisent les différents GNM que l'on peut rencontrer dans un discours en LS. Les articulateurs (parties du corps impliquées dans la production d'un discours) sont plutôt étudiés séparément, comme la bouche (Lewin & Schembri, 2011), les sourcils (de Vos et al., 2009) ou encore la tête (Pfau, 2008). Les GNM sont également souvent liés à un phénomène grammatical précis (Pfau & Quer, 2010 ; Benitez-Quiroz et al., 2014 ; Kimmelman et al., 2020).

Afin de perfectionner les GNM des avatars pour un rendu plus naturel et compréhensible, et puisque les GNM ne sont pas encore décrits avec une approche formelle qui permettrait d'améliorer cela, nous avons choisi de travailler avec AZee, le seul modèle formel permettant la synthèse avec les avatars. Le sujet des GNM avec AZee a commencé à être abordé dans les premiers temps d'AZee (Filhol et al., 2014). Depuis, quelques règles de production concernant les GNM (que nous nommerons dorénavant RGNM) ont été suggérées : on peut par exemple mentionner *inter-subjectivity*, *intensity* ou *long* qui produisent différentes expressions faciales. Cependant, aucune recherche approfondie n'a été menée sur ce sujet. L'objectif de notre étude est donc identifier de nouvelles RGNM et les ajouter au premier corpus d'expressions AZee (Challant & Filhol, 2022).

Pour cela, nous devons suivre la méthodologie permettant de trouver de nouvelles règles de production, que nous présentons dans la première section, après avoir exposé l'approche AZee. Dans la section 3, nous montrons l'application de cette méthodologie sur un corpus de langue des signes française (LSF), appelé *40 brèves*. Puis, nous présentons dans la section 4 l'ensemble des RGNM que nous avons identifiées grâce à la méthodologie, règles qui ont ensuite été insérées dans un corpus d'expressions AZee de discours. Enfin, nous exposons nos conclusions et perspectives pour ce travail dans la dernière section.

# 2 AZee

## 2.1 Présentation de l'approche

AZee est une approche formelle qui permet de décrire des discours en LS (Filhol, 2021 ; Filhol et al., 2014). En premier lieu, c'est un langage fonctionnel qui permet de décrire précisément les mouvements du signeur afin d'animer des avatars, grâce à des points de l'espace de signation, des

<footnote n="1">1. Contrairement aux avatars animés par capture de mouvement qui peuvent aujourd'hui être très réalistes (Kim et al., 2023).</footnote>
postures, des contraintes, des vecteurs, etc.

À un niveau supérieur, linguistique, AZee associe un sens aux formes décrites avec le langage de description mentionné ci-dessus. Cela crée ce que l'on appelle une règle de production : une fonction qui représente un sens interprétable et qui produit un ensemble de formes observables. L'ensemble de toutes les règles de production identifiées pour une LS spécifique (dans notre cas, la LSF) forme l'ensemble de production AZee. Nous pouvons combiner les différentes règles de l'ensemble de production pour créer des expressions AZee de discours, qui représentent formellement des discours de n'importe quelle longueur en LS.

<table><caption>FIGURE 1 – Expression AZee de discours signifiant « l’organisation des élections présidentielles »</caption><tr><td>1</td><td>:info-about</td></tr><tr><td>2</td><td>:topic</td></tr><tr><td>3</td><td>:organiser</td></tr><tr><td>4</td><td>:info</td></tr><tr><td>5</td><td>:side-info</td></tr><tr><td>6</td><td>:focus</td></tr><tr><td>7</td><td>:élection</td></tr><tr><td>8</td><td>:info</td></tr><tr><td>9</td><td>:président</td></tr></table>

Nous donnons un exemple d'expression AZee de discours dans la figure 1, qui est la combinaison de plusieurs règles de production :

— deux règles avec deux arguments obligatoires :

1. 1 info-about(topic, info) signifiant 'une info, qui porte le focus, est donnée à propos de topic'

1. 5 side-info(focus, info) signifiant 'une info supplémentaire, non essentielle, est donnée à propos de focus'

— trois règles sans argument obligatoire, nommées d'après leur signification :

1. 3 organiser

1. 7 élection

1. 9 président

Cette expression AZee signifie « l’organisation des élections présidentielles » en LSF et génère les formes associées. Il s’agit d’un court extrait de la brève 1E-VF, issue du corpus que nous présentons dans la section 3.1.

## 2.2 Méthodologie

Une méthodologie a été développée pour identifier les règles de production, basée sur l'étude manuelle de corpus de LS (Hadjadj et al., 2018; Martinod et al., 2022). Elle consiste à rechercher, alternativement, des critères de forme (e.g. avancement du menton'; 'déplacement de l'index entre la droite et la gauche') et des critères de sens (e.g. 'notion de multiplicité'; 'négation de quelque chose') jusqu'à trouver un ensemble de formes unique pour un sens donné.

La méthodologie en question commence par un critère de forme ou de sens que l'on choisit d'étudier. La figure 2 illustre cela, en partant de $s_1$, un critère de sens. La première étape consiste à rechercher
<figure><img src="image_125.png" /><figcaption>FIGURE 2 – Illustration de la méthodologie AZee, initié avec un critère de sens s₁</figcaption></figure>

toutes les occurrences de s₁ dans le corpus, et à décrire, pour chaque occurrence, un ensemble de formes associées à s₁. Différents groupes de formes identiques sont alors constitués : par exemple f₁, f₂ dans la figure 2.

Chacun de ces groupes devient le critère de départ d'une nouvelle itération. Pour ces nouvelles itérations, l'objectif est maintenant de décrire la signification associée aux occurrences répertoriées. Pour f₁ dans la figure 2, nous trouvons s₂, s₃, et s₄, s₅ pour f₂.

Le processus se poursuit ensuite, jusqu'à ce qu'un seul ensemble de formes soit trouvé pour toutes les occurrences d'un sens. Par exemple, on trouve f₂ pour les occurrences du sens s₂ (figure 2, en haut à droite). Pour ce critère s₂, les formes f₂ correspondent aux formes trouvées lors de la première itération : c'est un cas qui peut se produire. Une nouvelle règle de production PR1 associant s₂ à f₂ peut être créée.

Parfois, au cours du processus, des fusions peuvent apparaître. Par exemple, le même sens s₃ est trouvé en recherchant des occurrences de f₁ et f₂, deux critères de forme différents. Une nouvelle itération est alors réalisée avec s₃ comme critère de sens, et un nouvel ensemble de formes f₃ est identifié : une nouvelle règle de production peut être créée, PR2.

# 3 Application de la méthodologie sur un corpus

## 3.1 Sélection du corpus

Nous avons décidé de travailler avec le corpus *40 brèves*, dont la deuxième version a été publiée en 2022 par Challant & Filhol.
Il s'agit d'un corpus parallèle qui aligne :

— 40 brèves journalistiques en français écrit;

— 120 vidéos en LSF : chacune des 40 brèves a été traduite par trois traducteurs professionnels sourds, ce qui représente une heure de LSF au total;

— 120 expressions AZee de discours, représentant formellement les 120 vidéos de LSF avec AZee, sans GNM dans la version de 2022.

Le genre journalistique est intéressant car il permet de couvrir un large éventail de sujets, tout en utilisant un style de langue quasi canonique, sans erreurs ou disfluences. Il garantit également une certaine neutralité : les GNM réalisés par les signeurs sont susceptibles de constituer un contenu pertinent au niveau sémantique, et non de donner l'opinion du signeur à propos d'un sujet, ce qui pourrait être le cas avec d'autres genres de discours.

De plus, ce corpus comprend plusieurs signeurs, ce qui est un réel avantage pour la recherche de nouvelles règles de production. Cela nous permet de nous assurer qu'une règle n'est pas spécifique à un signeur en particulier.

## 3.2 Application de la méthodologie

Nous avons appliqué la méthodologie présentée dans la section 2.2 sur le corpus. Deux personnes, locutrices de la LSF, ont été impliquées dans le processus, pour un total approximatif de 200 heures de travail.

Le critère de départ choisi est un critère de forme : ‘GNM, produits simultanément avec l’activité des mains’. Nous nous sommes intéressés aux expressions faciales mais pas seulement : nous avons également pris en compte les mouvements du menton, de la poitrine ou même des épaules.

Nous avons utilisé un logiciel qui permet de visionner les différentes vidéos image par image ou au ralenti pour pouvoir observer les mouvements des signeurs en détail, mais aussi à vitesse réelle pour comprendre le rythme du discours et mieux en saisir le sens.

Lors de l'application de la méthodologie, il a été très difficile de décrire précisément l'ensemble des formes observées avec des mots car les différences de formes sont parfois très subtiles. Si nous prenons l'exemple des sourcils, ils peuvent avoir une multitude de positions, et pas seulement : sourcils froncés - sourcils neutres - sourcils levés. Les différentes positions étant vraiment complexes à décrire, nous avons principalement utilisé des captures d'écran des vidéos pour nous aider dans notre démarche. En terme de sens, le défi est de ne pas se laisser influencer par ce qui est signé avec les mains.

Au cours du processus d'itération, certains groupes ont fusionné, comme l'explique la figure 2 avec le critère de sens $s_3$ qui se trouve dans deux groupes différents de formes $f_1$ et $f_2$ et qui fusionne en un seul groupe, avec l'ensemble de formes $f_3$. Par exemple, nous avons identifié pour deux sens différents, à savoir ‘concentration’ et ‘interrogation’, le même ensemble de formes ‘le menton avance, les sourcils sont froncés et les lèvres sont pincées’. Nous avons ensuite trouvé un dénominateur de sens commun pour les deux significations, et une règle de production appelée closer-look a été déterminée.

Après avoir appliqué la méthodologie, nous avons fait plusieurs choix concernant l'inclusion des règles de production dans notre ensemble de production AZee.
<figure><img src="image_126.png" /><figcaption>FIGURE 3 – Illustration des formes de trois RGNM</figcaption></figure>

Premièrement, nous avons décidé de considérer une règle de production comme autonome uniquement si l'on observe que les GNM apportent un sens différent de celui qui est signé avec les mains. Dans le cas contraire, nous avons considéré que la RGNM faisait partie intégrante du signe. En effet, l'association forme-sens est au cœur de l'approche AZee, quels que soient les articulateurs impliqués dans l'ensemble des formes. Il n'y a donc pas de raison théorique de séparer en deux règles de production différentes ce qui est signé par les mains et ce qui est signé par les articulateurs non-manuels, s'ils construisent ensemble le même sens. Par exemple, lors de l'application de la méthodologie, nous avons remarqué une expression faciale qui véhicule le sens 'suspicieusement'. Cette expression faciale apparaît uniquement sur l'activité des mains signifiant 'suspicion', et vice-versa : 'suspicion' n'apparaît jamais sans cette mimique. Nous avons donc considéré que l'expression faciale *suspicieusement* est incluse dans la règle *suspicion*, sans créer une nouvelle règle de production *suspicieusement*. Le même phénomène s'est produit pour *approximativement*, qui a toujours été observé avec la même expression faciale.

Ensuite, alors que la majorité des RGNM que nous avons identifiées a été observée avec les trois signeurs du corpus (ce qui contribue à nous donner confiance dans la robustesse des règles), nous avons réalisé que certaines règles n'apparaissaient que dans les productions de l'un des trois signeurs. Le sens étant par ailleurs assez difficile à interpréter, nous avons décidé de ne pas prendre en compte ce type de GNM. C'était le cas des sourcils levés et des yeux écarquillés produits par le signeur OC. Nous avons associé ce phénomène davantage au style du signeur qu'au contenu linguistique, et nous n'avons donc pas ajouté la règle de production à l'ensemble de production.

Enfin, nous n'avions parfois qu'une ou deux occurrences d'une règle de production dans l'ensemble du corpus, avec des formes et un sens difficiles à saisir. Puisque nous ne pouvions pas les comparer avec un grand nombre d'occurrences afin d'afiner leurs formes et leur sens, nous avons préféré ne pas inclure ces règles dans notre ensemble de production. C'est le cas de certaines règles ayant le sens de 'sans doute', 'difficile à croire' ou 'affecté'.

# 4 Résultats

Nous avons identifié 23 RGNM dans le corpus. Elles ont toutes un seul argument, appelé *sig*.
Chaque règle de production est nommée en anglais, d'après sa signification. Des captures d'écran
illustrent les formes des trois premières règles dans la figure 3, mais une simple photo ne suffit pas à capturer l'ensemble du mouvement et à obtenir les formes exactes des règles. Pour y remédier, nous donnons entre parenthèses un exemple de chaque règle dans son contexte. Nous indiquons l'identifiant de la vidéo dans laquelle se trouve l'exemple (par exemple : 1A-JP), suivi des bornes temporelles permettant de situer l'exemple dans la vidéo en secondes et de la ligne correspondante dans l'expression AZee.

Voici la liste des 23 RGNM :

— almost-reaching
(2H-OC, temps : 26.56–27.00, ligne 215)

— big-threatening
(2R-VF, temps : 01.44–02.12, ligne 18)

— closer-look
(2J-VF, temps : 29.52–31.00, ligne 222)

— continuously
(2K-OC, temps : 18.32–18.84, ligne 155)

— decidedly
(1K-JP, temps : 32.24–33.08, ligne 237)

— do-you-realise
(2Q-JP, temps : 32.28–33.44, ligne 274)

— impressive-grandiose
(1J-JP, temps : 10.96–11.92, ligne 93)

— inter-subjectivity
(1B-OC, temps : 22.24–23.08, ligne 175)

— it-is-a-shame
(2H-JP, temps : 32.36–33.72, ligne 279)

— most-probably
(1R-JP, temps : 15.08–16.88, ligne 137)

— much-almost-too-much
(1A-JP, temps : 06.28–08.52, ligne 37)

— nothing-sticks-out
(2D-JP, temps : 09.04–10.08, ligne 67)

— peacefully
(1R-JP, temps : 14.36–15.48, ligne 127)

— something-sticks-out
(2O-JP, temps : 29.24–29.08, ligne 191)

— takes-a-while
(2R-OC, temps : 23.92–24.84, ligne 256)

— too-scared-to-look
(1O-VF, temps : 17.00–17.72, ligne 43)

— trouble-disturbance
(2Q-JP, temps : 29.12–30.28, ligne 252)

— uneasy-awkward
(1C-JP, temps : 25.36–26.04, ligne 250)

— with-chaos
(1F-OC, temps : 09.44–10.28, ligne 97)

— with-no-precision
(2C-VF, temps : 05.24–06.16, ligne 39)

— with-surprise
(1E-JP, temps : 29.28–30.28, ligne 240)

— with-uncertainty
(2R-VF, temps : 25.88–26.56, ligne 243)

— with-worry
(1B-VF, temps : 20.48–22.02, ligne 175)

Dès lors que cet ensemble de règles a été établi, nous avons pu compléter le corpus *40 brèves* en appliquant ces nouvelles règles de production. La nouvelle version du corpus (v3) est mise à disposition de la communauté scientifique sur la plateforme Ortolang<fnref n="2" />. Au total, 533 occurrences de RGNM figurent désormais dans le corpus. La figure 4 présente la fréquence des différentes règles de production dans le corpus : chaque règle apparaît entre 2 et 89 fois.

Dans la figure 4, nous pouvons voir que les RGNM les plus fréquentes sont *decidedly*, *trouble-disturbance*, *closer-look*, *uneasy-awkward*. Cela s'explique notamment par le fait que les nouvelles journalistiques de ce corpus relatent des évènements assez graves : prise d'otage, catastrophe naturelle, rébellion contre le pouvoir, etc.

<footnote n="2">2. Le corpus est disponible à cette adresse : https://www.ortolang.fr/market/corpora/40-breves</footnote>
<figure><img src="image_127.png" /><figcaption>FIGURE 4 – Fréquence des RGNM dans le corpus</figcaption></figure>

Par ailleurs, nous avons remarqué quelques utilisations intéressantes des RGNM, nous détaillons certains cas ci-dessous.

Tout d'abord, nous voulons souligner que les règles présentes dans le corpus ont une réelle contribution sémantique : elles sont nécessaires pour comprendre le message complet du discours. Par exemple, comme l'illustre la figure 5 avec un extrait de la brève 2H-JP, le sens de la règle de production *info-about* avec deux arguments *non tête et il n'y a pas* est complètement différent lorsqu'elle est incluse dans la RGNM *it-is-a-shame*. Le signeur parle ici de l'absence d'une nouvelle étoile sur les maillots des joueurs de football français, après une défaite contre l'Italie, ce qui est dommage pour l'équipe de France.

*:it-is-a-shame*
*'sig*
*:info-about*
*'topic*
*:non tête*
*'info*
*:il n'y a pas*

<caption>FIGURE 5 – Expression AZee de discours avec une RGNM qui contribue au sens du discours</caption>

Nous avons également remarqué que les RGNM peuvent parfois être combinées entre elles : le sens et les formes de chaque règle peuvent être additionnés, comme le montre la figure 6. Par exemple, dans la brève 1N-JP, *decidedly* et *with-chaos* sont combinés sur le signe ‘attaquer’.
:decidedly
'sig
:with-chaos
'sig
:attaquer
'patient
^Lssp

<caption>FIGURE 6 – Expressions AZee de discours avec des RGNM qui sont combinées</caption>

Les RGNM sont également employées dans des constructions élaborées, comme dans la brève 2L-OC (Figure 7). En effet, dans la règle *not-but* ci-dessous, qui présente déjà un contraste entre deux parties, les RGNM sont utilisées pour renforcer ce contraste, avec des règles qui insistent sur le sens de chaque partie : *much-almost-too-much* sur ‘ventes’ qui est nié, suivi de la correction avec *trouble-disturbance* sur ‘ventes peu rentables’, ce qui signifie que les ventes n’ont pas été à la hauteur des espérances.

:not-but
'negated
:much-almost-too-much
'sig
[ventes]
'correction
:trouble-disturbance
'sig
[ventes peu rentables]

<caption>FIGURE 7 – Expression AZee de discours avec des RGNM en contraste</caption>

Pour finir, la nouvelle version du corpus d'expressions AZee, dans laquelle nous avons ajouté les RGNM, comprend 12 442 règles de production nommées au total, soit 982 de plus que dans la version précédente. Pour calculer la fréquence des règles de production dans le corpus, nous avons utilisé toutes les règles de production ayant au moins un argument obligatoire. Comme le montre la figure 8, les règles les plus fréquentes sont les mêmes que dans la version précédente (voir Challant & Filhol (2022)) : info-about, side-info, instance-of... Néanmoins, cinq nouvelles règles figurent dans le top 20 : decidedly, trouble-disturbance, closer-look, ainsi que mult-around et mult-in-a-row, deux règles ayant été identifiées par Martinod et al. après la publication de la première version du corpus.

# 5 Conclusion et perspectives

Cet article présente l'étude que nous avons menée sur un phénomène qui n'avait encore jamais été étudié à l'aide de l'approche AZee, c'est-à-dire les GNM. Nous avons présenté la méthodologie qui permet de trouver de nouvelles règles de production AZee, que nous avons ensuite appliquée sur le
<figure><img src="image_128.png" /><figcaption>FIGURE 8 – Fréquence des 20 règles de production les plus utilisées dans le corpus</figcaption></figure>

corpus *40 brèves*. 23 règles de production ont été identifiées, ce qui a permis d'augmenter l'ensemble des règles de production AZee actuellement connues pour la LSF. Enfin, nous avons complété le premier corpus d'expressions AZee existant en insérant ces règles là où elles étaient nécessaires, et nous avons rendu cette nouvelle version disponible.

Pour pouvoir proposer une évaluation des RGNM que nous avons identifiées, nous pouvons les animer sur des signeurs virtuels. Puisque chaque règle de production spécifie à la fois les formes à produire et leur synchronisation relative, les expressions AZee peuvent être directement animées sur un avatar, RGNM incluses. Ceci semble maintenant à portée de main grâce aux efforts récents, par exemple le logiciel d'expressions faciales créé par McDonald et al. (2022) ou la synthèse à l'aide de Blender (Sharma et al., 2024). Cela constitue une première perspective pour notre travail.

Ensuite, nous avons travaillé sur un petit corpus et avec un genre particulier, il est donc probable que d'autres RGNM existent, qui n'étaient pas présentes dans notre corpus. Nous aimerions étudier d'autres types de corpus, afin de couvrir au mieux la LSF avec des RGNM et d'effectuer des comparaisons entre les genres. Par exemple, nous pourrions étudier des corpus comportant des structures plus iconiques, comme les descriptions de scènes (e.g. *Mocap1* (Benchiheub et al., 2016)) ou la narration d'une histoire (*LS-COLIN* (Cuxac et al., 2014)).

Enfin, ce travail sur les GNM peut être analysé du point de vue de la linguistique formelle. Différents tests pourront être effectués sur la nouvelle version, et des questions peuvent être soulevées telles que : existe-t-il des motifs réguliers pour les RGNM ou leur contexte ? Est-il possible d'avoir de très grandes expressions sous ces règles ? Ou bien ont-elles tendance à contenir des productions plus courtes ?

Références

BENCHIHEUB M.-E.-F., BERRET B. & BRAFFORT A. (2016). Collecting and Analysing a Motion-Capture Corpus of French Sign Language. In *7th International Conference on Language Resources and Evaluation - Workshop on the Representation and Processing of Sign Languages (LREC-WRPSL)*
2016), p. 7–12, May 23-28, Portoroz, Slovenia : Laboratoire d’informatique pour la mécanique et les sciences de l’ingénieur - UPR 3251 (Limsi), Complexité, Innovation, Activités Motrices et Sportives - EA 4532 (CIAMS) (2020). ORTOLANG (Open Resources and TOols for LANGuage) -www.ortolang.fr, v1, https://hdl.handle.net/11403/mocap1/v1.

BENITEZ-QUIROZ C. F., GÖKGÖZ K., WILBUR R. B. & MARTINEZ A. M. (2014). Discriminant Features and Temporal Structure of Nonmanuals in American Sign Language. *PLoS ONE*, **9**(2), e86268. DOI: 10.1371/journal.pone.0086268.

CHALLANT C. & FILHOL M. (2022). A First Corpus of AZee Discourse Expressions. In *Proceedings of the Language Resources and Evaluation Conference (LREC)*, p. 1560–1565, Marseille, France.

CUXAC C., BOUTET D., DUBOIS C. & FIORE S. (2014). Corpus LS-Colin sur plusieurs genres discursifs (Christelle Drecours, Juliette Dalle et Stéphanie Authier). Structures formelles du langage; Laboratoire d'Informatique pour la Mécanique et les Sciences de l'Ingénieur; Centre d'analyses et de mathématiques sociales; Institut de recherche en informatique de Toulouse. DOI: 10.34847/COCOON.CD3EFAF4-BB76-38DC-AF8C-6A2C65AA4C78.

DE VOS C., VAN DER KOOIJ E. & CRASBORN O. (2009). Mixed Signals : Combining Linguistic and Affective Functions of Eyebrows in Questions in Sign Language of the Netherlands. *Language and Speech*, **52**(2–3), 315—339. DOI: 10.1177/0023830909103177.

FILHOL M. (2021). *Modélisation, traitement automatique et outillage logiciel des langues des signes*. Habilitation à diriger des recherches, Université Paris-Saclay. HAL: tel-03197108.

FILHOL M., HADJADJ M. & CHOISIER A. (2014). Non-Manual Features : The Right to Indifference. In *International Conference on Language Resources and Evaluation*, Reykjavik, Iceland.

HADJADJ M., FILHOL M. & BRAFFORT A. (2018). Modeling French Sign Language : A proposal for a semantically compositional system. In *International Conference on Language Resources and Evaluation*, p. 7, Miyazaki, Japan : ELRA.

HUENERFAUTH M., LU P. & ROSENBERG A. (2011). Evaluating Importance of Facial Expression in American Sign Language and Pidgin Signed English Animations. In *The proceedings of the 13th international ACM SIGACCESS conference on Computers and accessibility*, p. 99–106, Dundee, Scotland, UK : ACM. DOI: 10.1145/2049536.2049556.

KIM C., CHA H.-S., KIM J., KWAK H., LEE W. & IM C.-H. (2023). Facial Motion Capture System Based on Facial Electromyogram and Electrooculogram for Immersive Social Virtual Reality Applications. *Sensors*, **23**(7), 3580. DOI: 10.3390/s23073580.

KIMMELMAN V., IMASHEV A., MUKUSHEV M. & SANDYGULOVA A. (2020). Eyebrow Position in Grammatical and Emotional Expressions in Kazakh-Russian Sign Language : A quantitative study. *PLOS ONE*, **15**(6). DOI: 10.1371/journal.pone.0233731.

LEWIN D. & SCHEMBRI A. C. (2011). Mouth gestures in British Sign Language : A case study of tongue protrusion in BSL narratives. *Sign Language and Linguistics*, **14**(1), 94–114. DOI: 10.1075/sll.14.1.06lew.

MARTINOD E., DANET C. & FILHOL M. (2022). Two new AZee production rules refining multiplicity in French Sign Language. In *Proceedings of the LREC2022 10th Workshop on the Representation and Processing of Sign Languages : Multilingual Sign Language Resources*, p. 132–138, Marseille, France : European Language Resources Association.

MCDONALD J., JOHNSON R. & WOLFE R. (2022). A Novel Approach to Managing Lower Face Complexity in Signing Avatars. In *Proceedings of the 7th International Workshop on Sign Language*
*Translation and Avatar Technology : The Junction of the Visual and the Textual : Challenges and Perspectives*, p. 67–72, Marseille, France : European Language Resources Association.

PFAU R. (2008). The Grammar of Headshake : A Typological Perspective on German Sign Language Negation. *Linguistics in Amsterdam*, **11**, 37–74.

PFAU R. & QUER J. (2010). *Nonmanuals : their Grammatical and Prosodic Roles*, In *Sign Languages, Cambridge Language Surveys*, p. 381–402. Cambridge University Press.

SHARMA P., CHALLANT C. & FILHOL M. (2024). Facial Expressions for Sign Language Synthesis using FACSHuman and AZee. In *Proceedings of the 11th Workshop on the Representation and Processing of Sign Languages*, Torino, Italy.

WOLFE R. & MCDONALD J. C. (2021). A Survey of Facial Nonmanual Signals Portrayed by Avatar. *Graz University Library, Vol. 93*, 161–223. DOI: 10.25364/04.48:2021.93.6.
# Extraction d'entités nommées décrivant des chaînes de traitement bioinformatiques dans des articles scientifiques en anglais

Clémence Sebe¹ Sarah Cohen-Boulakia¹ Olivier Ferret² Aurélie Névéol¹

(1) Université Paris-Saclay, CNRS, LISN, 91400, Orsay, France

(2) Université Paris-Saclay, CEA, List, F-91120, Palaiseau, France

¹prenom.nom@lisn.upsaclay.fr, ²olivier.ferret@cea.fr

## RÉSUMÉ

Les chaînes de traitement d'analyses de données biologiques utilisées en bioinformatique sont une solution pour la portabilité et la reproductibilité des analyses. Ces chaînes figurent à la fois sous forme descriptive dans des articles scientifiques et/ou sous forme de codes dans des dépôts. L'identification de publications scientifiques décrivant de nouvelles chaînes de traitement et l'extraction de leurs informations sont des enjeux importants pour la communauté bioinformatique. Nous proposons ici d'étendre le corpus *BioToFlow* ayant trait aux articles décrivant des chaînes de traitement bioinformatiques et de l'utiliser pour entraîner et évaluer des modèles de reconnaissance d'entités nommées bioinformatiques. Ce travail est accompagné d'une discussion critique portant à la fois sur le processus d'annotation du corpus et sur les résultats de l'extraction d'entités.

## ABSTRACT

**Extracting named entities describing bioinformatic workflows from the literature in English.**

Workflows used in bioinformatic are a solution for analysis portability and reproducibility. These workflows are either described in publications and/or are in source code in repositories. Identifying new workflows in scientific articles and extracting related information is a challenge for the bioinformatics community. Herein, we propose to extend a corpus of articles describing bioinformatic workflows (*BioToFlow*) and to use it to train and evaluate bioinformatics named entity recognition models. We also engage in a critical discussion of both the corpus annotation process and the results of information extraction.

**MOTS-CLÉS** : Chaînes de traitement bioinformatiques, Annotation, Reconnaissance d'entités nommées.

**KEYWORDS:** Bioinformatic workflows, Annotation, Named entity recognition.

## 1 Introduction

La biologie est un domaine dans lequel l'arrivée de nouvelles technologies dites à haut-débit a permis l'acquisition de très grands volumes de données biologiques. Ces données brutes sont nombreuses mais aussi très hétérogènes et l'enjeu de la bioinformatique est de croiser, intégrer et analyser ces données pour faire avancer les connaissances en biologie. Face aux masses de données disponibles, la communauté bioinformatique a développé un grand nombre d'outils bioinformatiques. Une analyse de données bioinformatique consiste en l'enchaînement d'un ensemble d'outils bioinformatiques,

<figure><img src="image_129.png" /></figure>
chaque outil consommant les données brutes en entrée et générant de nouvelles données, consommées
à leur tour par l'outil suivant. Ces analyses peuvent être facilement implémentées via un script
python ou un notebook pour des analyses rapides et impliquant de petits volumes de données. Mais
lorsqu'il convient d'automatiser des analyses complexes pouvant impliquer l'utilisation de plusieurs
dizaines d'outils et des volumes importants de données, il est nécessaire d'utiliser des solutions
adaptées, plus faciles à déployer sur des grappes de calculs et offrant des solutions pour la portabilité
et la reproductibilité de l'analyse. Les systèmes de workflows scientifiques ont été conçus pour
répondre à ces besoins. Deux systèmes sont en particulier de plus en plus utilisés dans la communauté
bioinformatique : Nextflow (Di Tommaso et al., 2017) et Snakemake (Mölder et al., 2021). Dans ces
systèmes, une chaîne de traitement (ou workflow) est un code structuré où les étapes d'analyse sont
bien distinguables. Lorsqu'une chaîne de traitement originale est conçue, le code est mis à disposition
de la communauté dans un dépôt github et la description de la chaîne de traitement est publiée sous
la forme d'un article scientifique dans une revue bioinformatique. Au 9 février 2024, le nombre
d'articles ayant un lien github vers une chaîne de traitement dans le système de gestion Nextflow est
ainsi de 89 articles et 91 pour le système Snakemake <fnref n="1" />.

Un enjeu important pour la communauté bioinformatique est d'identifier les articles scientifiques décrivant une nouvelle chaîne de traitement et d'extraire les informations qui lui sont associées (par exemple, les outils bioinformatiques ou les données utilisées). À terme, la perspective de ce travail est, pour une même chaîne de traitement, de pouvoir comparer et fusionner des informations extraites des articles scientifiques d'une part et des codes issus de dépôts publics d'autre part.

Dans ce contexte, nous avons récemment proposé une première méthode de modélisation et d'extraction des composants des chaînes de traitement avec un schéma décrivant un ensemble d'entités nommées et de relations (Sebe et al., 2023). Nous avons par ailleurs introduit le corpus *BioToFlow*, composé de 24 articles décrivant des chaînes de traitement (20 Nextflow et 4 Snakemake) et annotés par 3 annotateurs. Des expériences de reconnaissance d'entités ont été réalisées sur ce corpus et ont généré de premiers résultats prometteurs.

Cet article présente la suite de ce travail : nous nous focalisons sur l'extraction d'entités nommées à
l'aide d'un ensemble plus important et plus varié d'articles, annotés par un ensemble plus important
d'annotateurs. Plus précisément, nos contributions sont les suivantes :

- l'introduction et l'annotation de façon croisée par quatre annotatrices d'un corpus de 52 articles en anglais étendant *BioToFlow* et décrivant des chaînes de traitement bioinformatiques issues à la fois des systèmes Nextflow (26 articles) et Snakemake (26 articles);

- l'étude de l'utilisation de ce corpus pour l'entraînement et l'évaluation de modèles pour l'extraction automatique d'entités relatives aux chaînes de traitement;

- une discussion critique des résultats de cette étude et des performances des modèles obtenus au niveau des différentes classes d'entités nommées.

<footnote n="1">1. Ce qui correspond à l'extraction d'articles de PubMed Central via la requête (*nextflow*[Abstract] OR *snakemake*[Abstract] OR *nextflow*[Title] OR *snakemake*[Title]) AND *github*[All Fields]*</footnote>
# 2 Extension du corpus annoté BioToFlow

## 2.1 Corpus BioToFlow

BioToFlow<fnref n="2" /> est un corpus contenant 24 articles scientifiques (issus de revues telles Bioinformatics ou F1000Research) annotés manuellement à l'aide de 16 entités modélisant la composition des chaînes de traitement. C'est un corpus de petite taille avec une répartition déséquilibrée des articles relatifs aux chaînes de traitement issues des différents systèmes de gestion (4 Snakemake et 20 Nextflow).

**Schéma d'annotation.** L'ensemble des entités considérées dans BioToFlow est décrit à la figure 1. Les entités sont relatives à la chaîne de traitement elle-même (partie gauche) et à ses composants (partie droite). Chaque chaîne de traitement est désignée par un nom (*WorkflowName*). L'analyse qu'elle effectue fait référence à des méthodes algorithmiques (*Method*) implémentées par des outils bioinformatiques (*Tool*). Une chaîne de traitement met en jeu des données (*Data*) attendues dans un format de fichier particulier (*file*) et/ou issues d'une base de données (*Database*). Sur un plan technique, une chaîne de traitement est implémentée dans un langage de programmation (*ProgrammingLanguage*) et peut faire appel, pour s'exécuter, à un environnement d'exécution (*Environnement*), un système de conteneur (*Container*), un système de gestion de workflow (*ManagementSystem*) et nécessiter l'utilisation de bibliothèques (*LibraryPackage*) ou d'infrastructures particulières (*Hardware*). Chaque composant de la chaîne de traitement peut avoir un numéro de version (*Version*), une description (*Description*), des paramètres de lancement (*Parameter*) et des informations bibliographiques (*Biblio*).

Les annotations issues de ce schéma réalisées sur les articles du corpus BioToFlow sont considérées dans ce qui suit comme le gold standard pour les processus de reconnaissance d'entités nommées.

<figure><img src="image_130.png" /><figcaption>FIGURE 1 – Entités caractéristiques d'un workflow bioinformatique. À gauche : entités constitutives d'un workflow. À droite : entités liées à ses composants.</figcaption></figure>

## 2.2 Nouveaux articles annotés

**Choix des nouveaux articles.** Nous avons suivi la méthodologie d'extraction des articles issus de PubMed Central de Sebe et al. (2023) pour augmenter la taille du corpus avec l'ajout de 28 nouveaux articles rééquilibrant le nombre d'articles décrivant des chaînes de traitement Nextflow et Snakemake :

<footnote n="2">2. https://doi.org/10.5281/zenodo.10650467</footnote>
nous avons choisi de manière aléatoire parmi l'ensemble des publications disponibles 22 nouveaux articles décrivant des chaînes de traitement sous Snakemake et 6 sous Nextflow. La nouvelle version du corpus contient donc un total de 52 articles, avec 26 articles décrivant des chaînes de traitement de chaque système (Nextflow et Snakemake).

**Démarche d'annotation des 28 nouveaux articles.** Les 28 nouveaux articles ont été annotés en termes d'entités par quatre annotatrices (bio)informaticiennes selon la méthodologie décrite par Fort (2016). Le logiciel BRAT (Stenetorp et al., 2012) et l'outil BRAT-Eval (Verspoor et al., 2013) ont été respectivement utilisés pour l'annotation de ces articles et l'évaluation de la qualité de l'annotation (accord inter-annotatrices). La tâche d'annotation s'est effectuée en deux phases.

**Phase 1 d'annotation : formation des annotatrices.** L'objectif de la première phase était de former les annotatrices. Cinq articles du corpus initial *BioToFlow* ont été utilisés pour ce faire en enlevant les annotations de référence mais en utilisant comme préannotation les résultats d'un modèle entraîné sur le reste de ce corpus. Les quatre annotatrices ont annoté ces cinq articles à l'aide du guide d'annotation de Sebe et al. (2023). La qualité de leur annotation a été évaluée en comparant les annotations obtenues et celles du gold standard (score F1) issu de la version initiale de *BioToFlow*. La durée d'annotation des cinq articles varie entre deux et trois heures selon les annotatrices. Cette première phase a été concluante, avec un score F1 de 73 % à 83 % en mode strict (deux portions de texte doivent être strictement identiques et avoir la même étiquette) et 84 % à 88 % en mode relâché (où le recouvrement entre deux entités avec la même étiquette est accepté).

**Phase 2 d'annotation : annotation des nouveaux articles.** La seconde phase d'annotation a porté sur les 28 nouveaux articles à annoter. Des exemples de phrases annotées sont présentés dans l'Annexe A. Chaque annotatrice a annoté entre 8 et 17 articles. Il est à noter que ces articles sont plus longs et de nature plus variée que ceux du corpus initial *BioToFlow*. Alors que la version initiale de *BioToFlow* avec 24 articles contient 29 577 tokens et 10 125 tokens annotés (34 %), le nouvel ensemble de 28 articles regroupe 48 842 tokens, dont 17 661 sont annotés (36 %).

**Statistiques.** La version étendue de *BioToFlow* proposée est composée de 52 articles pour un ensemble de 78 419 tokens (dont 27 786 tokens annotés). Les entités sont réparties selon le tableau 1.

<table><caption>TABLE 1 – Nombre d'entités par catégorie dans la version étendue de *BioToFlow*.</caption><thead><tr><td>Entités</td><td>Occurrences</td><td>Entités</td><td>Occurrences</td></tr></thead><tbody><tr><td>Data</td><td>2 434</td><td>Version</td><td>454</td></tr><tr><td>Tool</td><td>1 482</td><td>Hardware</td><td>429</td></tr><tr><td>Description</td><td>1 300</td><td>Database</td><td>288</td></tr><tr><td>Biblio</td><td>1 251</td><td>ManagementSystem</td><td>243</td></tr><tr><td>Method</td><td>936</td><td>Container</td><td>108</td></tr><tr><td>WorkflowName</td><td>851</td><td>ProgrammingLanguage</td><td>104</td></tr><tr><td>File</td><td>780</td><td>LibraryPackage</td><td>101</td></tr><tr><td>Parameter</td><td>464</td><td>Environment</td><td>83</td></tr></tbody></table>
Les entités sont distribuées de façon très variable avec un nombre important d'occurrences pour les entités générales de la chaîne de traitement qui décrivent les données (gènes, protéines...), indiquent les noms d'outils utilisés ou encore le nom de cette chaîne de traitement. Au contraire, des informations plus techniques n'apparaissent pas toujours dans les articles scientifiques. Il en résulte un nombre plus réduit d'occurrences pour des entités telles que *Version* ou *Environnement* par exemple.

## 2.3 Qualité des annotations

Le tableau 2 donne les accords inter-annotateurs obtenus entre les différentes annotatrices deux à deux pour les nouveaux articles annotés. Les scores calculés sont tous supérieurs à 70 % en mode relâché : ceci signifie que le guide d'annotation est suffisamment intelligible, complet et non ambigu et qu'il existe peu de divergences dans la manière d'annoter des quatre annotatrices.

<table><caption>TABLE 2 – Accord inter-annotateur en *mode strict* et en *mode relâché* entre annotatrices ayant annoté des articles communs (en pourcentage).</caption><thead><tr><th></th><th>A2</th><th>A3</th><th>A4</th></tr></thead><tbody><tr><th>A1</th><td>66,7<br>72,7</td><td>83,2<br>86,3</td><td>79,8<br>80,6</td></tr><tr><th>A2</th><td>69,7<br>75,1</td><td>66,8<br>73,0</td><td></td></tr></tbody></table>

Toutefois, le tableau 3 présente le détail des accords pour chaque type d'entité. L'hétérogénéité observée suggère que certaines entités sont plus simples à annoter que d'autres (Fort *et al.*, 2012).

<table><caption>TABLE 3 – Détail des scores moyens en pourcentage obtenus pour certaines entités en *mode strict* et en *mode relâché*.</caption><thead><tr><th>Entités</th><th>P</th><th>R</th><th>F1</th><th>Entités</th><th>P</th><th>R</th><th>F1</th></tr></thead><tbody><tr><td rowspan="2">Biblio</td><td>96,8</td><td>99,6</td><td>98,2</td><td rowspan="2">Environment</td><td>57,1</td><td>52,6</td><td>54,8</td></tr><tr><td>96,8</td><td>99,6</td><td>98,2</td><td>57,1</td><td>52,6</td><td>54,8</td></tr><tr><td rowspan="2">Container</td><td>80,0</td><td>100,0</td><td>88,9</td><td rowspan="2">ManagementSystem</td><td>90,7</td><td>95,5</td><td>93,0</td></tr><tr><td>80,0</td><td>100,0</td><td>88,9</td><td>91,5</td><td>96,4</td><td>93,9</td></tr><tr><td rowspan="2">Data</td><td>65,8</td><td>62,7</td><td>64,2</td><td rowspan="2">Method</td><td>57,7</td><td>61,7</td><td>59,6</td></tr><tr><td>70,4</td><td>67,3</td><td>68,8</td><td>61,9</td><td>66,2</td><td>64,0</td></tr><tr><td rowspan="2">Description</td><td>56,5</td><td>68,1</td><td>61,7</td><td rowspan="2">Tool</td><td>76,8</td><td>79,8</td><td>78,2</td></tr><tr><td>62,8</td><td>75,5</td><td>68,6</td><td>80,5</td><td>84,0</td><td>82,2</td></tr></tbody></table>

Tandis que des entités telles que *Biblio* ou *Container* ont des scores d'accord élevés, démontrant que la tâche d'annotation pour ces entités est simple, d'autres entités obtiennent au contraire des scores très inférieurs. Nous analysons ci-après trois causes possibles de ce constat.

La première cause identifiée est celle de l'ambiguïté dans le tagset (Fort *et al.*, 2012). C'est le cas des entités *Description* et *Method*. Après échange avec les annotatrices, il ressort que certains articles
scientifiques décrivent les méthodes bioinformatiques sans nécessairement les nommer. Les entités *Description* et *Method* sont alors souvent imbriquées et pas toujours délimitées de façon identique. Dans Zhang & Jonassen (2020) par exemple, la phrase « When the user is satisfied with the quality of the reads, the workflow proceeds to the next step : quantification of read abundance or expression level for transcripts or genes », l'entité *quantification of read abundance or expression level* a été annotée soit en tant que *Description*, soit en tant que *Method* selon les annotatrices.

Une deuxième cause identifiée est relative au critère de discrimination de Fort et al. (2012). Par exemple, les entités *Data* et *Description* ont une quantité d'annotations variant très fortement d'une annotatrice à l'autre. Certains articles sont rédigés par des bioinformaticiens, décrivant de façon précise les aspects méthodologiques et techniques, tandis que d'autres sont centrés sur le résultat biologique fourni. Dans cette seconde catégorie d'articles, les termes désignant des objets biologiques (gènes, RNA, SNP...) ont été annotés en *Data* par certaines annotatrices puisqu'il s'agit de la désignation de données. D'autres annotatrices les ont annotés en tant que *Description* ou pas annoté du tout, considérant qu'il s'agissait du contexte (biologique) de l'article.

Une troisième cause identifiée est le domaine d'expertise de l'annotatrice, qui influe sur son choix d'annotation. Par exemple, des bibliothèques telles que *Numpy* ou *Scikit-Learn* sont parfois annotées comme des outils bioinformatiques par des annotatrices ayant une formation initiale en biologie tandis que les bioinformaticiennes issues de l'informatique vont les annoter comme des *LibraryPackage*.

# 3 Expériences d'extraction d'entités nommées

## 3.1 Cadre expérimental

**Choix du modèle et de son implémentation.** Pour l'extraction de nos entités cibles, nous avons choisi le modèle neuronal bILSTM-CRF de Wajsbürt (2021), implémenté par l'outil NLStruct<fnref n="3" />, dans sa version 0.2.0. Ce modèle est en effet capable de prendre en compte les entités imbriquées, ce qui est nécessaire pour certaines de nos entités, et a par ailleurs montré de bonnes performances dans le domaine biomédical, proche du nôtre. Nous avons plus précisément utilisé ce modèle dans deux configurations : d'une part avec le modèle de langue BERT (Devlin et al., 2019), entraîné en domaine général ; d'autre part avec le modèle de langue SciBERT (Beltagy et al., 2019), plus spécifiquement entraîné à partir d'articles scientifiques et a priori plus adapté à notre cas de figure.

**Expériences réalisées.** Nous avons classiquement choisi de répartir les articles en deux grands ensembles : un premier ensemble regroupant 75 % du corpus pour constituer le jeu d'entraînement (soit 39 articles) et un second ensemble correspondant aux 25 % restants pour le jeu de test (soit 13 articles), la séparation entre ces deux ensembles se faisant par tirage aléatoire. Au sein du jeu d'entraînement, 2/3 des articles (soit 26 articles) sont utilisés pour l'entraînement proprement dit des modèles et 1/3 pour leur validation (soit 13 articles). La particularité ici est que nous avons construit quatre volets pour ce découpage, par tirage aléatoire, afin de limiter la dépendance à un découpage particulier. Pour chaque découpage, quatre versions du modèle de reconnaissance d'entités sont produites avec des graines aléatoires différentes. Les hyperparamètres sont donnés en Annexe B.

<footnote n="3">3. https://github.com/percevalw/NLStruct</footnote>
## 3.2 Résultats obtenus

Les scores obtenus par les modèles de langue testés BERT et SciBERT en faisant varier les graines aléatoires et les différents jeux d'entraînement et de validation sont présentés dans le tableau 4. L'empreinte carbone de tous les entraînements et évaluations est équivalent à 413 grammes de CO₂, calculée à l'aide de Green Algorithms<fnref n="4" />. Les scores entre chacun de nos volets sont globalement proches, la différence entre les volets extrêmes ne dépassant pas 1,7 point de F1 dans les deux configurations. Nous avons utilisé le test *Almost Stochastic Order* (Dror et al., 2019) avec un niveau de confiance de 0,05 pour mesurer la significativité entre les deux modèles et obtenons que les modèles entraînés sur SciBERT sont stochastiquement dominants par rapport à ceux entraînés sur BERT ($ε_{min} = 0$). Dans chacun des cas, utiliser un modèle de langue pré-entraîné à partir d'un corpus d'articles scientifiques issus des domaines biomédical et informatique (SciBERT) est plus performant.

<table><caption>TABLE 4 – Moyenne des scores (et écarts-types) en pourcentage obtenus avec l’outil NLStruct en mode relâché pour chaque volet de découpage entraînement/validation. La moyenne des scores est calculée en fonction des résultats obtenus pour chaque graine aléatoire.</caption><thead><tr><th rowspan="2"></th><th colspan="3">BERT</th><th colspan="3">SciBERT</th></tr><tr><th>P</th><th>R</th><th>F1</th><th>P</th><th>R</th><th>F1</th></tr></thead><tbody><tr><th>V1</th><td>65,2 ± 0,7</td><td>68,5 ± 0,6</td><td>66,8 ± 0,3</td><td>70,4 ± 0,3</td><td>70,2 ± 0,6</td><td>70,3 ± 0,4</td></tr><tr><th>V2</th><td>66,7 ± 0,3</td><td>66,8 ± 0,2</td><td>66,8 ± 0,1</td><td>70,7 ± 0,4</td><td>68,8 ± 0,6</td><td>69,7 ± 0,1</td></tr><tr><th>V3</th><td>66,9 ± 0,2</td><td>67,6 ± 0,6</td><td>67,3 ± 0,3</td><td>70,5 ± 0,5</td><td>71,0 ± 0,4</td><td>70,7 ± 0,4</td></tr><tr><th>V4</th><td>68,0 ± 0,3</td><td>69,0 ± 0,4</td><td>68,5 ± 0,2</td><td>71,2 ± 0,5</td><td>71,6 ± 1,0</td><td>71,4 ± 0,6</td></tr><tr><th>All</th><td>66,7 ± 0,9</td><td>68,0 ± 0,9</td><td>67,3 ± 0,6</td><td>70,7 ± 0,5</td><td>70,4 ± 1,1</td><td>70,5 ± 0,7</td></tr></tbody></table>

Le détail des scores de certaines entités sont données en *mode strict* et en mode relâché dans le tableau 5. Les scores F1 varient de 30 % à 98 %. Les scores faibles s'accordent avec les difficultés mises en exergue lors de l'annotation manuelle. L'entité *Method* a, en particulier, plus de mal à être extraite. Au contraire, d'autres (*Biblio* ou *Container*) obtiennent des scores F1 supérieurs à 80 %.

Les premiers résultats obtenus sur ce nouveau corpus étendu sont légèrement inférieurs (67,3 % avec le modèle BERT et 70,5 % avec SciBERT) à ceux obtenus par Sebe et al. (2023), dont les scores sont de 70,7 % avec un modèle entraîné sur BERT et 72,4 % sur un modèle entraîné avec SciBERT. Par ailleurs, la stabilité des résultats obtenus pour nos différents volets suggère que la taille du corpus annoté est maintenant suffisante pour l'entraînement des modèles de reconnaissance d'entités bioinformatiques. Pour mieux comprendre le fonctionnement des modèles testés, nous avons étudié la capacité des modèles à mémoriser.

## 3.3 Mémorisation et généralisation

Afin de déterminer l'impact de la mémorisation sur les performances de l'extraction d'entités, nous avons évalué les performances d'une baseline réalisant une simple projection des entités du corpus d'entraînement sur le corpus de test, en fonction de nos différents jeux d'entraînement avec un outil

<footnote n="4">4. http:// calculator.green-algorithms.org/</footnote>
<table><caption>TABLE 5 – Détail des scores moyens en pourcentage obtenus pour certaines entités en *mode strict* et en *mode relâché* pour le premier volet de l’outil NLStruct (moyenne des résultats obtenus en fonction des différentes graines aléatoires).</caption><thead><tr><th>Entités</th><th>P</th><th>R</th><th>F1</th><th>Entités</th><th>P</th><th>R</th><th>F1</th></tr></thead><tbody><tr><td rowspan="2">Biblio</td><td>94,1</td><td>96,4</td><td>95,2</td><td rowspan="2">Environment</td><td>64,1</td><td>90,9</td><td>75,1</td></tr><tr><td>96,1</td><td>98,1</td><td>97,1</td><td>65,2</td><td>92,5</td><td>76,3</td></tr><tr><td rowspan="2">Container</td><td>92,9</td><td>81,9</td><td>86,9</td><td rowspan="2">ManagementSystem</td><td>65,0</td><td>81,5</td><td>72,3</td></tr><tr><td>92,9</td><td>81,9</td><td>86,9</td><td>66,7</td><td>83,6</td><td>74,1</td></tr><tr><td rowspan="2">Data</td><td>51,5</td><td>45,7</td><td>48,4</td><td rowspan="2">Method</td><td>26,0</td><td>54,5</td><td>35,2</td></tr><tr><td>62,6</td><td>56,4</td><td>59,3</td><td>30,0</td><td>63,3</td><td>40,7</td></tr><tr><td rowspan="2">Description</td><td>37,3</td><td>36,5</td><td>36,9</td><td rowspan="2">Tool</td><td>65,7</td><td>63,7</td><td>64,7</td></tr><tr><td>58,7</td><td>58,1</td><td>58,4</td><td>72,7</td><td>69,1</td><td>70,9</td></tr></tbody></table>

proposé par Grouin (2016). Le tableau 6 présente les performances obtenues, qui sont globalement très inférieures à celles des modèles d'extraction des entités.

<table><caption>TABLE 6 – Moyenne des scores (et écarts-types) en pourcentage obtenus avec un outil de propagation d'annotation en *mode strict* et en *mode relâché* en fonction de chaque jeu d'entraînement.</caption><thead><tr><th></th><th>P</th><th>R</th><th>F1</th></tr></thead><tbody><tr><td rowspan="2">Propagation</td><td>23,6 ± 0,3</td><td>13,83 ± 0,7</td><td>17,4 ± 0,6</td></tr><tr><td>45,8 ± 0,4</td><td>30,6 ± 1,7</td><td>36,6 ± 1,1</td></tr></tbody></table>

<table><caption>TABLE 7 – Moyenne des scores obtenus en pourcentage avec l’outil de propagation d’annotation en *mode strict* et en *mode relâché* en fonction des différents jeux d’entraînement sur certaines entités.</caption><thead><tr><th>Entités</th><th>P</th><th>R</th><th>F1</th><th>Entités</th><th>P</th><th>R</th><th>F1</th></tr></thead><tbody><tr><td rowspan="2">Biblio</td><td>67,5</td><td>33,5</td><td>44,8</td><td rowspan="2">Environment</td><td>39,1</td><td>37,7</td><td>33,1</td></tr><tr><td>81,1</td><td>43,4</td><td>56,5</td><td>75,0</td><td>61,0</td><td>59,6</td></tr><tr><td rowspan="2">Container</td><td>92,9</td><td>100,0</td><td>96,3</td><td rowspan="2">ManagementSystem</td><td>89,6</td><td>96,1</td><td>92,2</td></tr><tr><td>92,9</td><td>100,0</td><td>96,3</td><td>89,6</td><td>96,1</td><td>92,2</td></tr><tr><td rowspan="2">Data</td><td>17,6</td><td>6,2</td><td>9,1</td><td rowspan="2">Method</td><td>8,6</td><td>7,5</td><td>8,0</td></tr><tr><td>61,6</td><td>26,3</td><td>36,5</td><td>25,6</td><td>23,7</td><td>24,6</td></tr><tr><td rowspan="2">Description</td><td>3,7</td><td>3,6</td><td>3,7</td><td rowspan="2">Tool</td><td>29,4</td><td>41,1</td><td>34,2</td></tr><tr><td>21,8</td><td>22,3</td><td>22,0</td><td>34,2</td><td>49,4</td><td>40,4</td></tr></tbody></table>

Dans le tableau 7 relatif aux résultats de certaines entités, on observe une grande hétérogénéité dans la distribution des scores. Ainsi en *mode strict*, trois catégories d’entités semblent se distinguer.

La première catégorie correspond aux entités pour lesquelles la mémorisation fonctionne très bien. Il s’agit des entités prenant un nombre restreint de valeurs, telles les entités *Container* ou *Management*.
*System.* Les performances obtenues dans ce cas par la simple mémorisation sont meilleures que celles des modèles neuronaux.

La deuxième catégorie regroupe les entités pour lesquelles la mémorisation présente des performances moyennes. C'est le cas de l'entité *Tool* : certains outils bioinformatiques génériques sont communs à de nombreuses chaînes de traitement alors que d'autres correspondent à des outils spécifiques à chaque domaine bioinformatique. Le modèle sait reconnaître les outils génériques souvent cités car ils ont été annotés précédemment dans le corpus *BioToFlow* mais ne peut distinguer les outils spécifiques si ces derniers n'y figuraient pas. Ainsi, comme pour les entités où la mémorisation est efficace, on peut penser que l'injection de connaissances spécifiques au domaine dans les modèles neuronaux pourrait être bénéfique pour la reconnaissance d'entités. La contribution potentielle d'une telle injection est d'autant plus intéressante dans le domaine bioinformatique que des bases de connaissances recensant des informations sur les outils comme BioTools <fnref n="5" /> (Ison *et al.*, 2016), les conteneurs et systèmes de gestion des chaînes de traitement existent déjà.

La dernière catégorie correspond aux entités que le modèle ne peut mémoriser, par exemple *Description* et *Method*. Ces entités sont complexes car pouvant être composées d'un ou plusieurs tokens. Les modèles devront posséder la capacité de généraliser pour extraire ce type d'entités.

## 3.4 Comparaison des chaînes de traitement Nextflow et Snakemake

Une autre perspective à explorer pour l'amélioration des scores d'extraction consiste à traiter les articles relatifs aux deux systèmes de gestion Nextflow et Snakemake de manière séparée. De fait, même s'il s'agit de deux systèmes très utilisés dans la communauté bioinformatique, il semblerait qu'ils soient utilisés par des communautés d'utilisateurs distinctes, ce qui pourrait impliquer des différences de style et de structure des articles.

<figure><img src="image_131.png" /><figcaption>FIGURE 2 – Occurrences des entités figurant dans le corpus enrichi selon les systèmes de gestion Nextflow et Snakemake.</figcaption></figure>

<footnote n="5">5. https://bio.tools/</footnote>
La figure 2 représente la répartition de chacun des types d'entités dans les articles relatifs au système Nextflow et dans ceux relatifs au système Snakemake. On constate que les articles décrivant des chaînes de traitement sous Snakemake comportent presque le double de mentions d'entités *Data* et *Method* que ceux se rapportant à Nextflow. A contrario dans les articles relatifs à Nextflow, figurent plus souvent les noms des outils bioinformatiques utilisés. Tester deux modèles de langue différents est donc une piste à explorer pour l'amélioration des scores d'extraction.

# 4 Conclusion et perspectives

L'intersection entre le domaine du traitement automatique des langues et celui de la bioinformatique ouvre de nouvelles perspectives pour la recherche et l'analyse des chaînes de traitement bioinformatiques contenues dans la littérature. Ainsi, nous présentons ici deux contributions portant sur l'introduction d'un corpus de 52 articles étendant *BioToFlow* et sur l'utilisation de ce corpus pour l'entraînement et l'évaluation de modèles d'extraction d'entités.

**Constitution du corpus BioToFlow étendu.** Nous proposons une nouvelle version du corpus *BioToFlow* 6 composée de 52 articles variés annotés en termes d'entités nommées. Ce corpus est riche en entités, tant en nombre qu'en variété.

Lors de l'annotation manuelle par de nouvelles annotatrices, de nouveaux questionnements ont émergé sur la définition de certaines entités, notamment la distinction entre les entités *Method* et *Description*. Ces points devront être rediscutés entre annotatrices afin de diminuer les désaccords et le guide d'annotation devra être mis à jour en conséquence. Une fois ce travail réalisé, nous pouvons espérer un accroissement des performances de nos modèles d'extraction d'entités nommées.

**Méthodes d'extraction d'entités nommées.** Les résultats d'extraction des entités nommées obtenus sur notre corpus d'articles sont hétérogènes. Certaines entités obtiennent de très bons scores d'extraction, supérieurs à 80 %, alors que d'autres présentent des scores très inférieurs. Ceci s'explique par la combinaison des facteurs suivants :

- l'ambiguïté citée dans le paragraphe précédent concernant la distinction entre les entités *Method* et *Description*;

- les inégalités élevées en matière de fréquence d'occurrence des entités;

- les limites des modèles de langue utilisés en matière de connaissance du vocabulaire spécifique à la bioinformatique et aux chaînes de traitement, en particulier en ce qui concerne les noms des outils bioinformatiques.

Ce dernier point ne pourra être résolu que par l'injection de connaissances spécifiques au domaine des chaînes de traitement bioinformatiques dans les modèles de langue.

**Futurs travaux** L'extraction des chaînes de traitement dans les articles scientifiques nécessite non seulement l'extraction de leurs constituants, ce qui est l'objet du travail présenté, mais également des relations qu'ils entretiennent. La prochaine étape de ce travail est donc la définition de modèles pour

<footnote n="6">6. https://doi.org/10.5281/zenodo.11204427</footnote>
l'extraction de ces relations. À plus long terme, la liaison référentielle entre les composants extraits des chaînes de traitement dans la littérature scientifique en anglais et ceux se trouvant dans les codes issus de dépôts publics sera nécessaire pour fusionner les informations venant des deux sources.

## Remerciements

Nous remercions Noémie Bossut et Marie Schmit pour leur précieuse contribution à l'annotation des publications scientifiques. Ce travail a bénéficié d'une aide de l'État gérée par l'Agence Nationale de la Recherche au titre de France 2030 portant la référence ANR-22-PESN-0007.

## Références

BELTAGY I., LO K. & COHAN A. (2019). SciBERT : A Pretrained Language Model for Scientific Text. In K. INUI, J. JIANG, V. NG & X. WAN, Éds., *Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP)*, p. 3615–3620, Hong Kong, China : Association for Computational Linguistics. DOI : 10.18653/v1/D19-1371.

DEVLIN J., CHANG M.-W., LEE K. & TOUTANOVA K. (2019). BERT : Pre-training of Deep Bidirectional Transformers for Language Understanding. In J. BURSTEIN, C. DORAN & T. SOLORIO, Éds., *Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics : Human Language Technologies, Volume 1 (Long and Short Papers)*, p. 4171–4186, Minneapolis, Minnesota : Association for Computational Linguistics. DOI : 10.18653/v1/N19-1423.

DI TOMMASO P., CHATZOU M., FLODEN E. W., BARJA P. P., PALUMBO E. & NOTREDAME C. (2017). Nextflow enables reproducible computational workflows. *Nature Biotechnology*, **35**(4), 316–319. Number : 4 Publisher : Nature Publishing Group, DOI : 10.1038/nbt.3820.

DROR R., SHLOMOV S. & REICHART R. (2019). Deep Dominance - How to Properly Compare Deep Neural Models. In A. KORHONEN, D. TRAUM & L. MÀRQUEZ, Éds., *Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics*, p. 2773–2785, Florence, Italy : Association for Computational Linguistics. DOI : 10.18653/v1/P19-1266.

FORT K. (2016). *Collaborative annotation for reliable natural language processing : Technical and sociological aspects*. John Wiley & Sons.

FORT K., NAZARENKO A. & ROSSET S. (2012). Modeling the complexity of manual annotation tasks : a grid of analysis. In M. KAY & C. BOITET, Éds., *Proceedings of COLING 2012*, p. 895–910, Mumbai, India : The COLING 2012 Organizing Committee.

GROUIN C. (2016). Controlled Propagation of Concept Annotations in Textual Corpora. In N. CALZOLARI, K. CHOUKRI, T. DECLERCK, S. GOGGI, M. GROBELNIK, B. MAEGAARD, J. MARIANI, H. MAZO, A. MORENO, J. ODIJK & S. PIPERIDIS, Éds., *Proceedings of the Tenth International Conference on Language Resources and Evaluation (LREC’16)*, p. 4075–4079, Portorož, Slovenia : European Language Resources Association (ELRA).

ISON J., RAPACKI K., MÉNAGER H. & AL (2016). Tools and data services registry : a community effort to document bioinformatics resources. *Nucleic Acids Research*, **44**(D1), D38–D47. DOI : 10.1093/nar/gkv1116.
MÖLDER F., JABLONSKI K. P., LETCHER B., HALL M. B., TOMKINS-TINCH C. H., SOCHAT V., FORSTER J., LEE S., TWARDZIOK S. O., KANITZ A., WILM A., HOLTGREWE M., RAHMANN S., NAHNSEN S. & KÖSTER J. (2021). *Sustainable data analysis with Snakemake*. Rapport interne 10:33, F1000Research. Type: article, DOI: 10.12688/f1000research.29032.1.

SEBE C., NÉVÉOL A., COHEN-BOULAKIA S. & GAIGNARD A. (2023). Extraction d'informations sur les workflows scientifiques à partir de la littérature. volume Extraction et Gestion des Connaissances, RNTI-E-39, p. 313.

STENETORP P., PYYSALO S., TOPIĆ G., OHTA T., ANANIADOU S. & TSUJII J. (2012). brat : a Web-based Tool for NLP-Assisted Text Annotation. In F. SEGOND, Éd., *Proceedings of the Demonstrations at the 13th Conference of the European Chapter of the Association for Computational Linguistics*, p. 102–107, Avignon, France : Association for Computational Linguistics.

VERSPOOR K., JIMENO YEPES A., CAVEDON L., MCINTOSH T., HERTEN-CRABB A., THOMAS Z. & PLAZZER J.-P. (2013). Annotating the biomedical literature for the human variome. *Database*, **2013**, bat019. DOI: 10.1093/database/bat019.

WAJSBÜRT P. (2021). *Extraction et normalisation d'entités simples et structurées dans les documents médicaux*. These de doctorat, Sorbonne université.

ZHANG X. & JONASSEN I. (2020). RASflow : an RNA-Seq analysis workflow with Snakemake. *BMC bioinformatics*, **21**(1), 110. DOI: 10.1186/s12859-020-3433-x.

## A Exemple d'annotations

<figure><img src="image_132.png" /><figcaption>FIGURE 3 – Exemple d’annotation provenant de l’article PMID35118380.</figcaption></figure>

<figure><img src="image_133.png" /><figcaption>FIGURE 4 – Exemple d’annotation provenant de l’article PMID34103501.</figcaption></figure>
## B Hyperparamètres utilisés

<table><caption>TABLE 8 – Hyperparamètres utilisés pour Nlstruct.</caption><thead><tr><td>Paramètre</td><td>Valeur</td></tr></thead><tbody><tr><td>Encodeur de base</td><td>BERT-base-uncased<br>SciBERT_scivocab_uncased</td></tr><tr><td>Longueur des séquences</td><td>256</td></tr><tr><td>Nombres d'itérations max.</td><td>5000</td></tr><tr><td>Optimiseur</td><td>AdamW</td></tr><tr><td>Taux d'apprentissage</td><td>1e-3</td></tr><tr><td>Dropout</td><td>0,1</td></tr><tr><td>Warmup ratio</td><td>0,1</td></tr><tr><td>Graines aléatoires</td><td>1 - 8 - 22 - 42</td></tr></tbody></table>
# Génération contrôlée de cas cliniques en français à partir de données médicales structurées

Hugo Boulanger*¹, Nicolas Hiebel*², Olivier Ferret¹, Karën Fort³, Aurélie Névéol²

(1) Université Paris-Saclay, CEA, List, F-91120, Palaiseau, France

(2) Université Paris-Saclay, CNRS, LISN, 91400, Orsay, France

(3) Sorbonne Université / Université de Lorraine, CNRS, Inria, LORIA, France

¹prenom.nom@cea.fr, ²prenom.nom@lisn.upsaclay.fr, ³karen.fort@loria.fr

## RÉSUMÉ

La génération de texte ouvre des perspectives pour pallier l'absence de corpus librement partageables dans des domaines contraints par la confidentialité, comme le domaine médical. Dans cette étude, nous comparons les performances de modèles encodeurs-décodeurs et décodeurs seuls pour la génération conditionnée de cas cliniques en français. Nous affinons plusieurs modèles pré-entraînés pour chaque architecture sur des cas cliniques en français conditionnés par les informations démographiques des patient·es (sexe et âge) et des éléments cliniques. Nous observons que les modèles encodeurs-décodeurs sont plus facilement contrôlables que les modèles décodeurs seuls, mais plus coûteux à entraîner.

## ABSTRACT

**Using structured health information for controlled generation of clinical cases in French.**

Text generation opens up new prospects for overcoming the lack of open corpora in fields such as healthcare, where data sharing is bound by confidentiality. In this study, we compare the performance of encoder-decoder and decoder-only language models for the conditioned generation of clinical cases in French. We fine-tune several pre-trained models for each architecture on French clinical cases conditioned by patient demographic information (gender and age) and clinical features. We observe that encoder-decoder models are easier to control than decoder-only models, but more costly to train.

**MOTS-CLÉS** : Génération contrôlée, textes cliniques, textes synthétiques, français.

**KEYWORDS:** Controlled Generation, Clinical Texts, Synthetic Texts, French.

## 1 Introduction

L'explosion actuelle de l'intelligence artificielle générative (Cusumano, 2023) ne doit pas faire oublier que les modèles de langue génératifs textuels ont pour compétence première de générer du texte. Les modèles actuels ont permis de pousser cette compétence à un niveau tel qu'il devient difficile de distinguer un texte produit par un humain d'un texte produit par une machine (Casal & Kessler, 2023), ouvrant ainsi la voie à de multiples applications. Dans cet article, nous considérons le cas de documents de référence ne pouvant pas être diffusés, en particulier du fait des informations à caractère personnel qu'ils contiennent, mais suffisamment génériques pour mutualiser des moyens de traitement

<figure><img src="image_134.png" /></figure>

<footnote>* Les deux auteurs ont contribué de manière égale à ce travail. L'ordre est alphabétique.</footnote>
à l'échelle d'une communauté. Une façon de développer de tels traitements est de travailler à partir de documents comparables dans leur nature aux documents de référence mais générés automatiquement à partir de ces derniers. Le cas des documents constitutifs des dossiers électroniques patient est à cet égard emblématique, même s'il est loin d'être unique. C'est celui que nous considérons ici.

Dans cette optique, la capacité à contrôler finement le processus de génération est central et multidimensionnel. Pour ne retenir que les principales de ces dimensions, les documents générés doivent être comparables aux documents de référence en termes de style, de structuration, de contenu tout en préservant les informations personnelles qu'ils recèlent. Si les informations directement identifiantes peuvent faire l'objet d'une désidentification robuste en amont, celle-ci ne rend pas les documents anonymes au sens du règlement général sur la protection des données (RGPD). En effet, la désidentification, qu'elle soit automatique ou manuelle, ne protège pas des possibilités de recoupements d'informations médicales, en particulier pour les pathologies rares. Si la possibilité de contrôler la génération en termes de contenu est importante du point de vue de la cohérence médicale des textes générés, elle l'est donc également sur le plan de la préservation des informations personnelles.

Dans cet article, nous proposons ainsi une méthodologie permettant d'exercer un contrôle sur la génération de texte en termes de contenu. Plus précisément, l'idée est de pouvoir conditionner la génération de comptes rendus médicaux par des profils patients. À l'instar de travaux réalisés sur la génération de profils patients synthétiques en termes de données structurées (Walonoski et al., 2017), ces profils prennent la forme d'un ensemble de concepts médicaux. Cette approche, qui relève d'une problématique de génération données-vers-texte, présente l'avantage, par rapport à une approche par amorce textuelle (prompt), de pouvoir contrôler finement l'information servant au conditionnement. Ce dernier est mis en œuvre par l'entraînement d'un modèle de langue neuronal à l'aide d'un ensemble de couples composés chacun d'un profil patient sous forme de concepts et d'un compte rendu de référence correspondant à ce profil. Dans ce cadre, les contributions de notre article sont les suivantes :

— une méthodologie de contrôle du contenu de la génération de comptes rendus médicaux;

— une méthode de constitution d'un ensemble d'entraînement pour la réalisation de ce contrôle;

— deux formes de mise en œuvre de la stratégie de contrôle proposée;

— une évaluation multidimensionnelle automatique des résultats de cette stratégie.

# 2 Travaux connexes

## 2.1 Génération contrainte de texte

Depuis l'avènement des premiers grands modèles de langues tels que ceux de la famille des GPT (Radford et al., 2018), générer du texte ressemblant à une production humaine semble facile et le problème de la génération a évolué pour changer de cible : le but n'est plus de simplement générer du texte vraisemblable, mais de pouvoir contrôler plus finement ce qui est généré. Les textes produits par les modèles génératifs peuvent ne pas être pertinents ou présenter un contenu offensant voire dangereux (Bender et al., 2021). C'est pourquoi de nombreux travaux portent sur le contrôle de la génération. Le contrôle peut concerner plusieurs aspects de la génération comme le lexique ou le style du texte (Zhang et al., 2023). Plusieurs méthodes de contrôle ont été explorées, dont l'entraînement d'un modèle avec des exemples conditionnés selon des critères choisis (Keskar et al., 2019) ou la modification des probabilités des tokens de sortie lors de l'inférence (Kruszewski et al., 2023).
Les approches « données vers texte » (data-to-text) (Lin et al., 2023) contraignent la génération à partir de données structurées (graphes, tableaux et, dans notre cas, les slots). Les architectures privilégiées sont des modèles encodeurs-décodeurs pouvant avoir des architectures internes variées, combinant des modèles pré-entraînés en encodeurs et/ou décodeurs. Il est aussi possible d'affiner directement des modèles encodeurs-décodeurs, tels que le modèle T5 (Raffel et al., 2020). Les modèles de langue causaux, comme par exemple les modèles utilisant une architecture de décodeur de transformeur (Vaswani et al., 2017), utilisent le contexte en début de séquence pour générer la suite de la séquence.

## 2.2 Génération dans le domaine biomédical

Dans le domaine biomédical, la génération de texte est notamment explorée pour produire des comptes-rendus de discussions entre médecins et patients (Eremeev et al., 2023; Ben Abacha et al., 2023; Asada & Miwa, 2023). L'automatisation de cette tâche pourrait en effet grandement soulager une partie de la charge de travail des médecins.

Pour répondre à la difficulté d'accès aux textes médicaux, Ive et al. (2020) proposent une méthodologie de génération de cas cliniques synthétiques en anglais à partir de cas cliniques réels. La génération est conditionnée par des entités extraites automatiquement des documents réels. Cependant, peu de corpus, et donc de travaux, portent sur d'autres langues que l'anglais (Névéol et al., 2018). Dans cette étude, nous nous intéressons au cas du français.

# 3 Méthodologie générale

Comme nous l'avons esquissé dans l'introduction, l'idée directrice de ce travail est de conditionner
le processus de génération par les données structurées dont le texte généré devra faire état. Bien
entendu, retrouver les données de conditionnement au sein des textes générés ne peut être le seul
critère d'évaluation des modèles : il suffirait en effet à ces derniers de reproduire leur entrée pour être
jugés comme parfaits. Ce conditionnement doit donc intégrer une proximité de nature par rapport aux
documents de référence que l'on souhaite émuler.

Comme évoqué à la section 2.1, ce double conditionnement peut se faire par un affinage a priori
du modèle de langue servant à la génération ou bien par son contrôle lors de la génération. Nous
avons opté pour la première solution dans la mesure où la seconde suppose d'appliquer des processus
d'analyse textuelle élaborés lors de la génération pour vérifier le respect du conditionnement, ce qui
est coûteux. La première solution suppose néanmoins de disposer de données d'entraînement associant
données de conditionnement et textes exemples conformes à ce conditionnement. Pour ce faire, nous
avons adopté une stratégie comparable à Peng et al. (2018) pour la génération d'histoire, reprise
par Ive et al. (2020) pour les comptes rendus médicaux, et consistant à extraire automatiquement
les données de conditionnement des textes exemples. Cette stratégie suppose bien évidemment de
disposer de processus d'analyse textuelle capables d'extraire ces données de conditionnement des
textes exemples avec un niveau de performance suffisamment élevé. Elle induit par conséquent un
couplage étroit entre les capacités de génération et celles d'analyse, mais permet de se passer d'une
annotation manuelle coûteuse. Dans le cas présent, nous nous focalisons sur les concepts médicaux et
sommes donc dépendants de modèles permettant d'extraire ces concepts de comptes rendus médicaux,
mais la généricité de cette stratégie permet de prendre en compte facilement de nouveaux éléments de conditionnement, dès lors qu'ils peuvent être extraits automatiquement de textes exemples.

# 4 Corpus et modèles génératifs

## 4.1 Corpus de cas cliniques en français

Les données utilisées pour nos expériences proviennent de deux corpus de cas cliniques librement disponibles. Le premier est le corpus CAS (Grabar et al., 2018), un corpus de cas cliniques désidentifiés en français<fnref n="1" />. Le second est le corpus E3C (Magnini et al., 2020), un corpus multilingue de cas cliniques désidentifiés. Nous nous intéressons uniquement aux cas cliniques en français de ce dernier.

## 4.2 Construction des contraintes selon un profil patient

Nous souhaitons pouvoir contraindre la génération par des éléments cliniques afin de créer des cas cliniques cohérents. Nous avons échangé avec des cliniciens afin de définir les éléments saillants dans des cas cliniques. Ces éléments sont ensuite sélectionnés comme conditionnement de la génération. Le tableau 1 présente un exemple des différentes catégories d'éléments importants qui ont été retenus pour un cas clinique du corpus E3C. On y retrouve les informations démographiques du patient (âge et sexe), la localisation de la pathologie, des informations histologiques, différents signes ou symptômes, des traitements et procédures effectués, des résultats biologiques et des scores (mesures ou codes). En accord avec les recommandations des cliniciens, nous identifions une vingtaine de contraintes par cas, en sélectionnant si possible des éléments de chaque catégorie avec une majorité de symptômes, traitements et procédures. Cette façon de faire permet de sélectionner les informations importantes des cas cliniques selon les médecins.

<table><caption>TABLE 1 – Exemples d'éléments de contrôle manuellement définis pour un cas clinique. Le cas clinique correspondant est présenté dans le tableau 2.</caption><thead><tr><td>Types d'éléments cliniques</td><td>Exemple de valeurs</td></tr></thead><tbody><tr><td>Âge</td><td>54</td></tr><tr><td>Sexe</td><td>Masculin</td></tr><tr><td>Localisation</td><td>Vessie</td></tr><tr><td>Histologie</td><td>adénocarcinome de l'ouraque peu différencié</td></tr><tr><td>Signe</td><td>hématurie</td></tr><tr><td>Procédure</td><td>scanner CT</td></tr><tr><td>Traitement</td><td>chimiothérapie par Méthotrexate-Vinblastine-Endoxan-Cisplatine</td></tr><tr><td>Score</td><td>T III A (selon la classification de Sheldon)</td></tr><tr><td>Bio</td><td>une négativité pour les cytokératines (ck) 7 et 20</td></tr></tbody></table>

<footnote n="1">1. Contacter les auteurs pour accéder au corpus https://deft.lisn.upsaclay.fr/2020</footnote>
## 4.3 Extraction des contraintes des documents

Concernant les données démographiques, nous nous sommes appuyés pour le corpus CAS sur les annotations présentes relatives à l’âge et au sexe des patients. Le corpus E3C ne disposant pas de ces informations, nous avons annoté les 1 009 cas cliniques en français du corpus pour obtenir l’âge et le sexe des patients. Pour les autres entités cliniques, nous annotons automatiquement les deux corpus pour que les annotations des deux corpus soient homogènes et facilitent ainsi l’apprentissage des contraintes par les modèles de génération. Pour réaliser cette annotation automatique, nous utilisons des modèles de reconnaissance d’entités cliniques entraînés sur le corpus privé MERLOT (Campillos et al., 2018), qui contient des annotations manuelles pour ces entités.

Nous avons construit nos contraintes en partant des annotations démographiques manuelles et des annotations automatiques en entités cliniques. Pour chaque document, nous sélectionnons l’âge et le sexe lorsqu’ils sont renseignés. Lorsque l’âge exact n’est pas renseigné, nous utilisons les catégories d’âge issues des descripteurs obligatoires du thésaurus MeSH (Medical Subject Headings)<fnref n="2" />.

Pour les entités cliniques, nous avons sélectionné les catégories d'annotation de MERLOT pour correspondre aux catégories discutées avec les médecins. Ainsi, nous retenons pour chaque cas clinique les dix procédures (PROC) et dix symptômes (DISO) ayant le tf.idf le plus élevé. Nous sélectionnons aussi les substances (CHEM) et les mesures (MEAS). Ces dernières sont filtrées pour ne garder que des mesures informatives (les chiffres seuls comme 6 sont par exemple annotés comme MEAS mais sans information supplémentaire). De cette manière, nous obtenons en moyenne 26 contraintes (±9,5) par cas clinique.

## 4.4 Modèles génératifs

Nous comparons les performances de deux architectures différentes pour la génération contrainte de textes cliniques : l'architecture encodeur-décodeur et l'architecture décodeur seul. Nous nous appuyons pour cela sur des modèles transformeurs pré-entraînés.

**Encodeur-décodeur** Cette architecture est spécialisée dans la génération de texte à partir de données structurées. Notamment, l'affinage du modèle T5 (Raffel et al., 2020) s'est imposé comme une méthode standard pour ce genre de tâches. Nous avons choisi d'utiliser la version multilingue de T5, appelée mT5 (Xue et al., 2021), d'un milliard de paramètres comme modèle pré-entraîné, et les modèles Flan-T5-Large (780 millions de paramètres) et Flan-T5-XL (3 milliards de paramètres) (Chung et al., 2022) comme modèles affinés avec instructions.

**Décodeur seul** Cette architecture est spécialisée dans la génération de texte à partir d'amorces textuelles (*prompt*). Nous avons choisi plusieurs modèles pour cette architecture : Bloom (Scao et al., 2022), un modèle génératif entraîné sur plusieurs langues, et Bloomz, une variante entraînée spécialement pour réaliser différentes tâches (traduction, résumé automatique etc.). Nous prenons pour chacun de ces deux modèles deux versions en termes de taille : un et sept milliards de paramètres.

<footnote n="2">2. https://www.nlm.nih.gov/bsd/indexing/training/CHK_030.html</footnote>
# 5 Expérimentations

## 5.1 Représentation des données structurées

L'utilisation de ces modèles génératifs nécessite de transformer les données structurées en format textuel. Nous avons choisi de linéariser les entrées de manière différente pour les modèles encodeurs-décodeurs et les modèles décodeurs seuls. Pour les modèles encodeurs-décodeurs, nous ajoutons devant chaque entité un token spécial lié à la classe de l'entité. Nous séparons les informations démographiques (âge, sexe) des contraintes médicales (symptôme, procédure etc.) par un token spécial *contraintes*. Pour les modèles décodeurs seuls, nous avons choisi de ne pas ajouter de tokens spéciaux. La figure 1 présente un exemple de représentation des données pour les encodeurs-décodeurs.

<figure><img src="image_135.png" /><figcaption>FIGURE 1 – Exemple de représentation des données pour l'architecture encodeur-décodeur.</figcaption></figure>

## 5.2 Affinage

Le jeu d'entraînement sur lequel nous affinons nos modèles est constitué de 1 424 cas cliniques, pour un peu plus de 500 000 tokens hors contraintes. Pour l'affinage des modèles, nous choisissons de geler les poids des modèles pré-entraînés et ajoutons des matrices entraînables LoRA (Hu et al., 2022). L'emplacement des matrices entraînables dépend du type de modèle. Pour les modèles encodeurs-décodeurs, nous ajoutons des matrices LoRA sur les *queries* et *values* des couches transformeurs et sur la tête de modélisation du modèle. Pour les modèles décodeurs seuls, les matrices LoRA sont ajoutées sur les couches linéaires des modèles. Nous ajoutons les tokens spéciaux aux plongements via des vecteurs initialisés aléatoirement. Le traitement des plongements lexicaux varie selon trois configurations définies comme suit :

**Configuration « gelé »** : les plongements sont gelés mais nous ajoutons des matrices LoRA pour leur permettre une adaptation à la tâche à un faible coût mémoire.

**Configuration « dégelé »** : les plongements sont dégelés, pour permettre l'adaptation à la tâche, mais à un coût plus élevé.

**Configuration « partiel »** : seuls les plongements des tokens spéciaux sont dégelés.

## 5.3 Génération des cas cliniques

Notre jeu de test est constitué de 156 cas cliniques et de leurs contraintes. Les contraintes sont données en entrée aux modèles génératifs et les cas cliniques réels servent de référence. Le décodage est
réalisé en utilisant une recherche par faisceaux (beams) avec 5 faisceaux, et de l'échantillonnage (sampling) avec un top-p de 0,90, un top-k de 100, une température de 1 et une pénalité de répétition de 3. Faire de l'échantillonnage lors de la génération signifie qu'un même modèle peut générer des textes différents avec la même entrée. Nous effectuons cinq générations pour chaque exemple de test afin de prendre en compte cette variabilité.

## 5.4 Métriques d'évaluation

L'évaluation automatique de la génération de texte est notoirement difficile (Novikova et al., 2017). De nombreuses métriques existent, qui permettent de mesurer différents aspects de la génération de texte (Frisoni et al., 2022). Nous avons sélectionné certaines d'entre elles afin de couvrir plusieurs dimensions de l'évaluation.

**Adéquation aux contraintes - Exactitude** Cette mesure sert à évaluer la capacité du modèle à respecter les contraintes qui lui sont imposées. Nous calculons la proportion de contraintes respectées dans les textes générés par rapport au nombre total de contraintes imposées.

**Qualité de la langue - Perplexité** La perplexité évalue l'adéquation des données textuelles avec la distribution de probabilité d'un modèle de langue. Nous utilisons un modèle spécifique au français, GPTFR (Simoulin & Crabbé, 2021). Pour cette métrique, nous souhaitons que la perplexité obtenue sur les données générées se rapproche de la perplexité obtenue sur les données réelles (égale à 19 ici pour le corpus d'entraînement).

**Diversité des textes générés - Self-BLEU** Le score Self-BLEU (Zhu et al., 2018) est la moyenne des scores BLEU de toutes les phrases d'un corpus entre elles. Ainsi, un corpus redondant aura un score Self-BLEU élevé tandis qu'un corpus varié aura un score plus faible.

**Proximité avec le corpus naturel - Corpus-BLEU** Corpus-BLEU (Yu et al., 2017) est une mesure de proximité entre deux corpus et correspond à la moyenne des scores BLEU entre chaque phrase du corpus généré et toutes les phrases du corpus naturel. Nous calculons Corpus-BLEU en comparant les cas cliniques du corpus de test avec les textes générés.

**Proximité avec le cas clinique correspondant aux contraintes - BLEU** Le score BLEU (Papineni et al., 2002) est calculé entre le texte généré et le cas clinique réel d'où proviennent les contraintes. Il mesure la proximité avec les données réelles de façon plus spécifique que le score Corpus-BLEU.

# 6 Résultats

## 6.1 Génération des cas cliniques

Le tableau 2 présente des exemples de textes générés à partir d'un ensemble de contraintes par un modèle encodeur-décodeur (Flan-T5-XL gelé) et un modèle décodeur seul (Bloomz 1b1 dégelé). Le tableau 3 présente quant à lui l'évaluation automatique des cas cliniques générés avec les différentes architectures étudiées. Parmi nos baselines, la simple copie des entités de conditionnement (« Copie ») obtient comme attendu une exactitude de 100 %, mais aussi une perplexité très grande. La baseline « Corpus » correspond à une copie du corpus de test dans laquelle nous avons enlevé les retours à la ligne. Cette modification explique pourquoi les scores BLEU et corpus-BLEU ne sont pas
<table><caption>TABLE 2 – Exemples de textes générés par deux modèles à partir de contraintes automatiquement extraites d'un cas clinique réel.</caption><tr><td>Contraintes extraites automatiquement (hors balises)</td><td>âge : 54; sexe : masculin; contraintes : hématurie isolée, examen tomodensitométrique, masse, 4 cm, adénocarcinome peu différencié, de type III, bilan d' extension, cystoprostatectomie radicale totale, lym- phadénectomie iliaque, obturatrice, omphalectomie, entérocystoplastie de substitution, adénocarcinome de l'ouraque peu différencié, très localement mucosécrétant, ulcéré, carcinome transitionnel, grade III, Anti- gène Carcino-Embryonnaire, Leu-M1, CD 15, cytokératines, épithélium vésical, classification de Sheldon, Méthotrexate, Vinblastine, Endoxan, Cisplatine</td></tr><tr><td>Cas clinique réel</td><td>Un homme de 54 ans a consulté pour hématurie isolée. Une échographie, puis un examen tomodensito- métrique, démontraient une masse de 4 cm de diamètre, au centre nécrotique, antérieure au dôme vésical, envahissant uniquement la graisse adjacente (Figure 1A.). Les biopsies, faites à la cystoscopie, révèlaient un adénocarcinome peu différencié, avec des zones d'épithélioma transitionnel de type III (Figure 1B). Le bilan d' extension était négatif. Le patient bénéficiait d'une cystoprostatectomie radicale totale avec lympha- dénectomie iliaque et obturatrice, associée à une omphalectomie et une entérocystoplastie de substitution selon Studer. L'examen anatomo-pathologique complet de la pièce opératoire, révèlait un adénocarcinome de l'ouraque peu différencié, invasif, très localement mucosécrétant (Figure 1C). Il était ulcéré dans la lumière vésicale, et contenait des zones de carcinome transitionnel de grade III, ainsi que des cellules argentaffines. Deux poches de lymphonoeuds et la graisse environnante, étaient envahis. L'immunohistochimie montrait un positivité des cellules néoplasiques pour l'Antigène Carcino-Embryonnaire (ACE), Leu-M1 (CD 15), et une négativité pour les cytokératines (ck) 7 et 20. L'épithélium vésical était positif pour les ck 7. Il s'agissait d'un stade T III A (selon la classification de Sheldon). Le patient subissait une chimiothérapie par Méthotrexate - Vinblastine - Endoxan -Cisplatine par voie systémique. Avec 35 mois de recul, il va bien.</td></tr><tr><td>Génération Bloomz 1b1 dégelé</td><td>Il s'agit d'un patient âgé de 54 ans sans antécédents pathologiques particuliers qui a consulté pour une hématurie isolée. L'examen clinique trouvait un patient en bon état général, apyrétique, avec des signes d'hypertension artérielle et une sensibilité abdominale à la palpation. La biologie était normale. L'échographie abdominale objectivait une masse tissulaire hétérogène du flanc gauche mesurant 4 cm de grand axe. L'IRM montrait une masse tissulaire homogène au niveau du flanc gauche (Figure 1). L'étude histologique de la pièce opératoire confirmait le diagnostic d'adénocarcinome peu différencié de type III selon la classification de Sheldon [1]. Le bilan d'extension par résonance magnétique (RMN) ne retrouvait pas de métastase cérébrale ou pulmo- naire. Une cystoprostatectomie radicale totale associée à une lymphadénectomie iliaque et obturatrice ainsi qu'une omphalectomie et entérocystoplastie de substitution ont été réalisées. L'étude anatomopathologique de la pièce opératoire avait confirmé le diagnostic d'adénocarcinome de l'ouraque peu différencié évoluant vers un carcinome transitionnel stade III selon la classification de Sheldon [1].</td></tr><tr><td>Génération Flan-T5-XL gelé</td><td>Il s'agit d'un patient âgé de 54 ans, sans antécédents pathologiques particuliers, qui a présenté une hématurie isolée évoluant depuis 2 mois. L'examen tomodensitométrique a objectivé une masse de 4 cm au niveau de la paroi postérieure de l'ouraque (Figure 1). Le diagnostic d'adénocarcinome peu différencié de type III a été retenu. Le bilan d' extension était négatif. Une cystoprostatectomie radicale totale associée à une lymphadénectomie iliaque non obturatrice et une omphalectomie avec entérocystoplastie de substitution a été réalisée. L'étude anatomopathologique de la pièce opératoire a confirmé le diagnostic d'adénocarcinome de l'ouraque peu différencié comportant un aspect très localement mucosécrétant et ulcéré. Cet aspect est compatible avec un carcinome transitionnel de grade III (Antigène Carcino-Embryonnaire : CD34, Leu-M1 et CD 15). Les cellules tumorales exprimaient les cytokératines spécifiques de l'épithélium vésical (classification de Sheldon). Un traitement associant Méthotrexate, Vinblastine, Endoxan et Cisplatine a été débuté.</td></tr></table>

parfaits et, de façon plus surprenante, fait baisser la perplexité de 30,5 à 19,5. Le score d'exactitude révèle quant à lui des limites de nos données et du calcul d'exactitude. La majorité de ces erreurs concerne le sexe du patient, lorsqu'il n'est pas marqué via l'accord du terme « patient » en genre ou l'utilisation du qualificatif « masculin » ou « féminin ». Les autres erreurs proviennent majoritairement de reformulations ou d'erreurs dans les contraintes.

Les résultats des modèles montrent plusieurs tendances. Les modèles encodeurs-décodeurs ayant bénéficié d'une période d'affinage avec instructions, les modèles Flan, obtiennent globalement de meilleurs résultats que les modèles pré-entraînés sans instructions. Les modèles Flan ont en outre
<table><caption>TABLE 3 – Évaluation des données générées à partir des contraintes provenant du jeu de test. Modèles baselines marqués par « * » : entraînement et génération sans contrainte.</caption><thead><tr><th></th><th>Modèle</th><th>Exactitude↑</th><th>Perplexité</th><th>Self-BLEU-4↓</th><th>Corpus-BLEU-4↑</th><th>BLEU-4↑</th></tr></thead><tbody><tr><td rowspan="4">Baselines</td><td>Copie</td><td>100</td><td>194,3</td><td>14,4</td><td>25,5</td><td>1,1</td></tr><tr><td>Corpus</td><td>98,8</td><td>19,5</td><td>33,4</td><td>97,4</td><td>97,5</td></tr><tr><td>Bloom 1b1 gelé*</td><td>s/o</td><td>11,5±1,5</td><td>86,1±0,4</td><td>64,8±0,4</td><td>s/o</td></tr><tr><td>Bloom 1b1 dégelé*</td><td>s/o</td><td>10,2±0,9</td><td>82,9±0,4</td><td>60,6±0,5</td><td>s/o</td></tr><tr><td>Bloom 7b1 gelé*</td><td>s/o</td><td>8,4±2,8</td><td>79,3±1,2</td><td>57,1±0,5</td><td>s/o</td></tr><tr><td rowspan="3">Encodeurs-décodeurs</td><td>mT5-large gelé</td><td>78,0±0,6</td><td>13,6±0,2</td><td>53,5±0,5</td><td>55,8±0,5</td><td>12,0±0,1</td></tr><tr><td>mT5-large dégelé</td><td>73,6±0,8</td><td>13,4±0,2</td><td>53,8±0,4</td><td>56,4±0,3</td><td>10,9±0,2</td></tr><tr><td>mT5-large partiel</td><td>75,7±0,3</td><td>13,2±0,4</td><td>55,1±0,5</td><td>56,5±0,2</td><td>11,6±0,3</td></tr><tr><td rowspan="3">Encodeurs-décodeurs</td><td>Flan-T5-large gelé</td><td>81,5±1,1</td><td>14,8±0,4</td><td>52,8±0,4</td><td>55,3±0,4</td><td>12,0±0,1</td></tr><tr><td>Flan-T5-large dégelé</td><td>80,3±1,0</td><td>15,6±0,5</td><td>51,9±0,2</td><td>55,0±0,4</td><td>11,7±0,2</td></tr><tr><td>Flan-T5-large partiel</td><td>80,9±0,9</td><td>16,1±0,2</td><td>50,9±0,3</td><td>54,3±0,4</td><td>11,6±0,1</td></tr><tr><td rowspan="3">Décodeurs</td><td>Flan-T5-XL gelé</td><td>84,2±0,8</td><td>14,9±0,2</td><td>50,2±0,2</td><td>54,5±0,2</td><td>12,8±0,1</td></tr><tr><td>Flan-T5-XL dégelé</td><td>85,3±0,8</td><td>14,9±0,2</td><td>49,0±0,1</td><td>53,8±0,4</td><td>12,9±0,2</td></tr><tr><td>Flan-T5-XL partiel</td><td>82,2±1,3</td><td>15,4±0,2</td><td>50,3±0,2</td><td>54,6±0,3</td><td>12,0±0,2</td></tr><tr><td rowspan="3">Décodeurs</td><td>Bloom 1b1 gelé</td><td>40,5±3,9</td><td>8,8±0,2</td><td>62,5±5,8</td><td>42,3±11,1</td><td>4,7±1,0</td></tr><tr><td>Bloom 1b1 dégelé</td><td>29,6±0,9</td><td>9,3±0,4</td><td>63,6±4,7</td><td>50,4±9,7</td><td>4,0±0,5</td></tr><tr><td>Bloom 7b1 gelé</td><td>43,5±2,5</td><td>9,9±0,6</td><td>54,0±2,1</td><td>47,5±2,0</td><td>5,8±1,0</td></tr><tr><td rowspan="3">Décodeurs</td><td>Bloomz 1b1 gelé</td><td>45,4±4,2</td><td>9,2±0,2</td><td>61,9±7,6</td><td>41,8±11,0</td><td>5,2±1,3</td></tr><tr><td>Bloomz 1b1 dégelé</td><td>32,1±1,7</td><td>9,6±0,2</td><td>65,7±6,0</td><td>47,0±13,2</td><td>4,3±0,7</td></tr><tr><td>Bloomz 7b1 gelé</td><td>39,8±3,0</td><td>9,9±0,2</td><td>55,0±1,9</td><td>49,8±1,5</td><td>5,4±0,4</td></tr></tbody></table>

l'avantage d'être plus rapidement affinés à taille égale, avec une période d'entraînement de 16 h pour Flan-T5-large contre 60 h pour mT5-large. Nous observons, comme attendu, que les modèles Flan-T5-XL sont les plus performants des modèles encodeurs-décodeurs testés. Ces derniers génèrent des textes plus variés (Self-BLEU), et présentent la meilleure exactitude. Les textes générés ressemblent le plus aux références (BLEU) et la perplexité et le Corpus-BLEU sont meilleurs que ceux de la version plus petite du modèle. Le Corpus-BLEU reste cependant assez stable quel que soit le modèle initial et le traitement des plongements lexicaux. Il est cependant à noter que les modèles mT5 obtiennent une perplexité inférieure, probablement due au fait que le modèle initial soit multilingue tandis que les modèles Flan-T5 n'ont vu de français que sur des tâches de traduction.

Nous observons que les décodeurs seuls obtiennent de moins bons résultats que les encodeurs-décodeurs. Les modèles décodeurs sont également nettement plus instables d'une génération à une autre, avec des écarts-types importants au niveau de l'exactitude, du Self-BLEU et du Corpus-BLEU. Au niveau de la perplexité, ces modèles obtiennent des scores plus faibles et s'éloignent donc du corpus d'entraînement. Le modèle permettant de calculer la perplexité étant un décodeur seul, l'architecture commune biaise potentiellement les décodeurs pour cette métrique. En revanche, le temps d'entraînement des décodeurs est beaucoup plus court : 10 à 15 minutes pour les modèles à un milliard de paramètres et 30 minutes pour les modèles à sept milliards de paramètres.

Nous pouvons également identifier quelques bonnes pratiques concernant le pré-entraînement des modèles et la configuration des plongements lexicaux. Les modèles ayant bénéficié d'un pré-entraînement avec instructions sont globalement plus performants que les modèles avec un pré-entraînement simple
sur une tâche de modélisation de la langue. Cela s'observe principalement pour l'exactitude et le score BLEU. Nous pouvons aussi observer que les modèles dégelés ont de moins bonnes performances que les modèles gelés. Cependant, nous avons remarqué que les modèles dégelés convergent plus rapidement, en temps et en époques d'entraînement. Les résultats plus faibles de Flan-T5-large gelé sont peut être le résultat d'un sous-entraînement.

## 6.2 Impact environnemental

<table><caption>TABLE 4 – Impact environnemental en kgCO₂éq des expériences finales pour chaque modèle. Chaque ligne somme les émissions des différentes configurations associées. Les émissions totales sont de 20,27 kgCO₂éq.</caption><thead><tr><th>Modèle</th><th>Entraînement</th><th>Génération</th><th>Perplexité</th><th>Total</th></tr></thead><tbody><tr><td>mT5-large</td><td>7,26</td><td>0,75</td><td>0,01</td><td>8,02</td></tr><tr><td>flan-T5-large</td><td>1,95</td><td>0,75</td><td>0,01</td><td>2,71</td></tr><tr><td>flan-T5-XL</td><td>7,26</td><td>0,75</td><td>0,01</td><td>8,02</td></tr><tr><td>Bloom(z) 1b1</td><td>0,03</td><td>0,78</td><td>0,01</td><td>0,82</td></tr><tr><td>Bloom(z) 7b1</td><td>0,05</td><td>0,64</td><td>0,01</td><td>0,70</td></tr></tbody></table>

La compilation des émissions en kgCO₂éq peut être retrouvée dans le tableau 4. L'impact environnemental est essentiellement lié à l'entraînement des modèles encodeurs-décodeurs, qui est plus long et requiert plus de GPU pour les modèles plus grands. Ces évaluations ont été réalisées avec le MachineLearning Impact calculator présenté dans (Lacoste et al., 2019) avec les valeurs d'émission de la France (0,101 kgCO₂éq/kWh) se trouvant dans (Moro & Lonza, 2018).

## 6.3 Limites

L'ensemble de mesures que nous avons mis en place nous permet d'avoir une vision assez bonne sur ce que nos modèles génèrent. Il y a néanmoins des limites à n'utiliser que l'exactitude, en particulier telle qu'elle est calculée, pour décrire la fidélité de la retranscription des informations. L'exactitude recherche ici une correspondance exacte entre les contraintes et le texte. Toute reformulation du modèle est donc écartée bien qu'elle puisse être correcte. De plus, utiliser cette mesure seule ne nous donne pas d'information sur de potentiels ajouts d'informations ou d'entités par les modèles. Dans cette étude, nous avons exclusivement utilisé des métriques automatiques pour l'évaluation des textes générés. Il est difficile d'évaluer manuellement la qualité des textes générés sans connaissances cliniques. Une évaluation manuelle par des experts cliniques permettrait d'estimer la cohérence médicale des textes générés de manière plus fiable. Nous avons enfin constaté que les générations par un même modèle peuvent être instables. Un filtrage des textes pour garder le meilleur candidat pourrait améliorer les résultats (Hiebel et al., 2023).
# 7 Conclusion

Dans cette étude, nous générons des comptes rendus médicaux en français conditionnés par des données cliniques structurées. Nous comparons des modèles d'architectures différentes, des encodeurs-décodeurs et des décodeurs seuls, que nous affinons sur un corpus de cas cliniques à l'aide de matrices LoRA. Nous proposons une méthodologie d'évaluation fondée sur un ensemble de mesures automatiques : exactitude, perplexité, Self-BLEU, Corpus-BLEU et BLEU. Nous observons que les modèles à architecture encodeurs-décodeurs obtiennent de meilleurs résultats sur la tâche de génération à partir de données structurées, mais avec un entraînement plus coûteux. Concernant les différentes stratégies d'affinage au niveau des plongements lexicaux, la meilleure stratégie consiste à ajouter des matrices LoRA sur les plongements lexicaux et non de les dégeler, bien que cela allonge l'apprentissage. La puissance de calcul disponible dans un cadre hospitalier limite la possibilité d'utiliser des modèles plus gros et/ou plus lourds. D'après nos résultats, les architectures décodeurs sont plus légères et donc plus adaptées. Il faudrait cependant générer plusieurs candidats et les filtrer pour compenser l'irrégularité de ces modèles. Il serait aussi intéressant d'explorer les performances de modèles à architecture encodeur-décodeur plus petits que ceux testés dans cette étude (le modèle Flan-T5-small ne contient par exemple que 80 millions de paramètres). La quantification (*quantization*) des modèles pourrait aussi être une solution pour réduire la charge de calcul, à condition que les modèles quantifiés donnent des résultats comparables à leurs homologues standards.

# Remerciements

Ce travail a été réalisé dans le cadre d'un projet de l'Agence Nationale de la Recherche, CODEINE (artificial text CORpus DEsIgNed Ethically), ANR-20-CE23-0026-01. Il a été réalisé grâce au super-calculateur Factory-IA financé par le Conseil Régional d'Île-de-France.

Ces travaux ont bénéficié d'un accès aux moyens de calcul de l'IDRIS au travers de l'allocation de ressources 2023-AD011014538 attribuée par GENCI.

# Références

ASADA M. & MIWA M. (2023). BioNART : A biomedical non-AutoRegressive transformer for natural language generation. In D. DEMNER-FUSHMAN, S. ANANIADOU & K. COHEN, Éds., *The 22nd Workshop on Biomedical Natural Language Processing and BioNLP Shared Tasks*, p. 369–376, Toronto, Canada : Association for Computational Linguistics. DOI : 10.18653/v1/2023.bionlp-1.34.

BEN ABACHA A., YIM W.-W., FAN Y. & LIN T. (2023). An empirical study of clinical note generation from doctor-patient encounters. In A. VLACHOS & I. AUGENSTEIN, Éds., *Proceedings of the 17th Conference of the European Chapter of the Association for Computational Linguistics*, p. 2291–2302, Dubrovnik, Croatia : Association for Computational Linguistics. DOI : 10.18653/v1/2023.eacl-main.168.

BENDER E. M., GEBRU T., MCMILLAN-MAJOR A. & SHMITCHELL S. (2021). On the dangers of stochastic parrots : Can language models be too big ? In *Proceedings of the 2021 ACM Conference on Fairness, Accountability, and Transparency*, FAccT ’21, p. 610–623, New York, NY, USA : Association for Computing Machinery. DOI : 10.1145/3442188.3445922.
CAMPILLOS L., DELÉGER L., GROUIN C., HAMON T., LIGOZAT A.-L. & NÉVÉOL A. (2018). A French clinical corpus with comprehensive semantic annotations : development of the Medical Entity and Relation LIMSI annOtated Text corpus (MERLOT). *Language Resources and Evaluation*, **52**(2), 571–601. DOI: 10.1007/s10579-017-9382-y.

CASAL J. E. & KESSLER M. (2023). Can linguists distinguish between chatgpt/ai and human writing? : A study of research ethics and academic publishing. *Research Methods in Applied Linguistics*, **2**(3), 100068. DOI: https://doi.org/10.1016/j.rmal.2023.100068.

CHUNG H. W., HOU L., LONGPRE S., ZOPH B., TAY Y., FEDUS W., LI Y., WANG X., DEHGHANI M., BRAHMA S. et al. (2022). Scaling instruction-finetuned language models. *arXiv preprint arXiv:2210.11416*.

CUSUMANO M. A. (2023). Generative ai as a new innovation platform. *Communications of the ACM*, **66**(10), 18—21. DOI: 10.1145/3615859.

EREMEEV M., VALMIANSKI I., AMATRIAIN X. & KANNAN A. (2023). Injecting knowledge into language generation : a case study in auto-charting after-visit care instructions from medical dialogue. In *Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers)*, p. 2373–2390, Toronto, Canada : Association for Computational Linguistics. DOI: 10.18653/v1/2023.acl-long.133.

FRISONI G., CARBONARO A., MORO G., ZAMMARCHI A. & AVAGNANO M. (2022). NLG-metricverse : An end-to-end library for evaluating natural language generation. In N. CALZOLARI, C.-R. HUANG, H. KIM, J. PUSTEJOVSKY, L. WANNER, K.-S. CHOI, P.-M. RYU, H.-H. CHEN, L. DONATELLI, H. JI, S. KUROHASHI, P. PAGGIO, N. XUE, S. KIM, Y. HAHM, Z. HE, T. K. LEE, E. SANTUS, F. BOND & S.-H. NA, Éds., *Proceedings of the 29th International Conference on Computational Linguistics*, p. 3465–3479, Gyeongju, Corée du Sud : International Committee on Computational Linguistics.

GRABAR N., CLAVEAU V. & DALLOUX C. (2018). CAS : French corpus with clinical cases. In *Proceedings of the Ninth International Workshop on Health Text Mining and Information Analysis*, p. 122–128, Bruxelles, Belgique : Association for Computational Linguistics. DOI: 10.18653/v1/W18-5614.

HIEBEL N., FERRET O., FORT K. & NÉVÉOL A. (2023). Can synthetic text help clinical named entity recognition? : a study of electronic health records in French. In A. VLACHOS & I. AUGENSTEIN, Éds., *Proceedings of the 17th Conference of the European Chapter of the Association for Computational Linguistics*, p. 2320–2338, Dubrovnik, Croatie : Association for Computational Linguistics. DOI: 10.18653/v1/2023.eacl-main.170.

HU E. J., YELONG SHEN, WALLIS P., ALLEN-ZHU Z., LI Y., WANG S., WANG L. & CHEN W. (2022). LoRA : Low-rank adaptation of large language models. In *International Conference on Learning Representations*, En ligne.

IVE J., VIANI N., KAM J., YIN L., VERMA S., PUNTIS S., CARDINAL R., ROBERTS A., STEWART R. & VELUPILLAI S. (2020). Generation and evaluation of artificial mental health records for natural language processing. *npj Digital Medicine*, **3**. DOI: 10.1038/s41746-020-0267-x.

KESKAR N. S., MCCANN B., VARSHNEY L. R., XIONG C. & SOCHER R. (2019). CTRL : A conditional transformer language model for controllable generation. *CoRR*, abs/1909.05858.

KRUSZEWSKI G., ROZEN J. & DYMETMAN M. (2023). disco : a toolkit for distributional control of generative models. In *Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics (Volume 3: System Demonstrations)*, p. 144–160, Toronto, Canada : Association for Computational Linguistics. DOI: 10.18653/v1/2023.acl-demo.14.
LACOSTE A., LUCCIONI A., SCHMIDT V. & DANDRES T. (2019). Quantifying the carbon emissions of machine learning. *arXiv preprint arXiv:1910.09700*.

LIN Y., RUAN T., LIU J. & WANG H. (2023). A survey on neural data-to-text generation. *IEEE Transactions on Knowledge and Data Engineering*, p. 1–20. DOI: 10.1109/TKDE.2023.3304385.

MAGNINI B., ALTUNA B., LAVELLI A., SPERANZA M. & ZANOLI R. (2020). The E3C Project: Collection and Annotation of a Multilingual Corpus of Clinical Cases. In J. MONTI, F. DELL'ORLETTA & F. TAMBURINI, Éds., *Proceedings of the Seventh Italian Conference on Computational Linguistics, CLIC-it 2020*, volume 2769 of CEUR Workshop Proceedings, Bologne, Italie: CEUR-WS.org.

MORO A. & LONZA L. (2018). Electricity carbon intensity in european member states: Impacts on ghg emissions of electric vehicles. *Transportation Research Part D: Transport and Environment*, **64**, 5–14. The contribution of electric vehicles to environmental challenges in transport. WCTRS conference in summer, DOI: https://doi.org/10.1016/j.trd.2017.07.012.

NÉVÉOL A., DALIANIS H., VELUPILLAI S., SAVOVA G. & ZWEIGENBAUM P. (2018). Clinical natural language processing in languages other than english: opportunities and challenges. *Journal of Biomedical Semantics*, **9**(1), 12. DOI: 10.1186/s13326-018-0179-8.

NOVIKOVA J., DUŠEK O., CERCAS CURRY A. & RIESER V. (2017). Why we need new evaluation metrics for NLG. In *Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing*, p. 2241–2252, Copenhague, Danemark: Association for Computational Linguistics. DOI: 10.18653/v1/D17-1238.

PAPINENI K., ROUKOS S., WARD T. & ZHU W.-J. (2002). Bleu: a method for automatic evaluation of machine translation. In P. ISABELLE, E. CHARNIAK & D. LIN, Éds., *Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics*, p. 311–318, Philadelphia, Pennsylvania, USA: Association for Computational Linguistics. DOI: 10.3115/1073083.1073135.

PENG N., GHAZVININEJAD M., MAY J. & KNIGHT K. (2018). Towards controllable story generation. In M. MITCHELL, T.-H. K. HUANG, F. FERRARO & I. MISRA, Éds., *Proceedings of the First Workshop on Storytelling*, p. 43–49, Nouvelle-Orléans, Louisiana: Association for Computational Linguistics. DOI: 10.18653/v1/W18-1505.

RADFORD A., NARASIMHAN K., SALIMANS T. & SUTSKEVER I. (2018). Improving language understanding by generative pre-training.

RAFFEL C., SHAZEER N., ROBERTS A., LEE K., NARANG S., MATENA M., ZHOU Y., LI W. & LIU P. J. (2020). Exploring the limits of transfer learning with a unified text-to-text transformer. *J. Mach. Learn. Res.*, **21**(1).

SCAO T. L. et al. (2022). Bloom: A 176b-parameter open-access multilingual language model. DOI: 10.48550/ARXIV.2211.05100.

SIMOULIN A. & CRABBÉ B. (2021). Un modèle Transformer Génératif Pré-entrainé pour le français. In P. DENIS, N. GRABAR, A. FRAISSE, R. CARDON, B. JACQUEMIN, E. KERGOSIEN & A. BALVET, Éds., *Traitement Automatique des Langues Naturelles*, p. 246–255, Lille, France: ATALA. HAL: hal-03265900.

VASWANI A., SHAZEER N., PARMAR N., USZKOREIT J., JONES L., GOMEZ A. N., KAISER L. & POLOSUKHIN I. (2017). Attention is all you need. In I. GUYON, U. VON LUXBURG, S. BENGIO, H. M. WALLACH, R. FERGUS, S. V. N. VISHWANATHAN & R. GARNETT, Éds., *Advances in Neural Information Processing Systems 30: Annual Conference on Neural Information Processing Systems 2017, December 4-9, 2017, Long Beach, CA, USA*, p. 5998–6008.

WALONOSKI J., KRAMER M., NICHOLS J., QUINA A., MOESEL C., HALL D., DUFFETT C., DUBE K., GALLAGHER T. & MCLACHLAN S. (2017). Synthea: An approach, method, and
software mechanism for generating synthetic patients and the synthetic electronic health care record.
*Journal of the American Medical Informatics Association*, **25**(3), 230–238. DOI: 10.1093/ja-mia/ocx079.

XUE L., CONSTANT N., ROBERTS A., KALE M., AL-RFOU R., SIDDHANT A., BARUA A. & RAFFEL C. (2021). mT5: A massively multilingual pre-trained text-to-text transformer. In K. TOUTANOVA, A. RUMSHISKY, L. ZETTLEMOYER, D. HAKKANI-TUR, I. BELTAGY, S. BETHARD, R. COTTERELL, T. CHAKRABORTY & Y. ZHOU, Éds., *Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies*, p. 483–498, En ligne : Association for Computational Linguistics. DOI: 10.18653/v1/2021.nacl-main.41.

YU L., ZHANG W., WANG J. & YU Y. (2017). Seqgan: sequence generative adversarial nets with policy gradient. In *Proceedings of the Thirty-First AAAI Conference on Artificial Intelligence*, AAAI’17, p. 2852–2858 : AAAI Press.

ZHANG H., SONG H., LI S., ZHOU M. & SONG D. (2023). A survey of controllable text generation using transformer-based pre-trained language models. volume 56, New York, NY, USA : Association for Computing Machinery. DOI: 10.1145/3617680.

ZHU Y., LU S., ZHENG L., GUO J., ZHANG W., WANG J. & YU Y. (2018). Texxygen : A benchmarking platform for text generation models. In *The 41st International ACM SIGIR Conference on Research & Development in Information Retrieval*, SIGIR ’18, p. 1097–1100, New York, NY, USA : Association for Computing Machinery. DOI: 10.1145/3209978.3210080.
# L'impact de genre sur la prédiction de la lisibilité du texte en FLE

GAO Lingyun¹ Rodrigo Wilkens¹ Thomas François¹

(1) CENTAL, IL&C, Université catholique de Louvain, Belgique

lingyun.gao.nom@uclouvain.be

## RÉSUMÉ

Cet article étudie l'impact du genre discursif sur la prédiction de la lisibilité des textes en français langue étrangère (FLE) à travers l'intégration de méta-informations du genre discursif dans les modèles de prédiction de la lisibilité. En utilisant des architectures neuronales basées sur CamemBERT, nous avons comparé les performances de modèles intégrant l'information de genre à celles d'un modèle de base ne considérant que le texte. Nos résultats révèlent une amélioration modeste de l'exactitude (accuracy) globale lors de l'intégration du genre, avec cependant des variations notables selon les genres spécifiques de textes. Cette observation semble confirmer l'importance de prendre en compte les méta-informations textuelles tel que le genre lors de la conception de modèles de lisibilité et de traiter le genre comme une information riche à laquelle le modèle doit accorder une position préférentielle.

## ABSTRACT

### The impact of genre on the prediction of text readability in FFL (French as a Foreign Language)

This article examines the influence of discourse genre on readability prediction in texts for French as a foreign language (FLE), focusing on the integration of genre-related meta-information into readability models. Utilizing neural architectures based on CamemBERT, we assessed the performance of models that incorporate genre information against a baseline model that considers only the text. Our findings indicate a modest enhancement in overall accuracy with the inclusion of genre, though little significant variations were observed across specific text genres. These results seem to confirm the importance of taking into account textual meta-information such as genre when designing readability models, and of treating genre as rich information to which the model should give a preferential position.

**MOTS-CLÉS** : lisibilité, français langue étrangère, genre discursif.

**KEYWORDS**: readability, French as a foreign language, genre.

## 1 Introduction

Dans le contexte de la didactique des langues étrangères, la sélection de matériaux pédagogiques adaptés aux étudiants constitue un problème fondamental. Dès lors, certains chercheurs ont entrepris de développer des algorithmes capables de déterminer automatiquement le niveau de compétence nécessaire pour comprendre un texte, en vue de faciliter les tâches de préparation pour les formateurs et les examinateurs. Ces modèles, appelés formules de lisibilité, prennent en compte différentes caractéristiques des textes pour prédire automatiquement le degré de lisibilité d'un texte pour une population ciblée (François, 2011). La notion de lisibilité a été définie par Dale & Chall (1949, 19)

<figure><img src="image_136.png" /></figure>
comme : la somme totale de tous les éléments d'un document imprimé qui influencent le succès d'un groupe de lecteurs, mesuré au moyen de la compréhension, de la vitesse de lecture et de l'intérêt.

On connaît généralement les formules de lisibilités, dites classiques, telles que celles proposées par Flesch (Flesch, 1948), Flesch-Kincaid (Kincaid et al., 1975) ou Henry (Ters, 1976). Depuis les années 2000, l'évolution des solutions en traitement automatique du langage (TAL) a transformé la manière d'évaluer la lisibilité des textes écrits. Les approches se sont alors appuyées reposaient sur des modèles statistiques plus complexes et des routines de TAL capables de capturer des caractéristiques textuelles plus complexes, tels que la syntaxe (Schwarm & Ostendorf, 2005), les relations de discours (Pitler & Nenkova, 2008), ou des caractéristiques acquisitionnelles (Vajjala & Meurers, 2012). Enfin, suite à la révolution neuronales, les formules de lisibilité se sont majoritairement appuyées sur des réseaux de neurones profond (Azpiazu & Pera, 2019), l'architecture transformer (Yancey et al., 2021) et les plongements de mots (Filighera et al., 2019).

La plupart des travaux récents se concentrent soit sur la nature des informations textuelles à capturer (variables ou plongements de mots) ou sur les algorithmes, mais très peu sur les caractéristiques de la situation de lecture. Les chercheurs comme Hiebert & Pearson (2010) ont constaté que les méta-informations textuelles liés à la situation de communication (ou de lecture ici) telle que genre discursif peuvent jouer un rôle essentiel dans la compréhension des textes. Pourtant, Beier et al. (2022) indiquent que cette méta-information est souvent négligée dans les études sur la lisibilité des textes. Ignorer le genre dans l'évaluation de la lisibilité risque de conduire à une compréhension inexactes des structures, une incapacité à prendre en compte les spécificités lexicales (termes de spécialité, éléments brachygraphiques, etc.) et à une normalisation des conventions stylistiques.

L'objectif de cet article est donc explorer l'impact du genre discursif sur la qualité des prédictions de la lisibilité des textes en français langue étrangère (FLE). Nous proposons d'explorer différentes approches pour intégrer la notion de genre dans des modèles de lisibilité neuronaux et d'évaluer son effet sur la performance de ces modèles. Avec cette étude, notre contribution constitue un premier pas en vue de démonter l'importance de prendre en compte le genre dans des modèles neuronaux pour la lisibilité du FLE. Plus généralement, cela ouvre des perspectives quant à la prise en plus des caractéristiques de la situation de lecture dans la lisibilité computationnelle.

Dans la suite de l'article, nous brossons un état de l'art centré sur les études réalisées selon le paradigme de la lisibilité computationnelle en mettant l'accent sur l'importance du "genre" (section 2.1). Nous rappelons également quelques notions fondamentales concernant les genres discursifs (section 2.2). Dans la partie suivante (section 3), nous décrivons la méthodologie de cette étude, qui comprend la construction des corpus et la modélisation. La section des résultats (section 4) met en lumière l'impact du genre sur la performance des modèles. Enfin, nous discutons nos principaux résultats avant de conclure (section 5).

# 2 État de l'art

## 2.1 Lisibilité computationnelle et genre

Durant la période classique, les formules de Flesch (1948) et de Dale & Chall (1948) avaient déjà été critiquées pour leur manque de robustesse sur des textes de nature différente que ceux du corpus d'entraînement. Par exemple, Brown (1965) montre que la formule de Dale and Chall suretime
la complexité des textes scientifiques. En réaction, Jacobson (1965) entraîne sa propre formule spécialisée pour les textes scientifiques.

Avec l'avènement de l'apprentissage automatique basé sur l'ingénierie de caractéristiques, les approches en lisibilité sont devenues plus aptes à capturer automatiquement diverses caractéristiques textuelles comme la distribution des mots, (Collins-Thompson & Callan, 2005), les relations syntaxiques (Schwarm & Ostendorf, 2005) ou des relations de discours (Pitler & Nenkova, 2008). Ceci a permis de développer des modèles plus robustes, supposément moins sensibles aux particularités des textes analysés.

Par la suite, le développement de l'apprentissage profond a ouvert de nouvelles perspectives en permettant d'encoder directement les propriétés linguistiques pertinentes sans l'intermédiaire d'une ingénierie de caractéristiques complexe. Les travaux récents réalisés dans cette veine privilégient des architectures neurales avancées. Azpiazu & Pera (2019) ont proposé une architecture de Réseau Neuronal Récurrent multi-attentive pour évaluer la lisibilité selon une approche multilingue. Filighera et al. (2019) ont employé les réseaux neuronaux et les plongements lexicaux tels que word2vec, GloVe et ELMo, qui offrent des performances comparables aux approches de pointe basées sur l'ingénierie de caractéristiques, tout en étant plus faciles et moins coûteux à adapter à de nouveaux types de textes. Jian et al. (2022) ont introduit un modèle hybride basé sur les réseaux de neurones convolutionnels pour évaluer automatiquement la lisibilité des textes anglais, améliorant ainsi leur efficacité et leur précision. Dans sa thèse, Ma (2022) a employé des modèles Transformer pré-entraînés et a obtenu des améliorations par rapport aux approches basées sur les n-grammes. Enfin, l'exploration de l'apprentissage par renforcement profond, notamment par Mohammadi & Khasteh (2019), a également montré des résultats prometteurs.

Depuis quelque temps, certains chercheurs comme Beier et al. (2022) ont cependant mentionné du point de vue de la psychologie cognitive et de l'éducation, la nécessité de prendre en considération, non seulement des éléments linguistiques, mais aussi les informations métalinguistiques liées à la situation de lecture telles que la langue première des lecteurs, le sujet/domaine traité du texte, et le genre textuel. Il n'est toutefois pas le premier à se pencher sur cette question. Certains chercheurs ont déjà rapporté une corrélation entre les performance de modèles de prédiction de la lisibilité et le genre. Ainsi, Nelson et al. (2012) ont noté une différence de performance de plusieurs formules sur les genres informatif versus narratif. Dell'Orletta et al. (2012, 2014) ont montré, sur un corpus en italien, que la prédiction de la lisibilité était fortement influencée par le genre de textes et que, pour cette raison, une notion de lisibilité orientée par genre est nécessaire. Sheehan et al. (2013) se distinguent par leur utilisation explicite du genre, via une méthodologie en deux phases qui intègre une classification initiale des textes par genre (informatif, littéraire, ou mixte) avant l'étape d'évaluation de la lisibilité par un modèle de régression.

Plutôt que d'entraîner des modèles différents par genre, Kate et al. (2010) exploitent des modèles n-grams entraînés sur des genres différents au sein d'un modèle unique et observent une amélioration de performance. À l'inverse, il est intéressant de noter que Falkenjack et al. (2016) ont cherché à prédire l'appartenance à un genre sur la base de variables textuelles de lisibilité, prouvant ainsi l'existence d'un lien fort entre le genre et la lisibilité. Enfin, Li (2022) a évalué la lisibilité des textes de manuels selon leur genre en appliquant des métriques de la linguistique mathématique et a montré l'influence des genres sur la lisibilité et également sur la compréhensibilité des étudiants non natifs de la langue cible.

Dans le domaine du FLE, qui nous intéresse plus particulièrement, Yancey et al. (2021) ont évalué la performance d'un modèle de lisibilité affiné avec CamemBERT en fonction de huit genres différents
couramment utilisés en FLE. Ils ont observé un écart de performance de 20 % pour leur meilleur modèle entre les dialogues et des genres atypiques (tels que les chansons, prospectus, recettes, etc.). Toutefois, le genre n’est pas inclus en tant qu’une variable dans leur modèle, ce qui nous a poussé à prolonger cette expérience, avec une perspective centrée sur le genre.

De ces différents travaux, on peut retenir que l’effet du genre sur les performances des modèles de lisibilité a déjà été démontré. Une approche consiste à entraîner des modèles différents par genre (personnalisation), mais elle s’avère coûteuse. Par conséquent, nous privilégierons la stratégie de Sheehan et al. (2013), qui consiste à informer un modèle unique du genre de textes qu’il doit analyser. Nous nous démarquons toutefois en adoptant une architecture neuronale, en l’appliquant, pour la première fois, à la lisibilité du FLE et en explorant la meilleure stratégie pour informer le modèle.

## 2.2 Genre

La question du genre s'ancre dans la pluralité des disciplines et des points de vue : diverses perspectives coexistent pour aborder cette notion (Ablali, 2010). En linguistique, la définition du genre varie selon les écoles. Ainsi, dans le monde anglophone, trois courants principaux dominent les études de genre : les études de genre rhétoriques (Bazerman et al., 1988), la linguistique systémique fonctionnelle et l'anglais sur objectifs spécifiques (Swales, 1990; Bhatia, 1993). Pour le premier, le genre est décrit comme une action sociale, dans de différents contextes de communication (Miller, 1984). Quant à la linguistique systémique fonctionnelle, le genre y est défini comme un processus social comportant plusieurs étapes (stage, en anglais) et axé sur des objectifs spécifiques dans différents contextes sociaux (Martin et al., 2010). Enfin, en anglais sur objectifs spécifiques, le genre est considéré comme « des événements communicatifs reconnaissables caractérisés par des objectifs communicationnels et par différents motifs au niveau de la structure, du style, du contenu, et du public visé » (Swales, 1990, 58).

Dans le contexte francophone, la définition de cette notion reflète également une multitude de points de vue et de disciplines. Plusieurs théoriciens tels que Jean-Michel Adam, Dominique Maingueneau et Patrick Charaudeau y ont apporté leur contribution. Adam (1997) met l'accent sur les structures textuelles, analysant comment les textes se constituent en genres selon leurs caractéristiques formelles et fonctionnelles. Maingueneau (2007) considère le genre comme une notion discursive, se concentrant sur les contextes d'énonciation et les conventions influençant la production et la réception des textes. Enfin, Charaudeau (2011) s'intéresse à la dimension communicative et pragmatique des genres, étudiant comment ils structurent la communication dans divers contextes sociaux. Dans le domaine de la didactique du FLE, Beacco (2013) a approfondi la notion de genre de discours. Selon ces auteurs, les genres de discours représentent une forme métalinguistique de communication spécifique à une communauté de discours donnée, et guident les locuteurs dans leur communication verbale.

Il est à noter également que dans le monde francophone, il existe des hésitations terminologiques et un certain flottement des cadres théoriques de référence sur le genre (Adam, 2011). Les notions de “type de texte” et de “genre de texte” sont parfois considérés comme synonyme. La définition du genre/type varie, selon le point de vue du théoricien ou de la traduction, comme démontré par Adam (2011) dans son livre sur la base des titres des numéros de revues de linguistique et de didactique consacrés à cette question.

Nous considérons que le genre discursif est défini par la situation de production et de réception du texte (Adam, 2011). Pour cette étude, qui se concentre sur la lisibilité des textes en FLE, il est
essentiel de prendre en compte la réalité sur le terrain. Dans l'enseignement du FLE, les "types de texte" sont souvent inclus dans la notion de genre. Selon Adam (2011), les textes sont catégorisés en types et prototypes, selon leurs caractéristiques structurelles et fonctions communicatives. Cette notion se distingue de la notion de genre, mais est souvent confondue avec le genre à cause des confusions terminologiques historique détaillées dans (Adam, 2011). Ainsi sur le terrain, ces deux notions sont souvent mélangées. Ce flottement terminologique se retrouve dans le corpus utilisé dans cette étude (cf. section 3.2), mais, dans cet article, la notion de "genre" est utilisée comme un terme parapluie pour les méta-informations textuelles incluant le genre textuel et le type des textes.

## 2.3 Modélisation de genre en TAL

Cette étude cherchant également à prédire le genre de textes automatiquement, il convient de souligner que des recherches ont observé l'impact de genre textuel sur la performance des modèles de TAL dans diverses circonstances. Dans sa thèse, Frérot (2005) a montré que, selon le genre de corpus, les performances de différentes stratégies de rattachement prépositionnel pour une tâche d'analyse syntaxique varient. Dans le domaine de la recherche d'informations, Mothe & Tanguy (2005) ont découvert que la difficulté des requêtes peut être calculée et prédite à partir de l'analyse d'un certain nombre de traits linguistiques.

L'objectif principal de la modélisation de genre consiste à regrouper les documents par genre. Ainsi, la classification des genres est appliquée dans des tâches différentes. De l'extraction de terminologie pour des textes spécialisés (Todirascu & Guillaume, 2011; Todriascu et al., 2012), à la recherche d'information sur les genres journalistiques (Petrenz & Webber, 2011), genres du Web (Mehler et al., 2010) et genres littéraires (Ollagnier et al., 2015).

Dans les travaux de l'enseignement du FLE assisté par le TAL, le genre est également pris en considération, comme dans l'étude d'analyse linguistique des productions écrites dans apprenants (Audras & Ganascia, 2005).

# 3 Méthodologie

L'objectif de cette étude est déterminer dans quelle mesure l'intégration de l'information de genre influe sur la performance des modèles de prédiction de la lisibilité. Nous cherchons à savoir si l'ajout de cette information peut enrichir les représentations des textes et quelle méthode d'intégration s'avère être la plus efficace. Pour ce faire, nous comparons les performances d'une architecture informée du genre de texte à celles d'une architecture de référence qui ne connaît pas le genre. Nous avons limité notre étude à l'architecture transformers, car elle correspond à l'état de l'art en lisibilité et peut apprendre le genre indirectement, offrant ainsi un modèle de référence difficile à atteindre.

## 3.1 Corpus

### 3.1.1 Présentation des corpus sources

Cette étude se concentre sur l'effet de l'intégration du genre discursif des textes en tant que méta-information sur la performance des modèles de lisibilité en FLE, visant à prédire les niveaux de
compétence linguistique selon le CECR (Conseil de l'Europe, 2001). Le corpus utilisé est issu du corpus élaboré par François (2011) dans sa thèse de doctorat et comprend des extraits des manuels de FLE couvrant les six niveaux du CECR ainsi qu'une diversité de genres textuels tels que textes, dialogues, lettres/emails, publicités, poèmes/chansons, et recettes. En 2021, Yancey et al. (2021) ont constitué FLE-CORP, en suivant la même méthodologie, mais en intégrant des genres supplémentaires et en regroupant les textes des niveaux C1 et C2 pour mieux équilibrer les classes. Une portion de ce corpus a déjà servi à une recherche antérieure par Yancey et al. (2021), axée sur l'apprentissage profond et l'emploi de variables cognitives et pédagogiques. La section restante du corpus servira à l'entraînement de notre modèle de prédiction de genre, soulignant la continuité et l'évolution dans l'utilisation des ressources pour affiner les outils de mesure de la lisibilité.

### 3.1.2 Préparation du corpus

À l'origine, nous avions prévu de réutiliser le corpus FLE-CORP (Yancey et al., 2021), qui comprend 8 genres différents. Cependant, les observations des auteurs, qui ont noté une performance élevée de leurs modèles sur les dialogues (niveaux A1, A2) et faible sur des genres diversifiés comme "varias", nous ont conduit à réévaluer la pertinence des données pour notre étude. Une exploration fine du corpus a révélé que certains textes classés comme "Texte à trous" ou "Varias" devaient être éliminés. Le genre "Texte à trous" correspond à des exercices à trous dans les manuels, tandis que "Varias" regroupe plusieurs genres peu organisés. La catégorie "Texte" mélange des textes narratifs et informatifs. Idéalement, il aurait été préférable de réannoter ces textes, mais cette entreprise dépasse le périmètre de cette étude. Nous avons finalement décidé de garder ces genres par souci de comparaison avec les travaux de Yancey et al. (2021).

Pour favoriser l'équilibre des classes, les niveaux C1 et C2 ont été regroupés pour former une classe "C" plus peuplée. Ce corpus comprend ainsi 5 classes au total (A1, A2, B1, B2, C). Une fois les textes du genre "Varias" éliminés, nous avons observé un certain déséquilibre des classes, surtout pour le niveau B2. Pour limiter ce déséquilibre, nous avons récupéré des textes du niveau B2 dans le corpus de François (2011). Le corpus final, nommé Corpus-FLE-GENRES, est ainsi construit à partir des données provenant des deux corpus.

Comme l'information du genre des textes n'est pas toujours disponible sur le terrain réel, nous avons décidé de créer un corpus pour entraîner notre modèle de prédiction des genres, à partir des données qui n'ont pas été intégrées dans le Corpus-FLE-GENRES. Ce corpus, nommé Corpus-Genre, est constitué des textes et de leur genre. L'information de genre semble être partiellement associée à la lisibilité des textes dans nos données (cf. table 1), par exemple, les dialogues apparaissent davantage aux niveaux A1 et A2. Nous avons donc préparé un jeu de données dans lequel nous avons éliminé le texte de chaque donnée, ne conservant que la variable de genre en vue d'entraîner un modèle de lisibilité. Ce corpus sera nommé Genre-Text.

### 3.1.3 Analyse du corpus

Corpus-FLE-GENRE et Genre-Text contiennent 2 101 données au total, ce qui fait 650 données de moins par rapport au corpus utilisé dans l'étude de Yancey et al. (2021). Quant à corpus-GENRE contient, il inclut 1 220 textes. La table 1 présente la distribution des données en ce qui concerne les niveaux CECR et les genres dans Corpus-FLE-GENRE. Ce corpus est par la suite réparti en corpus d'entraînement, de validation et de test ayant une proportion de 70/10/20 pour les expériences.
<table><caption>TABLE 1 – Distribution des données par genre et par niveau dans Corpus-FLE-GENRE</caption><thead><tr><th>Niveau/Genre</th><th>Dialogue</th><th>Informative</th><th>Mail</th><th>Narrative</th><th>Phrase</th><th>Texte</th><th>Total</th></tr></thead><tbody><tr><td>A1</td><td>105</td><td>68</td><td>43</td><td>27</td><td>109</td><td>98</td><td>450</td></tr><tr><td>A2</td><td>53</td><td>131</td><td>31</td><td>42</td><td>65</td><td>128</td><td>450</td></tr><tr><td>B1</td><td>28</td><td>86</td><td>28</td><td>28</td><td>26</td><td>254</td><td>450</td></tr><tr><td>B2</td><td>17</td><td>67</td><td>24</td><td>28</td><td>65</td><td>100</td><td>301</td></tr><tr><td>C</td><td>0</td><td>104</td><td>8</td><td>55</td><td>39</td><td>244</td><td>450</td></tr><tr><td>Total</td><td>203</td><td>456</td><td>134</td><td>180</td><td>304</td><td>824</td><td>2 101</td></tr></tbody></table>

Nous pouvons constater que Corpus-FLE-GENRE offre une belle variété au niveau du nombre de textes associés à chaque genre et à chaque niveau. Le niveau B2 a toutefois un nombre de textes inférieur de 149 par rapport aux autres niveaux (qui en comportent 450 chacun). Le niveau A1 comporte un nombre relativement élevé de dialogues et de phrases, ce qui est cohérent avec les compétences de communication basique et la construction de phrases simples à ce stade de l'apprentissage. À mesure que le niveau augmente, on note une augmentation du nombre de textes informatifs et narratifs, ce qui va de pair avec la progression des compétences linguistiques vers un niveau plus élaboré. Enfin, le niveau C met particulièrement l'accent sur les textes informatifs et narratifs, reflétant la maîtrise avancée de la langue nécessaire pour comprendre et produire des textes détaillés et nuancés. Cependant, quand on prête attention aux genres majoritaires dans chaque niveau, nous pouvons observer des similitudes entre chaque niveau à savoir que le genre "Text" est majoritaire dans les niveaux A2, B1, B2 et C. La situation est la même pour le genre informatif. Cette situation est très prononcée dans la classe B1 et surtout B2. Quant à Genre-Text, il ne comprend pas de données issues du niveau B2 et très peu du niveau C, ce qui ne semble néanmoins pas constituer une limite. Par contre, le corpus a un grand nombre de textes du genre texte et Phrase, mais très peu de textes du genre narratif et mail.

### 3.1.4 Architectures

Pour notre modèle de référence, nous avons opté pour un CamemBERT affiné (voir figure en annexe 3) disposant uniquement des informations textuelles (sans inclure le genre de texte), car cela correspond à l'approche couramment appliquée en lisibilité.

Ensuite, pour évaluer l'apport de l'information de genre, nous avons entraîné un modèle CamemBERT affiné similaire au modèle de référence, mais avec l'information sur le genre du texte en tant que paramètre d'entrée donné en même temps que le texte. Nous avons exploré deux stratégies pour informer les modèles de lisibilité avec le genre. Premièrement, une chaîne de caractères indiquant le genre (modèle Concat<sub>théorique</sub>, voir figure en annexe 5b) est concatené avec le texte à analyser, et cet input est utilisé pour affiner CamemBERT. Cette stratégie vise à tirer parti de l'information déjà encodée dans CamemBERT concernant les tokens associés au genre. Deuxièmement, nous concatenons le vecteur du texte d'entrée après encodage par CamemBERT avec un vecteur "one-hot" représentant le genre (modèle One-Hot<sub>théorique</sub>, voir figure en annexe 4b). Le résultat de cette concatenation est ensuite transmis à la tête de classification de CamemBERT. Ces deux stratégies sont illustrées respectivement dans la Figure 4b en annexe.

La comparaison de ces modèles permet d'évaluer l'apport de l'information de genre à l'identification automatique de la lisibilité d'un texte. Néanmoins, ces modèles constituent un idéal théorique, partant
du principe que la méta-information de genre est connue avec certitude, ce qui n'est pas réalisable
avec les limites de la technologie actuelle. Nous avons donc envisagé deux autres modèles afin
d'évaluer notre question de recherche dans un environnement plus proche de la réalité des modèles
de lisibilité. Ces modèles partagent les mêmes structures que les modèles de concaténation présentés
ci-dessus, mais les informations sur le genre proviennent d'un modèle de prédiction automatique du
genre. Ces modèles alternatifs sont appelés Concat<sub>réaliste</sub> (voir figure 6b) et One-Hot<sub>réaliste</sub> (voir figure
6c).

<figure><img src="image_137.png" /><figcaption>(a) Modèle basé sur le nom du genre (Concat<sub>réaliste</sub>)</figcaption></figure>

<caption>(b) Modèle basé sur le vecteur de genre (One-Hot<sub>réaliste</sub>)</caption>

FIGURE 1 – Modèle de concaténation de genre réaliste

Dans cette optique, un modèle automatique est nécessaire pour prédire le genre. Toutefois, un modèle
pour prédire les genres en FLE, et plus précisément les genres fournis dans notre contexte d'étude,
n'est pas disponible. Nous avons donc développé notre propre modèle d'identification du genre.
Comme ce travail ne vise pas à apporter une contribution directe au domaine de la classification
automatique du genre, nous avons opté pour un modèle relativement standard, reposant également sur
un CamembERT affiné pour prédire les genres à partir du texte. Il est entraîné sur un échantillon de
textes de FLE de notre corpus non utilisés pour l'entraînement des modèles de lisibilité, afin d'éviter
d'introduire un biais (pour plus de détails, voir la section 3.1.2).

Tous nos modèles ont été évalués en utilisant une approche de validation croisée à 5 plis pour garantir
la robustesse et la généralisabilité des résultats. De plus, l'arrêt anticipé (early stopping) basé sur la
métrique F-mesure a été employé pour optimiser chaque modèle sans risque de sur-apprentissage.
Les performances ont été mesurées à l'aide de métriques standards de classification : l'exactitude
, la précision, le rappel, et le F-mesure. Ces mesures sont rapportées sur l'ensemble du corpus,
mais également pour chaque niveau de lisibilité et pour chaque genre. Des analyses statistiques ont
été menées pour déterminer si les améliorations observées étaient significatives, permettant ainsi
d'évaluer de manière rigoureuse l'impact de l'intégration de l'information de genre sur la performance
des modèles.

Un modèle de prédiction de la lisibilité basé exclusivement sur les genres sera également développé,
mais nous ne discutons pas sa performance, car nous sommes intéressés par son évaluation extrinsèque,
au sein de la tâche de lisibilité.

# 4 Résultats

Notre étude sur l'intégration de l'information de genre dans la prédiction de la lisibilité des textes en français langue étrangère (FLE) a évalué cinq modèles : CamemBERT, Concat<sub>théorique</sub>, One-Hot<sub>théorique</sub>, One-Hot<sub>réaliste</sub>, et Concat<sub>réaliste</sub>. La table 2 présente les scores d'exactitude obtenus par ces modèles sur l'ensemble des données (Global) et sur chacun des genres considérés, ainsi leurs écart-types et leur intervalle de confiance.

<table><caption>TABLE 2 – Scores d'exactitude moyens par genre pour chaque modèle avec écart-type et intervalle de confiance à 95 %.</caption><thead><tr><th>Genre</th><th>CamemBERT</th><th>Concat<sub>théorique</sub></th><th>One-Hot<sub>théorique</sub></th><th>One-Hot<sub>réaliste</sub></th><th>Concat<sub>réaliste</sub></th><th>Écart-type</th></tr></thead><tbody><tr><td>Texte</td><td>0,53</td><td>0,51</td><td>0,53</td><td>0,51</td><td>0,48</td><td>0,04</td></tr><tr><td>Informative</td><td>0,64</td><td>0,65</td><td>0,65</td><td>0,59</td><td>0,56</td><td>0,03</td></tr><tr><td>Mail</td><td>0,43</td><td>0,54</td><td>0,67</td><td>0,52</td><td>0,43</td><td>0,09</td></tr><tr><td>Phrase</td><td>0,42</td><td>0,46</td><td>0,53</td><td>0,44</td><td>0,53</td><td>0,04</td></tr><tr><td>Dialogue</td><td>0,69</td><td>0,74</td><td>0,69</td><td>0,66</td><td>0,68</td><td>0,02</td></tr><tr><td>Narrative</td><td>0,56</td><td>0,61</td><td>0,57</td><td>0,52</td><td>0,53</td><td>0,06</td></tr><tr><td>Global</td><td>0,55</td><td>0,57</td><td>0,59</td><td>0,54</td><td>0,55</td><td>0,02</td></tr></tbody></table>

L'intégration de l'information de genre montre des gains d'exactitude de 0,02 (Concat<sub>théorique</sub>) et 0,05 (One-Hot<sub>théorique</sub>) par rapport au modèle de référence (CamemBERT), bien que ces gains ne soient pas statistiquement significatifs. Certains genres bénéficient davantage de l'intégration de l'information de genre. Par exemple, pour le genre "Dialogue", Concat<sub>théorique</sub> améliore l'exactitude de 0,05 par rapport à CamemBERT. Le genre "Mail" voit l'exactitude du modèle One-Hot<sub>théorique</sub> atteindre 0,67 contre 0,43 pour CamemBERT. L'utilisation de modèles réalistes, qui prédisent le genre des textes, diminue logiquement les performances. Ainsi, l'exactitude du modèle One-Hot<sub>réaliste</sub> diminue de 0,05 par rapport à One-Hot<sub>théorique</sub>, et Concat<sub>réaliste</sub> perd 0,02.

Les intervalles de confiance et les écarts-types fournissent des informations crucales sur la stabilité et la précision des performances des modèles. L'analyse des intervalles de confiance (IC) (voir Figure 5) pour l'accuracy des modèles sur différents genres de textes révèle que les modèles 'Concat<sub>réaliste</sub>' et 'Baseline' présentent généralement des IC plus étroits, indiquant une plus grande stabilité dans leurs prédictions. Par exemple, 'Concat<sub>réaliste</sub>' affiche l'IC le plus étroit pour les genres 'texte' (0.039668) et 'mail' (0.104243), ce qui suggère une performance cohérente. En revanche, les modèles 'One-Hot<sub>réaliste</sub>' et 'Concat<sub>théorique</sub>' montrent des IC plus larges dans certains genres, tels que 'sentence' et 'dialogue', indiquant une variabilité plus importante dans leurs performances de prédiction. Les genres 'narrative' et 'mail' montrent une plus grande variabilité dans les performances de certains modèles, suggérant que ces types de textes posent plus de défis pour des prédictions stables. Par exemple, le modèle 'Baseline' a un IC très large pour le genre 'narrative' (0.277162), tandis que 'Concat<sub>théorique</sub>' affiche un IC large pour 'mail' (0.324186). Le tableau 5 montre que la stabilité des performances des modèles varie non seulement entre les modèles, mais aussi en fonction des genres de texte.

T-test sur les intervalles de confiance par genres de chaque modèle et les écarts-types sur l'exactitude fournissent des informations crucales sur la stabilité et la précision des performances des modèles (voir Figure 6 & 7). Les modèles Concat<sub>théorique</sub> et One-Hot<sub>théorique</sub> semblent offrir une stabilité comparable
avec une variabilité de performance relativement faible. Les modèles hybrides montrent plus de variabilité, suggérant une performance moins stable. La plupart des comparaisons montrent des P-Values non significatives, indiquant que les améliorations de performance par rapport au modèle Baseline ne sont pas statistiquement significatives pour la plupart des types de texte, à quelques exceptions près comme Concat<sub>réaliste</sub> pour certains genres.

Quant à l'analyse des erreurs, nous allons la traiter selon deux perspectives : l'évaluation des matrices de confusion au niveau des genres et la corrélation entre les caractéristiques linguistiques et les erreurs de prédiction. Les matrices de confusion montrent que les modèles proposés améliorent leurs performances par rapport au modèle de référence (voir Figures 5 et 6). Pour le genre "Texte", les modèles Concat<sub>théorique</sub> et Concat<sub>réaliste</sub> réduisent légèrement les confusions, notamment aux niveaux A1 et C. Cependant, des confusions persistent entre les niveaux intermédiaires tels que A2, B1 et B2, souvent dues à la similarité des caractéristiques entre ces niveaux et genres, indiquant un besoin d'amélioration dans la différenciation des caractéristiques.

Avec l'outil FABRA (Wilkens et al., 2022), nous avons analysé la corrélation entre certaines caractéristiques linguistiques (longueur des textes et longueur moyenne des mots) et les erreurs de prédiction (voir Figure 7). Les corrélations observées sont faibles, indiquant que ces caractéristiques n'ont pas une influence significative sur les erreurs. Cela suggère que d'autres facteurs, comme la complexité syntaxique, la fréquence des mots, et les relations sémantiques, pourraient être plus pertinents pour expliquer les erreurs.

Pour améliorer les modèles, il serait bénéfique d'explorer ces autres variables linguistiques plus en profondeur. Une analyse détaillée de la complexité syntaxique, de la fréquence des mots et d'autres aspects linguistiques pourrait fournir des diagnostics précieux pour affiner les modèles et améliorer la précision des prédictions de lisibilité.

# 5 Conclusion

Notre étude approfondit la compréhension de l'impact du genre sur la prédiction de la lisibilité en FLE, confirmant l'importance cruciale de ces méta-informations. Bien que l'intégration du genre n'ait pas conduit à des améliorations significatives globalement, nos analyses par genre révèlent des nuances spécifiques, confirmant l'impact soulevé dans certaines études en lisibilité mentionnées dans la section 2.1. Même avec ce signal faible, nous concluons que les informations sur le genre aident à identifier le niveau de lisibilité d'un texte. Toutefois, cette tâche est loin d'être achevée. En effet, notre travail montre que plusieurs éléments doivent être mis en place afin d'obtenir un véritable modèle de lisibilité intégrant le genre. Pour les futures recherches, nous estimons que la collecte de données variées est fondamentale, y compris la nécessité d'un corpus doté d'informations bien calibrées sur le genre. D'autre part, il est important de développer des architectures qui prennent efficacement en compte le genre. Notre étude préliminaire montre que le genre doit être traité comme une information riche et le modèle doit lui accorder une position préférentielle, afin d'affiner et d'améliorer la performance des modèles de lisibilité.
Références

ABLALI D. (2010). Linguistique des genres. exploration sur corpus. *Linguistique & Littérature : Cluny*, **40**, 251.

ADAM J.-M. (1997). Genres, textes, discours : pour une reconception linguistique du concept de genre. *Revue belge de philologie et d'histoire*, **75**(3), 665-681.

ADAM J.-M. (2011). La linguistique textuelle. introduction à l'analyse textuelle des discours. *Semen*, **32**, 182-185. DOI: https://doi.org/10.4000/semen.9411.

AUDRAS I. & GANASCIA J.-G. (2005). Des outils informatiques au service du passage à l'écrit d'apprenants.

AZPIAZU I. & PERA M. (2019). Multiattentive recurrent neural network architecture for multilingual readability assessment. *Transactions of the Association for Computational Linguistics*, **7**, 421-436. DOI: 10.1162/tacl_a_00278.

BAZERMAN C. et al. (1988). *Shaping written knowledge : The genre and activity of the experimental article in science*, volume 356. University of Wisconsin Press Madison.

BEACCO J.-C. (2013). L'approche par genres discursifs dans l'enseignement du français langue étrangère et langue de scolarisation. *Pratiques. Linguistique, littérature, didactique*, (157-158), 189-200. Number : 157-158 Publisher : Association CRESEF, DOI : 10.4000/pratiques.3838.

BEIER S., BERLOW S., BOUCAUD E., BYLINSKII Z., CAI T., COHN J., CROWLEY K., DAY S. L., DINGLER T., DOBRES J., HEALEY J., JAIN R., JORDAN M., KERR B., LI Q., MILLER D. B., NOBLES S., PAPOUTSAKI A., QIAN J., REZVANIAN T., RODRIGO S., SAWYER B. D., SHEPPARD S. M., STEIN B., TREITMAN R., VANEK J., WALLACE S. & WOLFE B. (2022). Readability Research : An Interdisciplinary Approach. *Foundations and Trends® in Human-Computer Interaction*, **16**(4), 214-324. DOI: 10.1561/1100000089.

BHATIA V. (1993). *Analysing Genre : Language Use in Professional Settings*. Applied linguistics and language study. Longman.

BROWN W. (1965). Science textbook selection and the Dale-Chall formula. *School Science and Mathematics*, **65**(2), 164–167.

CHARAUDEAU P. (2011). Chapitre 1. l'information comme acte de communication. *Medias-Recherches*, **2**, 21-28.

COLLINS-THOMPSON K. & CALLAN J. (2005). Predicting Reading difficulty with Statistical Language Models. *JASIST*, **56**, 1448-1462. DOI: 10.1002/asi.20243.

CONSEIL DE L'EUROPE (2001). *Cadre Européen Commun de Référence pour les Langues : Apprendre, enseigner, évaluer*.

DALE E. & CHALL J. (1948). A formula for predicting readability. *Educational research bulletin*, **27**(1), 11-28.

DALE E. & CHALL J. (1949). The concept of readability. *Elementary English*, **26**(1), 19-26.

DELL'ORLETTA F., VENTURI G. & MONTEMAGNI S. (2012). Genre-oriented Readability Assessment : a Case Study. p. 91-98.

DELL'ORLETTA F., WIELING M., VENTURI G., CIMINO A. & MONTEMAGNI S. (2014). Assessing the Readability of Sentences : Which Corpora and Features ? In *Proceedings of the Ninth Workshop on Innovative Use of NLP for Building Educational Applications*, p. 163-173, Baltimore, Maryland : Association for Computational Linguistics. DOI: 10.3115/v1/W14-1820.

FALKENJACK J., SANTINI M. & JONSSON A. (2016). An Exploratory Study on Genre Classification using Readability Features.
FILIGHERA A., STEUER T. & RENSING C. (2019). *Automatic Text Difficulty Estimation Using Embeddings and Neural Networks*, p. 335–348. DOI: 10.1007/978-3-030-29736-7_25.

FLESCH R. (1948). A new readability yardstick. *Journal of Applied Psychology*, **32**(3), 221–233.
Place: US Publisher: American Psychological Association, DOI: 10.1037/h0057532.

FRANÇOIS T. (2011). *Les apports du traitement automatique du langage à la lisibilité du français langue étrangère*. Thèse de doctorat, Université Catholique de Louvain.

FRÉROT C. (2005). *Construction et évaluation en corpus variés de lexiques syntaxiques pour la résolution des ambiguïtés de rattachement prépositionnel*. Thèse de doctorat, Université de soutenance.

HIEBERT E. H. & PEARSON P. D. (2010). An examination of current text difficulty indices with early reading texts. reading research report #10-01.

JACOBSON M. (1965). Reading difficulty of physics and chemistry textbooks. *Educational and Psychological Measurement*, **25**(2), 449–457.

JIAN L., XIANG H. & LE G. (2022). English text readability measurement based on convolutional neural network: A hybrid network model. *Computational Intelligence and Neuroscience*, **2022**, 1–9.
DOI: 10.1155/2022/6984586.

KATE R., LUO X., PATWARDHAN S., FRANZ M., FLORIAN R., MOONEY R., ROUKOS S. & WELTY C. (2010). Learning to Predict Readability using Diverse Linguistic Features. p. 546–554.

KINCAID J. P., FISHBURNE J., ROBERT P. R., RICHARD L. C. & BRAD S. (1975). *Derivation of New Readability Formulas (Automated Readability Index, Fog Count and Flesch Reading Ease Formula) for Navy Enlisted Personnel :. Rapport interne, Defense Technical Information Center, Fort Belvoir, VA. DOI: 10.21236/ADA006655.*

LI W. (2022). Text genres, readability and readers' comprehensibility. *European Journal of Computer Science and Information Technology*, **10**, 52–62. DOI: 10.37745/ejcsit.2013/vol10n45262.

MA C. (2022). *Readability Assessment with Pre-trained Transformer Models*. Thèse de doctorat.

MAINGUENEAU D. (2007). Genres de discours et modes de généricité. *Le français aujourd'hui*, (4), 29–35.

MARTIN J., CHRISTIE F. & ROTHERY J. (2010). Social processes in education : a reply to sawyer and watson. *Metaphor*, (4), 51–52.

MEHLER A., SHAROFF S. & SANTINI M. (2010). *Genres on the Web : Computational Models and Empirical Studies*, volume 42. DOI: 10.1007/978-90-481-9178-9.

MILLER C. R. (1984). Genre as social action. *Quarterly journal of speech*, **70**(2), 151–167.

MOHAMMADI H. & KHASTEH S. H. (2019). Text as environment : A deep reinforcement learning text readability assessment model.

MOTHE J. & TANGUY L. (2005). Linguistic features to predict query difficulty.

NELSON J., PERFETTI C., LIBEN D. & LIBEN M. (2012). Measures of Text Difficulty :. *Council of Chief State School Officers*, Washington, DC.

OLLAGNIER A., FOURNIER S. & BELLOT P. (2015). Analyse en dépendance et classification de requêtes en langue naturelle, application à la recommandation de livres [dependency parsing and classification of natural language queries : application to book recommendation]. *Traitement Automatique des Langues*, **56**(3), 23–47.

PETRENZ P. & WEBBER B. (2011). Stable classification of text genres. *Computational Linguistics*, **37**, 385–393. DOI: 10.1162/COLI_a_00052.

PITLER E. & NENKOVA A. (2008). Revisiting readability : a unified framework for predicting text quality. In *Proceedings of the Conference on Empirical Methods in Natural Language Proces-
sing - EMNLP '08, p. 186, Honolulu, Hawaii : Association for Computational Linguistics. DOI : 10.3115/1613715.1613742.

SCHWARM S. & OSTENDORF M. (2005). Reading level assessment using support vector machines and statistical language models. *Proceedings of the 43rd Annual Meeting on Association for Computational Linguistics*, p. 523–530.

SHEEHAN K. M., FLOR M. & NAPOLITANO D. (2013). A two-stage approach for generating unbiased estimates of text complexity. In *Proceedings of the Workshop on Natural Language Processing for Improving Textual Accessibility*, p. 49–58.

SWALES J. (1990). *Genre Analysis: English in Academic and Research Settings*. Cambridge Applied Linguistics. Cambridge University Press.

TERS F. (1976). Henry (Georges). — Comment mesurer la lisibilité. *Revue française de pédagogie*, **36**(1), 71–74.

TODIRASCU A. & GUILLAUME B. (2011). Classyn : classer les documents selon le genre textuel.

TODRIASCU A., PADÓ S., KISSELEW M., KRISCH J. & HEID U. (2012). French and german corpora for audience-based text type classification.

VAJJALA S. & MEURERS D. (2012). On improving the accuracy of readability classification using insights from second language acquisition. In *Proceedings of the Seventh Workshop on Building Educational Applications Using NLP*, p. 163–173.

WILKENS R., ALFTER D., WANG X., PINTARD A., TACK A., YANCEY K. P. & FRANÇOIS T. (2022). FABRA : French aggregator-based readability assessment toolkit. In *Proceedings of the Thirteenth Language Resources and Evaluation Conference*, p. 1217–1233, Marseille, France : European Language Resources Association.

YANCEY K., PINTARD A. & FRANÇOIS T. (2021). Investigating readability of french as a foreign language with deep learning and cognitive and pedagogical features. *Lingue e linguaggio*, **20**(2), 229–258.
# Annexes

## Annexe 1 : Distribution de longueur de texte par genre et par niveau

Ce tableau présente le nombre de mots maximum, minimum et moyen par genre dans le corpus FLE-GENRE.

<table><caption>TABLE 3 – Nombre de mots par genre dans Corpus-FLE-GENRE</caption><thead><tr><th>Genre</th><th>Dialogue</th><th>Informative</th><th>Mail</th><th>Narrative</th><th>Phrase</th><th>Texte</th></tr></thead><tbody><tr><td>MaxNbmot</td><td>522</td><td>1682</td><td>646</td><td>1427</td><td>340</td><td>2485</td></tr><tr><td>MinNbmot</td><td>12</td><td>15</td><td>23</td><td>3</td><td>18</td><td>15</td></tr><tr><td>MoyenNbmot</td><td>146,67</td><td>228,22</td><td>138,52</td><td>225,21</td><td>73,15</td><td>251,48</td></tr></tbody></table>

Ce tableau montre la distribution de la longueur des textes par niveau de compétence. Elle permet de visualiser comment la complexité textuelle varie en fonction des niveaux de compétence des apprenants.

<table><caption>TABLE 4 – Nombre de mots par niveau dans Corpus-FLE-GENRE</caption><thead><tr><th>Niveau</th><th>A1</th><th>A2</th><th>B1</th><th>B2</th><th>C</th></tr></thead><tbody><tr><td>MaxNbmot</td><td>346</td><td>644</td><td>719</td><td>2485</td><td>1682</td></tr><tr><td>MinNbmot</td><td>12</td><td>15</td><td>24</td><td>3</td><td>15</td></tr><tr><td>MoyenNbmot</td><td>94,01</td><td>134,58</td><td>191,60</td><td>254,48</td><td>348,26</td></tr></tbody></table>
Annexe 2 : Intervalles de Confiance

Ce tableau présente les intervalles de confiance de précision pour chaque genre et chaque modèle. Ces données sont essentielles pour évaluer la variabilité et la stabilité des performances des modèles.

<table><caption>TABLE 5 – Intervalles de Confiance de Précision par Genre et par Modèle</caption><thead><tr><td>Modèle</td><td>Texte</td><td>Phrase</td><td>Narratif</td><td>Informatif</td><td>Dialogue</td><td>Mail</td></tr></thead><tbody><tr><td>Baseline</td><td>0.0693</td><td>0.0909</td><td>0.2772</td><td>0.0436</td><td>0.2749</td><td>0.1286</td></tr><tr><td>Concat_théorique</td><td>0.0827</td><td>0.1515</td><td>0.1922</td><td>0.1184</td><td>0.2749</td><td>0.3242</td></tr><tr><td>One_hot_théorique</td><td>0.0834</td><td>0.1773</td><td>0.1676</td><td>0.1303</td><td>0.1632</td><td>0.1749</td></tr><tr><td>One_hot_réaliste</td><td>0.1071</td><td>0.0611</td><td>0.0850</td><td>0.1639</td><td>0.2290</td><td>0.2145</td></tr><tr><td>Concat_réaliste</td><td>0.0397</td><td>0.0645</td><td>0.0862</td><td>0.0702</td><td>0.1524</td><td>0.1042</td></tr></tbody></table>
Annexe 3 : Comparaisons Statistiques

Ces tableaux présentent les résultats des tests T et les valeurs P pour les comparaisons des performances des modèles par genre. Ils aident à déterminer si les différences observées entre les modèles sont statistiquement significatives.

<table><caption>TABLE 6 – Statistiques T et Valeurs P pour les Comparaisons de Modèles par Genre-1</caption><thead><tr><td>Type de Texte</td><td>Modèle de Base</td><td>Modèle de Comparaison</td><td>Statistique T</td><td>Valeur P</td></tr></thead><tbody><tr><td>text</td><td>Baseline</td><td>Concat</td><td>-0.2733</td><td>0.7930</td></tr><tr><td>sentence</td><td>Baseline</td><td>Concat</td><td>-1.0075</td><td>0.3434</td></tr><tr><td>narrative</td><td>Baseline</td><td>Concat</td><td>-0.4031</td><td>0.6993</td></tr><tr><td>informative</td><td>Baseline</td><td>Concat</td><td>0.3593</td><td>0.7287</td></tr><tr><td>dialogue</td><td>Baseline</td><td>Concat</td><td>0.0798</td><td>0.9384</td></tr><tr><td>mail</td><td>Baseline</td><td>Concat</td><td>0.8824</td><td>0.4033</td></tr><tr><td>text</td><td>Baseline</td><td>One_hot</td><td>-0.5426</td><td>0.6081</td></tr><tr><td>sentence</td><td>Baseline</td><td>One_hot</td><td>-1.1712</td><td>0.2758</td></tr><tr><td>narrative</td><td>Baseline</td><td>One_hot</td><td>-0.5081</td><td>0.6278</td></tr><tr><td>informative</td><td>Baseline</td><td>One_hot</td><td>0.2621</td><td>0.8002</td></tr><tr><td>dialogue</td><td>Baseline</td><td>One_hot</td><td>0.1984</td><td>0.8487</td></tr><tr><td>mail</td><td>Baseline</td><td>One_hot</td><td>-0.3696</td><td>0.7214</td></tr><tr><td>text</td><td>Baseline</td><td>One_hot_réaliste</td><td>1.5300</td><td>0.1848</td></tr><tr><td>sentence</td><td>Baseline</td><td>One_hot_réaliste</td><td>-0.6657</td><td>0.5271</td></tr><tr><td>narrative</td><td>Baseline</td><td>One_hot_réaliste</td><td>-0.3196</td><td>0.7615</td></tr><tr><td>informative</td><td>Baseline</td><td>One_hot_réaliste</td><td>0.2390</td><td>0.8174</td></tr><tr><td>dialogue</td><td>Baseline</td><td>One_hot_réaliste</td><td>0.2809</td><td>0.7876</td></tr><tr><td>mail</td><td>Baseline</td><td>One_hot_réaliste</td><td>-1.8058</td><td>0.1088</td></tr><tr><td>text</td><td>Baseline</td><td>Concat_réaliste</td><td>-6.1665</td><td>0.0016</td></tr><tr><td>sentence</td><td>Baseline</td><td>Concat_réaliste</td><td>-2.7598</td><td>0.0250</td></tr><tr><td>narrative</td><td>Baseline</td><td>Concat_réaliste</td><td>-0.8314</td><td>0.4445</td></tr><tr><td>informative</td><td>Baseline</td><td>Concat_réaliste</td><td>-2.8235</td><td>0.0239</td></tr><tr><td>dialogue</td><td>Baseline</td><td>Concat_réaliste</td><td>-0.8194</td><td>0.4421</td></tr><tr><td>mail</td><td>Baseline</td><td>Concat_réaliste</td><td>-2.7423</td><td>0.0295</td></tr></tbody></table>
<table><caption>TABLE 7 – Statistiques T et Valeurs P pour les Comparaisons de Modèles par Genre-2</caption><thead><tr><th>Type de Texte</th><th>Modèle de Base</th><th>Modèle de Comparaison</th><th>Statistique T</th><th>Valeur P</th></tr></thead><tbody><tr><td>text</td><td>One_hot</td><td>One_hot_réaliste</td><td>1.6450</td><td>0.1399</td></tr><tr><td>sentence</td><td>One_hot</td><td>One_hot_réaliste</td><td>0.7413</td><td>0.4848</td></tr><tr><td>narrative</td><td>One_hot</td><td>One_hot_réaliste</td><td>0.3397</td><td>0.7441</td></tr><tr><td>informative</td><td>One_hot</td><td>One_hot_réaliste</td><td>-0.0228</td><td>0.9823</td></tr><tr><td>dialogue</td><td>One_hot</td><td>One_hot_réaliste</td><td>0.1095</td><td>0.9155</td></tr><tr><td>mail</td><td>One_hot</td><td>One_hot_réaliste</td><td>-1.5003</td><td>0.1719</td></tr><tr><td>text</td><td>One_hot</td><td>Concat_réaliste</td><td>-2.4254</td><td>0.0688</td></tr><tr><td>sentence</td><td>One_hot</td><td>Concat_réaliste</td><td>-1.3219</td><td>0.2249</td></tr><tr><td>narrative</td><td>One_hot</td><td>Concat_réaliste</td><td>-0.4000</td><td>0.7026</td></tr><tr><td>informative</td><td>One_hot</td><td>Concat_réaliste</td><td>-2.6811</td><td>0.0335</td></tr><tr><td>dialogue</td><td>One_hot</td><td>Concat_réaliste</td><td>-1.4040</td><td>0.1980</td></tr><tr><td>mail</td><td>One_hot</td><td>Concat_réaliste</td><td>-2.4572</td><td>0.0429</td></tr><tr><td>text</td><td>One_hot_réaliste</td><td>Concat_réaliste</td><td>-4.1242</td><td>0.0134</td></tr><tr><td>sentence</td><td>One_hot_réaliste</td><td>Concat_réaliste</td><td>-2.6081</td><td>0.0334</td></tr><tr><td>narrative</td><td>One_hot_réaliste</td><td>Concat_réaliste</td><td>-1.0042</td><td>0.3458</td></tr><tr><td>informative</td><td>One_hot_réaliste</td><td>Concat_réaliste</td><td>-2.6820</td><td>0.0332</td></tr><tr><td>dialogue</td><td>One_hot_réaliste</td><td>Concat_réaliste</td><td>-1.5581</td><td>0.1578</td></tr><tr><td>mail</td><td>One_hot_réaliste</td><td>Concat_réaliste</td><td>-0.7142</td><td>0.4977</td></tr></tbody></table>
Annexe 4 : Distribution de longueur de texte par genre et par niveau

Cette figure montre la distribution de la longueur des textes par genre et par niveau de compétence.

<figure><img src="image_138.png" /><figcaption>FIGURE 2 – Distribution de longueur de texte par genre et niveau</figcaption></figure>
Annexe 5 : Modèles et Architectures

Ces figure illustre le modèle de base (Baseline) utilisé dans l'étude pour prédire la lisibilité des textes qui ne prend en compte que les informations textuelles sans intégrer les méta-informations de genre.

<figure><img src="image_139.png" /><figcaption>FIGURE 3 – Modèle Baseline</figcaption></figure>
Cette figure présente deux variantes de modèles théoriques utilisant la concaténation de l'information de genre avec les textes. Le modèle (a) utilise le nom du genre, tandis que le modèle (b) utilise

<figure><img src="image_140.png" /></figure>

un vecteur "one-hot" pour représenter le genre. (a) Modèle basé sur le nom du genre (Concat<sub>théorique</sub>)

<figure><img src="image_141.png" /></figure>

(b) Modèle basé sur le vecteur de genre (One-hot<sub>théorique</sub>)

<caption>FIGURE 4 – Modèle de concaténation de genre Théorique</caption>
Annexe 6 : Matrices de Confusion

Ces matrices de confusion montrent les performances des différents modèles dans la prédiction de la lisibilité pour le genre 'Texte'. Elles illustrent les confusions entre les niveaux de compétence, ce qui aide à identifier les domaines où les modèles peuvent être améliorés.

<figure><img src="image_142.png" /><figcaption>(a) Matrice de confusion - Texte (Baseline)</figcaption></figure>

<figure><img src="image_143.png" /><figcaption>(b) Matrice de confusion - Texte (Concat théorique)</figcaption></figure>

FIGURE 5 – Matrices de confusion de la prédiction de la lisibilité pour le genre 'Texte'
<figure><img src="image_144.png" /><figcaption>(a) Matrice de confusion - Texte (One-hot<sub>théorique</sub>)</figcaption></figure>

<figure><img src="image_145.png" /><figcaption>(b) Matrice de confusion - Texte (Concat<sub>réaliste</sub>)</figcaption></figure>

<figure><img src="image_146.png" /><figcaption>(c) Matrice de confusion - Texte (One-hot<sub>réaliste</sub>)</figcaption></figure>

FIGURE 6 – Matrices de confusion de la prédiction de la lisibilité pour le genre 'Texte' bis
Annexe 7 : Corrélation et Analyses d'Erreur

Cette figure montre les corrélations entre certaines caractéristiques linguistiques (comme la longueur des textes et la longueur moyenne des mots) et les erreurs de prédiction. Les corrélations observées sont faibles, suggérant que d'autres facteurs linguistiques pourraient être plus pertinents pour expliquer les erreurs.

<figure><img src="image_147.png" /><figcaption>FIGURE 7 – Visualisation Corrélation Caractéristiques linguistiques et Erreurs</figcaption></figure>
# LLM-Generated Contexts to Practice ESP Vocabulary: Corpus Presentation and Comparison

Iglika Nikolova-Stoupak¹ Serge Bibauw³ Amandine Dumont² Françoise Stas²

Patrick Watrin¹ Thomas François¹

(1) CENTAL, (2) ILV, (3) IACCHOS, Université catholique de Louvain, 1348 Louvain-la-Neuve, Belgique
{iglika.nikolova, serge.bibauw, amandine.dumont, francoise.stas, patrick.watrin, thomas.francois}@uclouvain.be

## RÉSUMÉ

Contextes générés par LLM pour pratiquer le vocabulaire anglais de spécialité : présentation de corpus et comparaison

Ce projet analyse la capacité des LLM (grands modèles de langue) et de corpus web à fournir des contextes visant la pratique et l'apprentissage de vocabulaire anglais spécialisé dans un contexte universitaire. Le but sous-jacent est d'augmenter le volume d'exemples utilisables et leur facilité de mise au point tout en conservant la qualité actuelle où ils sont conçus par des spécialistes. Sur la base d'un jeu de contextes de référence — utilisés en classe — visant à l'apprentissage d'une liste de vocabulaire spécialisé, nous comparons les caractéristiques linguistiques de contextes générés par trois LLM récents de différentes tailles (Mistral-7B-Instruct, Vicuna-13B et Gemini 1.0 Pro) et un corpus de contextes extraits automatiquement d'articles de sites web spécialisés. Les caractéristiques textuelles évaluées incluent la longueur, la morphosyntaxe, la sémantique et le niveau discursif. En fin de compte, nous identifions le corpus généré par un LLM (Gemini) dans un scénario one-shot comme étant celui qui se rapproche le plus du corpus de référence.

## ABSTRACT

This project analyses the ability of LLMs (large language models) and web-based corpora to provide contexts for the practice and acquisition of specialised English vocabulary in a university context. The underlying purpose is to increase the volume of usable examples and their ease of generation while retaining the currently established quality of learning materials as crafted by specialists. We present a reference corpus of contexts — handpicked by expert teachers — for a specialised vocabulary list, as well as related corpora generated by three recent LLMs of different sizes (Mistral-7B-Instruct, Vicuna-13B, and Gemini 1.0 Pro) and a corpus extracted from articles crawled from specialised websites. We evaluate and compare the corpora based on a representative set of textual characteristics (length-based, morphosyntactic, lexico-semantic, and discourse-related). Ultimately, we identify a corpus generated by an LLM (Gemini) in a one-shot setting as coming closest to the reference one.

**MOTS-CLÉS** : grands modèles de langue, vocabulaire anglais spécialisé, traits de lisibilité.

**KEYWORDS**: large language models, specialised English vocabulary, readability features.

<figure><img src="image_148.png" /></figure>
# 1 Introduction

The present study is part of a broader project conducted at Université catholique de Louvain that aims at leveraging natural language processing (NLP) tools to facilitate the acquisition of English for specific purposes (ESP) vocabulary by providing multiple examples of its natural use in context. The project involves several university courses mapped to proficiency levels B1 to C1 and designed to teach ESP to STEM (science, technology, engineering, and mathematics) students. In these courses, students have to master predefined vocabulary lists comprised of both strictly scientific vocabulary (e.g. "a chemical") and other vocabulary that commonly appears in scientific contexts (e.g. "to assume"). A preliminary survey revealed that the target students currently study the lists as is, at best using flash cards. Research has, however, shown the importance of regularly exposing learners to words in authentic and informative contexts (Huckin & Coady, 1999; Ramos & Dario, 2015; Godwin-Jones, 2018). Collecting authentic contexts is, unfortunately, very time-consuming for ESP teachers, which generally impedes offering enough authentic contexts to students as support for vocabulary learning. This is why we intend to automatically retrieve and generate contexts of use for any target ESP word, thereby significantly decreasing the burden in terms of both time and effort that currently results from the manual collection of context sentences.

In this study, we explore two ways of collecting such contexts : firstly, their extraction from a large corpus made up of websites routinely exploited by ESP teachers ; and secondly, their generation using three large language models (LLMs) : Mistral-7B-Instruct, Vicuna-13B, and Gemini 1.0 Pro. More specifically, this paper analyses the linguistic characteristics – using standard readability- and stylometry-related variables – of sentences in our web-crawled and LLM-generated corpora and their similarities and differences with a reference corpus. The last is made up of examples handpicked by ESP teachers among vocabulary test materials used in university ESP courses.

# 2 Background

## 2.1 Automatic Text Retrieval/Generation in Language Learning

The advancement of the Internet and Big Data has long been viewed as an opportunity for language teachers and learners to get hold of a large quantity of learning materials that are characterised with authenticity and timeliness. One of the established roles of NLP in EFL studies is the retrieval of relevant materials from the web, often followed by their evaluation, annotation and/or adaptation and the generation of related exercises (Litman, 2016; Meurers, 2021). Via a survey, Wilson (2004) evaluates students’ practices and satisfaction in relation to the use of web resources for independent ESL study as well as assembles a list of recommended websites for learners. Heilman et al. (2008) first create a corpus of web-crawled texts to be used for vocabulary and reading practice and then develop a system called REAP Search that allows the selection of particular texts from the corpus based on defined constraints (e.g. the presence of specific words). Similarly, Yoon et al. (2017) retrieve a number of YouTube videos based on criteria such as the existence of manual transcriptions and go on to use them in the generation of listening exercises for the TOEIC certificate exam. Other studies (Meurers et al., 2010; Hussin et al., 2010; Jin & Lu, 2018) focus less on the specificities of web-based textual sources than on their later enrichment and annotation for use in language learning.

A recent and revolutionary technology capable of producing humanlike language, LLMs have already
been exploited in a variety of scenarios, including the creation of EFL learning materials. Young & Shishido (2023a) had ChatGPT produce text of different proficiency levels based on articles from an online newspaper. The levels' correctness was confirmed through a readability analysis. In another experiment, Young & Shishido (2023b) used ChatGPT for the generation of dialogues. The general topic and participants were indicated in the prompts, and multiple readability metrics were used to analyse the suitability of the derived dialogues and to determine their best target audience. They concluded that the dialogues are most suitable for the A2 level (followed by B1), while students of higher proficiency levels may miss out on elements like colloquial expressions and phrasal verbs. Shaikh et al. (2023) made use of a questionnaire to evaluate users' views on the effectiveness of ChatGPT in specialised EFL studies. Students of different nationalities, proficiency levels and fields of study were asked to converse with ChatGPT on different topics, and engage in vocabulary practice and have the virtual assistant edit text they produce. Students' opinions were generally favourable, in particular with regard to ChatGPT's assistance in vocabulary acquisition.

## 2.2 Readability Features

Readability, often considered to date back to Sherman's experiments in 1893, is a primary measure used for quantitative description of text (DuBay, 2007). Its main purpose is the estimation of a textual unit's reading difficulty and, thereby, appropriateness for a given audience (typically, children of a certain age). To this aim, numerous readability formulas have been developed throughout the years <fnref n="1" />, relying on a variety of shallow textual characteristics (such as sentence or word length), more advanced ones (e.g. syntax or discourse properties), or comparison against vocabulary lists. Although state-of-the-art readability estimations are now mostly provided by deep neural models (Vajjala, 2022), readability formulas based on engineered features have dominated the field for almost 90 years, and some of the best-performing current systems rely on both deep learning and such features within a hybrid architecture (Deutsch et al., 2020; Wilkens et al., 2024).

Features are central to readability because they link the theory of the reading processes to the pragmatic approach typical to predictive modelling. The reading process is made up of three main steps: visual perception, decoding, and comprehension, and each of them can be impacted by a given text's characteristics (François, 2011). For instance, more frequent words are generally decoded faster than rare ones, some syntactic structures seem harder to parse for the brain than others, and lexemes representing abstract concepts are generally activated more slowly in the brain than more concrete ones. There is a large amount of psycholinguistic studies that have stressed a specific aspect of language that is likely to impact the reading process (Ferrand, 2007). In this work, we exploit the long tradition of readability variables, hundreds of which have been investigated, parametrised and tested on different corpora since the 1920s.

Many of the mentioned features have also been utilised in textual descriptions that are not strictly related to complexity. The field of second language acquisition, in particular, aims to describe the language produced by language learners and also resorts to various features, some of which overlap with readability ones. For instance, "lexical richness" (close to "lexical diversity"), strongly interconnected with type-to-token ratio, is a concept defined by Yule (1944) and used to estimate a particular author's (or text's) distinctive linguistic characteristics. A related term used in stylometry is "lexical sophistication", typically associated with word frequency and concreteness (Kyle, 2019). Other metrics aim to measure "lexical density", which refers to the proportion of content words in the

<footnote n="1">1. For surveys of the field, see François (2011); Collins-Thompson (2014); Vajjala (2022).</footnote>
text (Ure, 1971). Cech & Kubat (2018) specifically refer to the "morphological richness" of a text, defined as the difference between the vocabulary richness (i.e. type-to-token ratio) of lemmas and words, as an important characteristic in authorship attribution.

# 3 Methods

In the current study, we collect and analyse two general types of contexts for ESP vocabulary learning: generated by LLMs (Mistral-Instruct, Vicuna, and Gemini Pro) and obtained through web-crawling. Figure 1 illustrates the different steps of this procedure. The resulting corpora, described in Section 3.1, are compared to a reference ESP corpus associated with the same vocabulary items, handpicked by teachers on the basis of a set of stylistic features introduced in Section 3.2. We hypothesise that the most adequate generation method produces contexts closest to the reference corpus in terms of stylistic characteristics.

<figure><img src="image_149.png" /><figcaption>FIGURE 1 – Collection procedure for the examined corpora</figcaption></figure>

## 3.1 Derivation of the Corpora

### 3.1.1 Reference

The reference corpus, consisting of 244 contexts, is crafted by ESP teachers from Université catholique de Louvain and consists of a sample of study and examination materials used in the acquisition of vocabulary knowledge in ESP courses. The provided contexts are typically one to three sentences long and reflect key pedagogical qualities as defined by the ESP teachers, including appropriate length, topic relevance, authenticity, timeliness and level-appropriate vocabulary and grammar. The corpus's items are further classified as belonging to CEFR levels B1 or B2 and to the fields of "agronomy" or "general science".

### 3.1.2 Web-Crawled

The web-crawled context corpus is extracted from a large corpus of articles found in 36 websites (centred around the domains of agronomy, civil engineering and general science), which are commonly
used by ESP teachers when they manually craft context examples<fnref n="2" />. The articles and associated metadata<fnref n="3" /> were extracted using the Python tools *beautifulsoup4*<fnref n="4" /> and *newspaper*<fnref n="5" /> and then preprocessed for noise removal. For the current experiment, sentences in the articles were mapped to the vocabulary items associated with the reference corpus. The recorded metadata was used to ensure compatibility of domains. A set of heuristic rules defined the search for joint matches in terms of words and their POS tags, the latter allowing for lemma rather than word correspondence and resolving cases of polysemy that imply words' parts of speech (e.g. "yield" - both noun and verb). The quality of the issuing corpus was verified manually, and issues that can be fixed automatically (mostly format-related) were identified and resolved. Quality problems that are not readily fixable included text-conversion errors (4 contexts featured mistakes of this type), sentence fragments (a total of 3), and a run-on sentence. Levenstein distance was applied to ensure that no sentences are (closely) identical.

### 3.1.3 LLM-Generated

To generate contexts based on a prompt, three recent, easily accessible LLMs of different sizes were selected: Mistral-Instruct (7B parameters), Vicuna (13B) and Gemini 1.0 Pro (600B).

Mistral, developed by Mistral AI, makes use of grouped-query and sliding window attention mechanisms, thus substantially increasing inference speed and reducing memory constraints at decoding. Its finetuned "Instruct" version demonstrates superior performance than LLaMA on human as well as automated benchmarks (Jiang et al., 2023). Following a process of trial and error, the prompt's role was set as "system" rather than "user", thus placing focus on the text generation guidelines.

The Vicuna model is based on LLaMA as enhanced via instruction-tuning on data provided by ShareGPT, a platform that features full conversations of users with ChatGPT and facilitates their sharing and reuse (Mehta, 2022). It thus makes use of ChatGPT's established linguistic abilities. Vicuna is associated with better privacy as compared with ChatGPT and can reach as much as 90% of the latter's performance despite its compact size (Lam et al., 2023). In this study, both the Mistral and Vicuna models were used through the "LM studio" interface.

Gemini is a state-of-the-art multimodal model released by Google DeepMind in three versions: Ultra, Pro and Nano. It uses advanced attention mechanisms, such as multi-query attention, and supports a context length of 32k. Its Ultra version achieves higher performance than GPT-4 in 30 out of 32 language benchmarks and uniquely surpasses human performance on the exam benchmark MMLU (Anil et al., 2023). Trained for increased deployability, the Pro version almost matches GPT-3.5 in performance (Akter et al., 2023). Even though the model is proprietary, at the time of writing, it can be accessed freely via the Google AI Studio developer tool within a given quota.

A prompt format was defined and tested that includes the vocabulary item's associated domain and CEFR proficiency level, the part of speech in the case of nouns, verbs, adjectives and adverbs and differentiation between word and expression<fnref n="6" />. Mistral output demonstrated high variance based on its temperature setting<fnref n="7" />. A value of 0.8 was opted for as the threshold below which output was perceivably too homogeneous and consisted of definitions of the target vocabulary rather than

<footnote n="2">2. See Appendix 1: List of Crawled Websites for the list of utilised websites</footnote>

<footnote n="3">3. title, date, scientific domain, format (html vs pdf)</footnote>

<footnote n="4">4. Version 4.12.3; https://pypi.org/project/beautifulsoup4/</footnote>

<footnote n="5">5. Version 0.2.8; https://pypi.org/project/newspaper3k/</footnote>

<footnote n="6">6. See Appendix 2: Prompts used for LLM Generation for the utilised prompts</footnote>

<footnote n="7">7. a model's temperature defines its level of unexpectedness or creativity</footnote>
examples of use.

An additional experiment was carried out using one of the models (Gemini was opted for due to its fastest performance), namely a one-shot setting in which we offer the corresponding example from the reference corpus. The purpose was to test the LLM's efficiency in adapting its output to the given example and the underlying potential for multiple contexts per target word to be derived from a single professionally-crafted one.

The models were asked to provide output until it was automatically verified that output was present and that it contained the respective vocabulary items (verbatim or, in the case of verbs and nouns, in any possible form). Readily fixable issues (such as an additional "Explanation" part) were addressed manually, and no more substantial issue was found. The Gemini model exhibited by far the fastest performance (650 seconds, compared with 2624 for Mistral-Instruct and 5447 for Vicuna). Once again, it was ensured that no sentences were (closely) identical<fnref n="8" />.

## 3.2 Stylistic Comparison

For the stylistic analysis of the various contexts, we selected various atomic features related to textual readability belonging to four general categories : length-based, morphosyntactic, lexico-semantic, and discourse-related<fnref n="9" />.

The selected length-based features are the numbers of words and syllables per sentence and numbers of letters and syllables per word. Morphosyntactic features include the number of noun phrases per sentence, the number of non-stem words per sentence, the number of punctuation signs per sentence (excluding end-of-sentence punctuation), the percentage of sentences ending in question and exclamation marks, and the overall morphological richness as defined by Cech & Kubat (2018). The selected lexico-semantic features are the number of verbs, first-person pronouns, proper nouns and the joint number of adjectives and adverbs per sentence. We also considered the word-based and lemma-based type-to-token ratios, the percentage of hapax legomena, the percentage of words not present in the Dale-Chall list, the average concreteness (based on Brysbaert et al. (2014)'s rated concreteness list of 40k English lemmas), and the 10 most frequent words including and excluding stop words. Finally, the discourse-related features consist of the number of pronouns per sentence, the percentage of anaphora-denoting words per sentence<fnref n="10" />, and the cosine distance between all sentences in the respective corpus<fnref n="11" />. The assignment of features to a particular category is occasionally highly subjective; for instance, the number of verbs in a sentence could be interpreted as being more strongly related to a sentence's syntactic structure than its semantics.

In their work on readability classification, Wilkens et al. (2022) concluded that the use of a set of aggregators provides a better estimation of textual qualities than a single selected value. Where relevant, the average, minimal and maximal values for a feature, as well as the standard deviation (SD), were examined. This allowed for comparisons of both the texts' general qualities (as often relevant to a measure of complexity) and the span of values contained (which can serve as an estimation of

<footnote n="8">8. Our experimental setup featured an 11th Gen Intel Core i7 CPU with 8 cores and TigerLake-LP GT2 integrated GPU.</footnote>

<footnote n="9">9. Measures that strongly imply a larger textual unit (e.g. textual cohesion) were naturally excluded.</footnote>

<footnote n="10">10. The words considered are the following : definite article (*the*); personal pronouns (*he, she, it, they*); demonstrative pronouns (*this, that, these, those*); relative pronouns (*who, which, whose, whom, where*); indefinite pronouns (*all, some, none, any, each, every*); adverbs (*here, there, now, then*)</footnote>

<footnote n="11">11. calculated using Python's *transformers* library; sentence transformer model *paraphrase-MiniLM-L6-v2*</footnote>
textual variety).<fnref n="12" />

The following steps were taken to evaluate continuous features. Firstly, a Shapiro-Wilk test (Shapiro & Wilk, 1965) was used to determine whether the features demonstrate normal distribution. As the only feature that was normally distributed was the percentage of non-stem words per sentence, we used Mann-Whitney U, a non-parametric test, to determine whether differences between the reference corpus and the rest of the corpora were significant. Statistical significance, when present, was assigned one of three levels corresponding to p-values of 0.001, 0.01 and 0.05.

# 4 Results

The results of our stylistic comparison are reported in Table 1. Only the most relevant features have been listed; please refer to Appendix 4: Detailed Results for a comparison of all features. This section provides an overview of the main results, organised according to the four families of features.

<table><thead><tr><th>Feature</th><th>Ref.</th><th>Web</th><th>Mistral</th><th>Vicuna</th><th>Gemini</th><th>Gemini :<br>one-shot</th></tr></thead><tbody><tr><td>words in sample</td><td>9823</td><td>7269</td><td>4615</td><td>4852</td><td>4160</td><td><strong>10366</strong></td></tr><tr><td>words / sentence</td><td>13.59</td><td>14.93***</td><td>9.34**</td><td>9.6**</td><td>8.51***</td><td><strong>12.26***</strong></td></tr><tr><td>letters / word</td><td>5.29</td><td>5.38</td><td>5.3</td><td>5.43</td><td>5.6*</td><td><strong>5.53</strong></td></tr><tr><td>noun phrases / sentence</td><td>5.87</td><td>8.16***</td><td>5.56</td><td>5.53</td><td>4.92***</td><td><strong>5.39*</strong></td></tr><tr><td>non-stem words / s-ce</td><td>33.56</td><td>31.56***</td><td>35.14***</td><td>35.59***</td><td>36.36***</td><td><strong>36***</strong></td></tr><tr><td>punctuation signs / s-ce</td><td>1.56</td><td>2.7</td><td>0.77***</td><td>0.99***</td><td>0.75***</td><td><strong>1.25*</strong></td></tr><tr><td>verbs / sentence</td><td>2.45</td><td>3.83</td><td>2.54***</td><td>2.44***</td><td>2.27***</td><td><strong>2.53</strong></td></tr><tr><td>adj. and adv. / sentence</td><td>2.96</td><td>4.13***</td><td>2.21***</td><td>2.31***</td><td>2.29***</td><td><strong>2.52**</strong></td></tr><tr><td>1st-person pron. / s-ce</td><td>0.1</td><td>0.12</td><td>0.39***</td><td>0.11</td><td>0.06**</td><td><strong>0.07*</strong></td></tr><tr><td>proper nouns / sentence</td><td>0.9</td><td>1.46</td><td>0.06***</td><td>0.32***</td><td>0.1***</td><td><strong>0.27***</strong></td></tr><tr><td>hapax legomena</td><td>16.13</td><td>22.56</td><td>16.25</td><td>18.18</td><td>19.75</td><td><strong>14.14</strong></td></tr><tr><td>concreteness</td><td>2.46</td><td>2.36</td><td>2.44</td><td>2.44</td><td>2.42</td><td><strong>2.41</strong></td></tr><tr><td>pronouns / sentence</td><td>0.88</td><td>1.27</td><td>1.06</td><td>0.8</td><td>0.5***</td><td><strong>0.73*</strong></td></tr><tr><td>anaphora words / s-ce</td><td>20.49</td><td>10.78</td><td>10.47</td><td>10.43</td><td>13.42***</td><td><strong>24.59</strong></td></tr><tr><td>cos. distance btwn s-ces</td><td>0.14</td><td>0.1***</td><td>0.18***</td><td>0.17***</td><td>0.18***</td><td><strong>0.15**</strong></td></tr></tbody></table>

TABLE 1 – Comparison of the corpora based on a sample of textual features. The average values of continuous characteristics are indicated in *italics*, and the statistical significance of their divergence from the reference corpus is marked with * (lowest), ** and *** (highest). The one-shot Gemini corpus is represented in **bold** to denote its highest global closeness to the reference as per Section 4.5.

## 4.1 Length-Based Features

The one-shot corpus contains the largest number of words, closely followed by the reference and web-crawled ones and then by the three zero-shot LLM-generated corpora, which exhibit similar values. The number of words per sentence, tightly associated with textual complexity, is highest in the web-crawled corpus, followed by the reference one and then by all LLM corpora. Differences at the

<footnote n="12">12. Refer to Appendix 3: Features Used in Corpus Comparison for an overview of all investigated features.</footnote>
"word" level (e.g. the number of letters per word) are minimal. The ranges of length-based features<fnref n="13" /> are lowest with the LLM corpora (implying a lack of variety) and highest with the web-crawled one, followed closely by the reference corpus. The web-crawled corpus tends to demonstrate the largest SD. In this category, the Vicuna and Mistral corpora demonstrate the lowest significance in difference with the reference.

## 4.2 Morphosyntactic Features

The number of noun phrases per sentence is similar between the reference corpus and the LLM ones and significantly higher within the web-crawled corpus. The number of non-stem words, which is the most statistically different feature in the category, is lowest in the web-crawled corpus (interestingly suggesting lower complexity) and highest in the LLM-generated ones, the reference corpus standing in the middle. In relation to the number of punctuation signs, the reference corpus is once again in the middle, this time the web-crawled corpus exhibiting the highest value. The LLM corpora do not demonstrate variety in end-of-sentence punctuation. Morphological richness is stable at 0.02 for all corpora. Once again, the web-crawled corpus has the highest SD and value ranges are typically narrower for LLM corpora.

## 4.3 Lexico-Semantic Features

The number of verbs per sentence (associated with the presence of complex sentences) is closely stable, with the exception of the web-crawled corpus, where it is significantly higher. The number of adjectives and adverbs (which demonstrates the highest statistical difference in the category), as well as the number of proper nouns per sentence, are highest within the web-crawled corpus and lowest within the LLM ones, the reference corpus standing in the middle. The most hapax legomena are found in the web-crawled corpus and the fewest in the LLM ones (in particular, the one-shot corpus), implying re-use of vocabulary. First-person pronouns are generally rare, the highest value of 0.39 per sentence being associated with the Mistral corpus. The percentage of words outside of the Dale-Chall frequency list is highly stable, and so are the average concreteness of words and type-to-token ratios. Once again, the web-crawled corpus demonstrates the highest value ranges and SD. With the exception of the web-crawled corpus, the most frequent words excluding stop words are narrowly related to the texts's specialisation (e.g. "water", "climate"). When stop words are retained, the words are highly identical, the Mistral corpus uniquely featuring the pronoun "I".

## 4.4 Discourse-Related Features

Cosine distance (i.e. the estimated semantic difference between examples) diverges the most from the reference corpus. While average cosine distance demonstrates similar values, the maximal one is highest with the LLM corpora. The number of pronouns per sentence is highest in the web-crawled corpus and varies among the LLM ones. Vicuna's average value is closest to the reference but at the expense of a significant difference in distribution. Anaphora-denoting words are most prominent in the one-shot followed by the reference corpus, values being significantly lower in the other corpora. Uniquely for this category, the web-crawled corpus does not exhibit high SD values.

<footnote n="13">13. i.e. the differences between their maximal and minimal values</footnote>