# 1 Introduction

La plupart des langues peu dotées ne le sont souvent que du point de vue des informaticiens<fnref n="1" /> : elles disposent souvent de nombreuses ressources collectées au fil des ans par des linguistes, des missionnaires religieux et, plus généralement, par la communauté des locuteurs elle-même (Bird, 2020). Les données ne sont souvent pas facilement accessibles (p. ex. sous un format numérique), mais elles existent néanmoins. La question à laquelle nous tentons de répondre dans cet article est la suivante : jusqu'où pouvons-nous aller avec les modèles de traitement de la parole état-de-l'art en utilisant uniquement des données de terrain déjà existantes ?

Par “données de terrain”, nous entendons des données qui n’ont pas été collectées à l’origine pour servir de données d’entraînement pour des applications informatiques (p. ex. la reconnaissance automatique de la parole, RAP), mais qui ont été collectées à des fins linguistiques (p. ex. l’étude des variations dialectales). Dans cet article, nous nous concentrons sur des données orales en créole haïtien (kreyòl ayisyen), constituées d’entretiens enregistrés entre des linguistes et leurs collaborateurs. Le créole haïtien est un créole à base lexicale française (le français est sa langue lexificatrice, c’est à dire, la langue lui a apporté la plupart de son vocabulaire, voir Hazael-Massieux 2012), parlé par 13M de locuteurs (Simons & Fennig, 2023) à Haïti et par la diaspora haïtienne, principalement aux États-Unis d’Amérique.

La majorité des données que nous utilisons dans cet article (voir la section 2) a été collectée il y a 40 ans avec des magnétophones pour étudier les variations dialectales en haïtien, en mettant l’accent sur les variations lexicales. Contrairement aux livres audio couramment utilisés pour entraîner les modèles neuronaux (p. ex. Librispeech, Panayotov et al. 2015) qui jouissent d’une haute qualité d’enregistrement, les données que nous utilisons sont particulièrement bruitées : réverbération, echo, bruits ambiants (p. ex. poules, coqs, poussins, voitures, passants, etc.). Pourtant, ce type de données représente la majorité des données disponibles pour la plupart des langues du monde. La collecte et la transcription des données étant un processus coûteux,<fnref n="2" /> ne pourrions-nous pas utiliser — comme le préconise (Bird, 2020) dans l’approche consistant à "mobiliser les archives" (mobilise the archive) — des données de terrain déjà existantes (et potentiellement anciennes) et les ré-utiliser pour des applications informatiques ?

**Questions de recherche.** Plus précisément, les questions que nous abordons dans cet article sont les suivantes : (a) Des données de terrain, bien que bruités (mais écologiques) seraient-elles utilisables pour entraîner des modèles d’apprentissage auto-supervisé (SSL) de la parole (p. ex. WAV2VEC2, Baevski et al. 2020) ? (b) Doit-on entraîner ces modèles à partir de zéro ou doit-on utiliser des approches de pré-entraînement continu (continuous pre-training, CPT, Nowakowski et al., 2023; Gururangan et al., 2020) ? (c) Quelle quantité de données d’entraînement est nécessaire pour affiner (finetune) les modèles sur une tâche de RAP ? Enfin, (d) est-il possible d’entraîner de tels modèles avec un budget limité ? (c’est-à-dire en utilisant un seul GPU et non 64 comme c’est le cas pour Baevski et al. 2020).

En outre, comme nous travaillons dans le contexte des langues créoles, nous visons également à explorer l’influence de la langue lexificatrice (comme un cas clair de langues apparentées) et explorons

<footnote n="1">1. Voir §§ 2 et 2.1 de (Bird, 2020) sur la notion de “zero resource” et la vision centrée “données” du traitement automatique des langues et de la parole.</footnote>

<footnote n="2">2. Himmelmann (2018) rapporte que la transcription de 1 minute de parole peut prendre de 10 à 150 minutes, selon la langue, les connaissances du linguiste et le niveau de transcription (phonétique, phonologique, orthographique) et d’annotation annexe (morphologique, syntaxique, etc.).</footnote>
(e) si l'approche CPT doit être effectuée sur des modèles SSL de la langue lexificatrice (p. ex. le français dans le cas du créole haïtien), ou si des modèles entraînés sur une langue non apparentée (p. ex. l'anglais dans le cas du créole haïtien) fonctionnent également ?

**Travaux connexes.** Le domaine du traitement de la parole pour les langues créoles par le biais de modèles neuronaux est relativement nouveau. Les seuls travaux de traitement de la parole pour ces langues sont ceux de (Breiter, 2014) pour le créole haïtien, ceux de (Macaire et al., 2022) pour les créoles guadeloupéen et mauricien, et de (Gooda Sahib-Kaudeer et al., 2019) pour le créole mauricien (avec un accent mis sur le domaine médical). Ainsi, le traitement de la parole pour les langues créoles — fussent-elles à base lexicale française, anglaise, portugaises, etc. — reste largement inexploré.

Sans rapport direct avec le traitement de la parole pour les langues créoles — mais en rapport direct avec notre contexte méthodologique — Nowakowski et al. (2023) a exploré des approches de pré-entraînement continu, suivies d'une tâche d'affinage pour la reconnaissance vocale en ainu (langue native du nord du Japon) en utilisant d'anciennes données de terrain. Cependant, contrairement à l'objectif que nous nous fixons, ils n'entraînent pas leurs modèles avec un budget limité car (i) ils utilisent 4 GPU, (ii) utilisent le modèle XLSR-53 (Conneau et al., 2021) qui est basé sur WAV2VEC2-LARGE et pré-entraîné sur 56k heures de données, et (iii) font un affinage multilingue par lequel le modèle de RAP n'est pas seulement entraîné sur la langue cible (ainu), mais sur plusieurs langues à la fois (anglais, japonais, en plus de l'ainu). Nous visons une approche plus stricte qui n'utilise que des données de terrain à toutes les étapes.

## 2 Données

**ALH** Nous avons utilisé le *Atlas Linguistique d'Haïti* (Fattier, 1998), constitué d'un ensemble de 499 enregistrements audio en créole haïtien collectés à Haïti entre 1978 et 1987 dans le but de créer un atlas linguistique. Les enregistrements ont été réalisés à l'origine sur des cassettes audio avec des magnétophones, puis numérisés dans les années 2010 par la Bibliothèque nationale de France. Chaque enregistrement dure en moyenne 45 minutes et consiste en un entretien dirigé entre un ou plusieurs enquêteurs qui demandent des mots ou des phrases à leurs collaborateurs Haïtiens. Ces enregistrements ont été numérisés et mis à disposition sur la plateforme COCOON (FLA and Fattier, 2015).<fnref n="3" /> Bien que les enregistrements soient associés à des cahiers de terrain comportant des transcriptions manuscrites partielles (p. ex. transcription phonétique à l'échelle du mot), celles-ci n'ont pas été numérisées (ni alignées avec les enregistrements). Ainsi, ce corpus est entièrement constitué de parole brute.

Nous avons divisé l'ensemble de données (356,3 heures) en trois parties (train/val/test). Les données ont été réparties de manière à ce que l'ensemble de validation contienne au moins 5 heures de données et un minimum de 2 locuteurs inconnus, et l'ensemble de test au moins 5 heures de données et un minimum de 3 locuteurs inconnus. Nous avons obtenu la répartition suivante, qui répondait à nos contraintes : train = 345,6 heures ; val = 5,3 heures, 5 locuteurs inconnus ; et test = 5,4 heures, 8 locuteurs inconnus.<fnref n="4" />

**CNCH** Le Corpus du créole haïtien du Nord (Corpus of Northern Haitian Creole, Valdman et al.,

<footnote n="3">3. https://cocoon.huma-num.fr/exist/crdo/meta/cocoon-8ea988d2-bf16-303d-81a0-0c55cc0</footnote>

<footnote n="4">4. L'ensemble de test n'a pas été utilisé dans les expériences présentées dans ce document, mais le sera dans les premiers travaux futurs énumérés dans la section 5.</footnote>
<table><caption>TABLE 1 – Architecture qui donnent les meilleures performances en termes de WER (en haut) et de UER (en bas) pour chaque type de modèle affiné. *Classement* montre le rang des modèles de 1 (meilleur) à 200 (pire) lorsque le WER/UER est utilisé comme clé de tri.</caption><thead><tr><th>Modèle</th><th>Langue SSL</th><th>WER ↓</th><th>UER ↓</th><th>Entraînement</th><th>Décodage</th><th>Classement</th></tr></thead><tbody><tr><td>SSL-ETRANGER+CPT+FT</td><td>FR</td><td><strong>36.8</strong></td><td>21.6</td><td>320mn</td><td>4-gram</td><td><strong>1</strong></td></tr><tr><td>SSL-NATIF+Ø+FT</td><td>HAT</td><td>37.4</td><td><strong>21.5</strong></td><td>360mn (max)</td><td>3-gram</td><td>5</td></tr><tr><td>SSL-ETRANGER+CPT+FT</td><td>EN</td><td>37.5</td><td>22.4</td><td>320mn</td><td>4-gram</td><td>6</td></tr><tr><td>SSL-ETRANGER+Ø+FT</td><td>FR</td><td>42.5</td><td>24.5</td><td>360mn (max)</td><td>3-gram</td><td>27</td></tr><tr><td>SSL-ETRANGER+Ø+FT</td><td>EN</td><td>50.4</td><td>29.0</td><td>320mn</td><td>3-gram</td><td>49</td></tr></tbody></table><table><thead><tr><th>Modèle</th><th>Langue SSL</th><th>WER ↓</th><th>UER ↓</th><th>Entraînement</th><th>Décodage</th><th>Classement</th></tr></thead><tbody><tr><td>SSL-ETRANGER+CPT+FT</td><td>FR</td><td><strong>38.2</strong></td><td><strong>17.1</strong></td><td>320mn</td><td>Viterbi</td><td><strong>1</strong></td></tr><tr><td>SSL-NATIF+Ø+FT</td><td>HAT</td><td>39.8</td><td>17.8</td><td>360mn (max)</td><td>Viterbi</td><td>3</td></tr><tr><td>SSL-ETRANGER+CPT+FT</td><td>EN</td><td>40.3</td><td>18.6</td><td>360mn (max)</td><td>Viterbi</td><td>6</td></tr><tr><td>SSL-ETRANGER+Ø+FT</td><td>FR</td><td>46.2</td><td>21.7</td><td>360mn (max)</td><td>Viterbi</td><td>12</td></tr><tr><td>SSL-ETRANGER+Ø+FT</td><td>EN</td><td>57.1</td><td>26.6</td><td>360mn (max)</td><td>Viterbi</td><td>38</td></tr></tbody></table>

2015)<fnref n="5" /> comprend 10 entretiens enregistrés, menés au Cap-Haïtien (Nord d’Haïti) pour étudier les variations dialectales par rapport au haïtien standard. Ce corpus a été entièrement transcrit par le linguiste l’ayant récolté. Cependant, nous tenons à mentionner que les transcriptions utilisées sont non-standards et impressionistes, dans le sens où des variations orthographiques déviant de la norme sont utilisées pour retranscrire plus fidèlement la prononciation du locuteur : “Powoprens”/“Potoprens”, Port-au-Prince ; “eskeu”/“eske”, est-ce que ; “deu”/“de”, deux ; etc.). Ces variations pourront donc influer (de manière non favorable) sur le taux d’erreur mot (WER) et caractère (UER).

Nous avons divisé l’ensemble des données (9 heures) en trois parties (train/val/test). Les données ont été réparties de manière à ce que l’ensemble de validation contienne au moins 1 heure de données et un minimum d’un locuteur inconnu, et l’ensemble test au moins 1 heure de données et un minimum d’un locuteur inconnu. Nous avons obtenu la répartition suivante, qui répondait à nos contraintes : train = 6,9 heures ; val = 1,1 heure, 1 locuteur inconnu ; test = 1,0 heure, 2 locuteurs inconnus.

**Autre ensemble de données** Nous tenons à souligner l’existence d’autres ensembles de données présentant de la parole en créole haïtien, que nous avons volontairement exclus car ils ne consistent pas en des données de terrain : l’ensemble de données Haïti-CMU librement accessible<fnref n="6" /> qui contient de la parole lue (~ 20 heures), principalement des sections de la Bible, qui ne reflètent pas l’utilisation quotidienne de la langue ; et l’ensemble de données propriétaire Babel-IARPA comprenant 203 heures et étant uniquement consistué de “parole conversationelle téléphonique scénarisée” (Andrus et al., 2017).

## 3 Expériences

Compte tenu de notre contrainte de budget limité, nous nous concentrons uniquement sur l’architecture WAV2VEC2-BASE, excluant ainsi l’entraînement d’un modèle basé sur WAV2VEC2-LARGE, ainsi

<footnote n="5">5. https://archive.org/details/interview-8-ujf-107-a-ujm-107-a</footnote>

<footnote n="6">6. http://www.speech.cs.cmu.edu/haitian/</footnote>
<figure><img src="image_224.png" /><figcaption>FIGURE 1 – (a, b) Taux d'erreur mot (WER) et (c, d) taux d'erreur unité (UER, au niveau des caractères) des modèles affinés sur une tâche de RAP avec décodage Viterbi (à gauche) et avec LM à 5-gram (à droite) en fonction de la quantité de données CNCH utilisées pour l'entraînement (en minutes, de 5 minutes à max, où max = 6,9 heures, ~ 360 minutes).</figcaption></figure>

que l’affinage d’un modèle multilingue tel que XLSR-53 qui est basé sur l’architecture WAV2VEC2-LARGE.

**Pré-entraînement SSL natif et étranger.** Nous utilisons le corpus ALH pour entraîner nos modèles SSL. Un modèle de détection de l'activité vocale (Pyannote, Bredin et al., 2020) a été utilisé pour isoler les sections correspondant à de la parole des bruits environnants, ce qui a permis d'obtenir 229h de sections parlées. Les segments résultants, plutôt courts (~ 2.3s), ont été fusionnés jusqu'à ce que les segments concatenés atteignent 19s en moyenne (~ 2.4s ± 5.8s). Les modèles WAV2VEC2 ont été entraînés sur un seul GPU<sup>7</sup> en accumulant le gradient pour 16 passes. Les modèles ont été entraînés jusqu'à convergence, définie soit comme le point d'intersection des courbes d'entraînement et de validation, soit comme le point où celles-ci sont restées stables pendant 10 000 passes.

Nous avons entraîné trois modèles. Le premier, entraîné à partir de zéro, que nous appelons désormais SSL-NATIF+Ø, puisque celui-ci n'a vu que du haïtien et ne se base pas sur un modèle existant dans le cadre d'un approche de pré-entrainement continu (+Ø). Les deux autres modèles ont été entraînés à partir des modèles existants dans le cadre d'une approche de pré-entraînement continu : l'un basé sur un modèle français (WAV2VEC2-FR-7K-BASE, pré-entraîné sur 7k heures en français, Parcollet et al. 2023), et l'autre à partir d'un modèle anglais (WAV2VEC2-BASE, Baevski et al. 2020) pré-entraîné sur Librispeech 960 (Panayotov et al., 2015). Ces modèles sont appelés SSL-ETRANGER+CPT EN ou SSL-ETRANGER+CPT FR puisqu'ils ont été pré-entraînés sur une langue étrangère auparavant (soit de l'anglais, soit du français) et ont bénéficié d'une approche de pré-entrainement continu (+CPT) pendant laquelle ils ont été entraînés à modéliser de la parole en haïtien.

**Affinage sur un tâche de RAP** Nous avons affiné (+FT) les modèles pré-entraînés sur le corpus CNCH. 3 modèles de RAP ont été affinés à partir de modèles ayant vu du haïtien au pré-entraînement :
le modèle SSL-NATIF+Ø (appelé SSL-NATIF+Ø+FT après affinage), et les deux modèles SSL-ETRANGER+CPT basés sur de l'anglais ou du français (appelés SSL-ETRANGER+CPT+FT EN ou FR). En plus de ceux-ci, afin de comprendre la pertinence (ou non) d'un pré-entraînement continu sur des données de terrain, nous avons également affiné directement les modèles SSL-ETRANGER sans utiliser une approche CPT : SSL-ETRANGER+Ø+FT (EN ou FR). Ces modèles nous permettront ainsi de voir si le pré-entraînement sur des données de terrain permet de mieux transférer sur d'autres données de terrain dans une tâche de RAP ou non.

Afin de comprendre l'impact de la taille de l'entraînement sur les performances finales des modèles, nous utilisons différentes tailles d'entraînement : max (6.9 heures), 320, 160, 80, 40, 20, 10, et 5 minutes. Chaque taille d'entraînement inclut les tailles précédentes (par exemple, max ⊃ ... ⊃ 10 ⊃ 5). Chaque modèle est affiné pour 20k passes.<fnref n="8" /> Pour éviter le sur-entraînement, les paramètres ont été gelés pendant les 10k premières passes. Le meilleur modèle est sélectionné sur la base du WER le plus bas sur l'ensemble de validation. Le texte a été mis en minuscules et les diacritiques ont été supprimés (en raison d'une utilisation variable). Nous entraînons également des modèles de langue (LM) de 2 à 5 grammes sur les transcriptions pour chaque taille d'entraînement à l'aide de KenLM (Heafield, 2011), ce qui donne 32 LM différents (4 taille de n-gram × 8 taille de corpus d'affinage).

# 4 Résultats & Discussion

Nous avons utilisé l'outil SCTK<fnref n="9" /> pour calculer le taux d'erreur mot (WER) et le taux d'erreur d'unité (UER, au niveau du caractère). Nous avons utilisé un décodage Viterbi standard ainsi qu'un réordonnancement a posteriori (*rescoring*) avec des LM de 2 à 5 grammes. Cela a permis d'obtenir 5 modèles × 8 tailles d'entraînement × (1 Viterbi + 4 ngram) décodages = 200 stratégies de décodage. Pour plus de clarté, seuls les rescores Viterbi et LM 5-grammes sont présentés dans la Fig. 1, et la meilleure configuration pour chacun des 5 types de modèles est présentée dans le Tab. 1.

Nos résultats montrent (d) qu'il est possible d'entraîner des modèles compétitifs avec un budget limité en utilisant un seul GPU et que (a) l'utilisation de données de terrain pour entraîner des modèles SSL de la parole est efficace. Bien que ces données soient intrinsèquement bruitées — par opposition aux livres audio ou aux discours radiodiffusés couramment utilisés pour entraîner les modèles SSL — le modèle haïtien SSL-NATIF+Ø que nous avons entraîné est resté très compétitif par rapport à d'autres approches. Ceci est particulièrement intéressant dans le cas des langues à faibles ressources, telles que la plupart des créoles à base française parlés dans les Caraïbes (haïtien, guadeloupéen, saint-lucien, etc.) ou en Amérique du Sud (guyanais). Cela signifie qu'il n'est pas nécessaire de collecter de nouvelles données, mais que les anciennes données enregistrées sur bande magnétique, une fois numérisées, peuvent être réutilisées à cette fin. Cela permettrait à de nombreuses langues du monde de disposer de modèles de traitement de la parole à la pointe de la technologie.

Quant à savoir (b) si nous devrions affiner les modèles SSL qui ont été pré-entraînés à partir de zéro ou les modèles pré-entraînés en utilisant une approche CPT, nos résultats montrent que les modèles entraînés dans une approche CPT montrent un léger avantage sur les modèles natifs entraînés à partir de zéro (−1.6 WER, et −0.7 UER, décodage de Viterbi, en utilisant l'UER le plus bas comme clef de tri). Cependant, nos résultats montrent que (e) cet avantage n'est vrai que lorsque le modèle utilisé

<footnote n="8">8. Compte tenu du peu de données dont nous disposons, les modèles convergent rapidement, restent stables et n'évoluent pas après 20k étapes, d'où cette valeur.</footnote>

<footnote n="9">9. https://github.com/usnistgov/SCTK</footnote>
pour le pré-entraînement continue est celui de la langue lexificatrice (ici, le français). Cet avantage semble disparaître lorsque ce n’est pas le cas, car le modèle affiné à partir d’une autre langue (ici, l’anglais) a généralement de moins bonnes performances qu’un modèle affiné à partir de la langue lexificatrice (+2.1 WER, +1.5 UER, id.) ou à partir de la langue cible (+0.5 WER, +0.8 UER, id.). Cependant, l’élément déterminant est l’utilisation de l’approche de pré-entraînement continue. Les modèles RAP directement affinés à partir des modèles SSL-ETRANGER+Ø+FT qui n’ont pas vu d’haïtien dans une approche CPT sont loin derrière (+8 WER, +4.6 UER pour les modèles basés sur le français, id.) ou très loin derrière (+18.9 WER, +9.5 UER pour les modèles basés sur l’anglais, id.) du meilleur modèle.

En ce qui concerne (c) la quantité de données nécessaires pour affiner les modèles SSL sur une
tâche RAP, nos résultats montrent une différence marquée entre trois groupes de modèles : (i)
SSL-ETRANGER+CPT+FT très robuste à une quantité réduite de données d'entraînement, (ii) SSL-
ETRANGER+Ø+FT peu robuste à une quantité réduite de données, et (iii) SSL-NATIF+Ø montrant
des résultats intermédiaires. L'utilisation de 20 minutes de données comble l'écart entre (i) et (iii)
alors que les modèles du groupe (ii) ont nécessité environ 4 fois cette quantité de données (80 minutes)
pour atteindre des performances similaires. Nous supposons que les modèles du groupe (i) bénéficient
du fait d'avoir vu plus de parole, car ils ont été pré-entraînés dans leur langue respective (français
ou anglais), ont vu des données haïtiennes dans la phase CPT, et ont été affinés, ce qui pourrait
expliquer pourquoi ils sont plus robustes que les autres modèles. Enfin, nous avons observé des
résultats mitigés avec l'utilisation des LM pour le décodage. Alors qu'ils n'améliorent pas de manière
significative (ni ne nuisent) aux modèles SSL-NATIF+Ø+FT ou SSL-ETRANGER+CPT+FT, ils
améliorent de manière significative les scores WER du SSL-ETRANGER+Ø+FT (Fig. 1a et 1b) : par
exemple, -10 WER avec un LM 5-gram pour un modèle EN WAV2VEC2 affiné avec 40 minutes
de données. Par conséquent, lorsqu'aucune donnée audio pour faire du pré-entraînement continu
n'est disponible, l'utilisation d'un LM est indispensable. Cependant, il semble que l'utilisation des
LM, tout en améliorant les scores WER, se fait au détriment de UER plus élevés (Fig. 1c et 1d); ce
qui indique que, bien qu'il y ait plus de mots transcrits avec précision, les autres sont moins bien
transcrits, ce qui se traduit par des UER plus élevés.

5 Limitations and Travaux Futurs

Dans cet article, nous nous sommes concentrés sur l'exploration de la validité de l'utilisation des données de terrain pour pré-entraîner des modèles auto-supervisés. Nous avons affiné ces modèles sur un tâche de RAP (évaluation intrinsèque), mais nous avons laissé de côté l'étude des modèles et des représentations pré-entraînés eux-mêmes (évaluation intrinsèque). Dans nos travaux futurs, nous souhaitons utiliser une tâche ABX (Schatz et al., 2013) pour comparer les représentations latentes et leur transfert au niveau des phonèmes. Cela nous aiderait à mieux comprendre les performances de nos modèles. Les données que nous utilisons pour le pré-entraînement continu ont été collectées il y a 40 ans, et la langue entre cette époque et aujourd'hui a changé (p. ex. mots tombés en désuétude, évolution de la phonologie, etc.). La question de la mesure de ce phénomène et de son impact reste donc ouverte. Enfin, nos résultats montrent que 350 heures d'enregistrements sur le terrain sont suffisantes pour pré-entraîner un modèle SSL natif et obtenir des résultats compétitifs lorsqu'ils sont affinés sur une tâche de RAP. Cependant, un tel trésor avec autant d'heures d'enregistrement n'existe pas pour toutes les langues : la question de la quantité minimale de données de terrain à utiliser reste ouverte.
# 6 Conclusion

Nous avons utilisé des données de terrain en haïtien, enregistrées sur bandes magnétiques il y a 40 ans, puis numérisées, pour entraîner un modèle SSL natif. Nous avons également utilisé une approche CPT sur des modèles SSL pré-entraînés de la langue lexificatrice (le français) et d'une langue non apparentée (l'anglais), que nous avons affinés sur un autre ensemble de données de terrain dans le cadre d'une tâche de RAP. Nous avons obtenu des résultats compétitifs et montré que le meilleur modèle est le modèle pré-entraîné de la langue lexificatrice avec CPT sur des enregistrements de terrain haïtiens, suivi par le modèle SSL natif. Par conséquent, lorsqu'aucun modèle de la langue lexificatrice n'est disponible, il est toujours utile d'entraîner un modèle natif à l'aide de données de terrain. Ceci est d'autant plus important qu'un modèle natif peut être une source de fierté pour la communauté des locuteurs, contrairement à un modèle dérivé de la langue lexificatrice, généralement celle de l'ancienne puissance colonisatrice. Par conséquent, l'approche consistant à mobiliser les données d'archive, comme préconisée par (Bird, 2020), est une voie prometteuse.

# Références

ANDRUS T., BILLS A., CONNERS T., CRABB E. S., DUBINSKI E., FISCUS J. G., GILLIES B., HARPER M., HAZEN T. J., HEFRIGHT B., JARRETT A., LE H., RAY J., RYTTING A., SHEN W., SILBER R. & TZOUKERMANN E. (2017). Iarpa babel haitian creole language pack iarpa-babel201b-v0.2b. DOI: 10.35111/ENHB-6110.

BAEVSKI A., ZHOU H., MOHAMED A. & AULI M. (2020). Wav2vec 2.0 : A framework for self-supervised learning of speech representations. In *Proceedings of the 34th International Conference on Neural Information Processing Systems*, NIPS’20, Red Hook, NY, USA : Curran Associates Inc.

BIRD S. (2020). Decolonising speech and language technology. In *Proceedings of the 28th International Conference on Computational Linguistics*, p. 3504–3519, Barcelona, Spain (Online) : International Committee on Computational Linguistics. DOI: 10.18653/v1/2020.coling-main.313.

BREDIN H., YIN R., CORIA J. M., GELLY G., KORSHUNOV P., LAVECHIN M., FUSTES D., TITEUX H., BOUAZIZ W. & GILL M.-P. (2020). pyannote.audio : neural building blocks for speaker diarization. In *ICASSP 2020, IEEE International Conference on Acoustics, Speech, and Signal Processing*, Barcelona, Spain.

BREITER W. (2014). Rapid bootstrapping of haitian creole large vocabulary continuous speech recognition.

CONNEAU A., BAEVSKI A., COLLOBERT R., MOHAMED A. & AULI M. (2021). Unsupervised Cross-Lingual Representation Learning for Speech Recognition. In *Proc. Interspeech 2021*, p. 2426–2430. DOI: 10.21437/Interspeech.2021-329.

FATTIER D. (1998). *Contribution à l'étude de la genèse d'un créole : l'Atlas linguistique d'Haïti, cartes et commentaires, 6 vol.* Bibliographical record, Presses Universitaires du Septentrion, Villeneuve d'Ascq. Ph.D. Dissertation, Université de Provence.

FLA, FACULTÉ DE LINGUISTIQUE APPLIQUÉE DE L'UNIVERSITÉ D'ETAT D'HAÏTI (ANCIENNE-MENT CENTRE DE LINGUISTIQUE APPLIQUÉE (CLA)) & FATTIER, DOMINIQUE (2015). Atlas linguistique d'Haïti. DOI: 10.34847/COCOON.8EA988D2-BF16-303D-81A0-0C55CC035240.

GOODA SAHIB-KAUDEER N., GOBIN-RAHIMBUX B., BAHSU B. S. & MAGHOO M. F. A. (2019). Automatic speech recognition for kreol morisien : A case study for the health domain. In A. A.
SALAH, A. KARPOV & R. POTAPOVA, Éds., *Speech and Computer*, p. 414-422, Cham : Springer International Publishing.

GURURANGAN S., MARASOVIĆ A., SWAYAMDIPTA S., LO K., BELTAGY I., DOWNEY D. & SMITH N. A. (2020). Don't stop pretraining: Adapt language models to domains and tasks. In *Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics*, p. 8342–8360, Online: Association for Computational Linguistics. DOI: 10.18653/v1/2020.acl-main.740.

HAZAEL-MASSIEUX M.-C. (2012). *Les Créoles à base française*. Gap, France : Editions Ophrys.

HEAFIELD K. (2011). KenLM: Faster and smaller language model queries. In *Proceedings of the Sixth Workshop on Statistical Machine Translation*, p. 187–197, Edinburgh, Scotland : Association for Computational Linguistics.

HIMMELMANN N. P. (2018). *Meeting the transcription challenge*. University of Hawai'i Press.

MACAIRE C., SCHWAB D., LECOUTEUX B. & SCHANG E. (2022). Automatic speech recognition and query by example for creole languages documentation. In *Findings of the Association for Computational Linguistics : ACL 2022*, p. 2512–2520, Dublin, Ireland : Association for Computational Linguistics. DOI: 10.18653/v1/2022.findings-acl.197.

NOWAKOWSKI K., PTASZYNSKI M., MURASAKI K. & NIEUWAŻNY J. (2023). Adaptation of a multilingual speech representation model for a new, underresourced language via multilingual fine-tuning and continued pretraining. *Science Talks*, **8**, 100249. DOI: https://doi.org/10.1016/j.sctalk.2023.100249.

PANAYOTOV V., CHEN G., POVEY D. & KHUDANPUR S. (2015). Librispeech: An asr corpus based on public domain audio books. In *2015 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP)*, p. 5206–5210. DOI: 10.1109/ICASSP.2015.7178964.

PARCOLLET T., NGUYEN H., EVAIN S., BOITO M. Z., PUPIER A., MDHAFFAR S., LE H., ALISAMIR S., TOMASHENKO N., DINARELLI M., ZHANG S., ALLAUZEN A., COAVOUX M., ESTEVE Y., ROUVIER M., GOULIAN J., LECOUTEUX B., PORTET F., ROSSATO S., RINGEVAL F., SCHWAB D. & BESACIER L. (2023). LeBenchmark 2.0: a standardized, replicable and enhanced framework for self-supervised representations of french speech.

SCHATZ T., PEDDINTI V., BACH F., JANSEN A., HERMANSKY H. & DUPOUX E. (2013). Evaluating speech features with the minimal-pair ABX task: analysis of the classical MFC/PLP pipeline. In *Proc. Interspeech 2013*, p. 1781–1785. DOI: 10.21437/Interspeech.2013-441.

SIMONS G. F. & FENNIG C. D., Éds. (2023). *Ethnologue: Languages of the world*. Summer Institute of Linguistics, Academic Pub.

VALDMAN A., VILLENEUVE A.-J. & SIEGEL J. F. (2015). On the influence of the standard norm of haitian creole on the cap haïtien dialect: Evidence from sociolinguistic variation in the third person singular pronoun. *Journal of Pidgin and Creole Languages*, **30**(1), 1–43. DOI: 10.1075/jpcl.30.1.01val.
# Utiliser l'explicabilité des modèles pour mettre en évidence les expressions genrées dans la parole

François Buet¹ Camille Guinaudeau²

Cyril Grouin¹ Sahar Ghannay¹ Shin'ichi Satoh³

(1) Université Paris-Saclay, CNRS, LISN, 91405 Orsay, France

(2) Université Paris-Saclay, CNRS, JFLI, 101-0003 Tokyo, Japon

(3) Nationat Institue of Informatics, 101-0003 Tokyo, Japon

prenom.nom@lisn.upsaclay.fr, satoh@nii.ac.jp

## RÉSUMÉ

Dans de nombreux pays, des études ont souligné la sous-représentation des femmes dans les médias. Mais au-delà du déséquilibre quantitatif se pose la question de l'asymétrie qualitative des représentations des hommes et des femmes. Comment automatiser l'évaluation des contenus et des traits saillants spécifiques aux discours masculins et féminins ? Nous proposons dans cette étude d'exploiter les connaissances acquises par un modèle de classification entraîné à la détection du genre sur des transcriptions automatiques, afin de mettre en évidence des motifs distinctifs du discours masculin ou féminin. Notre approche est basée sur l'utilisation de méthodes développées pour l'intelligence artificielle explicable (IAX), afin de calculer des scores d'attribution au niveau des unités.

## ABSTRACT

Using model explainability to highlight gendered expressions in speech

In many countries, studies have highlighted the under-representation of women in the media. But beyond quantitative imbalance is the question of the qualitative asymmetry of men's and women's representations. How to automate the evaluation of content and salient features specific to male and female discourse ? We propose in this study to leverage the knowledge acquired by a classification model trained for gender detection on automatic transcripts, in order to highlight patterns distinctive of male or female speech. Our approach is based on the use of methods developed for explainable artificial intelligence (XAI), to compute token-level attribution scores.

**MOTS-CLÉS** : Détection du genre, explicabilité, médias.

**KEYWORDS** : Gender Detection, Explainability, Media.

## 1 Introduction

La représentation du genre dans les médias est une question de société qui a été suivie à l'échelle mondiale (MediaWatch, 1995), afin de garantir l'égalité dans la participation à la vie publique. Dans de nombreux pays, les études ont souligné la moindre présence des femmes dans les organes d'information et les médias en général (GMMP, 2021). Parallèlement à l'analyse manuelle, le développement et la diffusion des chaînes d'outils et des ressources de traitement automatique des langues (TAL) ont permis d'accroître l'ampleur des observations (Ash et al., 2022). Si les outils modernes permettent de détecter le genre du locuteur avec une certaine exactitude (Doukhan et al., 2018), l'éva-

<figure><img src="image_225.png" /></figure>
luation qualitative et automatique du contenu des discours masculins et féminins reste une question
ouverte. Notre but dans cette étude est d’exploiter les connaissances acquises par un modèle de clas-
sification entraîné pour la détection du genre à partir d’une transcription de parole, et de l’associer à
l’IA explicable (IAX), afin de mettre en évidence des motifs lexicaux distinctifs du discours mascu-
lin ou féminin (Figure 1), et ainsi d’introduire une part d’automatisation dans l’analyse de la parole
masculine et féminine dans les médias.

la particularité des **lieux** c' est surtout le suivi des femmes **enceintes** deux
sages femmes pour chaque maman joign ables l' une ou l' autre vingt quatre
heures sur vingt quatre **elles** suivent toute la **grossesse** tous les examens toute
la préparation **elles** court à la **maison** naissance aux premières contr actions

FIGURE 1 – Exemple de visualisation d’une explication issue de nos expériences. La teinte de rouge indique l’attribution à la classe féminine. L’énoncé (transcrit automatiquement) provient d’un journal radiophonique.

Les méthodes d’explicabilité sont conçues pour donner un aperçu des raisons qui sous-tendent les
prédictions des modèles (Marcinkevics & Vogt, 2020). Elles peuvent s’avérer utiles soit aux uti-
lisateurs de l’IA qui doivent s’assurer de leur confiance dans les prédictions du modèle, soit aux
utilisateurs finaux qui veulent comprendre les décisions qui les concernent, soit aux développeurs
et aux scientifiques des données qui doivent vérifier la robustesse de leur système. Nous proposons
dans cette étude d’utiliser des techniques d’explicabilité répandues (Zeiler & Fergus, 2014; Ribeiro
et al., 2016; Sundararajan et al., 2017) afin de calculer des explications locales pour la prédiction du
genre du locuteur, sous la forme d’attributions au niveau des unités dans chaque segment de la trans-
cription de parole. Il convient de souligner que notre problème principal n’est pas la classification du
genre du locuteur (une tâche pour laquelle la modalité audio est plus adaptée), mais d’apporter une
assistance pour l’analyse des discours masculins et féminins dans les médias. En masquant les infor-
mations acoustiques (par l’utilisation d’une transcription automatique pour entrée), nous cherchons
à nous concentrer sur des indicateurs textuels permettant de discriminer les genres. Nos expériences
se fondent sur des données provenant de programmes de télévision et de radio français et japonais.
Nos principales contributions sont les suivantes : une première tentative (à notre connaissance) de
détection du genre à partir de transcriptions automatiques de la parole (Section 3), et a fortiori l’ap-
plication de l’IAX à cette détection (Section 4).

2 Représentation du genre dans les médias

2.1 Contexte et motivations

Les Nations unies ont reconnu l'importance de la participation et de la représentation des femmes dans les médias lors de la *Quatrième conférence mondiale sur les femmes* qui s'est tenue en septembre 1995 à Pékin (section J de la déclaration officielle) (UN, 1995). En conséquence, des initiatives telles que le *Global Media Monitoring Project*<fnref n="1" /> (GMMP) ont été lancées pour mesurer l'état et l'évolution de la présence des femmes dans les sources d'information traditionnelles (journaux,

<footnote n="1">1. https://whomakesthenews.org/</footnote>
<table><caption>TABLE 1 – Informations sur les ensembles de données. Pour la partie française, les valeurs des divisions sont rapportées dans l'ordre Train / Val / Test.</caption><thead><tr><th>Français</th><th>Durée (h)</th><th>Exemples</th><th>Femmes %</th></tr></thead><tbody><tr><td>informations</td><td>14.8 / 1.5 / 1.8</td><td>5258 / 518 / 630</td><td>50 / 50 / 27</td></tr><tr><td>thématiques</td><td>27.0 / 2.9 / 3.5</td><td>9114 / 968 / 1168</td><td>50 / 50 / 27</td></tr><tr><td>téléréalité</td><td>12.1 / 0.8 / 1.0</td><td>6250 / 406 / 525</td><td>50 / 50 / 60</td></tr></tbody></table><table><thead><tr><th>Japonais</th><th>Durée (h)</th><th>Exemples</th><th>Femmes %</th></tr></thead><tbody><tr><td>train_5k</td><td>30,4</td><td>5k</td><td>50</td></tr><tr><td>train_100k</td><td>599</td><td>100k</td><td>50</td></tr><tr><td>Val / Test</td><td>9,1 / 8,4</td><td>1365 / 1184</td><td>50 / 50</td></tr></tbody></table>

télévision, radio), ainsi que dans les médias numériques (sites web et tweets de la presse en ligne). Depuis 1995, les études successives du GMMP (une tous les cinq ans) ont révélé, entre autres, un déséquilibre entre les genres en ce qui concerne les sujets et les sources d'information (seulement 45 % de femmes en 2020), ainsi que pour les journalistes effectuant des reportages (40 % de femmes en 2020) (GMMP, 2021). De même, dans le contexte français, l'Arcom a noté dans son rapport annuel de veille 2022 (Arcom, 2023) que les femmes ne représentaient que 36 % du temps de parole global dans les émissions de télévision et de radio. Au-delà des analyses quantitatives, reste la question de la représentation<fnref n="2" /> du genre, qui peut véhiculer et entretenir les stéréotypes et le sexisme. Ceux-ci existent, notamment, à travers la façon dont les hommes et les femmes parlent (p. ex., un style d'élocution caricatural), et à travers la préférence différenciée pour certains thèmes. Les exemples de ces phénomènes peuvent être relativement rares et subtils à détecter, ce qui demande la réalisation d'analyses fines à grande échelle.

Dans cet article, nous soutenons que l'utilisation de techniques de l'IA explicable peut aider à entreprendre une analyse qualitative fine sur des ensembles de données importants, en particulier dans le cas de la représentation des genres dans les médias audiovisuels.

## 2.2 Ensembles de données

Les données utilisées pour nos expériences sont des programmes de télévision et de radio diffusés en France et au Japon<fnref n="3" />. Cette dualité nous permet notamment de vérifier l'applicabilité de notre approche pour des langues éloignées, et nous donne une opportunité de chercher des points de comparaison entre des contextes culturels différents. Notons qu'en contrepartie de leur authenticité, ces données ne sont pas publiquement accessibles (elles ne peuvent être redistribuées que par les entreprises qui les ont produites et en détiennent les droits). Comme précédemment indiqué, nous ne traitons que les transcriptions préalablement engendrées par des systèmes de reconnaissance automatique de la parole (RAP), puisque nous nous limitons à l'étude de divergences lexicales dans le discours. La composition des ensembles de données français et japonais est résumée dans le tableau 1. Nous avons équilibré les classes de genre, sauf pour les ensembles de test en français, afin de ne pas affecter leur significativité statistique.

<footnote n="2">2. Nous entendons ici « représentation » au sens d'image renvoyée et non de présence ou de distribution.</footnote>

<footnote n="3">3. Nous avons combiné plusieurs ensembles de données auxquels nous avions accès dans le cadre de contrats de projets de financement.</footnote>
**Données françaises** Le corpus français est une combinaison de différents types d'émissions : (i) des programmes liés aux informations (des journaux télévisés locaux et nationaux, d'une durée de 20 à 30 minutes, ainsi que des matinales radio axées sur l'actualité, d'une durée de 2 à 4 heures), diffusés en 2021 par un ensemble de chaînes privées et publiques, (ii) des programmes radiophoniques thématiques (des magazines composés d'interviews, 50-60 min), diffusés en 2018 et centrés sur des thèmes tels que l'économie, le sport, la cuisine et les questions sociales, (iii) et des émissions de téléréalité (d'une durée de 45 minutes chacune) diffusées en 2021. La transcription automatique est réalisée avec une variante du système LIUM ASR décrit dans Tomashenko et al. (2016). L'outil InaSpeechSegmenter (Doukhan et al., 2018) est utilisé pour effectuer la détection du genre et attribuer une étiquette (homme ou femme <fnref n="4" />) à chaque segment de parole reconnu par LIUM ASR. Ces étiquettes serviront de référence <fnref n="5" /> lors de l'entraînement de nos classificateurs (Section 3). Certains programmes contiennent des publicités que nous avons manuellement retirées des ensembles de développement et de test.

**Données japonaises** Le corpus japonais comprend des transcriptions automatiques du programme de nouvelles télévisées NHK News 7 du diffuseur public japonais NHK, retransmis entre 2001 et 2022. Ces programmes de 30 minutes ont été transcrits à l'aide de l'outil de RAP Whisper (Radford et al., 2023). L'ensemble d'entraînement comprend des programmes d'information quotidiens de 2005 à 2022, tandis que les sections de test et de développement correspondent à des programmes diffusés en 2001, 2002 et 2004, respectivement. Les étiquettes de genre sont automatiquement associées à chaque énoncé avec l'outil InaSpeechSegmenter <fnref n="6" /> (comme pour la partie française) et corrigées manuellement pour les ensembles de test et de développement, ainsi que pour 5000 exemples d'entraînement (train_5k).

# 3 Détection de genre fondée sur BERT

Pour effectuer la classification du genre du locuteur, nous avons opté pour une architecture fondée sur BERT (Devlin et al., 2019), comme réalisé pour divers types de classification de textes (Sun et al., 2019; González-Carvajal & Garrido-Merchán, 2020). BERT s'appuie sur le préentraînement d'un large modèle conçu pour être facilement affiné par la suite pour les tâches en aval, avec un minimum de modifications architecturales. Dans le cas de la classification de textes, cette modification consiste en une couche linéaire supplémentaire pour traiter la représentation agrégée de la séquence d'entrée (l'encodage de l'unité [CLS]).

## 3.1 Modèles

**Modèles français** Les modèles les plus couramment utilisés pour le français sont CamemBERT (Martin et al., 2020) et FlauBERT (Le et al., 2020). Comme nos données sont constituées de transcriptions automatiques de la parole, nous utilisons dans nos expériences des modèles FlauBERT-

<footnote n="4">4. L'attribution des étiquettes est basée sur le chevauchement des segments ; les énoncés qui chevauchent principalement les étiquettes de musique ou de bruit sont éliminés.</footnote>

<footnote n="5">5. Doukhan et al. (2018) indiquent une F-mesure de détection du genre au niveau de la trame de 96,52 sur le corpus REPERE, qui contient des flux télévisés de chaînes françaises, similaires à nos données.</footnote>

<footnote n="6">6. Une évaluation manuelle a posteriori sur 10 heures montre une exactitude de 94,98 % sur ces étiquettes automatiques.</footnote>
Oral (Hervé et al., 2022), basés sur FlaubERT, qui sont partiellement ou entièrement préentraînés sur des sorties de RAP (19 Go générés à partir d'émissions d'actualités françaises diffusées entre 2013 et 2020). Plus précisément : FlaubERT-O-mixed est un modèle préentraîné sur un mélange de données écrites (13 Go provenant de Wikipédia et d'articles de presse) et de transcriptions, et FlaubERT-O-asr_nb est un modèle préentraîné sur des données de transcriptions uniquement.

**Modèles japonais** Pour le japonais, nous utilisons les modèles bert-japanese 7, qui ont été pré-
entraînés sur des articles Wikipédia (2,6 Go). Plus précisément, nous utilisons deux versions qui
diffèrent par la méthode de segmentation : soit WordPiece (bert-base-jp), soit au niveau des
caractères (bert-base-jp-char).

Enfin, nous utilisons le BERT multilingue original (Devlin et al., 2019) (mBERT), qui a été préen-
 traîné sur 100 langues correspondant aux versions de Wikipédia les plus importantes (47 Go au total),
 à la fois pour le français et le japonais 8.

## 3.2 Implémentation

Nous avons utilisé la bibliothèque Transformers de HuggingFace (Wolf et al., 2020) pour mettre en uvre les modèles BERT. Nous avons suivi l’usage d’hyperparamètres largement acceptés : Adam en tant qu’optimiseur ($\beta_1 = 0,9, \beta_2 = 0,999, \epsilon = 1e-08$), taux d’apprentissage = 2e-5, taille de batch = 32. L’entraînement est poursuivi jusqu’à ce qu’aucune amélioration de la fonction perte de validation ne soit constatée pendant 3 époques consécutives (le meilleur modèle est conservé). Les expériences ont été réalisées sur un seul GPU Tesla V100-SXM2. L’affinage d’un seul modèle prenait 3 à 6 minutes (environ 80 min en utilisant train_100k), tandis que l’inférence ne nécessitait approximativement qu’une minute. Les tailles des modèles sont les suivantes : mBERT, CamemBERT, bert-base-jp—110M de paramètres, FlaubERT-O-mixed, FlaubERT-O-asr_nb—138M, bert-base-jp-char—90M.

## 3.3 Résultats

Les résultats de la classification du genre du locuteur sont présentés dans le tableau 2. Comme certains ensembles de test ne sont pas équilibrés entre les classes masculine et féminine, nous utilisons P4 (Sitarz, 2023), la moyenne harmonique des scores F1 des deux classes (c.-à-d. la moyenne harmonique de la précision et du rappel mesurés pour chaque classe), comme principale mesure de classification binaire. Des intervalles de confiance ont été calculés selon l’approche de rééchantillonnage bootstrap 9 (bootstraps = 5000, = 5, condition = instance d’émission).

En ce qui concerne la partie française, de façon générale, les modèles FlaubERT-O sont plus performants que mBERT et CamemBERT, ce qui montre l'avantage, dans notre cas, d'un préentraînement sur les sorties de RAP. Pour les programmes d'information, FlaubERT-O-asr_nb est le meilleur modèle. Il s'agit probablement d'une conséquence logique du fait que ce modèle a

<footnote n="7">7. https://github.com/cl-tohoku/bert-japanese/</footnote>

<footnote n="8">8. Notons que la segmentation de mBERT est fondée sur WordPiece, comme pour bert-base-jp.</footnote>

<footnote n="9">9. Ferrer et Riera, "Confidence Intervals for evaluation in machine learning." [Logiciel]. https://github.com/luferrer/ConfidenceIntervals</footnote>
<table><thead><tr><th>Modèle</th><th>P4</th><th>F1<sub>♂</sub></th><th>F1<sub>♀</sub></th><th>Ex.</th></tr></thead><tbody><tr><td colspan="5"><strong>Français (informations)</strong></td></tr><tr><td>mBERT</td><td>46,9 (31,1-50,9)</td><td>61,3</td><td>38,0</td><td>52,4</td></tr><tr><td>CamemBERT</td><td>49,9 (27,6-53,6)</td><td>56,5</td><td>44,7</td><td>51,3</td></tr><tr><td>FBO-mixed</td><td>51,0 (30,9-55,2)</td><td>58,4</td><td>45,2</td><td>52,7</td></tr><tr><td>FBO-asr_nb</td><td>55,0 (36,0-58,6)</td><td>58,9</td><td>51,6</td><td>55,6</td></tr><tr><td colspan="5"><strong>Français (thématiques)</strong></td></tr><tr><td>mBERT</td><td>51,7 (30,7-63,7)</td><td>81,0</td><td>38,0</td><td>70,9</td></tr><tr><td>CamemBERT</td><td>55,3 (39,0-62,2)</td><td>76,2</td><td>43,4</td><td>66,4</td></tr><tr><td>FBO-mixed</td><td>58,8 (37,0-70,1)</td><td>82,8</td><td>45,6</td><td>73,9</td></tr><tr><td>FBO-asr_nb</td><td>57,9 (39,7-65,4)</td><td>78,0</td><td>46,1</td><td>68,8</td></tr><tr><td colspan="5"><strong>Français (téléréalité)</strong></td></tr><tr><td>mBERT</td><td>60,5 (52,4-65,3)</td><td>55,6</td><td>66,3</td><td>61,7</td></tr><tr><td>CamemBERT</td><td>59,9 (52,5-65,4)</td><td>54,0</td><td>67,2</td><td>61,7</td></tr><tr><td>FBO-mixed</td><td>59,9 (52,9-65,3)</td><td>53,7</td><td>67,6</td><td>61,9</td></tr><tr><td>FBO-asr_nb</td><td>57,2 (49,9-62,3)</td><td>52,5</td><td>62,8</td><td>58,3</td></tr></tbody></table>

<table><caption>TABLE 2 – Scores P4, F1 (pour les classes masculine-♂ et féminine-♀), et exactitude pour les différents modèles évalués sur l'ensemble de test. FBO : FlauBERT-0, BB : bert-base.</caption><thead><tr><th>Modèle</th><th>P4</th><th>F1<sub>♂</sub></th><th>F1<sub>♀</sub></th><th>Ex.</th></tr></thead><tbody><tr><td colspan="5"><strong>Japonais (train_5k)</strong></td></tr><tr><td>mBERT</td><td>59,9 (56,9-62,7)</td><td>64,5</td><td>55,9</td><td>60,6</td></tr><tr><td>BB-jp</td><td>60,3 (57,5-63,0)</td><td>58,4</td><td>62,3</td><td>60,5</td></tr><tr><td>BB-jp-char</td><td>57,5 (54,6-60,2)</td><td>57,3</td><td>57,8</td><td>57,5</td></tr><tr><td colspan="5"><strong>Japonais (bert-base-jp)</strong></td></tr><tr><td>train_5k</td><td>60,3 (57,5-63,0)</td><td>58,4</td><td>62,3</td><td>60,5</td></tr><tr><td>train_100k</td><td>61,8 (58,6-64,6)</td><td>70,5</td><td>54,9</td><td>64,4</td></tr></tbody></table>

été entièrement préentraîné sur le même type de données. Pour les émissions thématiques, les modèles FlauBERT-0 obtiennent les meilleurs résultats, alors que pour les émissions de téléréalité, FlauBERT-0-asr_nb obtient les plus mauvais scores (les autres modèles étant comparables). Encore une fois, nous pouvons supposer l'influence de la correspondance des domaines entre le préentraînement et le test (les transcriptions des émissions de télé-réalité sont assez bruitées, les gens parlant très spontanément dans ce type de programme, tandis que les informations télévisées et radiophoniques préparent une partie du discours à l'avance).

Concernant la partie japonaise, nous avons d'abord évalué des versions des modèles BERT affinées sur un ensemble de 5000 exemples vérifiés manuellement (train_5k). Les meilleurs résultats sont obtenus avec mBERT et bert-base-jp (qui utilisent tous deux la segmentation WordPiece). Nous avons ensuite comparé les performances de ce modèle en utilisant un plus grand jeu d'affinage (annoté automatiquement) : l'augmentation substantielle de la quantité de données n'entraîne qu'un léger gain.

Il apparaît que la plupart des classificateurs basés sur BERT peuvent, dans une mesure limitée, détecter le genre du locuteur sur la base d'une transcription d'énoncé (P4 > 50). Ces résultats sont toutefois dans l'absolu plutôt modestes. Cela doit être mis en relation avec la difficulté intrinsèque de la tâche : les énoncés à classer ne sont composés que de 30-40 mots en moyenne dans la partie française, et seulement d'une vingtaine de mots dans la partie japonaise. Une part significative des exemples ne contient probablement pas d'indice clair. À titre de comparaison, les systèmes soumis à la tâche de profilage de genre PAN 2019 devaient prédire le genre de l'auteur à partir d'un ensemble de 100 tweets (pour l'anglais, la meilleure équipe a obtenu une exactitude de 84,17 %). Dans la section suivante, nous expliquons comment nous utilisons la confiance exprimée par le classificateur et les techniques d'explicabilité pour identifier des mots porteurs d'information sur le genre.
# 4 Analyse qualitative par les techniques d'explicabilité

## 4.1 Méthodes

Nous avons utilisé trois méthodes bien connues, représentatives de différents groupes de techniques de l'IAX, afin de calculer des valeurs de contribution aux classes masculine et féminine au niveau des mots dans les énoncés transcrits (comme illustré dans la Figure 1).

**Occlusion** Initialement proposée par Zeiler & Fergus (2014) dans le contexte du traitement des images, Occlusion est une approche fondée sur les perturbations qui, dans son principe, est l'une des techniques d'explicabilité les plus simples. Elle mesure l'effet sur la sortie du système de la suppression, ou du remplacement par une valeur neutre, d'une partie de l'entrée. Dans notre cas, il s'agit d'utiliser l'unité de masquage utilisée dans le préentraînement de BERT. Pour ce qui est de la quantification du changement causé par la perturbation, nous envisageons deux options : (a) tenir compte du changement (potentiel) de la classe prédite (ou changement d'étiquette), (b) tenir compte de la variation de la distribution de probabilité binaire (ou changement de probabilité). La première peut être considérée comme moins flexible, car toutes les perturbations n'impliquent pas un changement de la classe prédite. Pour s'assurer que l'effet de perturbation n'est pas contourné en raison de la répétition dans la séquence, nous masquons toutes les occurrences d'une unité en une seule fois. En outre, comme nous pensons que le changement d'étiquette ou de probabilité devrait être moins important dans le cas d'une séquence courte, nous pondérons chaque perturbation par le nombre d'unités uniques dans la séquence.

**LIME** Proposée par Ribeiro et al. (2016), LIME (Local Interpretable Model-Agnostic Explanations) est une technique fondée sur la simplification qui entraîne un modèle linéaire 10 de substitution à approximer, autour d'un exemple donné, la limite de décision locale du modèle complexe d'origine. Dans la classification des textes, LIME masque aléatoirement les unités de la séquence exemple. Elle ajuste alors un modèle linéaire pour faire correspondre la sortie (c.-à-d. la probabilité d'une certaine classe) du modèle complexe pour ces variantes masquées. Ce modèle linéaire prenant en entrée une représentation simplifiée, sous la forme d'un vecteur binaire indiquant la présence ou l'absence de chaque unité dans l'échantillon perturbé. En conséquence, les coefficients appris fournissent des valeurs au niveau des unités pour la contribution à la classe cible.

**LIG** Proposée par Mudrakarta et al. (2018), LIG (Layer Integrated Gradients) est une approche fondée sur les gradients, directement inspirée des gradients intégrés de Sundararajan et al. (2017). Intuitivement, on peut considérer que si le produit d'un modèle change considérablement en fonction de la variation d'une dimension d'entrée (c.-à-d. que le gradient de la sortie par rapport à la dimension d'entrée est élevé en valeur absolue), cela signifie que la valeur d'entrée de cette dimension particulière est importante pour la décision du modèle. Cependant, Sundararajan et al. (2017) remarquent qu'au lieu de la variation locale autour de la valeur d'entrée, il faudrait considérer la variation agrégée entre la valeur d'entrée et une valeur de base non informative représentant l'absence de la caractéristique (ce qui renvoie à l'idée de mesurer l'effet d'une perturbation). Mudrakarta et al.

<footnote n="10">10. Ce cas est le plus courant pour la mise en uvre de LIME, mais la description générale donnée par Ribeiro et al., 2016 permet d'utiliser d'autres types de modèles interprétables (p. ex., des arbres de décision).</footnote>
(2018) ont appliqué ce principe au traitement des textes, en définissant le neutre comme une séquence d'unités de remplissage, et en intégrant le gradient de la sortie du modèle sur les dimensions de la couche de plongement (qui correspond à un espace continu, par opposition aux unités de la séquence).

## 4.2 Implémentation

La mise en uvre des méthodes LIME et LIG a été réalisée à l'aide de la bibliothèque Captum (Kokhlikyan et al., 2020). Pour LIME, nous calculons la mesure de proximité (notée $\pi_x$ dans Ribeiro et al., 2016) par le biais de la distance cosinus entre les encodages de CLS au sein des échantillons d'origine et perturbé, en utilisant le modèle lasso linéaire de scikit-learn ($\alpha$ = 0.001), et en échantillonnant 200 perturbations par exemple<fnref n="11" />. Les expériences ont été réalisées sur un seul GPU Tesla V100-SXM2, et sur un processeur Intel Cascade Lake 6248 (10 curs à 2,5 GHz). Les temps d'exécution des méthodes d'IAX, lors de l'analyse des prédictions de FlaubERT-O-mixed pour les émissions de téléréalité françaises de l'ensemble de test (525 exemples), sont les suivants : Occlusion—1 min, LIME—1 h, LIG—30 min.

## 4.3 Identification des expressions genrées

Nous avons appliqué les trois méthodes d'explicabilité afin de produire des explications pour les prédictions de nos modèles sur les ensembles de tests. Nous avons choisi de calculer les scores d'attribution au niveau des unités en fonction de leur contribution à la classe cible masculine (les scores positifs indiquent une orientation masculine et les scores négatifs une orientation féminine). Afin de vérifier la **cohérence** des attributions avec, d'une part, les prédictions effectives du modèle, et d'autre part, les étiquettes de références, nous définissons une procédure de calcul de « pseudo-prédictions ». Plus précisément, soient $\theta$ un modèle de classification, $\psi$ une méthode d'explication, $x$ une séquence, et $(\psi(x, \theta, \sigma))_t$ la valeur de contribution à la classe homme ($\sigma$) attribuée par $\psi$ à la t-ième unité de $x$. Alors la pseudo-prédiction dérivée de l'explication $\psi(x, \theta, \sigma)$ est : $\hat{y}' = \sigma$ si $\sum_t (\psi(x, \theta, \sigma))_t > 0$ sinon $\ominus$

Du calcul des pseudo-prédictions $\hat{Y}'$ nous inférons P4($\hat{Y}'$, $\hat{Y}$), une évaluation vis-à-vis des prédictions effectives du modèle, ainsi que P4($\hat{Y}'$, $Y$), une évaluation vis-à-vis des références. La figure 2a compare les scores P4($\hat{Y}'$, $\hat{Y}$) obtenus en fonction des techniques d'explicabilité employées, sur différents sous-ensembles d'exemples de test filtrés selon des seuils croissants de confiance du classificateur ($p(\hat{y}|x; \theta) > \cdot$). Nous pouvons notamment voir que les pseudo-prédictions sont d'autant plus proches des vraies prédictions quand la confiance du modèle est élevée (p. ex. pour LIG, à partir de $p(\hat{y}|x; \theta) > 0,7$, correspondant à 117 instances, $\hat{Y}' = \hat{Y}$). Nous observons également que LIG est la technique affichant la plus grande cohérence entre ses attributions et les prédictions. Notons que pour Occlusion(changement d'étiquette) P4($\hat{Y}'$, $\hat{Y}$) diminue quand le niveau de filtrage augmente : de façon logique, puisque que la croissance de la confiance s'oppose naturellement au changement d'étiquette prédite pour l'échantillon perturbé. La figure 2b compare les scores P4($\hat{Y}'$, $Y$) : les mêmes tendances se retrouvent dans ce cas, à ceci près que les scores sont globalement plus faibles (P4 ne dépasse pas 0,7, même avec le seuil le plus élevé).

Afin de fournir une vue d'ensemble, nous avons calculé la moyenne des scores associés à chaque

<footnote n="11">11. Notre code est disponible à cette adresse : https://github.com/Cyossnarf/XSpeakerGender</footnote>
<figure><img src="image_226.png" /><figcaption>FIGURE 2 – Évaluation de la cohérence des explications. Le modèle analysé est FlaubERT-O-mixed, appliqué sur les émissions françaises de téléréalité (les exemples sont filtrés selon la confiance du classificateur). Les intervalles de confiance ont été calculés selon l'approche bootstrap (bootstraps = 5000, = 5, condition = instance de programme).</figcaption></figure>

occurrence d'unité pour produire un lexique genré agrégé. La figure 3 présente des exemples de lexiques correspondant aux scores calculés les plus élevés (♂) et les plus bas (♀) parmi les vocabulaires<fnref n="12" />. Pour les données japonaises, certains thèmes sont davantage associés aux hommes (politique) et aux femmes (météo), reflétant une tendance existant effectivement dans les programmes. Pour la partie française, nous avons pu noter un usage plus marqué des pronoms personnels par les femmes dans les émissions de téléréalité. Cela coïncide avec les observations d'études antérieures (Pennebaker, 2011; Kocher & Savoy, 2016).

<table><caption>FIGURE 3 – Lexique pour les classes masculine-♂ et féminine-♀, extrait par le biais des techniques d'explicabilité (automatiquement en français dans le cas du japonais).</caption><thead><tr><th></th><th></th></tr></thead><tbody><tr><td><strong>Français (téléréalité), FlaubERT-O-mixed, LIME</strong></td><td></td></tr><tr><td>♂ soirée, famille, temps, soir, aime, amour, vie, faut, demain, chez</td><td></td></tr><tr><td>♀ lui, clairement, cas, euh, cela, tu, son, avoir, moins, avait</td><td></td></tr><tr><td><strong>Japonais (informations, train_100k), LIG</strong></td><td></td></tr><tr><td>♂ 市場 (marché), 国会 (régime), まし (meilleur), 選挙 (élection), 政府 (gouvernement), 議員 (membre du parlement), 党 (parti), 側 (côté), ます (masu), です (est), ね (hé)</td><td></td></tr><tr><td>♀ 雪 (neige), 朝 (matin), 北海道 (Hokkaido), 晴れ (ensoleillé), 東北 (Tohoku), 雨 (pluie), 夜 (nuit), そう (oui), にかけて (dessus), 日 (jour)</td><td></td></tr></tbody></table>

<footnote n="12">12. Nous n'avons conservé que les unités qui apparaissaient 9 fois ou plus, afin de calculer des valeurs moyennes fiables.</footnote>
# 5 Travaux connexes

Ces dernières années, l'IAX a été appliquée à une variété de sous-domaines afin de fournir une
assistance dans la prise de décision par un agent : par exemple pour la détection de fausses nouvelles
(Yang et al., 2019), l'intervention d'un instructeur dans un MOOC (Alrajhi et al., 2022), ou encore
la détection de discours haineux (Kim et al., 2022). La détection du genre fait partie du domaine plus
vaste du profilage des auteurs, qui vise à déduire des traits sociaux ou de personnalité sur la base des
messages produits par une personne (Stajner & Yenikent, 2020). Sánchez et al. (2022) mentionnent
trois contextes en particulier dans lesquels elle peut être utilisée : la linguistique judiciaire—afin
d'identifier les auteurs de violence et de harcèlement sur internet, le marketing—afin de mener des
stratégies publicitaires personnalisées, et la sociolinguistique—afin de mettre en relation des motifs
linguistiques avec des variables sociales comme le genre. Les algorithmes utilisés pour le profilage
de genre à partir de textes vont des approches classiques, telles que les SVM et la classification
naïve bayésienne (Burger et al., 2011), aux approches modernes basées sur les neurones (Bartle
& Zheng, 2015). Depuis 2013, l'association PAN <fnref n="13" />, dans le cadre du *Conference and Labs of the
Evaluation Forum* (CLEF), a organisé une série de tâches partagées de profilage des auteurs, parmi
lesquelles la détection du genre a été abordée à plusieurs reprises. Enfin, plusieurs études ont lié la
détection du genre avec les analyses stylistiques (Savoy, 2022). Par exemple, en analysant des tweets,
Ikae & Savoy (2022) constatent que certains termes ou catégories de mots—tels que les articles, les
pronoms personnels, les négations, les émotions, les nombres, la ponctuation, les émojis—peuvent
être davantage liés à un genre qu'à l'autre.

# 6 Conclusion

Cette étude présente notre méthodologie de détection du genre à partir de transcriptions automatiques de la parole. Nous avons expliqué comment utiliser les techniques développées pour l'explicabilité des modèles de façon à mettre en évidence des informations lexicales genrées, en prenant comme cas d'application des programmes télévisés et radiophoniques en français et en japonais. Nos expériences montrent que les classificateurs basés sur BERT peuvent, dans une mesure limitée, prédire le genre du locuteur sur la base d'un énoncé. Par conséquent, l'IAX devrait être associée à l'exploitation de la confiance de la prédiction du classificateur afin de potentiellement localiser des indicateurs spécifiques au genre. Les orientations de recherche future pourraient inclure : l'utilisation des méthodes d'IAX afin de produire des attributions plus complexes, et la récupération des annotations sur le genre de l'interlocuteur pour analyser les différences selon ce critère.

Remerciements

Ce travail a été financé par l'ANR (projet *Gender Equality Monitor* – ANR-19-CE38-0012). Il a en
outre bénéficié d'un accès aux moyens de calcul de l'IDRIS au travers de l'allocation de ressources
2023-AD011014209 attribuée par GENCI.

<footnote n="13">13. https://pan.webis.de/</footnote>
Références

ALRAJHI L., PEREIRA F. D., CRISTEA A. I. & ALJOHANI T. (2022). A good classifier is not en-
ough : A XAI approach for urgent instructor-intervention models in moocs. In M. M. T. RODRIGO,
N. MATSUDA, A. I. CRISTEA & V. DIMITROVA, Éds., *Artificial Intelligence in Education. Posters
and Late Breaking Results, Workshops and Tutorials, Industry and Innovation Tracks, Practitioners'
and Doctoral Consortium - 23rd International Conference, AIED 2022, Durham, UK, July 27-31,
2022, *Proceedings, Part II*, volume 13356 de *Lecture Notes in Computer Science*, p. 424-427 :
Springer. DOI: 10.1007/978-3-031-11647-6_84.

ARCOM (2023). Women representation on television and radio. Available online :
https://www.arcom.fr/sites/default/files/2023-06/Representation_
des_femmes_a_la_television_et_a_%20la� Victo-Rapport_s SUR exercice_
2022-Arcom.pdf. In French. Last accessed : 16/10/2023.

ASH E., DURANTE R., GREBENSHCHIKOVA M. & SCHWARZ C. (2022). *Visual Representation and Stereotypes in News Media*. CESifo Working Paper Series 9686, CESifo.

BARTLE A. & ZHENG J. (2015). Gender classification with deep learning. *Stanfordcs, 224d Course Project Report*, p. 1–7.

BURGER J. D., HENDERSON J., KIM G. & ZARRELLA G. (2011). Discriminating gender on Twitter. In *Proceedings of the 2011 Conference on Empirical Methods in Natural Language Processing*, p. 1301–1309, Edinburgh, Scotland, UK. : Association for Computational Linguistics.

DEVLIN J., CHANG M.-W., LEE K. & TOUTANOVA K. (2019). BERT: Pre-training of deep bidirectional transformers for language understanding. In *Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics : Human Language Technologies, Volume 1 (Long and Short Papers)*, p. 4171–4186, Minneapolis, Minnesota : Association for Computational Linguistics. DOI: 10.18653/v1/N19-1423.

DOUKHAN D., CARRIVE J., VALLET F., LARCHER A. & MEIGNIER S. (2018). AN OPEN-SOURCE SPEAKER GENDER DETECTION FRAMEWORK FOR MONITORING GENDER EQUALITY. In *IEEE International Conference on Acoustic Speech and Signal Processing, Calgary, Canada. HAL: hal-01927560*.

GMMP (2021). 6th global media monitoring project highlight of findings. Available online : https://whomakesthenews.org/wp-content/uploads/2021/08/GMMP-2020.Highlights_FINAL.pdf. Last accessed : 16/10/2023.

GONZÁLEZ-CARVAJAL S. & GARRIDO-MERCHÁN E. C. (2020). Comparing BERT against traditional machine learning text classification. *CoRR*, abs/2005.13012.

HERVÉ N., PELLOIN V., FAVRE B., DARY F., LAURENT A., MEIGNIER S. & BESACIER L. (2022). Using ASR-Generated Text for Spoken Language Modeling. In *Proceedings of Big-Science Episode #5 – Workshop on Challenges & Perspectives in Creating Large Language Models*, p. 17–25, virtual+Dublin, France : Association for Computational Linguistics. DOI : 10.18653/v1/2022.bigscience-1.2, HAL : hal-03770460.

IKAE C. & SAVOY J. (2022). Gender identification on twitter. *J. Assoc. Inf. Sci. Technol.*, **73**(1), 58-69. DOI: 10.1002/asi.24541.

KIM J., LEE B. & SOHN K. (2022). Why is it hate speech? masked rationale prediction for explainable hate speech detection. In N. CALZOLARI, C. HUANG, H. KIM, J. PUSTEJOVSKY, L. WANNER, K. CHOI, P. RYU, H. CHEN, L. DONATELLI, H. JI, S. KUROHASHI, P. PAGGIO, N. XUE, S. KIM, Y. HAHM, Z. HE, T. K. LEE, E. SANTUS, F. BOND & S. NA, Éds., *Proceedings*
of the 29th International Conference on Computational Linguistics, COLING 2022, Gyeongju, Republic of Korea, October 12-17, 2022, p. 6644–6655: International Committee on Computational Linguistics.

KOCHER M. & SAVOY J. (2016). Unine at CLEF 2016: Author profiling. In K. BALOG, L. CAPPELLATO, N. FERRO & C. MACDONALD, Éds., *Working Notes of CLEF 2016 - Conference and Labs of the Evaluation forum*, Évora, Portugal, 5-8 September, 2016, volume 1609 de CEUR Workshop Proceedings, p. 903–911: CEUR-WS.org.

KOKHLIKYAN N., MIGLANI V., MARTIN M., WANG E., ALSALLAKH B., REYNOLDS J., MELNIKOV A., KLIUSHKINA N., ARAYA C., YAN S. & REBLITZ-RICHARDSON O. (2020). Captum: A unified and generic model interpretability library for pytorch. CoRR, abs/2009.07896.

LE H., VIAL L., FREJ J., SEGONNE V., COAVOUX M., LECOUTEUX B., ALLAUZEN A., CRABBE B., BESACIER L. & SCHWAB D. (2020). FlauBERT: Unsupervised Language Model Pre-training for French. In LREC, Marseille, France. HAL: hal-02890258.

MARCINKEVICS R. & VOGT J. E. (2020). Interpretability and explainability: A machine learning zoo mini-tour. CoRR, abs/2012.01805.

MARTIN L., MULLER B., ORTIZ SUÁREZ P. J., DUPONT Y., ROMARY L., VILLEMONTE DE LA CLERGERIE É., SEDDAH D. & SAGOT B. (2020). CamemBERT: a Tasty French Language Model. In *ACL 2020 - 58th Annual Meeting of the Association for Computational Linguistics*, Seattle / Virtual, United States. DOI: 10.18653/v1/2020.acl-main.645, HAL: hal-02889805.

MEDIAWATCH (1995). Global media monitoring project: Women's participation in the news.

MUDRAKARTA P. K., TALY A., SUNDARARAJAN M. & DHAMDHERE K. (2018). Did the model understand the question? In *Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers)*, p. 1896–1906, Melbourne, Australia: Association for Computational Linguistics. DOI: 10.18653/v1/P18-1176.

PENNEBAKER J. W. (2011). Your use of pronouns reveals your personality. *Harvard business review*, **89**(12), 32–33.

RADFORD A., KIM J. W., XU T., BROCKMAN G., MCLEAVEY C. & SUTSKEVER I. (2023). Robust speech recognition via large-scale weak supervision. In *International Conference on Machine Learning*.

RIBEIRO M. T., SINGH S. & GUESTRIN C. (2016). "why should I trust you?": Explaining the predictions of any classifier. In B. KRISHNAPURAM, M. SHAH, A. J. SMOLA, C. C. AGGARWAL, D. SHEN & R. RASTOGI, Éds., *Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, San Francisco, CA, USA, August 13-17, 2016*, p. 1135–1144: ACM. DOI: 10.1145/2939672.2939778.

SÁNCHEZ D. M., MORENO A. & JIMÉNEZ-LÓPEZ M. D. (2022). Machine learning methods for automatic gender detection. *Int. J. Artif. Intell. Tools*, **31**(3), 2241002:1–2241002:8. DOI: 10.1142/S0218213022410020.

SAVOY J. (2022). Stylometric analysis of characters in Shakespeares plays. *Digital Scholarship in the Humanities*, **38**(3), 1238–1246. DOI: 10.1093/llc/fqac092.

SITARZ M. (2023). Extending F1 metric, probabilistic approach. *Adv. Artif. Intell. Mach. Learn.*, **3**(2), 1025–1038. DOI: 10.54364/aaiml.2023.1161.

STAJNER S. & YENIKENT S. (2020). A survey of automatic personality detection from texts. In *Proceedings of the 28th International Conference on Computational Linguistics*, p. 6284–6295, Barcelona, Spain (Online): International Committee on Computational Linguistics. DOI: 10.18653/v1/2020.coling-main.553.
SUN C., QIU X., XU Y. & HUANG X. (2019). How to fine-tune BERT for text classification? In M. SUN, X. HUANG, H. JI, Z. LIU & Y. LIU, Éds., *Chinese Computational Linguistics - 18th China National Conference, CCL 2019, Kunming, China, October 18-20, 2019, Proceedings*, volume 11856 of *Lecture Notes in Computer Science*, p. 194-206: Springer. DOI: 10.1007/978-3-030-32381-3_16.

SUNDARARAJAN M., TALY A. & YAN Q. (2017). Axiomatic attribution for deep networks. In D. PRECUP & Y. W. TEH, Éds., *Proceedings of the 34th International Conference on Machine Learning*, volume 70 of *Proceedings of Machine Learning Research*, p. 3319-3328: PMLR.

TOMASHENKO N., VYTHELINGUM K., ROUSSEAU A. & ESTÈVE Y. (2016). LIUM ASR systems for the 2016 Multi-Genre Broadcast Arabic Challenge. In *IEEE Workshop on Spoken Language Technology*, San Diego, CA, USA, United States. DOI: 10.1109/SLT.2016.7846278, HAL: hal-01433188.

UN U. N. (1995). Beijing declaration and platform for action. Available online : https://www.un.org/womenwatch/daw/beijing/pdf/BDPfA%20E.pdf. Last accessed : 16/10/2023.

WOLF T., DEBUT L., SANH V., CHAUMOND J., DELANGUE C., MOI A., CISTAC P., RAULT T., LOUF R., FUNTOWICZ M., DAVISON J., SHLEIFER S., VON PLATEN P., MA C., JERNITE Y., PLU J., XU C., SCAO T. L., GUGGER S., DRAME M., LHOEST Q. & RUSH A. M. (2020). Transformers: State-of-the-art natural language processing. In *Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing: System Demonstrations*, p. 38-45, Online: Association for Computational Linguistics.

YANG F., PENTYALA S. K., MOHSENI S., DU M., YUAN H., LINDER R., RAGAN E. D., JI S. & HU X. B. (2019). Xfake: Explainable fake news detector with visualizations. In *The World Wide Web Conference, WWW '19*, p. 3600-3604, New York, NY, USA: Association for Computing Machinery. DOI: 10.1145/3308558.3314119.

ZEILER M. D. & FERGUS R. (2014). Visualizing and understanding convolutional networks. In D. FLEET, T. PAJDLA, B. SCHIELE & T. TUYTELAARS, Éds., *Computer Vision - ECCV 2014*, p. 818-833, Cham: Springer International Publishing.
# Vers une pédagogie inclusive : une classification multimodale des illustrations de manuels scolaires pour des environnements d’apprentissage adaptés

Saumya Yadav¹, Élise Lincker², Caroline Huron³, Stéphanie Martin³, Camille Guinaudeau⁴, ⁵, Shin’ichi Satoh⁵ and Jainendra Shukla¹

(1) HMI Lab, IIIT-Delhi, India

(2) Cedric, CNAM, Paris, France

(3) Le Cartable Fantastique, Paris, France

(4) Japanese French Laboratory for Informatics, CNRS, Japan

(5) National Institute of Informatics, Tokyo, Japan

saumya@iiitd.ac.in

## RÉSUMÉ

Afin de favoriser une éducation inclusive, des systèmes automatiques capables d'adapter les manuels scolaires pour les rendre accessibles aux enfants en situation de handicap sont nécessaires. Dans ce contexte, nous proposons de classifier les images associées aux exercices selon trois classes (Essentielle, Informative et Inutile) afin de décider de leur intégration ou non dans la version accessible du manuel pour les enfants malvoyants. Sur un ensemble de données composé de 652 paires (texte, image), nous utilisons des approches monomodales et multimodales à l'état de l'art et montrons que les approches fondées sur le texte obtiennent les meilleurs résultats. Le modèle CamemBERT atteint ainsi une exactitude de 85,25 % lorsqu'il est combiné avec des stratégies de gestion de données déséquilibrées. Pour mieux comprendre la relation entre le texte et l'image dans les exercices des manuels, nous effectuons également une analyse qualitative des résultats obtenus avec et sans la modalité image et utilisons la méthode LIME pour expliquer la décision de nos modèles.

## ABSTRACT

Towards Inclusive Pedagogy : A multimodal Classification of Textbook Illustrations for Adaptive Learning Environments

To foster inclusive education, automatic systems that can adapt textbooks to make them accessible to children with disabilities are necessary. In this context, we propose a task to classify the images associated with the exercises according to three classes (Essential, Informative, and Useless) to decide whether to integrate them into the accessible version of the textbook for visually impaired children. On a dataset composed of 652 (text, image) pairs, we use state-of-the-art monomodal and multimodal approaches and show that text-based approaches achieve better results. The CamemBERT model achieves an accuracy of 85.25% when combined with unbalanced data management strategies. To better understand the relationship between text and image in textbooks' exercises, we also perform a qualitative analysis of the results obtained with and without the image modality and use the LIME method to explain the decision of our models.

**MOTS-CLÉS** : Classification multimodale · Éducation inclusive · Explicabilité des modèles.

**KEYWORDS:** Multimodal Classification · Inclusive Education · Model explainability.

<figure><img src="image_227.png" /></figure>
<table><caption>TABLE 1 – Exemples de classification de paires (texte, image)</caption><thead><tr><th>Classe</th><th>Essentielle</th><th>Informative</th><th>Inutile</th></tr></thead><tbody><tr><th>Images</th><td></td><td></td><td></td></tr><tr><th>Texte</th><td>Écris le son commun aux 3 objets représentés par les dessins.</td><td>Texte : À la préhistoire, les hommes dessinaient des peintures rupestres sur les murs de leur caverne - Q : Trouve le verbe. À quel temps est il conjugué ?</td><td>Recopie les phrases si tu reconnais le verbe "aller". (a) Je quitte la maison à la même heure tous les matins. (b) Samedi, je me suis baladé dans le parc.</td></tr></tbody></table>

<figure><img src="image_228.png" /></figure>

<figure><img src="image_229.png" /></figure>

<figure><img src="image_230.png" /></figure>

# 1 Introduction

Le droit à l'éducation est universel, transcendant les limitations imposées par des handicaps physiques ou cognitifs. Cependant, les ressources éducatives conventionnelles, en particulier les manuels scolaires, ne sont pas intrinsèquement conçues pour répondre aux besoins divers des apprenants, surtout ceux en situation de handicap. Cette disparité dans l'accessibilité des matériaux éducatifs entrave considérablement le processus d'apprentissage pour les enfants ayant des besoins spéciaux, amplifiant ainsi l'écart éducatif.

L'évolution des techniques d'intelligence artificielle a ouvert de nouvelles voies pour l'apprentissage adapté, pourtant l'intégration de ces technologies dans le soutien des enfants en situation de handicap reste peu explorée. Spécifiquement, les apprenants malvoyants rencontrent des barrières découlant de la nature visuelle des matériaux éducatifs standards, qui sont principalement basés sur le texte et l'image. Cela limite leur capacité à accéder à l'information et affecte leur engagement et leur motivation. Des associations commencent à produire des manuels numériques adaptés aux enfants en situation de handicaps, en effectuant les transformations à la main. Malheureusement, étant donné la grande diversité des collections et le renouvellement des programmes d'enseignement, ces adaptations artisanales ne permettent pas de répondre aux besoins. Dans ce contexte, l'utilisation d'approches automatiques est indispensable pour rendre accessible les matériaux éducatifs au plus grand nombre.

L'automatisation de l'adaptation de manuels scolaires a été peu étudiée. Lincker et al. (2023b) a été pionnier dans la classification des exercices des manuels en fonction de leurs objectifs d'apprentissage, facilitant l'adaptation automatique des manuels pour les enfants ayant des problèmes de coordination motrice (dyspraxie). Cette adaptation atténue le besoin d'écriture manuelle et rationalise les interactions avec les manuels tout en préservant l'intégrité éducative. Cependant, les auteurs se concentrent sur la mise en page et le contenu textuel des manuels, ce qui ne correspond pas aux besoins des élèves malvoyants. Afin de combler cette lacune, notre travail propose donc un nouveau cadre de classification des images accompagnant les exercices des manuels afin de déterminer leur caractère facultatif ou non. La classification de ces images dans trois classes (Essentielle, Informative et Inutile), voir exemples dans le Tableau 1, est cruciale pour l'adaptation des manuels, guidant les décisions sur l'inclusion d'une image dans l'interface utilisateur (avec du texte alternatif généré) ou son omission pour un document plus clair et plus accessible, adapté à la consommation auditive via un assistant vocal. Pour cela, nous annotons un ensemble de données de plus de 600 paires (texte, image) avec ces 3 catégories et utilisons des algorithmes de classification monomodaux et multimodaux à l'état de l'art. Notre motivation pour combiner les deux modalités, image et texte repose sur l'intuition qu'une
image *Inutile* présente un chevauchement sémantique significatif avec le texte (l'image ne fournit pas d'informations supplémentaires), tandis qu'une image *Essentielle* sera sémantiquement très différente du texte de l'exercice qu'elle illustre. Nous comparons également cette approche multimodale avec des méthodes monomodales pour analyser l'impact des différentes modalités indépendamment. Les principales contributions de ce travail sont triples : (1) une comparaison des approches multi et monomodales pour la classification (texte, image) ; (2) une comparaison qualitative des résultats pour mieux comprendre l'impact de chaque modalité ; (3) une analyse des fonctionnalités utilisées par le modèle à travers la méthode d'explicabilité LIME (Ribeiro et al., 2016).

## 2 État de l'art

Le travail présenté dans cet article est lié à différents domaines : le Traitement Automatique des Langues appliqué aux manuels scolaires et la similarité texte-image.

La recherche appliquée aux manuels scolaires est relativement rare dans le domaine du traitement automatique des langues. La plupart des études existantes se concentrent soit sur l'analyse du contenu linguistique des manuels ((Green, 2019; Lucy et al., 2020)), sur la génération de questions à partir de ceux-ci ((Ch & Saha, 2022; Gerald et al., 2022)) ou la création de ressources lexicales qui pourraient être utilisées pour la classification et la représentation des manuels (Manulex (Lété et al., 2004), ReSyf (Billami et al., 2018) ou Alector (Gala et al., 2020)). Semblable à notre objectif d'adapter les manuels pour les enfants en situation de handicap, des études récentes se sont concentrées sur la modélisation et l'extraction de contenu à partir de manuels (Lincker et al., 2023b) ou la classification d'exercices basée sur leur objectif éducatif (Lincker et al., 2023a). Cependant, ces travaux se concentrent uniquement sur l'analyse de la mise en page et du texte et non sur les images présentes dans le manuel.

L'analyse de la similarité ou de la nature de la relation entre un texte et une image associée est souvent fondée sur des transformers vision-langage pré-entraînés qui se basent typiquement sur des ensembles de données de légendes d'images tels que MS COCO (Lin et al., 2014) ou Flickr30k (Young et al., 2014) pour évaluer leurs modèles (par exemple, (Rao et al., 2022) sur les tâches de recherche d'information ou (Huang et al., 2019) sur les tâches de légendage d'images). Ces ensembles de données comprennent des images complexes représentant de multiples objets dans des arrière-plans riches. Malgré la richesse des domaines visuels dans ces ensembles de données, leurs légendes tendent à être des descriptions en une seule phrase, alors que dans notre ensemble de données, les relations entre le texte et l'image sont plus variées, où l'image et le texte peuvent être soit redondants, soit complémentaires. L'analyse comparative des modalités image et texte a été révolutionnée par l'introduction du modèle Contrastive Language-Image Pre-training (CLIP) (Radford et al., 2021) qui apprend les concepts visuels à partir des descriptions textuelles, facilitant une association plus nuancée entre le texte et les images que les modèles traditionnels. Ce modèle offre la capacité d'estimer la similarité entre un texte et une image, largement utilisée dans la recherche d'informations cross-modale ou les systèmes de questions-réponses visuels (Visual Question Answering (VQA)). Plus étroitement liés à notre travail, deux articles récents analysent la relation entre le texte et l'image dans le contexte de la recherche d'information image-texte (Qu et al., 2021) et de la classification (Otto et al., 2020). Otto et al. (2020) présentent un cadre de classification analysant les relations sémantiques entre les images et les descriptions textuelles. Ils définissent huit classes, s'appuyant sur trois concepts : l'Information Mutuelle Cross-Modale, la Corrélation Sémantique, et le Statut (qui décrivent la relation hiérarchique entre le texte et l'image). L'étude implique la création automatique d'ensemble de
données à partir de MSCOCO, VIST (Malakan et al., 2023) et ImageNET (Deng et al., 2009) et se
base sur deux classifieurs d'apprentissage profond, un classique et un en cascade, pour évaluer la
difficulté de la tâche. Bien que ces ensembles de données soient publiquement disponibles, ils diffèrent
significativement de notre objectif. Les parties textuelles associées aux images dans ces ensembles de
données consistant principalement en une légende d'image d'une seule phrase (MSCOCO) ou une
étiquette d'un seul mot (ImageNet). Le texte dans nos exercices, destiné à poser une question, peut en
effet être constitué de plusieurs phrases et servir un but légèrement différent.

3 Données

Les images des activités et leçons de manuels scolaires jouent différents rôles, et reconnaître l'impor-
tance de ces éléments visuels est crucial pour l'adaptation automatique des manuels. Dans ce travail,
les exercices avec images ont été extraits de trois manuels scolaires français pour le primaire. Pour ce
faire, chaque manuel au format PDF est converti en fichier XML au format ALTO en utilisant les
outils pdfalto<fnref n="1" /> et MuPDF<fnref n="2" />. Cette approche permet l'extraction des mots dans une représentation
structurée et organisée du contenu tout en fournissant des informations sur la mise en page et le style
de police. Suivant la méthode employée par Lincker et al. (2023b), les mots extraits sont ensuite
regroupés en segments de texte, qui à leur tour sont regroupés en blocs d'activités en fonction de la
mise en page, du style de police et des caractéristiques d'espacement. Les images sont associées aux
blocs selon leur position sur la page. Finalement, deux experts ont manuellement annoté les images
avec leur texte respectif en trois classes différentes :

- Images Essentielles : Ces images sont indispensables pour comprendre ou résoudre une activité.

- Images Informatives : Elles contribuent à la compréhension du texte et fournissent des informations supplémentaires sans être essentielles pour résoudre l'exercice (ajout d'indices pour résoudre l'exercice ou explication sur un concept inconnu des élèves).

- Images Inutiles : Elles peuvent être exclues lors de l'adaptation pour les enfants en situation de handicap afin de simplifier l'interface adaptée.

Pour simplifier au maximum l'interface adaptée pour les enfants malvoyants, il est essentiel d'exclure
les images de la classe *Inutile* des manuels adaptés. Un exemple de la classification des images avec
leur texte respectif est présenté dans le Tableau 1. Dans la classe *Essentielle*, l'image est obligatoire
pour résoudre l'exercice, tandis que le but de l'image de la classe *Informative* est de donner des
informations supplémentaires à l'élève, qui peut ne pas savoir de qu'est exactement une peinture
rupestre. Enfin, dans le dernier exemple, l'image associée au texte « Copie les phrases si tu... » n'est
pas utile pour résoudre l'exercice et n'a qu'un but décoratif.

Trois manuels scolaires français ont été utilisés dans notre étude; deux provenant du même éditeur et un troisième venant d'un éditeur différent. Pour maintenir une évaluation rigoureuse, nous avons combiné les manuels du même éditeur et les avons partitionnés en ensembles d'entraînement et de validation en utilisant un ratio de 80/20. L'ensemble de test est, quant à lui, constitué à partir des paires (texte, image) extraites du manuel d'un éditeur différent afin de garantir que les modèles sont évalués sur des données non vues lors de l'entraînement. Le Tableau 2 présente le nombre de paires (texte, image) ainsi que le nombre de mots correspondants pour chaque classe des ensembles d'entraînement / validation et de test. Le Tableau 3 illustre, quand à lui, les 5 mots les plus fréquents dans chacune des 3 classes annotées, révélant des motifs distincts dans les occurrences de mots à

<footnote n="1">1. https://github.com/kermitt2/pdfalto</footnote>

<footnote n="2">2. https://github.com/ArtifexSoftware/mupdf</footnote>
<table><caption>TABLE 2 – Nombre de paires (texte, image) et nombre de mots différents dans chaque classe</caption><thead><tr><th rowspan="2"></th><th colspan="2">Essentielle</th><th colspan="2">Informative</th><th colspan="2">Inutile</th></tr><tr><th># mots</th><th># paires</th><th># mots</th><th># paires</th><th># mots</th><th># paires</th></tr></thead><tbody><tr><td>Entraînement+Validation</td><td>16.0</td><td>258</td><td>21.5</td><td>96</td><td>11.2</td><td>58</td></tr><tr><td>Test</td><td>13.5</td><td>131</td><td>32.4</td><td>75</td><td>11.2</td><td>42</td></tr></tbody></table>

<table><caption>TABLE 3 – Mots les plus fréquents dans chaque classe</caption><thead><tr><th colspan="3">Test</th><th colspan="3">Entraînement+Validation</th></tr><tr><th>Essentielle</th><th>Informative</th><th>Inutile</th><th>Essentielle</th><th>Informative</th><th>Inutile</th></tr></thead><tbody><tr><td>nom : 29</td><td>mot : 77</td><td>texte : 14</td><td>écris : 160</td><td>mot : 93</td><td>verbe : 21</td></tr><tr><td>dessin : 27</td><td>texte : 46</td><td>verbe : 11</td><td>dessin : 103</td><td>texte : 47</td><td>texte : 20</td></tr><tr><td>écris : 24</td><td>verbe : 41</td><td>phrase : 10</td><td>mot : 101</td><td>verbe : 42</td><td>phrase : 16</td></tr><tr><td>trouver : 23</td><td>observe : 34</td><td>recopie : 8</td><td>nom : 89</td><td>observe : 24</td><td>mot : 15</td></tr><tr><td>donne : 17</td><td>phrase : 25</td><td>combine : 7</td><td>utilise : 75</td><td>écris : 23</td><td>écris : 15</td></tr></tbody></table>

travers les catégories. En effet, nous pouvons remarquer que les mots « nom », « dessin » et « écris » sont assez caractéristiques de la classe *Essentielle*, alors que les classe *Informative* et *Inutile* tendent à partager davantage les mots qui apparaissent les plus fréquemment (« texte », « verbe » ou « phrase »).

# 4 Approches

Pour la classification des illustrations, nous avons utilisé différentes modalités. Pour cela, nous avons utilisé des approches multimodales, qui considèrent le texte et l'image simultanément ainsi que des méthodes monomodales qui se fondent uniquement sur le texte ou sur l'image.

## 4.1 Approche multi-modale

CLIP (Radford et al., 2021) est une architecture permettant d'apprendre des représentations visuelles à partir d'une faible supervision textuelle. Nos données textuelles étant extraites de livres en français, nous avons tout d'abord traduit les textes en anglais en utilisant la bibliothèque de traduction hors ligne open source Argos Translate<fnref n="3" />, qui repose sur OpenNMT (Klein et al., 2017), pour répondre à l'exigence d'entrée de texte en anglais de CLIP. Nous avons utilisé la variante RN101 de CLIP car elle donnait de meilleurs résultats sur notre ensemble de données de validation.

Dans cette première approche multi-modale, nous avons calculé la similarité entre les images et les textes à partir du modèle CLIP afin d'analyser la relation entre l'image et le texte, à partir de l'équation suivante :

$$CLIP\text{Score}(I, T) = \max(100 * \cos(E_I, E_T), 0) \quad (1)$$

où $E_I$ et $E_T$ correspondent aux plongements de l'image et du texte, respectivement. Nos données textuelles pouvant dépasser la longueur par défaut de 77 tokens définie par CLIP, nous avons utilisé deux stratégies différentes pour gérer cette limitation : la troncature et la segmentation. Dans le

<footnote n="3">3. https://github.com/argosopentech/argosTranslate</footnote>
<figure><img src="image_231.png" /><figcaption>FIGURE 1 – Similarité texte-image calculée à partir du modèle CLIP pour chaque classe (1 : *Essen-tielle*, 2 : *Informative*, 3 : *Inutile*)</figcaption></figure>

premier cas, les textes sont tronqués à la longueur par défaut alors qu'ils sont divisés en plusieurs
segments dans le second cas (la similarité globale entre le texte et l'image correspond alors à la
moyenne ou à la similarité maximale de tous les segments textuels). La Figure 1 présente les valeurs
de similarité obtenues avec ces deux stratégies. Nous pouvons constater que, contrairement à notre
intuition initiale, il n'existe que peu de différences de similarité entre texte et image en fonction
des 3 classes. Par conséquent, nous définissons une deuxième approche multimodale, consistant à
combiner les plongements des images obtenues grâce à la même variante RN101 du modèle CLIP et
les plongements des textes, calculés grâce aux modèles de langue présentés dans la section suivante,
pour les fournir à un Perceptron Multi-Couches (*Multi-Layers Perceptron* - MLP).

## 4.2 Approches mono-modales

**Fondées sur le texte** Pour l'encodage des plongements basés sur le texte dans l'approche monomodale, nous avons utilisé le modèle de langue BERT (Kenton & Toutanova, 2019), appliqué sur les données traduites en anglais, pour une comparaison plus directe avec les résultats fournis par CLIP, et le modèle de langue CamemBERT (Martin et al., 2020) appliqué directement sur les exercices en français. Nous avons utilisé la même approche de classification que celle utilisée dans le cadre multi-modal. Les textes des exercices ont d'abord été tokenisés avant d'être fournis aux modèles bert-base-uncased<fnref n="4" /> pour l'anglais et camembert-base<fnref n="4" /> pour le français, permettant l'extraction de plongements contextualisées à partir de la dernière couche cachée de l'architecture BERT et CamemBERT. Un pooling moyen adaptatif a été appliqué à travers la dimension de la longueur de la séquence afin d'obtenir une représentation de taille fixe, encapsulant les informations essentielles du texte d'entrée. Les plongements textuels obtenus à travers ces modèles sont ensuite soumis à un MLP pour la classification.

Finalement, pour améliorer davantage notre représentation sémantique des exercices, nous utilisons
le modèle de langage CamemBERT affiné sur des données éducatives : leçons et activités de quatre
manuels (deux manuels de la collection utilisée pour l'entraînement, excluant les exercices utilisés
pour construire notre jeu de données, et deux autres manuels non vus), 1293 Fantastiques Exercices
fournis par l'association Le Cartable Fantastique<fnref n="5" />, et les 79 textes de lecture originaux d'Alector. Ce
modèle de langue CamemBERT-education, proposé dans Lincker et al. (2023a), est utilisé de façon
similaire à CamemBERT pour calculer les plongements des textes des exercices.

<footnote n="4">4. L'utilisation de modèles plus large sur notre ensemble de validation a fourni de moins bons résultats.</footnote>

<footnote n="5">5. https://www.cartablefantastique.fr/</footnote>
**Fondées sur l'image** Pour l'extraction des plongements des images des exercices, nous avons utilisé les modèles ResNET (He et al., 2016), VGG16 (Simonyan & Zisserman, 2015) et Inception-v3 (Szegedy et al., 2016), qui sont connus pour leur efficacité sur les tâches de reconnaissance d'image. L'étape initiale consiste à charger un modèle ResNet-50 (ou VGG16 ou Inception-v3) pré-entraîné puis de personnaliser la dernière couche du modèle afin de produire des plongements de taille 512, identiques à ceux du modèle CLIP. Toutes les couches, à l'exception de la dernière couche modifiée, sont gelées pour préserver les connaissances encodées dans les couches antérieures. Par ailleurs, les images ont été préalablement redimensionnées pour garantir la compatibilité avec les attentes d'entrée du modèle ResNET.

Finalement, suivant la même méthode que pour le modèle CLIP ou la classification monomodale basée sur le texte, les plongements extraits sont fournis à un MLP pour notre tâche de classification.

## 4.3 Gestion des données déséquilibrées

Les données annotées dans le cadre de ce travail sont fortement déséquilibrées, comme le montre le Tableau 2. Le déséquilibre des classes pouvant affecter la performance du modèle, en favorisant particulièrement la classe majoritaire, nous avons utilisé deux stratégies pour gérer ce problème de déséquilibre, conjointement ou séparément :

- **Stratégie de pondération des classes** : Cette stratégie consiste à attribuer différents poids aux classes afin d'accorder plus d'importance à la classe minoritaire. Les pondérations sont calculées à l'aide de la fonction `compute_class_weight` de la bibliothèque Python `scikit-learn`, avec la stratégie *balanced* qui ajuste dynamiquement le poids des classes en fonction de leur distribution dans les données d'entraînement, fournissant des poids plus élevés aux classes sous-représentées.

- **Génération de données** : Dans cette stratégie, l'ensemble d'entraînement initial est complété par 150 instances de la classe *Inutile*. Ces nouvelles instances correspondent à des exercices sans image extraits de nos manuels d'entraînement auxquels nous avons associé des images aléatoires provenant de la classe *Inutile* au sein des mêmes manuels. Par la suite, nous avons fusionné ces données augmentées avec les données d'entraînement originales et suivi la même procédure d'extraction de plongements et de passage à travers le MLP que nous l'avions fait pour les modèles précédents.

# 5 Expérimentations

## 5.1 Configuration

Le modèle CLIP propose plusieurs variantes, et nous avons sélectionné RN101 pour sa performance supérieure sur la partie validation de notre jeu de données, avec un plongement de dimension 512. Nous avons ensuite extrait les plongements des données monomodales, en maintenant la même dimension et la même procédure qu'avec le modèle CLIP. Nous avons utilisé diverses techniques pour fusionner les modalités, incluant l'extraction du maximum et du minimum de deux plongements et leur addition. Les résultats optimaux, sur notre ensemble de validation, ont été obtenus en concatenant les deux plongements. Ainsi, nous les avons concatené en un vecteur de taille 1024 que nous avons fourni en entrée du MLP. L'architecture MLP utilisée se compose d'une couche d'entrée, de deux couches cachées avec activation ReLU, et d'une couche de sortie pour les tâches de classification.
<table><caption>TABLE 4 – Résultat de classification avec les modèles mono et multi-modaux</caption><thead><tr><th>Modèles</th><th>Modalité</th><th>Exactitude</th></tr></thead><tbody><tr><td>Classe majoritaire</td><td>-</td><td>0.7267</td></tr><tr><td>BERT</td><td>texte</td><td>0.8156</td></tr><tr><td>CamemBERT</td><td>texte</td><td><u>0.8361</u></td></tr><tr><td>CamemBERT-educational</td><td>texte</td><td>0.80</td></tr><tr><td>ResNET</td><td>image</td><td><u>0.5246</u></td></tr><tr><td>Inception-v3</td><td>image</td><td>0.5041</td></tr><tr><td>VGG16</td><td>image</td><td>0.50</td></tr><tr><td>BERT+ResNET</td><td>texte+image</td><td>0.7582</td></tr><tr><td>CamemBERT+ResNET</td><td>texte+image</td><td>0.8033</td></tr><tr><td>CLIP</td><td>texte+image</td><td><u>0.8074</u></td></tr></tbody></table>

<table><caption>TABLE 5 – Résultats de classification avec CamemBERT et les stratégies de gestion de données déséquilibrées.</caption><thead><tr><th>Class Weight</th><th>Data Augmentation</th><th>Exactitude</th></tr></thead><tbody><tr><td>✗</td><td>✗</td><td>0.8361</td></tr><tr><td>✓</td><td>✗</td><td>0.8156</td></tr><tr><td>✗</td><td>✓</td><td>0.8279</td></tr><tr><td>✓</td><td>✓</td><td><strong><u>0.8525</u></strong></td></tr></tbody></table>

## 5.2 Résultats

Le Tableau 4 présente les résultats obtenus sur le jeu de données de test, pour les approches de classification mono-modales et multi-modales. Nous pouvons constater que les modèles basés sur le texte surpassent leurs homologues basés sur l'image. En effet, la classification basée sur l'image donne des résultats inférieurs à la classe majoritaire pour les trois modèles (ResNET, VGG16 et Inception-v3) suggérant que l'image seule n'est pas suffisante pour décider si une image est nécessaire, informative ou inutile dans le contexte d'un exercice. Pour la classification basée sur le texte, la meilleure performance est obtenue avec le modèle de langue CamemBERT sans affinage des données éducatives. CamemBERT-education étant supposé avoir une meilleure représentation sémantique des données éducatives en français (il offre de meilleurs résultats sur une tâche de classification des exercices en fonction de leurs objectifs pédagogiques (Lincker et al., 2023a)), sa faible performance sur notre tâche de classification suggère que les plongements sémantiques de la partie textuelle des exercices ne constituent pas un facteur décisif dans le processus de classification des images.

Par ailleurs, le Tableau 4 montre que les approches multimodales n'améliorent pas les performances par rapport à la classification basée sur le texte seulement. Dans ce cas, les meilleurs résultats sont obtenus grâce au modèle CLIP, légèrement au-dessus de ceux obtenus avec la concatenation des plongements dérivés du texte et de l'image, en utilisant respectivement CamemBERT et ResNet. Ces faibles résultats s'expliquent par le fait que, comme montré précédemment sur la Figure 1, les valeurs de similarités entre le texte et l'image calculées avec le modèle CLIP ont des valeurs presque similaires pour les trois classes, contrairement à notre intuition qui était que les images inutiles avaient une similarité sémantique plus élevée avec le texte (redondance) tandis que les images nécessaires avaient une similarité sémantique plus faible (complémentarité).
<figure><img src="image_232.png" /><figcaption>FIGURE 2 – Matrices de confusion pour le modèle CamemBERT seul (a), avec une augmentation de données (b), avec une pondération des classes (c) et avec une combinaison des deux stratégies (d) (axe des x = classe de référence, axe des y = classe prédite)</figcaption></figure>

<table><caption>TABLE 6 – Comparaison des résultats obtenus avec les approches mono- et multi-modales. ✓(resp. X) correspond à la classification correcte (resp. incorrecte) de la paire (texte, image)</caption><thead><tr><th></th><th>Exercice 1</th><th>Exercice 2</th><th>Exercice 3</th></tr></thead><tbody><tr><th>Texte</th><td>Résouds ce rébus.</td><td>Choisis les bons adjectifs pour décrire la princesse.</td><td>Quel type d'art est-ce ?</td></tr><tr><th>Image</th><td><img src="image_image.png" alt="Image of a mouse with a 6 and a question mark. The text in the top-left corner reads 'In'."></td><td><img src="image_image.png" alt="Image of a girl with a dress and a bow. The text in the top-left corner reads 'Hi!'."></td><td><img src="image_image.png" alt="A plastic guitar. The text in the top-left corner reads 'Guitar'."></td></tr><tr><th>Monomodal (texte)</th><td>✗</td><td>✓</td><td>✓</td></tr><tr><th>Monomodal (image)</th><td>✓</td><td>✓</td><td>✗</td></tr><tr><th>Multimodal</th><td>✗</td><td>✗</td><td>✗</td></tr></tbody></table>

<figure><img src="image_233.png" /></figure>

<figure><img src="image_234.png" /></figure>

<figure><img src="image_235.png" /></figure>

Finalement, le Tableau 5 présente les résultats obtenus avec les différentes stratégies utilisées pour traiter notre problème de déséquilibre des données. Les meilleurs résultats sont obtenus lorsque les stratégies de pondération des classes et d'augmentation des données sont utilisées conjointement, atteignant une exactitude de 85,25%. D'un point de vue qualitatif (cf. Figure 2), l'augmentation des données tend à classer plus d'exemples dans la classe *Inutile*, à la fois correctement et incorrectement, (2b), tandis que la stratégie de pondération tend à améliorer le nombre d'instances correctement classées pour les classes sous-représentées (*Inutile* et *Informative*) aux dépends de la classe *Essentielle*, (2c). Enfin, combiner les deux stratégies améliore globalement le nombre d'instances correctement classifiées pour toutes les classes, (2d).

## 5.3 Analyse des résultats

Le Tableau 6 présente la comparaison des résultats obtenus avec des modèles mono-modaux (basés sur le texte ou sur l'image) ou multimodaux sur 3 exercices de la classe *Essentielle*. Sur ces exercices, le modèle basé sur le texte étiquette incorrectement l'exercice 1, ayant pour objectif l'analyse d'image (lecture d'un rébus), tandis que le modèle basé sur l'image fournit de bons résultats pour les exercices 1 et 2, c'est-à-dire dans des cas d'analyse et de description d'images. Cependant, la modalité visuelle ne permet pas de classifier correctement l'exercice 3, que ce soit dans une approche mono- ou multi-modale, alors que la modalité textuelle (sous la forme d'une question ouverte) est suffisante pour la classification. Finalement, l'approche multimodale fournit de mauvais résultats pour ces 3 exemples, mettant en évidence les défis dans l'intégration efficace des modalités texte et image.

Afin d'améliorer l'interprétabilité de nos différents modèles, nous utilisons la méthode LIME (pour Explications Interprétables Locales Agnostiques au Modèle - *Local Interpretable Model-agnostic*
<figure><img src="image_236.png" /><figcaption>FIGURE 3 – Explications fournies par LIME pour 3 instances aléatoires des classes (a) Inutile (b) Informative et (c) Essentielle</figcaption></figure>

*Explanations*) (Ribeiro et al., 2016) qui fournit des explications localisées pour des prédictions individuelles et améliore la transparence. La Figure 3 présente le résultat de LIME pour trois instances aléatoires de trois classes différentes, où l'axe des y représente les 10 meilleures caractéristiques extraites, c'est-à-dire, les plongement produits par CamemBERT. Pour la classe *Inutile*, la prédiction semble être influencée par un équilibre délicat de contributions positives et négatives de diverses caractéristiques, suggérant que la frontière de décision pour la classe *Inutile* est nuancée, sans aucune caractéristique dominante orientant la prédiction. Au contraire, les classes *Informative* et *Essentielle* présentent des contributions de caractéristiques positives plus prononcées indiquant des influences plus fortes sur la décision du modèle. Par ailleurs, certaines caractéristiques, telles que les caractéristiques 183 ou 206, présentent des impacts variables à travers les classes indiquant leur pertinence contextuelle dans la différenciation entre les classes *Essentielle*, *Informative* et *Inutile*.

# 6 Conclusion et perspectives

Notre étude aborde le besoin impératif d'une éducation inclusive en proposant un système automatique de classification des images associées aux exercices de manuels scolaires en 3 classes (*Essentielle*, *Informative* et *Inutile*). Nous avons utilisé un ensemble de données composé de 652 paires (texte, image) et avons exploré les approches monomodales et multimodales pour la classification. Étonnamment, les méthodes monomodales basées sur le texte ont surpassé leurs homologues multimodales. Notre analyse des résultats montre que l'aspect sémantique n'est probablement pas le plus important pour la classification des images, et que des éléments surfaciques du texte de l'exercice jouent une part importante dans la classification. Finalement, nous avons utilisé la méthode d'explication LIME pour obtenir des aperçus du processus de prise de décision de nos modèles et ainsi montrer que les classes *Informative* et *Essentielle* étaient fortement caractérisées contrairement à la classe *Inutile*. Malgré ces résultats prometteurs, notre étude présente certaines limitations, la principale étant la quantité relativement faible de nos données, qui ne sont par ailleurs pas partageables avec la communauté, pour des raisons de propriété intellectuelle, ce qui entrave la reproductibilité de nos expériences. Cette limitation souligne la nécessité de disposer de jeux de données plus larges et disponibles publiquement. À l'avenir, nous prévoyons d'élargir notre ensemble de données en (1) extrayant plus de manuels scolaires (2) incorporant des données de Otto et al. (2020) afin d'améliorer la représentation de la classe *Informative*.

**Remerciements** Ce travail a été financé par le NII International Internship Program et le projet MALIN (MAnuels scoLaires INclusifs / ANR-21-CE38-0014).
Références

BILLAMI M. B., FRANÇOIS T. & GALA N. (2018). ReSyf : a French lexicon with ranked synonyms. In *International Conference on Computational Linguistics*.

CH D. R. & SAHA S. K. (2022). Generation of multiple-choice questions from textbook contents of school-level subjects. *IEEE Transactions on Learning Technologies*.

DENG J., DONG W., SOCHER R. et al. (2009). Imagenet: A large-scale hierarchical image database. In *IEEE conference on computer vision and pattern recognition*.

GALA N., TACK A., JAVOUREY-DREVET L. et al. (2020). Alector: A parallel corpus of simplified french texts with alignments of misreadings by poor and dyslexic readers. In *12th Language Resources and Evaluation for Language Technologies*.

GERALD T., ETTAYEB S., LE H. Q., VILNAT A., PAROUBEK P. & ILLOUZ G. (2022). An annotated corpus for abstractive question generation and extractive answer for education. In *Conférence sur le Traitement Automatique des Langues Naturelles*.

GREEN C. (2019). A multilevel description of textbook linguistic complexity across disciplines : Leveraging NLP to support disciplinary literacy. *Linguistics and Education*.

HE K., ZHANG X., REN S. & SUN J. (2016). Deep residual learning for image recognition. In *IEEE conference on computer vision and pattern recognition*.

HUANG L., WANG W., CHEN J. & WEI X.-Y. (2019). Attention on attention for image captioning. In *IEEE/CVF international conference on computer vision*.

KENTON J. D. M.-W. C. & TOUTANOVA L. K. (2019). Bert: Pre-training of deep bidirectional transformers for language understanding. In *Proceedings of NAACL-HLT*, p. 4171–4186.

KLEIN G., KIM Y., DENG Y. et al. (2017). OpenNMT: Open-source toolkit for neural machine translation. In *Association for Computational Linguistics - System Demonstrations*.

LÉTÉ B., SPRENGER-CHAROLLES L. & COLÉ P. (2004). MANULEX : A grade-level lexical database from french elementary school readers. *Behavior Research Methods, Instruments, & Computers*.

LIN T.-Y., MAIRE M., BELONGIE S. et al. (2014). Microsoft coco : Common objects in context. In *European Conference in Computer Vision*.

LINCKER É., GUINAUDEAU C., PONS O. et al. (2023a). Noisy and unbalanced multimodal document classification : Textbook exercises as a use case. In *20th International Conference on Content-based Multimedia Indexing*.

LINCKER E., PONS O., GUINAUDEAU C., BARBET I., DUPIRE J., HUDELOT C., MOUSSEAU V. & HURON C. (2023b). Layout-and activity-based textbook modeling for automatic pdf textbook extraction. In *Intelligent Textbooks 2023*.

LUCY L., DEMSZKY D., BROMLEY P. & JURAFSKY D. (2020). Content analysis of textbooks via natural language processing : Findings on gender, race, and ethnicity in texas US history textbooks. *AERA Open*.

MALAKAN Z. M., ANWAR S., HASSAN G. M. & MIAN A. (2023). Sequential vision to language as story : A storytelling dataset and benchmarking. *IEEE Access*.

MARTIN L., MULLER B., SUÁREZ P. J. O. et al. (2020). Camembert : a tasty french language model. In *Annual Meeting of the Association for Computational Linguistics*.

OTTO C., SPRINGSTEIN M., ANAND A. & EWERTH R. (2020). Characterization and classification of semantic image-text relations. *International Journal of Multimedia Information Retrieval*.
QU L., LIU M., WU J., GAO Z. & NIE L. (2021). Dynamic modality interaction modeling for image-text retrieval. In *44th International ACM SIGIR Conference on Research and Development in Information Retrieval*.

RADFORD A., KIM J. W., HALLACY C. *et al.* (2021). Learning transferable visual models from natural language supervision. In *International conference on machine learning*.

RAO J., WANG F., DING L. *et al.* (2022). Where does the performance improvement come from? -a reproducibility concern about image-text retrieval. In *ACM SIGIR Conference on Research and Development in Information Retrieval*.

RIBEIRO M. T., SINGH S. & GUESTRIN C. (2016). "why should I trust you?": Explaining the predictions of any classifier. In *International Conference on Knowledge Discovery and Data Mining*.

SIMONYAN K. & ZISSERMAN A. (2015). Very deep convolutional networks for large-scale image recognition. In *3rd International Conference on Learning Representations (ICLR 2015)*: Computational and Biological Learning Society.

SZEGEDY C., VANHOUCKE V., IOFFE S., SHLENS J. & WOJNA Z. (2016). Rethinking the inception architecture for computer vision. In *IEEE conference on computer vision and pattern recognition*.

YOUNG P., LAI A., HODOSH M. & HOCKENMAIER J. (2014). From image descriptions to visual denotations: New similarity metrics for semantic inference over event descriptions. *Transactions of the Association for Computational Linguistics*.
# astroECR : enrichissement d'un corpus astrophysique en entités nommées, coréférences et relations sémantiques

Atilla Kaan Alkan¹,², Felix Grezes³, Cyril Grouin¹,
Fabian Schüssler², Pierre Zweigenbaum¹

(1) Université Paris-Saclay, CNRS, Laboratoire interdisciplinaire des sciences du numérique, 91405, Orsay, France.

(2) IRFU, CEA, Université Paris-Saclay, F-91191 Gif-sur-Yvette, France.

(3) Harvard-Smithsonian Center for Astrophysics, 60 Garden Street, Cambridge, MA 02138, USA
{atilla.alkan, cyril.grouin, pz}@lisn.upsaclay.fr,
fabian.schussler@cea.fr, felix.grezes@cfa.harvard.edu

## RÉSUMÉ

Le manque de ressources annotées constitue un défi majeur pour le traitement automatique de la langue en astrophysique. Afin de combler cette lacune, nous présentons astroECR, une extension du corpus TDAC (Time-Domain Astrophysics Corpus). Notre corpus, constitué de 300 rapports d'observation en anglais, étend le schéma d'annotation initial de TDAC en introduisant cinq classes d'entités nommées supplémentaires spécifiques à l'astrophysique. Nous avons enrichi les annotations en incluant les coréférences, les relations sémantiques entre les objets célestes et leurs propriétés physiques, ainsi qu'en normalisant les noms d'objets célestes via des bases de données astronomiques. L'utilité de notre corpus est démontrée en fournissant des scores de référence à travers quatre tâches : la reconnaissance d'entités nommées, la résolution de coréférences, la détection de relations, et la normalisation des noms d'objets célestes. Nous mettons à disposition le corpus ainsi que son guide d'annotation, les codes sources, et les modèles associés.

## ABSTRACT

astroECR : an Enriched Corpus for Astrophysical Entities, Coreferences, and Relations

The lack of annotated resources poses a significant challenge for natural language processing in astrophysics. To address this gap, we introduce astroECR, an extension of the TDAC (Time-Domain Astrophysics Corpus). This corpus, comprised of 300 observation reports in English, expands the initial annotation scheme of TDAC by introducing five additional named entity classes specific to astrophysics. We enhanced annotations to include coreferences, semantic relations between celestial objects and their physical properties, and normalization of celestial object names using astronomical databases. We demonstrate our corpus's utility by providing baseline scores across four tasks : named entity recognition, coreference resolution, relation detection, and normalization of celestial object names. We provide the corpus, annotation guide, source code, and associated models to the community.

MOTS-CLÉS : Annotation de corpus, Extraction d'information, Astrophysique.

KEYWORDS: Corpus Annotation, Information Extraction, Astrophysics.

<figure><img src="image_237.png" /></figure>
# 1 Introduction

Ces dernières années, le besoin de développer des systèmes d'analyse et d'extraction d'information en astrophysique a engendré une multiplication des travaux en Traitement Automatique des Langues (TAL). Les récents modèles de langue tels que astroBERT (Grezes et al., 2021) et astroLLaMa (Nguyen et al., 2023) sont utilisés non seulement pour identifier dans la littérature des entités spécifiques au domaine (Grezes et al., 2022), mais également pour l'extraction d'information essentielles telles que les coordonnées célestes ou les propriétés physiques mesurées lors de l'observation d'objets célestes (Sotnikov & Chaikova, 2023). Néanmoins, un défi notable persiste dans la disponibilité des ressources et la diversité des annotations. En effet, la plupart des corpus existants (Becker et al., 2005; Hachey et al., 2005; Murphy et al., 2006) ne sont pas accessibles et servent uniquement à la détection d'entités nommées. Parmi les corpus disponibles, on compte celui de la campagne d'évaluation DEAL (Grezes et al., 2022) et un second plus restreint, TDAC (Alkan et al., 2022), axé sur l'observation des phénomènes transitoires tels que les explosions de supernovae et les sursauts gamma. Les deux corpus partagent les mêmes classes d'entités et se limitent à une annotation en entités nommées, laissant ainsi un manque dans la diversité des annotations. Or, une extraction d'information plus complète nécessite des corpus avec des annotations comprenant les coréférences, pour identifier toutes les mentions se référant à une même entité, ou encore les relations entre les différentes paires d'entités. Par exemple, comme illustré dans la figure 1, lorsqu'il y a mention de plusieurs objets célestes dans le texte, se limiter à annoter uniquement les entités nommées ne permet pas d'établir de manière précise les liens entre les différentes propriétés physiques et les objets célestes correspondants.

<figure><img src="image_238.png" /><figcaption>FIGURE 1 – Extrait d'un rapport d'observation. A gauche, un exemple d'annotation en entités nommées uniquement, et à droite, l'annotation des entités nommées avec en plus l'annotation des mentions de coréférences et des relations sémantiques entre les objets célestes (mentions de type CelestialObject) et leurs propriétés physiques.</figcaption></figure>

Afin de combler cette lacune et faciliter un spectre plus large de recherches, notre travail vise à créer un corpus annoté englobant l'annotation d'entités nommées, de mentions de coréférences, de relations astrophysiques entre les corps célestes et leurs propriétés physiques, ainsi qu'en fournissant une normalisation des noms d'objets célestes. Nous avons pour objectif de fournir à la communauté astrophysique et TAL une ressource permettant le développement de modèles d'extraction d'information. Pour ce faire, nous avons étendu la première version de notre corpus existant TDAC, afin de construire astroECR, un nouveau corpus en astrophysique plus riche en annotations.

Les principales contributions de ce travail sont les suivantes :

- Nous avons augmenté la taille du corpus TDAC, en passant de 75 à 300 documents annotés. Cette augmentation comprend un ensemble plus complet d'annotations couvrant davantage d'entités nommées astrophysiques, la normalisation des noms d'objets célestes (liage référentiel), des annotations de coréférence et des relations astrophysiques. À notre connaissance, il s'agit de la première et unique ressource de ce genre dans le domaine;
— Nous avons repris les catégories d'entités nommées du corpus TDAC et y avons ajouté cinq catégories d'entités nommées supplémentaires;

— Nous démontrons l'utilité de ce corpus en réalisant des expériences sur quatre tâches d'extrac-
tion d'information, pour lesquelles nous avons développé des modèles et fourni de premiers
scores. En perspective, ces modèles faciliteront l'annotation automatisée de documents sup-
plémentaires;

— Nous mettons notre corpus, notre guide d'annotation, le code associé et les modèles à la disposition de la communauté de recherche via notre dépôt GitHub<fnref n="1" />.

## 2 Travaux connexes

**Ressources pour la détection d'entités nommées** La reconnaissance d'entités nommées implique l'identification de mentions d'entités, telles que des personnes, lieux ou organisations (Grishman & Sundheim, 1996). Il s'agit d'une tâche utile en recherche d'information (Yadav & Bethard, 2018; Banerjee et al., 2019) et également pour les systèmes de question-réponse (Mollá Aliod et al., 2006). En astrophysique, Becker et al. (2005); Hachey et al. (2005) ont créé l'Astronomy Bootstrapping Corpus (ABC), composé de 209 résumés d'articles scientifiques radioastronomiques en anglais pour la détection d'entités nommées spécifiques au domaine telles que les noms d'instruments astronomiques, les objets célestes, leurs types, et leurs caractéristiques spectrales. Cependant, ce corpus n'est pas accessible. Murphy et al. (2006) ont également élaboré un corpus de 7840 phrases issues d'articles scientifiques en anglais, définissant 43 types d'entités nommées, incluant des catégories caractérisant les objets célestes : leurs coordonnées et propriétés physiques (fréquence, luminosité). À notre connaissance, ce corpus n'est pas accessible non plus. Plus récemment, le corpus de la campagne d'évaluation DEAL (Grezes et al., 2022) a été rendu public, devenant l'un des premiers corpus accessibles en astrophysique<fnref n="2" />. Il comprend des extraits de texte intégral et des sections de remerciements provenant d'articles d'astrophysique en anglais, annotés spécifiquement pour la campagne, avec 31 catégories d'entités nommées. Il est divisé en trois sous-ensembles : entraînement (1753 documents), développement (1366 documents) et test (2505 documents). Dans un précédent article, nous avions introduit TDAC (Alkan et al., 2022), le seul corpus annoté en entités nommées construit à partir de rapports d'observation astronomique en anglais, se concentrant sur un vocabulaire spécifique à l'astronomie (l'étude des phénomènes transitoires). Accessible<fnref n="3" />, il se compose de 75 documents, dont 25 circulaires du réseau GCN (Barthelmy et al., 1995) de la NASA, 25 télégrammes astronomiques (Rutledge, 1998) et 25 AstroNotes issus du Transient Name Server (Gal-Yam, 2021).

**Ressources pour la résolution des coréférences** La résolution de coréférences est une tâche visant à identifier toutes les mentions dans un texte se référant à une même entité (Jurafsky & Martin, 2023; Zheng et al., 2011). Comparée à la détection d'entités nommées, la tâche de résolution de coréférences dans les documents en astrophysique a reçu moins d'attention. Kim & Webber (2006) se sont penchés sur la résolution d'anaphores dans la littérature astrophysique. Les auteurs se sont uniquement concentrés sur la classification automatique du pronom "they" dans les articles, en distinguant ceux qui se réfèrent à des recherches citées et ceux qui ne le font pas. Leur système repose sur un classificateur d'entropie maximale avec des caractéristiques basées sur la distance

<footnote n="1">1. https://github.com/AtillaKaanAlkan/astroECR</footnote>

<footnote n="2">2. https://huggingface.co/datasets/adsabs/WIESP2022-NER/</footnote>

<footnote n="3">3. https://github.com/AtillaKaanAlkan/TDAC</footnote>
entre les citations précédentes et les types de verbes associés au pronom en question. Brack et al. (2021) ont construit le corpus STM pour la résolution de coréférences. Le corpus se compose de dix disciplines scientifiques (dont onze résumés annotés en astrophysique). Les auteurs ont comparés plusieurs approches existantes dans la littérature, avec notamment l'utilisation de modèles de type BERT pour la résolution des coréférences (Joshi et al., 2019), mais également en s'inspirant de la méthode proposée par Luan et al. (2018) via l'utilisation de représentations de mots ELMo (Peters et al., 2018).

**Synthèse** Les corpus annotés pour le domaine astrophysique sont limités. Ces ressources se concentrent principalement sur des corpus orientés reconnaissance d'entités nommées, limitant leur usage pour des tâches plus larges en TAL. De plus, les documents concernés sont principalement des articles, restreignant la variété des sources de données que les chercheurs peuvent exploiter. Pour combler cette lacune, nous avons basé notre travail sur le corpus existant TDAC, pour construire un corpus plus riche et l'étendre à des tâches de TAL non traitées telles que la résolution de coréférences, la détection de relations astrophysiques et la normalisation des noms d'objets célestes.

# 3 Annotation du corpus

Dans cette section, nous décrivons le processus d'annotation des entités nommées (3.1), la normalisation des noms d'objets célestes (3.2), les coréférences (3.3) et les annotations des relations astrophysiques (3.4). Nous avons utilisé BRAT (Stenetorp et al., 2012) comme outil d'annotation.

## 3.1 Extension des classes d'entités nommées et annotation

Nous avons adopté le guide d'annotation de TDAC en proposant une extension du schéma d'annotation avec cinq catégories d'entités supplémentaires jugées essentielles par les astronomers.

**Date** : Dates et expressions temporelles se référant à une date de détection ou à la durée d'une observation. Exemple : *We report the discovery of a probable nova in M31 on a co-added 990-s R-band CCD frame taken under poor conditions on 2019 Mar. 12.791 UT[Date] with the 0.65-m telescope at Ondrejov.*

**Reference** : Références vers d'autres rapports d'observation, utiles pour répérer et regrouper tous les rapports concernant un même objet céleste. Exemple : *In comparison to the optical region (ref : the SALT spectrum in ATel #3289[Reference]), few strong NI lines are expected in the JHK bands.*

**Magnitude** : Equations et valeurs numériques qui caractérisent la luminosité des corps célestes (propriété utile pour les astronomers afin de déterminer la visibilité des objets). Exemple : *As reported to CBAT, this nearby-M31 object was discovered by Koichi Itagaki at 16.5 mag.[Magnitude]*

**Flux** : Valeur numérique caractérisant l'énergie d'un corps céleste. Exemple : *The flux values ranged from 1.01 +/-0.06 E+11 cgs[Flux] to 1.71 +/- 0.04 E+11 cgs.[Flux]*

**Redshift** : Equations et valeurs numériques caractérisant la distance d'un corps céleste par rapport à un observateur. Exemple : *The host KUG 0180+227 is an E+A galaxy at z=0.022.[Redshift]*
## 3.2 Normalisation des mentions de type CelestialObject

La normalisation consiste à désambiguïser les mentions d'entités en les reliant à leur entrée respective dans des bases de connaissances (Sevgili et al., 2020). Nous normalisons les noms d'objets célestes du corpus, tels que les supernova, les sursauts gamma, et les galaxies, à leurs entrées spécifiques dans les catalogues astronomiques. En égard aux différentes conventions de dénomination des objets célestes en astronomie, cette normalisation est essentielle pour l'intégration de données provenant de divers articles et rapports d'observation. Par exemple, la galaxie d'Andromède 4 a au moins 39 désignations, chacune devant être correctement associée. Nous utilisons pour cela trois catalogues astronomiques complémentaires : SIMBAD (Wenger et al., 2000), NED (Mazzarella et al., 2001), et TNS (Gal-Yam, 2021).

## 3.3 Périmètre d'annotation des coréférences

Notre guide d'annotation détaillé est accessible via notre dépôt GitHub. Ici, nous donnons un aperçu général de nos choix d'annotation des coréférences. Nous avons également annoté les cas où un objet céleste est désigné par un autre de ses noms dans le texte. Nous avons exclu les expressions mathématiques, les quantités numériques et d'autres relations coréférentielles non associées à un objet céleste de notre schéma d'annotation. Pour clarifier cette distinction, examinons les exemples suivants :

- Coréférences annotées (une même couleur marque les éléments d'une chaîne de coréférence) :

- We discovered PS19did on MJD 58666.31 = 2019-07-02.31, at $w=19.9 \pm 0.1$ [...] The new transient source is in the galaxy UGC 11003 [...] Adopting the host galaxy redshift $z=0.03566$ (NED) yields an expansion velocity [...] Followup observations of this intrinsically faint transient are encouraged.

- We report on the discovery and follow-up of a very bright and highly magnified microlensing event Gaia19bld. [...] It has been detected and announced by the Gaia Science Alerts program.

- We report on the NIR brightening of the intermediate redshift quasar PKS0735+17 ($z=0.424$), also known as CGRabSJ04738+1742.

- Coréférences exclues du processus d'annotation :

- Analysis of the data is ongoing. We remind the community that all Swift data are public, and encourage their use.

- The observations continued until 2019-04-26 20:15 UT, when they were aborted to begin followup of.

- The estimated AB magnitude is **17.6**. This magnitude is not corrected for the host galaxy contribution.

<footnote n="4">4. http://simbad.cds.unistra.fr/simbad/sim-id?Ident=Andromeda+Galaxy&NbIdent=1&Radius=2&Radius.unit=arcmin&submit=submit+id</footnote>
## 3.4 Annotation des relations astrophysiques entre les mentions de type CelestialObject et leurs propriétés physiques

La détection de relation vise à établir les liens entre paires d'entités (Bassignana & Plank, 2022). Dans le cadre de notre étude, nous définissons un unique type de relation, qui relie un objet céleste à ses propriétés physiques. Dans le cas où plusieurs objets célestes sont mentionnés dans le texte, notre objectif est donc de pouvoir associer les propriétés physiques mentionnées à l'objet correspondant. Dans notre schéma d'annotation donc, seules les mentions de type CelestialObject sont reliées aux mentions d'entités décrivant des attributs physiques tels que CelestialRegion (coordonnées dans le ciel), Flux (énergie du corps par unité de temps), Magnitude (intensité lumineuse de l'objet céleste) etc.

# 4 Statistiques du corpus annoté

Dans cette section, nous décrivons les principales caractéristiques du corpus annoté résultant (statistiques globales et accord inter-annotateurs), et nous fournissons des tableaux comparatifs entre le corpus TDAC et notre nouveau corpus annoté astroECR.

## 4.1 Statistiques globales

<table><caption>TABLE 1 – Statistiques de comparaison entre les corpus TDAC et astroECR.</caption><thead><tr><th rowspan="2">Paramètres</th><th colspan="2">TDAC</th><th colspan="2">astroECR</th></tr><tr><th>Entraînement</th><th>Test</th><th>Entraînement</th><th>Test</th></tr></thead><tbody><tr><td># documents</td><td>59</td><td>16</td><td>210</td><td>90</td></tr><tr><td># tokens</td><td>15374</td><td>3638</td><td>43481</td><td>10578</td></tr><tr><td># tokens annotés</td><td>4338</td><td>1014</td><td>17392</td><td>3173</td></tr><tr><td># mentions de coréférence</td><td>-</td><td>-</td><td>412</td><td>101</td></tr><tr><td># chaînes de coréférence</td><td>-</td><td>-</td><td>257</td><td>65</td></tr><tr><td>Long. moyenne des chaînes</td><td>-</td><td>-</td><td>3,5 (+/- 2,26)</td><td>3,4 (+/- 1,61)</td></tr><tr><td># relations intra-phrases</td><td>-</td><td>-</td><td>490</td><td>143</td></tr><tr><td># relations inter-phrases</td><td>-</td><td>-</td><td>154</td><td>26</td></tr><tr><td># total de relations</td><td>-</td><td>-</td><td>644</td><td>169</td></tr></tbody></table>

La Figure 2 illustre la distribution des mentions d'entités nommées entre les corpus TDAC et astroECR. À l'issue de l'annotation, les types d'entités les plus représentées sont les classes spécifiques au domaine astrophysique telles que : les noms d'objets célestes (CelestialObject), les mentions de type Magnitude ou encore des mentions relatives à des outils d'observations tels que les télescopes (Telescope) et instruments (Instrument). Nous remarquons que les classes telles que Software, Grant, Collaboration ou encore Archive sont moins fréquentes dans les rapports d'observations.
<figure><img src="image_239.png" /><figcaption>FIGURE 2 – Distribution des mentions d'entités nommées dans les corpus TDAC (en jaune) et astroECR (en bleu).</figcaption></figure>

## 4.2 Accord inter-annotateurs et consensus

Nous avons impliqué un expert en astrophysique et un expert en TAL pour annoter un sous-ensemble du corpus (30 documents, soit 6499 unités lexicales). Les erreurs d'annotation ont été identifiées et corrigées au cours d'une phase de consensus, permettant la création du jeu de référence. Nous avons ensuite comparé les annotations des deux annotateurs avec le jeu de référence produit en utilisant les scores de précision, de rappel et de F-mesure, conformément à la méthodologie de Galibert et al. (2012). Les résultats du tableau 2 montrent que l'expert en astrophysique a obtenu une F-mesure plus élevée (0,94) que l'expert en TAL (0,91) par rapport au consensus (en évaluation souple), autorisant la poursuite de l'annotation par l'expert en astrophysique seul sur les 270 documents restants.

<table><caption>TABLE 2 – Accord inter-annotateurs pour l'annotation des entités nommées et des mentions de coréférences entre les deux annotateurs, et comparaison avec le consensus. L'annotateur astrophysicien est dénommé "Astro", et l'expert en TAL est dénommé "TAL". Les métriques utilisées sont la Précision (P), le Rappel (R) et la F-mesure (F1). Deux modes d'évaluation : stricte et souple. En évaluation stricte, une entité annotée est considérée comme vrai positive si le type d'entité et les frontières sont correctement annotées. En évaluation souple, les frontières d'annotation ne sont pas pénalisées.</caption><thead><tr><th rowspan="2">Tâche</th><th rowspan="2">Annotateurs</th><th colspan="3">Stricte</th><th colspan="3">Souple</th></tr><tr><th>P</th><th>R</th><th>F1</th><th>P</th><th>R</th><th>F1</th></tr></thead><tbody><tr><td rowspan="3">Entités nommées</td><td>Astro vs. TAL</td><td>0,65</td><td>0,59</td><td>0,62</td><td>0,84</td><td>0,92</td><td>0,88</td></tr><tr><td>Astro vs. consensus</td><td>0,83</td><td>0,86</td><td>0,84</td><td>0,93</td><td>0,96</td><td>0,94</td></tr><tr><td>TAL vs. consensus</td><td>0,73</td><td>0,69</td><td>0,71</td><td>0,94</td><td>0,89</td><td>0,91</td></tr><tr><td rowspan="3">Coréférences</td><td>Astro vs. TAL</td><td>0,77</td><td>0,88</td><td>0,82</td><td>0,78</td><td>0,89</td><td>0,83</td></tr><tr><td>Astro vs. consensus</td><td>0,97</td><td>1,00</td><td>0,98</td><td>0,97</td><td>1,00</td><td>0,98</td></tr><tr><td>TAL vs. consensus</td><td>0,74</td><td>0,89</td><td>0,81</td><td>0,75</td><td>0,90</td><td>0,82</td></tr></tbody></table>
# 5 Expériences

## 5.1 Configurations expérimentales

- **Reconnaissance d'entités nommées** : Nous avons ajouté et entraîné une tête de classification aux modèles astroBERT (Grezes et al., 2021) et SciBERT (Beltagy et al., 2019) sur le corpus astroECR$_{train}$, puis les avons évalués sur l'ensemble de test astroECR$_{test}$. L'entraînement a été effectué sur 20 époques, avec un taux d'apprentissage $\alpha = 2, 10^{-5}$, et une taille de lot d'entraînement de 4. L'entraînement a été réitéré 5 fois avec des amorces différentes.

- **Normalisation des mentions de type CelestialObject** : Notre système interroge d'abord la base de données SIMBAD (Wenger et al., 2000) avec des requêtes ADQL$^5$, extrayant l' identifiant unique de chaque objet céleste, sa désignation canonique, ainsi qu'une liste de toute ses désignations. Si une source n'est pas identifiée dans la base SIMBAD, la requête s'étent à la base NED (Mazzarella et al., 2001) et, si nécessaire, à la base TNS (Gal-Yam, 2021).

- **Résolution des coréférences** : Nous avons évalué F-coref (Otmazgin et al., 2022), un outil de résolution des coréférences basé sur l'architecture LingMess (Otmazgin et al., 2023). Nous avons choisi F-coref en raison de sa facilité d'utilisation via sa bibliothèque Python *fastcoref*$^6$. Nous avons procédé à une première évaluation du modèle sans entraînement en comparant ses prédictions avec nos annotations. Ensuite, nous avons entraîné le modèle sur 50 époques en utilisant astroECR$_{train}$ et l'avons évalué sur astroECR$_{test}$. Chaque expérience a été répétée cinq fois avec différentes des amorces aléatoires.

- **Détection de relations** : Nous avons entraîné un réseau de neurones de type biLSTM, que nous avons affiné sur l'ensemble d'entraînement pendant 20 époques avec un taux d'apprentissage $\alpha = 10^{-3}$, et une taille de lot d'entraînement fixée à 128. Nous avons évalué les performances du système sur astroECR$_{train}$.

## 5.2 Résultats sur le corpus de test astroECR<sub>test</sub>

Dans cette section, nous présentons et analysons les résultats obtenus sur astroECR<sub>test</sub>, l'ensemble de test d'astroECR, à l'issue de l'entraînement sur astroECR<sub>train</sub>, son corpus d'entraînement.

### Détection d'entités nommées
Le tableau 3 met en évidence la supériorité d'astroBERT par rapport à SciBERT en matière de rappel et F-mesure. En effet, une différence de 6 points sur la F-mesure globale (0,76 pour SciBERT, contre 0,82 avec astroBERT) est constatée. Une analyse plus détaillée des performances pour certaines classes spécifiques au domaine (figure 3a) montre qu'astroBERT est particulièrement plus performant dans la reconnaissance d'entités spécifiques à l'astrophysique, notamment le repérage des coordonnées célestes (CelestialRegion), caractérisée par une diversité de formes, ou encore pour la classe Redshift, de nature équationnelle. Ces résultats peuvent être attribués au fait qu'astroBERT est un modèle de langue pré-entraîné sur des textes spécifiques au domaine, ce qui renforce sa capacité à mieux repérer ces types d'entités.

<footnote n="5">5. Le language ADQL est basé sur le langage SQL, avec quelques extensions pour prendre en charge des requêtes spécifiques à l'astronomie, notamment pour des requêtes sur les coordonnées célestes.</footnote>

<footnote n="6">6. https://pypi.org/project/fastcoref/</footnote>
<table><caption>TABLE 3 – Performance moyenne (avec écart-type) des systèmes de REN fondés sur SciBERT et astroBERT. Les modèles ont subi cinq entraînements distincts avec diverses amorces sur l'ensemble d'entraînement d'astroECR, puis ont été évalués sur le jeu de test d'astroECR. Les métriques utilisées (a) F-mesure moyenne (avec écart-type) de classes d'enseignées sont la Précision, le Rappel, et la F-mesure. Titrés nommées spécifiques au domaine.</caption><thead><tr><th>Modèle</th><th>Précision</th><th>Rappel</th><th>F-mesure</th></tr></thead><tbody><tr><td>SciBERT</td><td>0,84 (0,01)</td><td>0,70 (0,01)</td><td>0,76 (0,01)</td></tr><tr><td>astroBERT</td><td>0,83 (0,01)</td><td>0,81 (0,01)</td><td>0,82 (0,01)</td></tr></tbody></table>

<figure><img src="image_240.png" /></figure>

## Résolution des coréférences, normalisation des noms d'objets célestes, et détection de relations

Les résultats du tableau 4 montrent que le système de base F-coref a une précision très faible (0.09) et un rappel élevé (0.26), entraînant un faible score F1 (0.13). Le modèle manque de connaissances spécifiques au domaine pour résoudre avec précision les coréférences dans ce contexte. Cependant, en affinant le modèle (astroFastCoref), il a pu apprendre des motifs spécifiques à l'astrophysique, le rendant plus efficace dans la résolution des coréférences liées aux objets célestes en atteignant un score F1 CoNLL de 0.53.

<table><caption>TABLE 4 – Précision moyenne, rappel et F-mesure (avec écart-type) du système F-coref évalué sur l'ensemble de test de notre corpus avec et sans affinage. Chaque expérience a été exécutée cinq fois (sur 50 époques lors de l'affinage) avec différentes amorces aléatoires.</caption><thead><tr><th rowspan="2">Modèle</th><th colspan="3">CoNLL</th></tr><tr><th>Précision</th><th>Rappel</th><th>F1</th></tr></thead><tbody><tr><td>F-coref</td><td>0,09<br>(0)</td><td>0,26<br>(0)</td><td>0,13<br>(0)</td></tr><tr><td>astroFastCoref</td><td>0,67<br>(0,01)</td><td>0,44<br>(0,01)</td><td>0,53<br>(0,01)</td></tr></tbody></table>

<table><caption>TABLE 5 – Précision d'un système de normalisation des noms d'objets célestes à l'aide de bases de données astronomiques.</caption><thead><tr><th>Catalogue</th><th>Précision</th></tr></thead><tbody><tr><td>SIMBAD</td><td>60,39</td></tr><tr><td>SIMBAD + NED</td><td>71,28</td></tr><tr><td>SIMBAD + NED + TNS</td><td>80,19</td></tr></tbody></table>

<table><caption>TABLE 6 – Performance d'un système biL-STM de détection de relation entre un objet céleste et une propriété physique.</caption><thead><tr><th>Précision</th><th>Rappel</th><th>F1</th></tr></thead><tbody><tr><td>0,77</td><td>0,80</td><td>0,79</td></tr></tbody></table>

Le Tableau 6 présente les performances de notre système de détection de relations. La F-mesure de 0,79 suggère une performance satisfaisante dans l'identification de relations entre les objets célestes et les propriétés physiques.
## 5.3 Analyse des gains obtenus sur TDAC<sub>test</sub>

Dans cette section, nous analysons l'intérêt du corpus d'entraînement astroECR pour la détection d'entités nommées sur le corpus TDAC. La Figure 3 illustre l'évolution des performances sur TDAC<sub>test</sub>, le jeu de test du corpus TDAC (Alkan et al., 2022), en fonction de différents corpus d'entraînement utilisés. Pour cela, nous comparons l'ensemble d'entraînement de référence TDAC<sub>train</sub>, avec les deux ensembles d'entraînement DEAL<sub>train</sub> et astroECR<sub>train</sub>. Pour ces deux ensembles, nous faisons varier la taille du corpus d'entraînement par incrément de 25%. Les résultats obtenus montrent clairement l'intérêt d'astroECR, permettant d'améliorer la F-mesure globale moyenne d'environ 4 points. Dans le cadre de notre travail, l'entraînement d'un système sur le corpus DEAL ne permet pas l'amélioration de la F-mesure. Ceci peut s'expliquer par la nature différente des documents du corpus DEAL (articles scientifiques), qui possèdent des propriétés différentes des rapports d'observation.

<figure><img src="image_241.png" /><figcaption>FIGURE 3 – Evaluation sur TDAC<sub>test</sub> d'un système de détection d'entités nommées à base d'un modèle astroBERT pour la détection d'entités nommées en fonction de la taille du corpus d'entraînement.</figcaption></figure>

<table><caption>TABLE 7 – Comparaison des gains obtenus par classe sur le jeu de test TDAC<sub>test</sub> en fonction du corpus d'entraînement utilisé. Les métriques utilisées sont la Précision (P), Rappel (R) et la F-mesure (F1). N correspond au nombre de mentions d'entités de la classe dans le corpus d'entraînement.</caption><thead><tr><th rowspan="2">Classe</th><th colspan="4">TDAC<sub>train</sub></th><th colspan="4">100% astroECR<sub>train</sub></th><th rowspan="2">ΔF1 (%)</th></tr><tr><th>N</th><th>P</th><th>R</th><th>F1</th><th>N</th><th>P</th><th>R</th><th>F1</th></tr></thead><tbody><tr><td>CelestialObject</td><td>130</td><td>0,88</td><td>0,94</td><td>0,90</td><td>519</td><td>0,94</td><td>1,0</td><td>0,97</td><td>+ 7,7</td></tr><tr><td>CelestialRegion</td><td>20</td><td>0,31</td><td>0,23</td><td>0,26</td><td>149</td><td>0,64</td><td>1,0</td><td>0,78</td><td>+ 200</td></tr><tr><td>Observatory</td><td>60</td><td>0,54</td><td>0,58</td><td>0,64</td><td>101</td><td>0,80</td><td>0,67</td><td>0,72</td><td>+ 12,49</td></tr><tr><td>Database</td><td>36</td><td>0,75</td><td>0,81</td><td>0,78</td><td>79</td><td>0,77</td><td>0,90</td><td>0,83</td><td>+ 6,4</td></tr></tbody></table>

Le Tableau 7 présente en détail les performances de certaines classes essentielles du domaine, notamment le repérage des noms d'objets célestes (CelestialObject), des coordonnées dans le ciel (CelestialRegion), des installations astronomiques impliquées dans l'observation (Observatory), ainsi que des bases de données astronomiques (Database). La plupart des classes bénéficient d'une amélioration des performances. Toutefois, la classe CelestialRegion est celle qui a le plus tiré profit de l'enrichissement du corpus. En effet, nous constatons une nette amélioration de la F-mesure (passant de 0,26 à 0,78). Cette progression significative s'explique par une augmentation marquée du rappel et une hausse plus modérée de la précision.
# 6 Conclusion et perspectives

Nous avons cherché à remédier au manque de données annotées, en élargissant le corpus TDAC (Alkan et al., 2022) de 75 à 300 documents annotés. Notre corpus devient ainsi une ressource unique dans le domaine, proposant des annotations plus riches en entités nommées astrophysiques, dont cinq catégories nouvellement définies. Nous avons également annoté les coréférences et les relations entre objets célestes et leurs propriétés physiques, tout en normalisant les noms d'objets célestes à l'aide de bases de données astronomiques. À travers des expérimentations sur le corpus test d'astroECR, nous avons développé des modèles et fourni des scores de référence, soulignant l'utilité de notre ressource pour l'annotation automatisée de futurs documents. Nous avons démontré que l'augmentation de la taille du corpus améliore notablement la détection d'entités nommées sur le corpus de test de TDAC. Notre objectif est de mettre à disposition de la communauté TAL une ressource propice à des études complémentaires, telles que la résolution de coréférences scientifiques ou la détection de relations. Notre corpus peut également enrichir d'autres corpus spécialisés tels que ceux proposés par Chaimongkol et al. (2014) et Brack et al. (2021). À l'avenir, les modèles développés pourraient être utilisés à des fins d'extraction d'information comme suggéré par Sotnikov & Chaikova (2023). Nous mettons à disposition notre corpus, guide d'annotation, code, et modèles pour les deux communautés.

# Références

ALKAN A. K., GROUIN C., SCHUSSLER F. & ZWEIGENBAUM P. (2022). TDAC, the first corpus in time-domain astrophysics: Analysis and first experiments on named entity recognition. In *Proceedings of the first Workshop on Information Extraction from Scientific Publications*, p. 131–139, Online: Association for Computational Linguistics.

BANERJEE P. S., CHAKRABORTY B., TRIPATHI D., GUPTA H. & KUMAR S. S. (2019). A information retrieval based on question and answering and ner for unstructured information without using sql. *Wirel. Pers. Commun.*, **108**(3), 1909–1931. doi: 10.1007/s11277-019-06501-z.

BARTHELMY S. D., BUTTERWORTH P. S., CLINE T. L., GEHRELS N., FISHMAN G. J., KOUVELIOTOU C. & MEEGAN C. A. (1995). BACODINE, the real-time BATSE gamma-ray burst coordinates distribution network. *Astrophysics and Space Science*, **231**, 235–238.

BASSIGNANA E. & PLANK B. (2022). What do you mean by relation extraction? a survey on datasets and study on scientific relation classification. In *Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics: Student Research Workshop*, p. 67–83, Dublin, Ireland: Association for Computational Linguistics. doi: 10.18653/v1/2022.acl-srw.7.

BECKER M., HACHEY B., ALEX B. & GROVER C. (2005). Optimising selective sampling for bootstrapping named entity recognition. In *In Proceedings of the ICML Workshop on Learning with Multiple Views*, p. 5–11.

BELTAGY I., LO K. & COHAN A. (2019). Scibert: A pretrained language model for scientific text. In *EMNLP: Association for Computational Linguistics*.

BENAMARA F., HATOUT N., MULLER P. & OZDOWSKA S., Éds. (2007). *Actes de TALN 2007 (Traitement automatique des langues naturelles)*, Toulouse. ATALA, IRIT.

BRACK A., MÜLLER D. U., HOPPE A. & EWERTH R. (2021). Coreference resolution in research papers from multiple domains. *CoRR*, abs/2101.00884.

CHAIMONGKOL P., AIZAWA A. & TATEISI Y. (2014). Corpus for coreference resolution on scientific papers. In *Proceedings of the Ninth International Conference on Language Resources*
*and Evaluation (LREC'14)*, p. 3187–3190, Reykjavik, Iceland : European Language Resources Association (ELRA).

DIAS G., Éd. (2015). *Actes de TALN 2015 (Traitement automatique des langues naturelles)*, Caen. ATALA, HULTECH.

GAL-YAM A. (2021). The TNS alert system. *Bulletin of the AAS*, **53**(1). https://baas.aas.org/pub/2021n1i423p05.

GALIBERT O., ROSSET S., GROUIN C., ZWEIGENBAUM P. & QUINTARD L. (2012). Extended named entities annotation on OCRed documents : from corpus constitution to evaluation campaign. In *International Conference on Language Resources and Evaluation*, Istanbul, Turkey. HAL : hal-01831254.

GREZES F., BLANCO-CUARESMA S., ACCOMAZZI A., KURTZ M. J., SHAPURIAN G., HENNEKEN E. A., GRANT C. S., THOMPSON D. M., CHYLA R., MCDONALD S., HOSTETLER T. W., TEMPLETON M. R., LOCKHART K. E., MARTINOVIC N., CHEN S., TANNER C. & PROTOPAPAS P. (2021). Building astrobert, a language model for astronomy & astrophysics. *CoRR*, **abs/2112.00590**.

GREZES F., BLANCO-CUARESMA S., ALLEN T. & GHOSAL T. (2022). Overview of the first shared task on detecting entities in the astrophysics literature (DEAL). In *Proceedings of the first Workshop on Information Extraction from Scientific Publications*, p. 1–7, Online : Association for Computational Linguistics.

GRISHMAN R. & SUNDHEIM B. (1996). Message Understanding Conference- 6 : A brief history. In *COLING 1996 Volume 1 : The 16th International Conference on Computational Linguistics*.

HACHEY B., ALEX B. & BECKER M. (2005). Investigating the effects of selective sampling on the annotation task. In *Proceedings of the Ninth Conference on Computational Natural Language Learning (CoNLL-2005)*, p. 144–151, Ann Arbor, Michigan : Association for Computational Linguistics.

JOSHI M., LEVY O., ZETTLEMOYER L. & WELD D. (2019). BERT for coreference resolution : Baselines and analysis. In K. INUI, J. JIANG, V. NG & X. WAN, Éds., *Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP)*, p. 5803–5808, Hong Kong, China : Association for Computational Linguistics. DOI : 10.18653/v1/D19-1588.

JURAFSKY D. & MARTIN J. H. (2023). *Speech and Language Processing : An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition*. USA, 3rd édition.

KIM Y. & WEBBER B. (2006). Implicit reference to citations : a study of astronomy. *ERPANET*. LAIGNELET M. & RIOULT F. (2009). Repérer automatiquement les segments obsolescents à l'aide d'indices sémantiques et discursifs. In A. NAZARENKO & T. POIBEAU, Éds., *Actes de TALN 2009 (Traitement automatique des langues naturelles)*, Senlis : ATALA LIPN.

LANGLAIS P. & PATRY A. (2007). Enrichissement d'un lexique bilingue par analogie. In (Benamara et al., 2007), p. 101–110.

LUAN Y., HE L., OSTENDORF M. & HAJISHIRZI H. (2018). Multi-task identification of entities, relations, and coreference for scientific knowledge graph construction. In E. RILOFF, D. CHIANG, J. HOCKENMAIER & J. TSUJII, Éds., *Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing*, p. 3219–3232, Brussels, Belgium : Association for Computational Linguistics. DOI : 10.18653/v1/D18-1360.
MAZZARELLA J. M., MADORE B. F. & HELOU G. (2001). Capabilities of the NASA/IPAC extragalactic database in the era of a global virtual observatory. In J.-L. STARCK & F. D. MURTAGH, Éds., *SPIE Proceedings* : SPIE. DOI: 10.1117/12.447177.

MOLLÁ ALIOD D., VAN ZAANEN M. & SMITH D. (2006). Named entity recognition for question answering. In L. CAVEDON & I. ZUKERMAN, Éds., *Proceedings of the Australasian Language Technology Workshop, ALTA 2006, Sydney, Australia, November 30-December 1, 2006*, p. 51–58 : Australasian Language Technology Association.

MURPHY T., MCINTOSH T. & CURRAN J. R. (2006). Named entity recognition for astronomy literature. In *Proceedings of the Australasian Language Technology Workshop 2006*, p. 59–66, Sydney, Australia.

NGUYEN T. D., TING Y.-S., CIUCĂ I., O’NEILL C., SUN Z.-C., JABŁOŃSKA M., KRUK S., PERKOWSKI E., MILLER J., LI J., PEEK J., IYER K., RÓŻAŃSKI T., KHETARPAL P., ZAMAN S., BRODRICK D., MÉNDEZ S. J. R., BUI T., GOODMAN A., ACCOMAZZI A., NAIMAN J., CRANNEY J., SCHAWINSKI K. & UNIVERSETBD (2023). Astrollama : Towards specialized foundation models in astronomy.

OTMAZGIN S., CATTAN A. & GOLDBERG Y. (2022). F-coref : Fast, accurate and easy to use coreference resolution. In *Proceedings of the 2nd Conference of the Asia-Pacific Chapter of the Association for Computational Linguistics and the 12th International Joint Conference on Natural Language Processing : System Demonstrations*, p. 48–56, Taipei, Taiwan : Association for Computational Linguistics.

OTMAZGIN S., CATTAN A. & GOLDBERG Y. (2023). LingMess : Linguistically informed multi expert scorers for coreference resolution. In *Proceedings of the 17th Conference of the European Chapter of the Association for Computational Linguistics*, p. 2752–2760, Dubrovnik, Croatia : Association for Computational Linguistics. DOI: 10.18653/v1/2023.eacl-main.202.

PETERS M. E., NEUMANN M., IYYER M., GARDNER M., CLARK C., LEE K. & ZETTLEMOYER L. (2018). Deep contextualized word representations. In M. WALKER, H. JI & A. STENT, Éds., *Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics : Human Language Technologies, Volume 1 (Long Papers)*, p. 2227–2237, New Orleans, Louisiana : Association for Computational Linguistics. DOI: 10.18653/v1/N18-1202.

RUTLEDGE R. E. (1998). The Astronomer’s Telegram : A Web-based Short-Notice Publication System for the Professional Astronomical Community. *Publications of the Astronomical Society of the Pacific*, **110**(748), 754–756. DOI: 10.1086/316184.

SERETAN V. & WEHRLI E. (2007). Collocation translation based on sentence alignment and parsing. In (Benamara *et al.*, 2007), p. 401–410.

SEVGILI Ö., SHELMANOV A., ARKHIPOV M. Y., PANCHENKO A. & BIEMANN C. (2020). Neural entity linking : A survey of models based on deep learning. *CoRR*, abs/2006.00575.

SOTNIKOV V. & CHAIKOVA A. (2023). Language models for multimessenger astronomy. *Galaxies*, **11**(3). DOI: 10.3390/galaxies11030063.

STENETORP P., PYYSALO S., TOPIĆ G., OHTA T., ANANIADOU S. & TSUJII J. (2012). brat : a web-based tool for NLP-assisted text annotation. In *Proceedings of the Demonstrations at the 13th Conference of the European Chapter of the Association for Computational Linguistics*, p. 102–107, Avignon, France : Association for Computational Linguistics.

WENGER M., OCHSENBEIN F., EGRET D., DUBOIS P., BONNAREL F., BORDE S., GENOVA F., JASNIEWICZ G., LALOË S., LESTEVEN S. & MONIER R. (2000). The SIMBAD astronomical database. *Astronomy and Astrophysics Supplement Series*, **143**(1), 9–22. DOI: 10.1051/aas:2000332.
YADAV V. & BETHARD S. (2018). A survey on recent advances in named entity recognition from deep learning models. In *Proceedings of the 27th International Conference on Computational Linguistics*, p. 2145–2158, Santa Fe, New Mexico, USA : Association for Computational Linguistics.

ZHENG J., CHAPMAN W. W., CROWLEY R. S. & SAVOVA G. K. (2011). Coreference resolution : A review of general methodologies and applications in the clinical domain. *Journal of Biomedical Informatics*, **44**(6), 1113–1122. DOI : https://doi.org/10.1016/j.jbi.2011.08.006.
<figure><img src="image_242.png" /></figure>