# Actes de la 30e Conférence sur le Traitement Automatique des Langues Naturelles (TALN)

Christophe Servan, Anne Vilnat

<figure><img src="image_1.png" /></figure>

## To cite this version:

Christophe Servan, Anne Vilnat. Actes de la 30e Conférence sur le Traitement Automatique des Langues Naturelles (TALN). CORIA - TALN 2023, 2023. hal-04462825

HAL Id: hal-04462825

https://hal.science/hal-04462825v1

Submitted on 16 Feb 2024

HAL is a multi-disciplinary open access
archive for the deposit and dissemination of sci-
entific research documents, whether they are pub-
lished or not. The documents may come from
teaching and research institutions in France or
abroad, or from public or private research centers.

L'archive ouverte pluridisciplinaire HAL, est
destinée au dépôt et à la diffusion de documents
scientifiques de niveau recherche, publiés ou non,
émanant des établissements d'enseignement et de
recherche français ou étrangers, des laboratoires
publics ou privés.

<figure><img src="image_2.png" /></figure>

Distributed under a Creative Commons Attribution 4.0 International License
<figure><img src="image_3.png" /></figure>

<figure><img src="image_4.png" /></figure>

18e Conférence en Recherche d'Information et Applications,
16e Rencontres Jeunes Chercheurs en RI,
30e Conférence sur le Traitement Automatique des Langues Naturelles,
25e Rencontre des Étudiants Chercheurs en Informatique pour le
Traitement Automatique des Langues
(CORIA-TALN)¹

Actes de CORIA-TALN 2023.

Actes de la 30e Conférence sur le Traitement Automatique des Langues Naturelles (TALN),

volume 1 : travaux de recherche originaux – articles longs

Christophe Servan, Anne Vilnat (Éds.)

Paris, France, 5 au 9 juin 2023
<figure><img src="image_5.png" /></figure>

université
PARIS-SACLAY

SIGIR

<figure><img src="image_6.png" /></figure>

<figure><img src="image_7.png" /></figure>

<figure><img src="image_8.png" /></figure>

Laboratoire de linguistique formelle

<figure><img src="image_9.png" /></figure>

SORBONNE
UNIVERSITÉ

université
PARIS-SACLAY

GRADUATE SCHOOL
Informatique
et Sciences
du Numérique

<figure><img src="image_10.png" /></figure>

eDF

LISN
LABORATOIRE INTERDISCIPLINAIRE
DES SCIENCES DU NUMÉRIQUE

<figure><img src="image_11.png" /></figure>

modyco

Modèles, Dynamiques, Corpus
UMR 7114

<figure><img src="image_12.png" /></figure>

scai
SORBONNE CENTER FOR
ARTIFICIAL INTELLIGENCE

Soutenu
par

<figure><img src="image_13.png" /></figure>

MINISTÈRE
DE LA CULTURE

Liberté
Égalité
Fraternité

<figure><img src="image_14.png" /></figure>

Institut national
des langues
et civilisations orientales

<figure><img src="image_15.png" /></figure>

Sens Texte
Informatique
Histoire
# Préface

Organisée conjointement par les laboratoires franciliens sous l'égide de l'Association francophone de Recherche d'Information et Applications (ARIA) et l'Association pour le Traitement Automatique des Langues (ATALA), la conférence CORIA-TALN-RJCRI-RECITAL 2023 regroupe :

— la 18ème Conférence en Recherche d'Information et Applications (CORIA)

— la 30ème Conférence sur le Traitement Automatique des Langues Naturelles (TALN);
ainsi que les deux conférences associées, destinées aux jeunes chercheuses et chercheurs :

— Les 16ème Rencontres Jeunes Chercheurs en RI (RJCRI)

— la 25ème Rencontre des Etudiants Chercheurs en Informatique pour le Traitement Automatique des Langues (RECITAL)

La conférence TALN (Traitement Automatique des Langues Naturelles) est un rendez-vous annuel qui offre, depuis 1994, le plus important forum d'échange international francophone aux acteurs universitaires et industriels des technologies de la langue. Cet événement, qui accueille habituellement près de 250 participants, couvre toutes les avancées récentes en matière de communication écrite et parlée et de traitement informatique de la langue notamment la recherche et l'extraction d'information, la fouille de textes, le dialogue homme-machine, la fouille d'opinions, la traduction automatique, les systèmes de questions-réponses, le résumé automatique...

Cette année, ont été soumis 51 articles longs et 12 articles courts pour la conférence principale, dont respectivement 29 ont été acceptés pour une présentation orale (dont 2 prises de position) et 9 pour une présentation sous forme de posters. 19 présentations courtes, sous forme de posters, d'articles déjà publiés lors de conférences internationales complètent le programme de la conférence, ainsi que des démonstrations et des présentations de projets en cours. L'alternance de sessions communes entre TALN, CORIA et RJC et de sessions plus spécifiques devraient permettre de susciter des échanges fructueux.

En complément de la conférence principale, se tiennent les ateliers "Défi Fouille de Texte" (DEFT), "Atelier sur l'analyse et la recherche de textes scientifiques" (ARTS), "Humain ou pas humain ? : les nouveaux défis pour les humains" (hOUPSh) et le tutoriel "Apprentissage Profond pour le TAL français pour les debutants" (TutoriAL). Ces ateliers et tutoriel illustrent à la fois des tendances nouvelles présentes dans la communauté et des activités récurrentes.

Un grand merci à toutes celles et tous ceux qui ont soumis leurs travaux, ainsi qu'aux membres du comité de programme et aux relectrices et relecteurs pour le travail qu'ils ont accompli. Ce sont eux qui font vivre la conférence. Merci au comité d'organisation réparti sur la région parisienne, et aux sponsors qui nous ont permis d'organiser cet événement.

Christophe Servan et Anne Vilnat, co-présidents de TALN
# Comités

## Comité de programme

### Présidents

- Christophe SERVAN

- Anne VILNAT

### Membres

- Rachel BAWDEN

- Caroline BRUN

- Marie CANDITO

- Rémi CARDON

- Pascal DENIS

- Yannick ESTEVE

- Benoît FAVRE

- Amel FRAISSE

- Thomas GERALD

- Natalia GRABAR

- Lydia-Mai HO-DAC

- José MORENO

- Vassilina NIKOULINA

- Yannick PARMENTIER

- Sylvain POGODALLA

- Solène QUINIOU

- Didier SCHWAB

- Iris TARAVELLA-ESHKOL

## Comité d'organisation

- Marie CANDITO

- Thomas GERALD

- José MORENO

- Benjamin PIWOWARSKI

- Christophe SERVAN

- Laure SOULIER

- Anne VILNAT
Table des matières

Étude de méthodes d'augmentation de données pour la reconnaissance d'entités nom-
mées en astrophysique
1

Atilla Kaan Alkan, Cyril Grouin, Pierre Zweigenbaum

Towards a Robust Detection of Language Model-Generated Text : Is ChatGPT that
easy to detect ?
14

Wissam Antoun, Virginie Mouilleron, Benoît Sagot, Djamé Seddah

Cross-lingual Strategies for Low-resource Language Modeling : A Study on Five Indic
Dialects
28

Niyati Bafna, Cristina España-Bonet, Josef Van Genabith, Benoît Sagot, Rachel Bawden

Pauzee : Prédiction des pauses dans la lecture d'un texte
43

Marion Baranes, Karl Hayek, Romain Hennequin, Elena V. Epure

Reconnaissance de défigements dans des tweets en français par des mesures de similarité
sur des alignements textuels
56

Julien Bezançon, Gaël Lejeune

Tri-apprentissage génératif : génération de données pour de la reconnaissance d'entités
nommées semi-supervisé
68

Hugo Boulanger, Thomas Lavergne, Sophie Rosset

Évaluation d'un générateur automatique de reformulations médicales
80

Ioana Buhnila, Amalia Todirascu

Étude comparative des plongements lexicaux pour l'extraction d'entités nommées en
français
94

Danrun Cao, Nicolat Béchet, Pierre-François Marteau

"Honey, Tell Me What's Wrong", Explicabilité Globale des Modèles de TAL par la
Génération Coopérative
105

Antoine Chaffin, Julien Delaunay

Extraction de relations sémantiques et modèles de langue : pour une relation à double
sens
123

Olivier Ferret

Géométrie de l'auto-attention en classification : quand la géométrie remplace l'attention
137

Loïc Fosse, Duc Hau Nguyen, Pascale Sébillot, Guillaume Gravier

Un traitement hybride du vague textuel : du système expert VAGO à son clone neuronal
151

Benjamin Icard, Vincent Claveau, Ghislain Atemezing, Paul Egré

Uniformité de la densité informationnelle : le cas du redoublement du sujet
164

Yiming Liang, Pascal Amsili, Heather Burnett

Augmentation des modèles de langage français par graphes de connaissances pour la
reconnaissance des entités biomédicales
177

Aidan Mannion, Schwab Didier, Lorraine Goeuriot, Thierry Chevalier
Annotation d'entités cliniques en utilisant les Larges Modèles de Langue 190

Simon Meoni, Théo Ryffel, Eric De La Clergerie

Classification de tweets en situation d'urgence pour la gestion de crises 204

Romain Meunier, Leila Moudjari, Farah Benamara, Véronique Moriceau, Alda Mari, Patricia Stolf

Outiller l'occitan : nouvelles ressources et lemmatisation 217

Aleksandra Miletić

Stratégies d'apprentissage actif pour la reconnaissance d'entités nommées en français 232

Marco Naguib, Aurélie Névéol, Xavier Tannier

Détecter une erreur dans les phrases coordonnées au sein des rédactions universitaires 248

Laura Noreskal, Iris Eshkol-Taravella, Marianne Desmets

Production automatique de gloses interlinéaires à travers un modèle probabiliste ex- 262

Shu Okabe, François Yvon

Intégration de connaissances structurées par synthèse de texte spécialisé 275

Guilhem Piat, Ellington Kirby, Julien Tourille, Nasredine Semmar, Alexandre Allauzen, Hassane Essafi

DACCORD : un jeu de données pour la Détection Automatique d'énonCés COntRa- 285

Maximos Skandalis, Richard Moot, Simon Robillard

Exploitation de plongements de graphes pour l'extraction de relations biomédicales 298

Anfu Tang, Robert Bossy, Louise Deléger, Claire Nédellec, Pierre Zweigenbaum

Derrière les plongements de relations 311

Hugo Thomas, Guillaume Gravier, Pascale Sébillot

CamemBERT-bio : Un modèle de langue français savoureux et meilleur pour la santé 323

Rian Touchent, Laurent Romary, Eric De La Clergerie

Protocole d'annotation multi-label pour une nouvelle approche à la génération de ré- 335

Lorraine Vanel, Alya Yacoubi, Chloe Clavel

Exploring Data-Centric Strategies for French Patent Classification : A Baseline and 349

You Zuo, Benoît Sagot, Kim Gerdes, Houda Mouzoun, Samir Ghamri Doudane
# Étude de méthodes d'augmentation de données pour la reconnaissance d'entités nommées en astrophysique

Atilla Kaan Alkan¹, ² Cyril Grouin¹ Pierre Zweigenbaum¹

(1) Université Paris-Saclay, CNRS, Laboratoire interdisciplinaire des sciences du numérique, 91405, Orsay, France.

(2) IRFU, CEA, Université Paris-Saclay, F-91191 Gif-sur-Yvette, France.
{atilla.alkan, cyril.grouin, pz}@lisn.upsaclay.fr

## RÉSUMÉ

Dans cet article nous étudions l'intérêt de l'augmentation de données pour le repérage d'entités nommées en domaine de spécialité : l'astrophysique. Pour cela, nous comparons trois méthodes d'augmentation en utilisant deux récents corpus annotés du domaine : DEAL et TDAC, tous deux en anglais. Nous avons générés les données artificielles en utilisant des méthodes à base de règles et à base de modèles de langue. Les données ont ensuite été ajoutées de manière itérative pour affiner un système de détection d'entités. Les résultats permettent de constater un effet de seuil : ajouter des données artificielles au-delà d'une certaine quantité ne présente plus d'intérêt et peut dégrader la F-mesure. Sur les deux corpus, le seuil varie selon la méthode employée, et en fonction du modèle de langue utilisé. Cette étude met également en évidence que l'augmentation de données est plus efficace sur de petits corpus, ce qui est cohérent avec d'autres études antérieures. En effet, nos expériences montrent qu'il est possible d'améliorer de 1 point la F-mesure sur le corpus DEAL, et jusqu'à 2 points sur le corpus TDAC.

## ABSTRACT

### Investigating Data Augmentation Methods for Astrophysical Named Entity Recognition.

In this paper, we investigate the effectiveness of data augmentation for named entity recognition in astrophysics. To this end, we compare three augmentation methods using two recent annotated corpora in the domain : DEAL and TDAC, both in English. We generated artificial data using rule-based and language model-based approaches. The data was then iteratively added to finetune an entity detection system. The results show a threshold effect : adding artificial data beyond a specific quantity is no longer beneficial and can decrease F-measure. The threshold varies for each method and depends on the language model employed. This study also highlights that data augmentation is more effective for small corpora, consistent with previous studies. Indeed, our experiments demonstrate the potential to improve the F-measure by 1 point in the DEAL corpus and up to 2 points in the TDAC corpus.

**MOTS-CLÉS** : Repérage d'entités nommées, Augmentation de données, Annotation, Astrophysique.

**KEYWORDS** : Named Entity Recognition, Data Augmentation, Annotation, Astrophysics.

## 1 Introduction

Tâche de base en Traitement Automatique des Langues (TAL), la reconnaissance d'entités nommées (REN) consiste à repérer des mentions d'entités dans un texte afin de les catégoriser dans des classes

<figure><img src="image_16.png" /></figure>
prédéfinies. Depuis son introduction en 1996 (Grishman & Sundheim, 1996), cette tâche s'est avérée utile pour la recherche d'information (Banerjee et al., 2019) ou encore pour la constitution de systèmes de questions-réponses (Mollá Aliod et al., 2006). Cependant, l'entraînement des systèmes de repérage d'entités nommées par apprentissage requièrent une quantité significative de données annotées, qui ne sont pas toujours disponibles pour certaines langues, peu dotées en ressources linguistiques, ou encore en domaine de spécialité.

Dans cet article, nous étudions l'intérêt de l'augmentation de données pour le repérage d'entités nommées, dans un domaine de spécialité peu étudié en TAL et pour lequel il existe peu de ressources annotées : l'astrophysique. Pour cela, nous proposons de comparer trois approches d'augmentation de données en utilisant les deux seuls corpus du domaine disponibles, tous deux en anglais : DEAL (Grezes et al., 2022) et TDAC (Alkan et al., 2022).

Notre étude a mis en evidéance la présence d'un effet de seuil, au-delà duquel l'ajout de données artificielles peut dégrader les performances des systèmes de détection d'entités nommées. L'évaluation des approches d'augmentation sur les deux corpus du domaine astrophysique montrent que les performances varient en fonction de la méthode employée ainsi que du modèle de langue utilisé pour générer les données artificielles. Nous décrivons notre méthode dans la Section 3. Nous présentons nos résultats expérimentaux dans la Section 4, et les analysons en Section 5.1.

# 2 Recherches connexes

## 2.1 Méthodes existantes

Explorée principalement en vision par ordinateur (Shorten & Khoshgoftaar, 2019), l'augmentation de données consiste à générer de nouvelles données artificielles pour l'entraînement des modèles, sans avoir à en recueillir davantage de façon manuelle. Ces dernières années, cette technique fait l'objet d'une attention croissante par les chercheurs en TAL, notamment pour la traduction (Wang et al., 2018), les systèmes de questions-réponses (Yang et al., 2019), la classification (Claveau et al., 2021) et le résumé automatique de texte (Pasunuru et al., 2021).

Les méthodes d'augmentation peuvent se diviser en plusieurs familles (Feng et al., 2021). Une première famille regroupant les méthodes à base de règles, utilisant des ressources linguistiques comme WordNet (Miller, 1994) pour remplacer des mots d'une phrase, ou encore la permutation de mots (Wei & Zou, 2019). La deuxième famille repose sur les modèles de langue, utilisant des techniques de rétrotraduction par exemple (Yu et al., 2018). Le remplacement des mots d'une phrase peut également s'effectuer en utilisant un modèle de langue masqué (MLM). L'entraînement d'un modèle de langue masqué constitue la phase de pré-entraînement des modèles de langue contextualisés de type BERT (Devlin et al., 2019). Cette tâche consiste à masquer aléatoirement un mot dans le texte d'entrée avec le token [MASK], puis à prédire le mot masqué. L'insertion du mot prédit dans le texte permet alors de constituer une séquence artificielle à partir de la séquence d'origine. Une troisième famille d'augmentation existe, reposant cette fois sur des techniques d'interpolation (Zhang et al., 2018, 2020). Ces méthodes consistent à générer des données artificielles en interpolant entre des échantillons de données existants. Cela peut se faire en prenant par exemple deux séquences d'entrée (sélectionnées selon leur similarité ou leur pertinence), puis en générant un échantillon artificiel qui se situe entre eux.
## 2.2 Attention moindre pour la reconnaissance d'entités nommées

Si elle améliore les performances de certaines tâches de TAL telles que le traduction automatique (Nguyen et al., 2020) et les systèmes de questions-réponses (Yu et al., 2018), l'augmentation de données est plus difficile à mettre en œuvre pour la détection d'entités. De récentes études (Dai & Adel, 2020) soulignent que ces méthodes peuvent générer des données artificielles erronées lorsqu'elles sont appliquées sur des tâches au niveau du token. En effet, l'utilisation d'un MLM pour remplacer une entité peut conduire à des erreurs lors de l'affinage de systèmes de reconnaissance d'entités nommées si le type du mot prédit ne correspond pas au type du mot masqué. En raison de cette difficulté, l'augmentation de données pour la REN a fait l'objet d'une attention moindre comparée à d'autres tâches. Pour pallier ce problème, Zhou et al. (2022) ont proposé la méthode MELM : Masked Entity Language Modeling, qui vise à insérer autour de chaque token masqué le type qui lui correspond lors de la phase de pré-entraînement (par exemple, le token spécial [B-Ins] ou [I-Ins] autour des tokens d'une entité de la classe Instrument). Par conséquent, lors de l'apprentissage, la prédiction du token masqué est conditionnée à la fois par son contexte et par son type, réduisant le risque de non-correspondance entre le token prédit et la classe.

L'astrophysique est un domaine de spécialité générant une quantité significative de documents à analyser, mais possédant en revanche très peu de corpus annotés en entités nommées. L'un de ces corpus, publié très récemment, a servi dans la campagne d'évaluation internationale DEAL sur la reconnaissance d'entités nommées dans des articles d'astrophysique (Grezes et al., 2022). Parmi les travaux qui se sont intéressés à la détection d'entités nommées en astrophysique (Becker et al., 2005; Hachey et al., 2005; Murphy et al., 2006), une seule méthode d'augmentation de données a été proposée par l'un des participants de cette campagne d'évaluation (Huang, 2022). L'auteur utilise des modèles pré-entraînés spécifiques (He et al., 2021; Berquand et al., 2021) à base d'adapteurs (Houlsby et al., 2019) pour l'augmentation de données, lui permettant d'atteindre une F-mesure de 0,7799 sur le jeu de test du corpus DEAL.

# 3 Protocole expérimental pour l'augmentation de données

## 3.1 Présentation générale des corpus

Nous utilisons les deux seuls corpus annotés et disponibles du domaine astrophysique : le corpus DEAL (Grezes et al., 2022) et le corpus TDAC (Alkan et al., 2022). Ces ensembles de données proviennent de sources différentes et sont en anglais, car la communauté astrophysique, composée d'amateurs et de professionnels utilise principalement l'anglais pour communiquer.

**Le corpus DEAL** Ce corpus est constitué de fragments d'articles scientifiques en astrophysique générale. Il a été annoté en entités nommées pour la campagne d'évaluation DEAL (Detecting Entities in the Astrophysics Literature) et se compose de trois ensembles : entraînement, développement et test, comprenant respectivement 1753, 1366 et 2505 documents. Le corpus est accessible sur HuggingFace<fnref n="1" />.

<footnote n="1">1. https://huggingface.co/datasets/adsabs/WIESP2022-NER/tree/main</footnote>
**Le corpus TDAC** Ce corpus se compose de rapports d'observation (courts messages textuels) qui constituent l'une des sources premières de partage d'informations entre astronomers. A la différence du corpus DEAL, ce corpus se focalise uniquement sur les phénomènes cosmiques dits « transitoires 2 » (Neronov, 2019), possédant ainsi un vocabulaire et un discours spécifiques que nous ne retrouvons pas nécessairement dans le corpus DEAL. Le corpus TDAC est accessible sur GitHub 3. L'une des limites de ce corpus concerne son nombre limité de documents annotés disponibles : 75 rapports d'observations, dont 59 pour l'entraînement et 16 pour le test. Le tableau 1 fournit quelques statistiques concernant ces deux corpus.

<table><caption>TABLE 1 – Statistiques des deux corpus d'étude.</caption><thead><tr><td>Corpus</td><td>Nb classes</td><td>Nb tokens</td><td>tokens annotés</td><td>Long. moyenne (tokens)</td></tr></thead><tbody><tr><td>DEAL</td><td>31</td><td>1 815 237</td><td>337 663</td><td>322</td></tr><tr><td>TDAC</td><td>28</td><td>26 133</td><td>4526</td><td>256</td></tr></tbody></table>

**Entités nommées et particularités des textes en astrophysique** Bien que ces corpus soient de sources différentes, les catégories définies ainsi que les schémas d'annotation sont identiques. Le guide d'annotation comprend 31 entités nommées au total et couvre les entités d'intérêt du domaine : installations astronomiques, objets célestes, coordonnées, formules ou encore techniques d'observation. Une liste détaillée des classes est disponible sur le dépôt HuggingFace 4. La figure 1 montre la proportion des entités nommées annotées dans chacun des deux corpus.

<figure><img src="image_17.png" /><figcaption>FIGURE 1 – Proportions des entités nommées dans le corpus DEAL (en bleu) et dans TDAC (en orange).</figcaption></figure>

<footnote n="2">2. Les phénomènes transitoires sont de violentes explosions de courtes durées telles que les explosions de supernovae, les sursauts gamma, ou encore les jets de particules en provenance de certaines galaxies.</footnote>

<footnote n="3">3. https://github.com/AtillaKaanAlkan/TDAC</footnote>

<footnote n="4">4. https://huggingface.co/datasets/adsabs/WIESP2022-NER/blob/main/tag_definitions.md</footnote>
La répartition des classes au sein des deux corpus n'est pas similaire. En effet, dans le corpus TDAC, les catégories les plus fréquentes sont par exemple *Formula*, *CelestialObject*, *Observatory* ou *CelestialRegion*. Il s'agit de catégories spécifiques au domaine astrophysique. La plupart de ces classes spécifiques sont moins présentes dans le corpus DEAL, dans lequel on retrouve principalement des classes du type : *Citation*, *Organization*, *Grant* ou *Person*, qui semblent être des catégories d'entités nommées plus génériques dans les articles scientifiques.

## 3.2 Description des méthodes d'augmentation

Nous masquons aléatoirement 70 % des entités nommées d'une séquence sans changer les tokens de type « O ». La valeur de 70 % a été suggérée par Zhou et al. (2022) pour la méthode MELM à l'issue d'une recherche par grille (*grid search*). Nous avons en plus fait le choix que si un token faisant partie d'une portion annotée est masqué, alors l'intégralité de cette portion est remplacée. La figure 2 schématise nos trois méthodes.

<figure><img src="image_18.png" /><figcaption>FIGURE 2 – Illustration des trois méthodes d'augmentation proposées.</figcaption></figure>

**Méthode 1 : Substitution d'entités à base de règles** La première méthode que nous explorons consiste à remplacer aléatoirement une entité d'une classe donnée par une autre entité de cette même classe du corpus d'entraînement. Par exemple, nous remplaçons un nom d'instrument de mesure comme « ESPaDOnS » de la classe *Instrument* par « NIRCam » de cette même classe, créant ainsi une donnée augmentée. Il s'agit donc d'une méthode simple d'augmentation à base de règles.

**Méthode 2 : Modèle de langue masqué (MLM)** La deuxième méthode que nous proposons consiste à utiliser des modèles de langue masqué. Afin d'évaluer l'impact de l'augmentation de données, nous utilisons trois modèles : astroBERT (Grezes et al., 2021), SciBERT (Beltagy et al., 2019) et RoBERTa (Zhuang et al., 2021). Ces modèles se distinguent par leur corpus de pré-entraînement.
Alors qu'astroBERT est conçu pour l'analyse de textes en astrophysique, SciBERT repose sur des textes scientifiques, tandis que RoBERTa est un modèle pré-entraîné sur des corpus de langue générale. Nous masquons aléatoirement des entités du corpus et utilisons la prédiction du mot masqué pour produire nos données artificielles.

**Méthode 3 : Modèle de langue d'entités masquées (MELM)** Comme évoqué dans les travaux connexes, l'usage d'un modèle de langue masqué peut générer des erreurs de type. Dans cette troisième méthode, nous proposons d'appliquer la méthode MELM pour la prédiction de nouveaux mots, et constituer ainsi nos données artificielles. Comme illustré sur la figure 2, nous ajoutons autour des tokens masqués les étiquettes correspondantes. Le modèle astroBERT étant spécifique au domaine de spécialité et la méthode MELM s'appuyant sur les classes d'entités relatives au domaine astrophysique, nous avons étudié l'impact de cette méthode au moyen d'astroBERT principalement. Nous pré-entraînons astroBERT sur la tâche de prédiction de mot masqué avec les tokens spéciaux ajoutés en utilisant les échantillons d'entraînement respectifs des deux corpus : 1753 documents pour DEAL, et 59 rapports d'observation pour TDAC pendant 20 époques, comme conseillé par Zhou et al. (2022).

# 4 Expériences pour la reconnaissance d'entités nommées

## 4.1 Configurations

**Modèles et hyperparamètres** Nous avons affiné astroBERT (Grezes et al., 2021) sur une tâche de REN sur 15 époques, avec un taux d'apprentissage $\alpha = 2 \times 10^{-5}$ et une taille de lot d'entraînement (training batch size) de 4. Les expériences ont été réitérées cinq fois avec des valeurs d'amorces différentes (seeds = [0, 123, 762, 5000, 6822]) choisies aléatoirement.

**Variation du taux d'augmentation** Amalvy et al. (2022) ont montré qu'au-delà d'un certain seuil, l'augmentation de données ne présentait plus d'intérêt et engendrait une baisse des performances, principalement due à un sur-apprentissage. C'est pourquoi nous avons analysé l'impact de l'augmentation de données sur les performances des systèmes de détection d'entités nommées en faisant varier la quantité d'exemples artificiels ajoutés au corpus d'entraînement d'origine. Plus précisément, nous avons examiné des augmentations par incrément de 25%.

## 4.2 Résultats

Afin d'évaluer nos systèmes de détection d'entités nommées, nous calculons la précision (P), le rappel (R) et la F-mesure (F) en suivant la méthode CoNLL-2003 (Tjong Kim Sang & De Meulder, 2003). Nous présentons les résultats obtenus sur les jeux de test des corpus DEAL et TDAC par un modèle de détection d'entités astroBERT entraîné sur des données étendues avec chacune des trois méthodes d'augmentation de données que nous avons présentées : substitution d'entités (tableau 2), modèle de langue masqué (tableau 3) et MELM (tableau 4). Pour évaluer l'intérêt de l'augmentation de données, nous rappelons sur la première ligne de chaque tableau les performances du système entraîné uniquement sur les données d'origine (sans augmentation).
<table><caption>TABLE 2 – Impact de l’augmentation de données par la méthode de substitution d’entités, évaluée sur une tâche de repérage d’entités nommées, avec comparaison sans augmentation de données (Ø). Pour chaque configuration, nous affichons la moyenne (et l’écart type) des 5 affinages réalisés. Pour des raisons de visibilité, nous indiquons l’écart type uniquement pour la F-mesure.</caption><thead><tr><th rowspan="2">Taux</th><th colspan="3">DEAL</th><th colspan="3">TDAC</th></tr><tr><th>P</th><th>R</th><th>F</th><th>P</th><th>R</th><th>F</th></tr></thead><tbody><tr><td>0</td><td>0,799</td><td><strong>0,834</strong></td><td><strong>0,816</strong> (0,002)</td><td>0,666</td><td>0,737</td><td>0,700 (0,003)</td></tr><tr><td>25%</td><td><strong>0,805</strong></td><td>0,827</td><td>0,816 (0,003)</td><td>0,641</td><td>0,726</td><td>0,681 (0,018)</td></tr><tr><td>50%</td><td>0,800</td><td>0,823</td><td>0,811 (0,003)</td><td>0,663</td><td>0,728</td><td>0,694 (0,014)</td></tr><tr><td>75%</td><td>0,801</td><td>0,825</td><td>0,813 (0,001)</td><td>0,667</td><td>0,734</td><td>0,699 (0,009)</td></tr><tr><td>100%</td><td>0,789</td><td>0,826</td><td>0,807 (0,003)</td><td><strong>0,677</strong></td><td><strong>0,749</strong></td><td><strong>0,711</strong> (0,004)</td></tr></tbody></table>

<table><caption>TABLE 3 – Impact de l’augmentation de données par la méthode MLM, en fonction du modèle de langue masqué utilisé (astroBERT, SciBERT, RoBERTa) pour générer les données artificielles et du taux d’augmentation (de 25,0 % à 100 % par incrément de 25,0 %), évaluée sur une tâche de repérage d’entités nommées, avec comparaison sans augmentation de données (Ø). Pour chaque configuration, nous affichons la moyenne (et l’écart type) des 5 affinages réalisés. Pour des raisons de visibilité, nous indiquons l’écart type uniquement pour la F-mesure.</caption><thead><tr><th rowspan="2">Modèle et taux d'augmentation</th><th colspan="3">DEAL</th><th colspan="3">TDAC</th></tr><tr><th>P</th><th>R</th><th>F</th><th>P</th><th>R</th><th>F</th></tr></thead><tbody><tr><td>Ø</td><td>0,799</td><td>0,834</td><td>0,816 (0,002)</td><td>0,666</td><td>0,737</td><td>0,700 (0,003)</td></tr><tr><td rowspan="4">astroBERT</td><td>25%</td><td>0,799</td><td>0,829</td><td>0,814 (0,005)</td><td>0,647</td><td>0,728</td><td>0,685 (0,007)</td></tr><tr><td>50%</td><td>0,795</td><td>0,824</td><td>0,809 (0,005)</td><td>0,664</td><td>0,729</td><td>0,695 (0,009)</td></tr><tr><td>75%</td><td>0,789</td><td>0,824</td><td>0,806 (0,004)</td><td>0,670</td><td>0,748</td><td>0,706 (0,016)</td></tr><tr><td>100%</td><td>0,788</td><td>0,820</td><td>0,804 (0,002)</td><td>0,680</td><td>0,749</td><td>0,713 (0,009)</td></tr><tr><td rowspan="4">SciBERT</td><td>25%</td><td>0,796</td><td>0,831</td><td>0,813 (0,004)</td><td>0,631</td><td>0,718</td><td>0,671 (0,014)</td></tr><tr><td>50%</td><td>0,794</td><td>0,828</td><td>0,810 (0,002)</td><td><strong>0,693</strong></td><td><strong>0,749</strong></td><td><strong>0,720</strong> (0,016)</td></tr><tr><td>75%</td><td>0,788</td><td>0,821</td><td>0,804 (0,006)</td><td>0,677</td><td>0,744</td><td>0,709 (0,013)</td></tr><tr><td>100%</td><td>0,776</td><td>0,822</td><td>0,798 (0,003)</td><td>0,688</td><td>0,745</td><td>0,715 (0,008)</td></tr><tr><td rowspan="4">RoBERTa</td><td>25%</td><td>0,799</td><td>0,836</td><td>0,817 (0,001)</td><td>0,624</td><td>0,710</td><td>0,664 (0,011)</td></tr><tr><td>50%</td><td>0,794</td><td><strong>0,839</strong></td><td>0,816 (0,003)</td><td>0,635</td><td>0,711</td><td>0,671 (0,014)</td></tr><tr><td>75%</td><td><strong>0,806</strong></td><td>0,835</td><td><strong>0,820</strong> (0,003)</td><td>0,674</td><td>0,728</td><td>0,700 (0,014)</td></tr><tr><td>100%</td><td>0,798</td><td>0,831</td><td>0,814 (0,003)</td><td>0,639</td><td>0,707</td><td>0,671 (0,008)</td></tr></tbody></table>

# 5 Analyse et discussion

## 5.1 Impact de la méthode d'augmentation et du modèle de langue

Les trois méthodes d'augmentation proposées fournissent des résultats assez proches. Néanmoins, dans le cadre de nos expériences, nous constatons que les approches basées sur l'utilisation de modèles de langue (méthodes 2 et 3) permettent d'obtenir de meilleurs scores qu'une approche de substitution à base de règles. Nous gagnons jusqu'à deux points de F-mesure avec les méthodes 2 et 3 (tableaux 3 et 4) sur le corpus TDAC, et 1 point sur le corpus DEAL, tandis que la méthode à base de règles (tableau 2) nous permet de gagner 1 point de F-mesure sur le corpus TDAC, et aucune amélioration
<table><thead><tr><th rowspan="2">Modèle et taux d'augmentation</th><th colspan="3">DEAL</th><th colspan="3">TDAC</th></tr><tr><th>P</th><th>R</th><th>F</th><th>P</th><th>R</th><th>F</th></tr></thead><tbody><tr><td> astroBERT</td><td>0</td><td>0,799</td><td>0,834</td><td>0,816 (0,002)</td><td>0,666</td><td>0,737</td><td>0,700 (0,003)</td></tr><tr><td></td><td>25%</td><td>0,798</td><td>0,835</td><td>0,816 (0,005)</td><td>0,664</td><td>0,732</td><td>0,696 (0,008)</td></tr><tr><td></td><td>50%</td><td>0,796</td><td>0,834</td><td>0,815 (0,003)</td><td>0,667</td><td>0,738</td><td>0,701 (0,004)</td></tr><tr><td></td><td>75%</td><td>0,797</td><td>0,835</td><td>0,816 (0,004)</td><td>0,668</td><td>0,738</td><td>0,701 (0,004)</td></tr><tr><td></td><td>100%</td><td>0,797</td><td>0,836</td><td>0,816 (0,004)</td><td>0,669</td><td>0,738</td><td>0,702 (0,005)</td></tr></tbody></table>

TABLE 4 – Impact de l'augmentation de données par la méthode MELM, en fonction du taux d'augmentation (de 25,0% à 100% par incrément de 25,0%),évaluée sur une tâche de repérage d'entités nommées, avec comparaison sans augmentation de données (Ø). Pour chaque configuration, nous affichons la moyenne (et l'écart type) des 5 affinages réalisés. Pour des raisons de visibilité, nous indiquons l'écart type uniquement pour la F-mesure.

n'est constatée sur le corpus DEAL.

Cette observation peut s'expliquer par la diversité générée grâce aux modèles de langue. En effet, ces derniers permettent d'offrir une plus grande diversité dans la génération de nouvelles entités, contrairement à la méthode 1 qui, reste limitée aux entités présentes dans le corpus d'entraînement lors de la génération de données.

Toujours en lien avec la diversité, nous constatons dans le tableau 3 que l'utilisation d'un modèle de langue générale (RoBERTa) sur DEAL et d'un modèle entraîné sur des textes scientifiques (SciBERT) sur TDAC pour générer des données artificielles, permettent d'obtenir de meilleurs résultats que l'utilisation d'astroBERT. Il semble donc y avoir un impact du corpus d'entraînement du modèle de langue sur l'augmentation de données : un modèle de langue pré-entraîné sur un corpus plus général, permet de générer une plus grande diversité. Nous envisageons donc de poursuivre la comparaison de la méthode MELM avec les deux autres modèles RoBERTa et SciBERT.

De plus, nous estimons que la capacité de prise en compte du contexte des modèles de langue lors de la génération de données peut également être une des raisons conduisant à de meilleurs résultats.

## 5.2 Effet de seuil

L'augmentation par incrément nous permet d'observer un effet de seuil, qui est également constaté dans les travaux de Amalvy et al. (2022). En effet, peu importe la méthode d'augmentation proposée, l'ajout de données artificielles au delà d'une certaine quantité ne présente plus d'intérêt et dégrade la F-mesure. Dans nos expériences, ce seuil varie selon la méthode employée et en fonction du modèle de langue utilisé. Il semblerait que plus le modèle de langue est général, plus le seuil est élevé. Ceci peut s'expliquer par le fait que les données générées avec astroBERT sont très proches des données d'origines et moins diversifiées que celles produites par RoBERTa, conduisant à un sur-apprentissage.

Par ailleurs, au vu des résultats obtenus, l'augmentation de données semble plus efficace lorsque appliquée sur de petits corpus, ce qui rejoint également la conclusion de Dai & Adel (2020). En effet, il est possible de gagner jusqu'à plus de 2 points de F-mesure sur le corpus TDAC (tableau 3), alors que sur le corpus DEAL, plus grand, nous gagnons seulement 1 point (tableaux 3 et 4) toutes méthodes confondues.
## 5.3 Répartition des gains et diversité des classes

En considérant les méthodes ayant donné les meilleurs scores globaux en terme de F-mesure, nous avons analysé pour chacune des classes (types d'entités) s'il existait un lien entre le gain obtenu (diminution ou augmentation de la F-mesure) et la diversité de la classe (nombre de formes de surface différentes). Le calcul du coefficient de corrélation de Pearson<fnref n="5" /> ($c_p$) montre qu'il y a une faible corrélation négative entre le gain et la diversité. En effet, les coefficients sont relativement faibles : $c_p = -0,062$ pour le corpus DEAL, et $c_p = 0,023$ pour le corpus TDAC. La figure 3 montre que le gain est réparti sur différentes classes.

<figure><img src="image_19.png" /><figcaption>FIGURE 3 – Répartition des gains (en bleu) et diversité (en orange) sur les deux corpus.</figcaption></figure>

Dans l'ensemble, la majeure partie des classes bénéficient d'une augmentation de la F-mesure avec une amélioration significative sur les classes du domaine astrophysique. En effet, l'ajout de 25 % de données artificielles au corpus DEAL avec la méthode MELM permet au système de REN de mieux repérer certains concepts dans le texte tels que les coordonnées d'objets célestes et les techniques utilisées lors des observations : 6 points pour la classe *CelestialObjectRegion*, et 5,7 pour la classe *ObservationalTechniques*. L'augmentation de données présente également un intérêt pour le repérage d'installations astronomiques (*Observatory* :2,13) et des longeurs d'ondes (*Wavelength* : 2,02). Nous constatons également des améliorations dans la détection des coordonnées sur le corpus TDAC (*CelestialObjectRegion* : 63,9) et des noms d'objets astrophysiques (*CelestialObject* :3,71).

## 6 Conclusion et perspectives

Dans cet article, nous avons étudié l'intérêt de l'augmentation de données pour entraîner des systèmes de repérage d'entités nommées. Les méthodes proposées ont été appliquées à un domaine de spécialité

<footnote n="5">5. https://docs.scipy.org/doc/scipy/reference/generated/scipy.stats.pearsonr.html</footnote>
peu étudié en TAL : l'astrophysique, en utilisant deux corpus existants. Nous avons exploré l'efficacité de trois méthodes d'augmentation permettant de limiter les erreurs token-étiquette lors de la génération de données.

Notre étude a permis d'identifier les classes qui bénéficient le plus de l'augmentation et de mettre en évidence que les performances varient selon la méthode d'augmentation employée, en fonction du modèle de langue utilisé.

Ces résultats ouvrent la voie à plusieurs perspectives de recherche. Tout d'abord, il pourrait être bénéfique de cibler spécifiquement les classes à augmenter plutôt que de procéder à une augmentation aléatoire. En effet, cibler les classes à augmenter sur le corpus DEAL pourrait éviter une diminution des performances sur deux classes importantes du domaine astrophysique : *CelestialRegion* (−5,59), et *CelestialObject* (−0,29).

En outre, il serait intéressant de trouver une approche permettant de diversifier la structure des documents et de modifier le contexte local autour des entités. En effet, bien que les méthodes comparées dans cet article permettent d'augmenter le nombre d'entités du corpus et leur diversité (selon le modèle utilisé), elles ne changent pas la structure des documents et ne modifient pas le contexte, ce qui génère des données artificielles proches des données d'origine, pouvant conduire à un risque de sur-apprentissage qui expliquerait pourquoi les performances des systèmes peuvent se dégrader au-delà d'un certain seuil.

Une solution serait de remplacer les tokens de type « O » (les adjectifs et les adverbes par exemple) autour des entités annotées afin de pouvoir modifier le contexte localement. Enfin, il pourrait être utile de tester les méthodes à base d'interpolation (Zhang et al., 2020) et de combiner plusieurs approches d'augmentation pour améliorer davantage les performances.

## Remerciements

Nous remercions chaleureusement Fabian Schüssler (IRFU, CEA, Université Paris-Saclay), astrophysicien, pour son accompagnement, son expertise et ses nombreux conseils dans le cadre de ces travaux de recherches.

## Références

ALKAN A. K., GROUIN C., SCHUSSLER F. & ZWEIGENBAUM P. (2022). TDAC, the first corpus in time-domain astrophysics : Analysis and first experiments on named entity recognition. In *Proceedings of the first Workshop on Information Extraction from Scientific Publications*, p. 131–139, Online : Association for Computational Linguistics.

AMALVY A., LABATUT V. & DUFOUR R. (2022). Remplacement de mentions pour l'adaptation d'un corpus de reconnaissance d'entités nommées à un domaine cible (Mention replacement for adapting a named entity recognition dataset to a target domain). In *Actes de la 29e Conférence sur le Traitement Automatique des Langues Naturelles. Volume 1 : conférence principale*, p. 198–205, Avignon, France : ATALA.
BANERJEE P. S., CHAKRABORTY B., TRIPATHI D., GUPTA H. & KUMAR S. S. (2019). A information retrieval based on question and answering and ner for unstructured information without using sql. *Wirel. Pers. Commun.*, **108**(3), 1909–1931. doi: 10.1007/s11277-019-06501-z.

BECKER M., HACHEY B., ALEX B. & GROVER C. (2005). Optimising selective sampling for bootstrapping named entity recognition. In *In Proceedings of the ICML Workshop on Learning with Multiple Views*, p. 5–11.

BELTAGY I., LO K. & COHAN A. (2019). SciBERT: A pretrained language model for scientific text. In *Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP)*, p. 3615–3620, Hong Kong, China: Association for Computational Linguistics. doi: 10.18653/v1/D19-1371.

BERQUAND A., DARM P. & RICCARDI A. (2021). Spacetransformers: Language modeling for space systems. *IEEE Access*, **9**, 133111–133122. doi: 10.1109/ACCESS.2021.3115659.

CLAVEAU V., CHAFFIN A. & KIJAK E. (2021). La génération de textes artificiels en substitution ou en complément de données d'apprentissage (Generating artificial texts as substitution or complement of training data). In *Actes de la 28e Conférence sur le Traitement Automatique des Langues Naturelles. Volume 1 : conférence principale*, p. 37–49, Lille, France: ATALA.

DAI X. & ADEL H. (2020). An analysis of simple data augmentation for named entity recognition. In *Proceedings of the 28th International Conference on Computational Linguistics*, p. 3861–3867, Barcelona, Spain (Online): International Committee on Computational Linguistics. doi: 10.18653/v1/2020.coling-main.343.

DEVLIN J., CHANG M.-W., LEE K. & TOUTANOVA K. (2019). BERT: Pre-training of deep bidirectional transformers for language understanding. In *Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics : Human Language Technologies, Volume 1 (Long and Short Papers)*, p. 4171–4186, Minneapolis, Minnesota: Association for Computational Linguistics. doi: 10.18653/v1/N19-1423.

FENG S. Y., GANGAL V., WEI J., CHANDAR S., VOSOUGHI S., MITAMURA T. & HOVY E. H. (2021). A survey of data augmentation approaches for NLP. *CoRR*, abs/2105.03075.

GREZES F., BLANCO-CUARESMA S., ACCOMAZZI A., KURTZ M. J., SHAPURIAN G., HENEKEN E., GRANT C. S., THOMPSON D. M., CHYLA R., MCDONALD S., HOSTETLER T. W., TEMPLETON M. R., LOCKHART K. E., MARTINOVIC N., CHEN S., TANNER C. & PROTOPAPAS P. (2021). Building astroBERT, a language model for astronomy & astrophysics. doi: 10.48550/ARXIV.2112.00590.

GREZES F., BLANCO-CUARESMA S., ALLEN T. & GHOSAL T. (2022). Overview of the first shared task on detecting entities in the astrophysics literature (DEAL). In *Proceedings of the first Workshop on Information Extraction from Scientific Publications*, p. 1–7, Online: Association for Computational Linguistics.

GRISHMAN R. & SUNDHEIM B. (1996). Message Understanding Conference- 6: A brief history. In *COLING 1996 Volume 1 : The 16th International Conference on Computational Linguistics*.

HACHEY B., ALEX B. & BECKER M. (2005). Investigating the effects of selective sampling on the annotation task. In *Proceedings of the Ninth Conference on Computational Natural Language Learning (CoNLL-2005)*, p. 144–151, Ann Arbor, Michigan: Association for Computational Linguistics.

HE P., GAO J. & CHEN W. (2021). Debertav3: Improving deberta using electra-style pre-training with gradient-disentangled embedding sharing. *CoRR*, abs/2111.09543.
HOULSBY N., GIURGIU A., JASTRZEBSKI S., MORRONE B., DE LAROUSSILHE Q., GESMUNDO A., ATTARIYAN M. & GELLY S. (2019). Parameter-efficient transfer learning for NLP. In K. CHAUDHURI & R. SALAKHUTDINOV, Éds., *Proceedings of the 36th International Conference on Machine Learning*, volume 97 de *Proceedings of Machine Learning Research*, p. 2790–2799 : PMLR.

HUANG P.-W. (2022). Domain specific augmentations as low cost teachers for large students. In *Proceedings of the first Workshop on Information Extraction from Scientific Publications*, p. 84–90, Online : Association for Computational Linguistics.

MILLER G. A. (1994). WordNet : A lexical database for English. In *Human Language Technology : Proceedings of a Workshop held at Plainsboro, New Jersey, March 8-11, 1994*.

MOLLÁ ALIOD D., VAN ZAANEN M. & SMITH D. (2006). Named entity recognition for question answering. In L. CAVEDON & I. ZUKERMAN, Éds., *Proceedings of the Australasian Language Technology Workshop, ALTA 2006, Sydney, Australia, November 30-December 1, 2006*, p. 51–58 : Australasian Language Technology Association.

MURPHY T., MCINTOSH T. & CURRAN J. R. (2006). Named entity recognition for astronomy literature. In *Proceedings of the Australasian Language Technology Workshop 2006*, p. 59–66, Sydney, Australia.

NERONOV A. (2019). Introduction to multi-messenger astronomy. *Journal of Physics : Conference Series*, **1263**(1), 012001. DOI: 10.1088/1742-6596/1263/1/012001.

NGUYEN X., JOTY S. R., WU K. & AW A. T. (2020). Data diversification : A simple strategy for neural machine translation. In H. LAROCHELLE, M. RANZATO, R. HADSELL, M. BALCAN & H. LIN, Éds., *Advances in Neural Information Processing Systems 33 : Annual Conference on Neural Information Processing Systems 2020, NeurIPS 2020, December 6-12, 2020, virtual*.

PASUNURU R., CELIKYILMAZ A., GALLEY M., XIONG C., ZHANG Y., BANSAL M. & GAO J. (2021). Data augmentation for abstractive query-focused multi-document summarization. In *Thirty-Fifth AAAI Conference on Artificial Intelligence, AAAI 2021, Thirty-Third Conference on Innovative Applications of Artificial Intelligence, IAAI 2021, The Eleventh Symposium on Educational Advances in Artificial Intelligence, EAAI 2021, Virtual Event, February 2-9, 2021*, p. 13666–13674 : AAAI Press.

SHORTEN C. & KHOSHGOFTAAR T. M. (2019). A survey on image data augmentation for deep learning. *J. Big Data*, **6**, 60. DOI: 10.1186/s40537-019-0197-0.

TJONG KIM SANG E. F. & DE MEULDER F. (2003). Introduction to the CoNLL-2003 shared task : Language-independent named entity recognition. In *Proceedings of the Seventh Conference on Natural Language Learning at HLT-NAACL 2003*, p. 142–147.

WANG X., PHAM H., DAI Z. & NEUBIG G. (2018). SwitchOut : an efficient data augmentation algorithm for neural machine translation. In *Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing*, p. 856–861, Brussels, Belgium : Association for Computational Linguistics. DOI: 10.18653/v1/D18-1100.

WEI J. & ZOU K. (2019). EDA : Easy data augmentation techniques for boosting performance on text classification tasks. In *Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP)*, p. 6382–6388, Hong Kong, China : Association for Computational Linguistics. DOI: 10.18653/v1/D19-1670.

YANG W., XIE Y., TAN L., XIONG K., LI M. & LIN J. (2019). Data augmentation for BERT fine-tuning in open-domain question answering. *CoRR*, abs/1904.06652.
YU A. W., DOHAN D., LUONG M., ZHAO R., CHEN K., NOROUZI M. & LE Q. V. (2018).
QANet: Combining local convolution with global self-attention for reading comprehension. In *6th
International Conference on Learning Representations, ICLR 2018, Vancouver, BC, Canada, April
30 - May 3, 2018, Conference Track Proceedings*: OpenReview.net.

ZHANG H., CISSÉ M., DAUPHIN Y. N. & LOPEZ-PAZ D. (2018). mixup: Beyond empirical risk minimization. In *6th International Conference on Learning Representations, ICLR 2018, Vancouver, BC, Canada, April 30 - May 3, 2018, Conference Track Proceedings*: OpenReview.net.

ZHANG R., YU Y. & ZHANG C. (2020). SeqMix: Augmenting active sequence labeling via sequence mixup. In *Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP)*, p. 8566–8579, Online: Association for Computational Linguistics. DOI: 10.18653/v1/2020.emnlp-main.691.

ZHOU R., LI X., HE R., BING L., CAMBRIA E., SI L. & MIAO C. (2022). MELM: Data augmentation with masked entity language modeling for low-resource NER. In *Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers)*, p. 2251–2262, Dublin, Ireland: Association for Computational Linguistics. DOI: 10.18653/v1/2022.acl-long.160.

ZHUANG L., WAYNE L., YA S. & JUN Z. (2021). A robustly optimized BERT pre-training approach with post-training. In *Proceedings of the 20th Chinese National Conference on Computational Linguistics*, p. 1218–1227, Huhhot, China: Chinese Information Processing Society of China.
# Towards a Robust Detection of Language Model-Generated Text:
Is ChatGPT that Easy to Detect?

Wissam Antoun

Virginie Mouilleron

Benoît Sagot

Djamé Seddah

Inria, Paris, France

firstname.lastname@inria.fr

## ABSTRACT

Recent advances in natural language processing (NLP) have led to the development of large language models (LLMs) such as ChatGPT. This paper proposes a methodology for developing and evaluating ChatGPT detectors for French text, with a focus on investigating their robustness on out-of-domain data and against common attack schemes. The proposed method involves translating an English dataset into French and training a classifier on the translated data. Results show that the detectors can effectively detect ChatGPT-generated text, with a degree of robustness against basic attack techniques in in-domain settings. However, vulnerabilities are evident in out-of-domain contexts, highlighting the challenge of detecting adversarial text. The study emphasizes caution when applying in-domain testing results to a wider variety of content. We provide our translated datasets and models as open-source resources.<fnref n="1" />

## RÉSUMÉ

### Vers une détection robuste de texte généré par un modèle de langue : ChatGPT est-il si facile à détecter ?

Les récents progrès en traitement automatique des langues (TAL) ont conduit au développement de grands modèles de langage (Large Language Models, LLM) tels que ChatGPT. Cet article propose une méthodologie pour développer et évaluer des modèles de détection de contenus en français produits par ChatGPT, en mettant l'accent sur leur robustesse face à des données hors domaine et face à des attaques classiques. La méthode proposée consiste à traduire un ensemble de données anglaises en français et à entraîner un classificateur sur les données traduites. Les résultats montrent que les détecteurs peuvent efficacement détecter le texte généré par ChatGPT, avec un bon niveau de robustesse contre les techniques usuelles d'attaque sans changement de domaine. Cependant, les résultats sont moins bons dans les contextes hors domaine, soulignant le défi que constitue toujours de contenus adversariaux. Notre étude souligne l'importance de rester prudent lorsque l'on cherche à généraliser des résultats obtenus sans changement de domaine à une plus grande variété de contenus. Tous nos jeux de données et nos modèles sont distribués librement.

**KEYWORDS:** ChatGPT, text generation, detection of machine-generated text, robustness.

**MOTS-CLÉS :** ChatGPT, génération de texte, détection de texte généré par machine, robustesse.

<figure><img src="image_20.png" /></figure>

<footnote n="1">¹https://gitlab.inria.fr/wantoun/robust-chatgpt-detection</footnote>
# 1 Introduction

Advances in natural language processing (NLP) have been driven mainly by scaling up the size of pre-trained language models, along with the amount of data and compute required for training (Raffel et al., 2020; Radford et al., 2019; Rae et al., 2021; Fedus et al., 2021; Hoffmann et al., 2022). OpenAI recently released ChatGPT, a text generation model with conversational capabilities. The model is based on GPT3.5 which is a version of GPT3 (Brown et al., 2020) first fine-tuned on code then fine-tuned using Reinforcement Learning from Human Feedback (RLHF) (Christiano et al., 2017; Stiennon et al., 2020), a method previously demonstrated by OpenAI with InstructGPT (Ouyang et al., 2022). This fine-tuning process contributes not only to the model's knowledge but also simplifies the model's interface compared to GPT3, which necessitated substantial *prompt engineering* to achieve satisfactory outcomes, and hence facilitating the extraction and application of that built-in knowledge.

As a result of these significant performance improvements, ChatGPT and other large language models have gained much popularity in the media and in the social context, often without fully understanding the underlying limitations of the models – e.g., the possibility of generating hateful, hateful, toxic, or disrespectful content (Bender et al., 2021; McGuffie & Newhouse, 2020; Weidinger et al., 2021). Another potential misuse of LLMs or ChatGPT is industrializing radicalization and harmful propaganda which poses a significant and unconventional threat to civil society.

In response to the mounting concerns surrounding potential misuse, numerous researchers are now exploring various strategies to mitigate associated risks. For example, some have proposed watermarking techniques to trace the origin of generated text<fnref n="2" />, while others are developing methods to detect and flag text generated by these models. Of particular interest, a recent study by Guo et al. (2023) investigated the text generation capabilities of ChatGPT and its proximity to human-generated text. To create a dataset of ChatGPT-generated text, the authors leveraged pre-existing question-answering datasets in both English and Chinese, using the questions as prompts to generate responses from the model. In addition, the authors conducted a linguistic analysis to compare the output generated by ChatGPT with human-written text, and they also developed a detector to distinguish between ChatGPT-generated text and human-written text by fine-tuning a separate language model on a dataset containing both types of text.

The aim of this research is to explore the development of ChatGPT detectors in multiple languages, along with evaluating their robustness on out-of-domain text, we selected French as the language of interest. Therefore, we propose a methodology that involves translating the English dataset into French and subsequently training a classifier on the translated data. We conducted a series of evaluations in a monolingual and multilingual setting on both in-domain and out-of-domain data. The in-domain data consisted of text generated by ChatGPT using prompts related to the topics covered in the training dataset. The out-of-domain data included text generated in French by ChatGPT and Bing, a search engine powered by ChatGPT³, which has access to a broader range of internet content and may generate text on a wider range of topics than ChatGPT. Given that Wolff & Wolff (2020) demonstrated the vulnerability of BERT-based detectors for GPT-2 against basic attack schemes, such as substituting characters with homoglyphs or misspelled words, we also evaluated the robustness of our models against these types of attacks. Furthermore, we hypothesize that the detector models we trained rely

<footnote n="2">²At the time of writing, OpenAI was working on a tool to statistically watermark text generated by GPT-like models according to Scott Aaronson, a guest researcher at OpenAI https://scottaaronson.blog/?p=6823
³https://blogs.microsoft.com/blog/2023/02/07/reinventing-search-with-a-new-ai-powered-microsoft-bing-and-edge-your-copilot-for-the-web/</footnote>
heavily on the didactic response style of ChatGPT to distinguish between human-generated content.

The contributions of this study can be summarized as follows:

* We build upon the work of Guo et al. (2023) and propose a methodology to develop ChatGPT detectors in multiple languages, focusing on French as a case study.

* We evaluated the performance of the ChatGPT detectors in both a monolingual and multilingual setting. Specifically, we trained and evaluated our models on both the English and French datasets, as well as on a combined dataset containing both languages.

* We investigate the generalizability of our detector by testing its performance on out-of-domain data.

* We evaluate the robustness of our models against common attack schemes, such as substituting characters with homoglyphs or misspelled words. This is an important aspect to consider in the deployment of ChatGPT detectors, as attackers may attempt to evade detection by modifying the generated text in subtle ways.

* We investigated the reliance of detector models on ChatGPT's didactic response style for distinguishing between human-generated content.

* We release all translated datasets and models as open source to encourage further research in this area and to enable others to replicate our experiments.

Overall, our work contributes to the growing body of research on developing and evaluating ChatGPT detectors, with a focus on multilinguality, generalizability, and robustness to attacks. Our findings have practical implications for the use of ChatGPT detectors in various settings, including social media platforms, online forums, and chatbots, where the detection of harmful content is critical for maintaining a safe and respectful online environment.

# 2 Related Works

## 2.1 Large Language Models

The race to scale up language models to new heights has been a hot topic in recent years. Researchers and tech companies have been competing to develop larger and more powerful models, often breaking records for model size and performance. The trend began with OpenAI's GPT-2 (Radford et al., 2018), which was released in 2019 and featured 1.5 billion parameters. This was quickly followed by Megatron (Shoeybi et al., 2019), a 8.3 billion parameter model, displaying steadily increasing superior zero-shot language model performance, and T5 (Raffel et al., 2020), an 11 billion parameter encoder-decoder model which advanced transfer learning and performance on several closed-book question answering tasks. The release of GPT-3 (Brown et al., 2020), and PaLM (Chowdhery et al., 2022) represented a major milestone in the race to scale up language models, with their unprecedented 175 and 540B billion parameters. Scaling models to such massive scales “unlocks” new emergent capabilities as shown in Chowdhery et al. (2022). In November 2022, OpenAI released ChatGPT, a conversational language model based on GPT-3.5 fine-tuned using Reinforcement Learning from Human Feedback (RLHF) (Christiano et al., 2017; Stiennon et al., 2020), a method previously demonstrated by OpenAI with InstructGPT (Ouyang et al., 2022).
## 2.2 Detecting Synthetic Text

Detecting synthetically generated text is one of the defense mechanisms against harm caused by LLMs. One of the first major explorations of this topic was conducted following the release of GROVER (Zellers et al., 2019) a fake news generator and detector. Since this approach has been shown to work quite well, and as part of their model release strategies (Solaiman et al., 2019), OpenAI also released a GPT2 detector based on a fine-tuned RoBERTa model (Liu et al., 2019), later Fagni et al. (2021) demonstrated the performance of another RoBERTa-based detector on machine-generated tweets, Uchendu et al. (2020) also used RoBERTa to spot news generated by several language models, while Antoun et al. (2021b) created an ELECTRA-based model (Antoun et al., 2021a) to spot articles generated by their AraGPT2. The authors stated that the success of their method was due to the model being pre-trained on the exact same dataset as AraGPT2, and also due to the replaced-token detection pre-training objective (RTD) (Clark et al., 2020), which bears a resemblance to the synthetic text detection objective. Nguyen-Son et al. (2021) proposed a detector that uses the text similarity with round-trip translation (TSRT), to detect a machine-translated text from a never before seen translator, and achieved 86.9% detection accuracy. On the other hand, Wolff & Wolff (2020) showed that the RoBERTa GPT-2 detector is vulnerable against simple attack schemes such as substituting characters with homoglyphs or misspelled words. In these cases, the detector's recall went down from 97% to 0.26% and 22.68% respectively. In order to further enhance the accuracy of detecting manipulated news articles that may deceive readers, Jawahar et al. (2022) proposed a neural network-based detector that uses factual knowledge via graph convolutional neural network to distinguish between human-written news articles and manipulated news articles that mislead readers.

Following the release of ChatGPT, and with the recognition of the potential risks posed by this highly-capable model, there has been a surge of investigation into methods for detecting ChatGPT-generated text, which led to the commercial release of multiple detector products. However, as the methods used in these products are often not publicly verifiable, this study focuses solely on the academic literature surrounding detection methods. Mitchell et al. (2023) proposes a new method called DetectGPT, which leverages negative curvature regions of the model's log probability function and does not require training a separate classifier or watermarking generated text, resulting in a more discriminative approach than existing zero-shot methods for model sample detection. Notebly, Guo et al. (2023) created a dataset of ChatGPT responses to queries from diverse sources in English and Chinese. The authors investigated the linguistic and stylistic differences between human and ChatGPT-generated text, in addition to training a variety of classifiers of which a finetuned pretrained language model turned out to be the best.

# 3 Methodology

## 3.1 Data Collection

To train and evaluate our ChatGPT detectors, we leveraged the Human ChatGPT Comparison Corpus (HC3) created by Guo et al. (2023) which contains both human-written and ChatGPT-generated text in English and Chinese. We primarily focus on the English portion of the dataset as machine translation performs optimally on it. The dataset consists of 24,322 human-written questions and 58546 answers sourced primarily from ELI5 (Fan et al., 2019), WikiQA (Yang et al., 2015), Crawled Wikipedia,
Medical Dialog dataset (Chen et al., 2020), and FiQA (Maia et al., 2018). The authors generated ChatGPT responses using OpenAI's web application,<fnref n="4" /> automating the input of questions and scraping the answers with the help of automation testing tools, for a total of 26903 ChatGPT-generated answers.

To create a French dataset, we translated the English dataset using the Google Cloud Translation API. We then split the dataset into three splits: train, validation, and test, by first selecting 710 balanced question and answer pairs to be validated, manually annotated⁵ and to serve as our test set. We split the rest in an 80/20 split to get the training and validation set.

Furthermore, to assess the ChatGPT detectors' ability to generalize, we manually compiled out-of-domain test data by means of:

* Manually collecting 113 ChatGPT French responses to high-quality translated questions from the test set, referred to as the **ChatGPT-Native** set.

* Using Bing, we manually collect 106 French responses to high-quality translated questions from the test set which we refer to as the **BingGPT**. Given that BingGPT includes source citations in its output, we remove these artifacts from the data (as well as all of its self-referring mentions).

* Randomly sampling 4454 French question-answer pairs from the French subset of the Multilingual FAQ Dataset (MFAQ) (De Bruyn et al., 2021), known as the **FAQ-Rand** set.

* Since the French FAQ data featured in the MFAQ dataset could be machine translated, we create a smaller set from the French FAQ data featured by filtering for .gouv domains, named the **FAQ-Gouv** set.

* 1235 sentences from The French Treebank test set, corpus from Le Monde (Abeillé et al., 2000) articles, which we denote as the **FTB** set.

* Moreover, in order to investigate our hypothesis that the detector relies heavily on the style of ChatGPT and Bing answers to distinguish between human-generated content, we created an additional set of responses to 61 questions. These responses were crafted as “open-book” answers with the same style as those provided by ChatGPT and Bing, resulting in a set of responses that we refer to as the **Adversarial** set.

## 3.2 Detector Architecture

Our approach fine-tunes pre-trained transformer-based models on our binary classification dataset.

For English, we used two pre-trained transformer models: RoBERTa (Liu et al., 2019) and ELECTRA (Clark et al., 2020). RoBERTa is a variant of BERT (Devlin et al., 2019), trained using masked language modeling. ELECTRA, on the other hand, introduced a new training objective, Replaced Token Detection (RTD), that replaces tokens in the input sequence with tokens generated by another model and then requires the discriminator to distinguish between the replaced and original tokens. We hypothesize that this objective should improve performance since the RTD objective greatly resembles the machine-generated text detection objective.

For French, we used two pre-trained transformer models: CamemBERT (Martin et al., 2020) and CamemBERTa.⁶ CamemBERT is a RoBERTa model trained from scratch on French text, while CamemBERTa is based on the DeBERTaV3 (He et al., 2021) architecture and trained from scratch on

<footnote n="4">⁴https://chat.openai.com/chat

⁵The detailed annotation guideline will be publicly released with our dataset.

⁶The model paper is currently under review and will be released soon.</footnote>
French text using RTD.

For the multilingual setting, we only fine-tune XLM-R (Conneau et al., 2020), a multilingual RoBERTa model with supports for 100+ languages.<fnref n="7" />

# 4 Experimental Methodology and Results

## 4.1 Experiment Design

Motivated by Guo et al. (2023), and given that the HC3 dataset comprises question/answer pairs, we investigated three distinct methods for generating dataset examples:

* Jointly incorporating the question and answer into the model input, which we refer to as the **qa** subset.

* Using only the full answer text, which we refer to as the **full** subset.

* Splitting the answer text into sentences, resulting in shorter text segments and producing 455,320 training examples and 114,117 validation examples. We refer to this subset as the **sentence** subset.

To test the robustness of our approach against adversarial attacks, we add misspellings and simulate homoglyph substitution on the **full** subset of the test sets, using the *nlaug* (Ma, 2019) library.

Regarding our choices of training hyperparameters, we maintain a fixed batch size of 32, adopt a linear scheduler with a warmup ratio of 0.1%, and restrict our learning rate tuning to a range between $10^{-5}$ and $5 \cdot 10^{-5}$ with a step size of $10^{-5}$. Our model is trained for 5 epochs, and we report the results averaged over 5 distinct random seeds for all in-domains results. For the out-of-domains experiments, we used the best models.

## 4.2 Results

### 4.2.1 In Domain

Table 1 presents the results obtained from hyperparameter tuning. Notably, both evaluated French models demonstrated exceptional performance, and consistent stability evidenced by the low standard deviation scores. However, the scores for French models were comparatively lower than the English models, indicating the impact of translation on model performance. Our findings suggest that the performance of models trained on the QA and Full subset significantly deteriorates when assessed on short-length or sentence data, indicated also by the high standard deviation scores. Conversely, models trained on sentences exhibit a relatively consistent performance across all subsets. Considering the overall highest performance on the **Full** subset, we opted to conduct subsequent experiments with the CamembERTa and RoBERTa models trained on the Full subset.

Furthermore, Table 2 displays a detailed breakdown of the scores obtained from the **Full** subset. Notably, the models consistently achieve high recall scores in identifying ChatGPT across all tested languages. Additionally, the inclusion of misspellings and homoglyph substitutions improves the

<footnote n="7">⁷We also tested mDeBERTa (He et al., 2021) but it wasn't converging in any of our hyper-parameter tuning experiments.</footnote>
models' ability to detect human-written text while slightly reducing their performance for machine-generated text. The multilingual model XLM-R demonstrates superior and more resilient performance on both the French and English test sets, exhibiting increased robustness against adversarial attacks. When compared to a native French-speaking human linguist, the trained model accurately identifies ChatGPT-generated content with higher accuracy, while the human linguist achieves a similar human detection score.

<table><caption>Table 1: Average and standard deviation of F1 scores for the best model on the validation set with adversarial perturbations.</caption><thead><tr><th>Train Test</th><th>QA</th><th>QA Full</th><th>Sentence</th><th>QA</th><th>Full Full</th><th>Sentence</th><th>QA</th><th>Sentence Full</th><th>Sentence</th></tr></thead><tbody><tr><td colspan="10" style="text-align: center; font-style: italic;">French</td></tr><tr><td>CamemBERT</td><td><b>98.37±0.5</b></td><td>97.79±0.4</td><td><b>40.20±8.6</b></td><td><b>92.43±1.2</b></td><td><b>98.44±0.4</b></td><td>25.08±4.7</td><td><b>93.48±5.2</b></td><td>96.41±0.6</td><td>90.27±0.3</td></tr><tr><td>CamemBERTa</td><td>98.23±0.3</td><td><b>98.48±0.3</b></td><td>32.00±6.3</td><td>90.13±1.0</td><td><b>98.49±0.4</b></td><td><b>29.11±3.6</b></td><td>81.82±3.4</td><td><b>96.71±0.1</b></td><td><b>91.18±0.2</b></td></tr><tr><td colspan="10" style="text-align: center; font-style: italic;">English</td></tr><tr><td>RoBERTa</td><td><b>99.88±0.03</b></td><td><b>98.91±0.2</b></td><td>51.23±7.6</td><td><b>98.58±0.7</b></td><td><b>99.86±0.03</b></td><td><b>66.93±5.4</b></td><td>71.10±19.4</td><td><b>99.39±0.07</b></td><td><b>98.17±0.1</b></td></tr><tr><td>ELECTRA</td><td>99.27±0.2</td><td><b>99.07±0.2</b></td><td><b>65.23±8.3</b></td><td>96.24±0.7</td><td>99.35±0.1</td><td>43.82±9.1</td><td><b>93.57±1.9</b></td><td>97.05±0.4</td><td>93.60±0.1</td></tr></tbody></table>

<table><caption>Table 2: Detailed test set scores (full subset) breakdown of CamemBERTa (French), RoBERTa (English), XLM-R (Multilingual) trained on the full subset.</caption><thead><tr><th rowspan="2">Evalution set</th><th rowspan="2"></th><th colspan="3">French</th><th colspan="3">English</th><th colspan="3">Multilingual</th><th colspan="3">Human Expert</th></tr><tr><th>Precision</th><th>Recall</th><th>F1-Score</th><th>Precision</th><th>Recall</th><th>F1-Score</th><th>Precision</th><th>Recall</th><th>F1-Score</th><th>Precision</th><th>Recall</th><th>F1-Score</th></tr></thead><tbody><tr><td rowspan="2">Full subset</td><td>ChatGPT</td><td>0.95</td><td>1</td><td>0.97</td><td>0.99</td><td>1</td><td>0.99</td><td>0.99</td><td>1</td><td>0.99</td><td>0.98</td><td>0.87</td><td>0.92</td></tr><tr><td>Human</td><td>1</td><td>0.94</td><td>0.97</td><td>1</td><td>0.99</td><td>0.99</td><td>1</td><td>0.99</td><td>0.99</td><td>0.88</td><td>0.98</td><td>0.93</td></tr><tr><td rowspan="2">+misspelling</td><td>ChatGPT</td><td>1</td><td>0.95</td><td>0.98</td><td>0.99</td><td>0.79</td><td>0.88</td><td>1</td><td>0.96</td><td>0.98</td><td>-</td><td>-</td><td>-</td></tr><tr><td>Human</td><td>0.95</td><td>1</td><td>0.98</td><td>0.82</td><td>0.99</td><td>0.9</td><td>0.96</td><td>1</td><td>0.98</td><td>-</td><td>-</td><td>-</td></tr><tr><td rowspan="2">+homoglyphs</td><td>ChatGPT</td><td>1</td><td>0.94</td><td>0.97</td><td>0.99</td><td>0.87</td><td>0.93</td><td>1</td><td>0.97</td><td>0.99</td><td>-</td><td>-</td><td>-</td></tr><tr><td>Human</td><td>0.94</td><td>1</td><td>0.97</td><td>0.88</td><td>0.99</td><td>0.93</td><td>0.99</td><td>0.99</td><td>0.99</td><td>-</td><td>-</td><td>-</td></tr></tbody></table>

### 4.2.2 Out-of-Domain

To assess the potential for overfitting to our in-domain data, we evaluated the performance of our French detector on the out-of-domain test sets described previously. The results, shown in Table 3, reveal the detector's exceptional performance on the FTB and FAQ-Gouv test sets, with a drop in accuracy to 88.75 on the FAQ-Rand subset. This suggests the model may be detecting translation artifacts that remain in some FAQ web pages after automatic translation. Remarkably, our detector correctly identified French text generated natively by ChatGPT, suggesting that it may be possible to develop detectors for other languages by translating existing datasets. Similarly, the detector models displayed surprising performance in detecting content generated by BingGPT.

The multilingual detector model consistently outperformed the monolingual model only in detecting human-generated text but fell behind in detecting ChatGPT or BingGPT-generated text, this behavior might be due to the significantly larger pre-training dataset of XLM-R compared to CamemBERTa.

The detector models also exhibited clear weaknesses against misspelling and homoglyph-based attacks. For instance, the performance of CamemBERTa and XLM-R dropped to 44.81 and 28.18, respectively, when detecting BingGPT-generated text with misspellings added.
Finally, the low scores obtained by the detector on the adversarial response dataset we developed in the style of ChatGPT and BingGPT serve to validate our detector's heavy reliance on the writing style utilized in generating responses.

<table><caption>Table 3: Accuracy scores of CamemBERTa and XLM-R on the French out-of-domain test sets. *ms*: misspelling, *hg*: homoglyphs. *Dataset mix was 100% raw, 50% misspellings and 50% homoglyphs.*</caption><thead><tr><th rowspan="2">True label</th><th colspan="6">Human</th><th colspan="6">ChatGPT</th></tr><tr><th colspan="3">FTB</th><th colspan="3">FAQ-Rand</th><th colspan="3">FAQ-Gouv</th><th colspan="3">Adversarial</th><th colspan="3">Native</th><th colspan="3">BingGPT</th></tr><tr><th>Model</th><th>raw</th><th>+ms</th><th>+hg</th><th>raw</th><th>+ms</th><th>+hg</th><th>raw</th><th>+ms</th><th>+hg</th><th>raw</th><th>+ms</th><th>+hg</th><th>raw</th><th>+ms</th><th>+hg</th><th>raw</th><th>+ms</th><th>+hg</th></tr></thead><tbody><tr><td>CamemBERTa</td><td>99.19</td><td><b>99.92</b></td><td><b>100</b></td><td>88.75</td><td>99.01</td><td>99.10</td><td>96.17</td><td><b>100</b></td><td><b>99.57</b></td><td>33.57</td><td>87.61</td><td><b>85.49</b></td><td>99.19</td><td>81.42</td><td>84.96</td><td><b>92.45</b></td><td>44.81</td><td>48.37</td></tr><tr><td>XLM-R</td><td><b>99.43</b></td><td>99.59</td><td>99.76</td><td><b>95.35</b></td><td><b>99.39</b></td><td><b>99.55</b></td><td><b>96.59</b></td><td><b>100</b></td><td><b>99.57</b></td><td><b>59.12</b></td><td><b>89.05</b></td><td>82.67</td><td>94.69</td><td>60.18</td><td>62.83</td><td>77.46</td><td>28.18</td><td>35.72</td></tr><tr><td colspan="20" style="text-align: center;">Trained on a mix of raw, misspellings and homoglyphs*</td></tr><tr><td>CamemBERTa</td><td>98.98</td><td>98.54</td><td>98.79</td><td>80.56</td><td>84.51</td><td>84.73</td><td>90.64</td><td>91.49</td><td>90.21</td><td>45.90</td><td>42.62</td><td>44.26</td><td><b>100</b></td><td><b>99.12</b></td><td><b>99.95</b></td><td>91.51</td><td><b>91.51</b></td><td><b>90.57</b></td></tr><tr><td>XLM-R</td><td>98.54</td><td>98.78</td><td>98.79</td><td>85.20</td><td>88.84</td><td>95.32</td><td>92.34</td><td>96.17</td><td>95.32</td><td>62.26</td><td>60.66</td><td>62.30</td><td>100</td><td>97.34</td><td>99.16</td><td>62.26</td><td>53.77</td><td>56.60</td></tr></tbody></table>

# 5 Discussion

**About the link between translation quality and the model detectability** As part of our study to assess the possibility of differentiating between texts written by humans and those generated by LLMs, following the work of Guo et al. (2023), we analyzed and re-evaluated the responses in the translated French dataset. The purpose was to confirm the hypothesis that a human expert can generally distinguish between a ChatGPT-generated text and one written by a human. We initially rated the translation quality on a scale of 1 to 5, with 5 indicating a good translation. Translations with scores exceeding 3 were retained even though ChatGPT managed to interpret badly translated questions extremely well.

Additionally, we assessed the correlation between our detector's performance and translation quality scores, and found it to be weak.<fnref n="8" />

**About discriminating linguistics clues** We identified several visible characteristics in the generated texts. ChatGPT uses an impersonal and didactic style, characterized by extensive use of the impersonal form, conditionals statements, as shown here:

* “Cela **pourrait** également nuire à la réputation de l'entreprise (...)”

* “Cela **pourrait** entraîner une baisse des dépenses des consommateurs (...)”

* “**Si** vous êtes allergique aux chats, cela signifie que votre corps a une réaction anormale aux protéines présentes dans leur peau, leur urine ou leur salive. **Si** vous deviez manger de la viande de chat, il est possible que (...)”

The language model structures its responses to create an impression of coherence and clarity. It often reformulates the question in its answer, resulting in a didactic response that aligns with the question.

<footnote n="8">⁸With three different correlations measures showing the same trend: Spearman's τ of -0.25, Pearson's R of -0.26 and Kendall's τ of -0.24.</footnote>
* Question: "Pourquoi **mon signal wifi** semble se dégrader avec le temps ? Je réinitialise/redémarre constamment mon routeur et/ou mon modem. Je dois noter que je vis dans un petit appartement et que j'ai utilisé 2 routeurs haut de gamme. Explique comme si j'avais cinq ans."
GPT : "Il peut y avoir plusieurs raisons pour lesquelles **votre signal Wi-Fi** se dégrade avec le temps. Voici quelques explications possibles : (...)

ChatGPT's responses are often general, and it redefines the subject on which the question is asked.

When asked "How does nature solve for Pi ?" or "*Comment la nature résout-elle pour Pi ?", it started by stating the definition of Pi:

* "Pi, ou le nombre 3,14, est une constante mathématique qui représente le rapport de la circonférence d'un cercle à son diamètre. La valeur de Pi est d'environ 3,14, mais c'est un nombre irrationnel (...)

Additionally, ChatGPT is characterized by the absence of some human markers, such as errors in punctuation, spelling, or grammar. The language model does not use any tone, judgment, or personal touch, such as ("je pense que" / "je juge que"), which creates a neutral impression. While its responses lack a human touch, it provides a specific recommendation when discussing technical or sensitive issues, such as consulting a specialist or seeking medical attention. Also, It does not ask any questions except towards the end of the response.

* "(...) **il est important de consulter un médecin** dès que possible. **N'hésitez pas à appeler le** 911 ou votre numéro d'urgence local si vous ressentez des douleurs à la poitrine ou d'autres symptômes d'une condition médicale grave."

* "(...) **Il est important de** vérifier les instructions de votre four à micro-ondes pour voir si le support en métal peut être utilisé en toute sécurité."

* "(...) Encore une fois, **je vous recommande de** parler avec un dermatologue ou un autre professionnel de la santé pour déterminer le plan de traitement le plus approprié pour votre cas spécifique."

* "(...) J'espère que cela vous aidera à l'expliquer ! **Y a-t-il autre chose que vous aimeriez savoir sur Vénus ou sur la façon dont elle se déplace dans l'espace ?**"

Our study suggests that these visible differences could be used to differentiate between human-written texts and AI-generated texts automatically. It shall be noted that the ChatGPT tendency to produce didactic text can lead any detector trained on its content to be easily fooled assuming the text follows the same patterns. This is what showed our results in Table 3 ("Adversarial" column results).

**About the character-level perturbations** Interestingly, the introduction of character-level perturbations increased the model's capability of detecting the adversarial human content, albeit at the expense of its capacity to detect Bing automatically generated content. This finding suggests that the addition of perturbations to content renders it more comparable to human-generated content, confirming, for French, previous work on the subject (Wolff & Wolff, 2020). These effects were much more difficult to notice in the in-domain scenarios because of the high-accuracy of the model.
**Enhancing the robustness to noise of our models**

Although not the focus of this work, one obvious path of improvement is to add the same kind of perturbations to the training data in order to make the model more robust. To this end, we performed a quick set of experiments where we added to the training set, 50% of its content perturbed by mispellings and 50% with homoglyphs leading to a training set twice as big.<fnref n="9" /> These results, presented in the lower half of Table 3, demonstrate that both models exhibit a minor decrease in human detection accuracy. However, they achieve substantial enhancements and improved robustness, particularly when utilizing CamemBERTa, for detecting ChatGPT-generated text in the presence of noisy data. Consequently, the detector models are now less inclined to attribute writing errors to human authors and instead focus more on writing style. This is evident from the scores obtained on the Adversarial set, where the performance on noisy data aligns more closely with that on the original set. However, this does not make the model less sensitive to other kinds of noises but it is an interesting path of improvement. As always with noisy adversarial user-generated content, the question is to find a more general approach that will avoid a constant *cat and mouse* game when it comes to processing productive content.

**Take home message**
The key takeaway from our study is that detecting adversarial text, which is designed to evade detection by language models, presents a significant challenge. OpenAI has reported¹⁰ a success rate of 26% in their own supervised settings when identifying adversarial content in a challenge set of English text.¹¹ Furthermore, OpenAI has stated that their detection methods are unreliable for text shorter than 1000 characters. We would like to emphasize that our study does not claim to have produced an universally accurate detector. Our strong results are based on in-domain testing and, unsurprisingly, do not generalize in out-of-domain scenarios. This is even more so when used on text specifically designed to fool language model detectors and on text intentionally stylistically similar to ChatGPT-generated text, especially instructional text.
We are currently extending the adversarial dataset using much more various sources as we believe that understanding the shortcoming of these models is of crucial importance.

# 6 Conclusion

In conclusion, this paper proposed a methodology for developing and evaluating ChatGPT detectors in multiple languages, focusing on French as a case study. The proposed method involved translating an English dataset into French and training a classifier on the translated data. The results demonstrate that the proposed method can effectively detect ChatGPT-generated text, with a certain degree of robustness against basic attack techniques, albeit exclusively within the in-domain setting. However, the detectors display evident vulnerabilities in out-of-domain contexts, emphasizing the importance of considering different writing styles in training language models. Additionally, the study highlights the significant challenge of detecting adversarial text, which even OpenAI's detection methods have difficulties with. The key takeaway is that caution should be exercised when applying in-domain testing results to a wider variety of content. We provide open-source resources to further advance research in this and are currently working to extend the adversarial dataset to better understand the limitations of these models.

<footnote n="9">⁹We also tested a 50% original training set + 25% misspelling + 25% homoglyphs perturbations model that led to slightly inferior performance, less than one percentage point of difference.

¹⁰https://openai.com/blog/new-ai-classifier-for-indicating-ai-written-text

¹¹Not released as the time of writing.</footnote>
# Acknowledgments

We thank the reviewers for their insightful comments. This work was partly funded by Benoît Sagot’s chair in the PRAIRIE institute funded by the French national research agency (ANR as part of the “Investissements d’avenir” program under the reference ANR-19-P3IA-0001). This work also received funding from the European Union’s Horizon 2020 research and innovation program under grant agreement No. 101021607. The authors are grateful to the OPAL infrastructure from Université Côte d’Azur for providing resources and support.

# References

ABEILLÉ A., CLÉMENT L. & KINYON A. (2000). Building a treebank for French. In *Proceedings of the Second International Conference on Language Resources and Evaluation (LREC’00)*, Athens, Greece: European Language Resources Association (ELRA).

ANTOUN W., BALY F. & HAJJ H. (2021a). AraELECTRA: Pre-training text discriminators for Arabic language understanding. In *Proceedings of the Sixth Arabic Natural Language Processing Workshop*, p. 191–195, Kyiv, Ukraine (Virtual): Association for Computational Linguistics.

ANTOUN W., BALY F. & HAJJ H. (2021b). AraGPT2: Pre-trained transformer for Arabic language generation. In *Proceedings of the Sixth Arabic Natural Language Processing Workshop*, p. 196–207, Kyiv, Ukraine (Virtual): Association for Computational Linguistics.

BENDER E. M., GEBRU T., MCMILLAN-MAJOR A. & SHMITCHELL S. (2021). On the dangers of stochastic parrots: Can language models be too big? DOI: 10.1145/3442188.3445922.

BROWN T., MANN B., RYDER N., SUBBIAH M., KAPLAN J. D., DHARIWAL P., NEELAKANTAN A., SHYAM P., SASTRY G., ASKELL A. et al. (2020). Language models are few-shot learners. *Advances in neural information processing systems*, **33**, 1877–1901.

CHEN S., JU Z., DONG X., FANG H., WANG S., YANG Y., ZENG J., ZHANG R., ZHANG R., ZHOU M., ZHU P. & XIE P. (2020). Meddialog: a large-scale medical dialogue dataset. *arXiv preprint arXiv:2004.03329*.

CHOWDHERY A., NARANG S., DEVLIN J., BOSMA M., MISHRA G., ROBERTS A., BARHAM P., CHUNG H. W., SUTTON C., GEHRMANN S. et al. (2022). Palm: Scaling language modeling with pathways. *arXiv preprint arXiv:2204.02311*.

CHRISTIANO P. F., LEIKE J., BROWN T., MARTIC M., LEGG S. & AMODEI D. (2017). Deep reinforcement learning from human preferences. In I. GUYON, U. V. LUXBURG, S. BENGIO, H. WALLACH, R. FERGUS, S. VISHWANATHAN & R. GARNETT, Éds., *Advances in Neural Information Processing Systems*, volume 30: Curran Associates, Inc.

CLARK K., LUONG M.-T., LE Q. V. & MANNING C. D. (2020). ELECTRA: Pre-training text encoders as discriminators rather than generators. In *ICLR*.

CONNEAU A., KHANDELWAL K., GOYAL N., CHAUDHARY V., WENZEK G., GUZMÁN F., GRAVE E., OTT M., ZETTLEMOYER L. & STOYANOV V. (2020). Unsupervised cross-lingual representation learning at scale. In *Proceedings of the 58th Annual Meeting of the Association for*
*Computational Linguistics*, p. 8440–8451, Online: Association for Computational Linguistics. DOI: 10.18653/v1/2020.acl-main.747.

DE BRUYN M., LOTFI E., BUHMANN J. & DAELEMANS W. (2021). MFAQ: a multilingual FAQ dataset. In *Proceedings of the 3rd Workshop on Machine Reading for Question Answering*, p. 1–13, Punta Cana, Dominican Republic: Association for Computational Linguistics. DOI: 10.18653/v1/2021.mrqa-1.1.

DEVLIN J., CHANG M.-W., LEE K. & TOUTANOVA K. (2019). BERT: Pre-training of deep bidirectional transformers for language understanding. In *Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers)*, p. 4171–4186, Minneapolis, Minnesota: Association for Computational Linguistics. DOI: 10.18653/v1/N19-1423.

FAGNI T., FALCHI F., GAMBINI M., MARTELLA A. & TESCONI M. (2021). Tweepfake: About detecting deepfake tweets. *Plos one*, **16**(5), e0251415.

FAN A., JERNITE Y., PEREZ E., GRANGIER D., WESTON J. & AULI M. (2019). ELI5: long form question answering. In A. KORHONEN, D. R. TRAUM & L. MÀRQUEZ, Éds., *Proceedings of the 57th Conference of the Association for Computational Linguistics, ACL 2019, Florence, Italy, July 28- August 2, 2019, Volume 1: Long Papers*, p. 3558–3567: Association for Computational Linguistics. DOI: 10.18653/v1/p19-1346.

FEDUS W., ZOPH B. & SHAZEER N. (2021). Switch transformers: Scaling to trillion parameter models with simple and efficient sparsity. *arXiv preprint arXiv:2101.03961*.

GUO B., ZHANG X., WANG Z., JIANG M., NIE J., DING Y., YUE J. & WU Y. (2023). How close is chatgpt to human experts? comparison corpus, evaluation, and detection. *arXiv preprint arXiv:2301.07597*.

HE P., GAO J. & CHEN W. (2021). Debertav3: Improving deberta using electra-style pre-training with gradient-disentangled embedding sharing.

HOFFMANN J., BORGEAUD S., MENSCH A., BUCHATSKAYA E., CAI T., RUTHERFORD E., CASAS D. D. L., HENDRICKS L. A., WELBL J., CLARK A. et al. (2022). Training compute-optimal large language models. *arXiv preprint arXiv:2203.15556*.

JAWAHAR G., ABDUL-MAGEED M. & LAKSHMANAN L. (2022). Automatic detection of entity-manipulated text using factual knowledge. In *Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers)*, p. 86–93, Dublin, Ireland: Association for Computational Linguistics. DOI: 10.18653/v1/2022.acl-short.10.

LIU Y., OTT M., GOYAL N., DU J., JOSHI M., CHEN D., LEVY O., LEWIS M., ZETTLEMOYER L. & STOYANOV V. (2019). Roberta: A robustly optimized bert pretraining approach. *arXiv preprint arXiv:1907.11692*.

MA E. (2019). Nlp augmentation. https://github.com/makcedward/nlpaug.

MAIA M., HANDSCHUH S., FREITAS A., DAVIS B., MCDERMOTT R., ZARROUK M. & BAL-AHUR A. (2018). Www’18 open challenge: Financial opinion mining and question answering. In *Companion Proceedings of The Web Conference 2018*, WWW ’18, p. 1941–1942, Republic and Canton of Geneva, CHE: International World Wide Web Conferences Steering Committee. DOI: 10.1145/3184558.3192301.
MARTIN L., MULLER B., ORTIZ SUÁREZ P. J., DUPONT Y., ROMARY L., DE LA CLERGERIE É., SEDDAH D. & SAGOT B. (2020). CamemBERT: a tasty French language model. In *Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics*, p. 7203-7219, Online: Association for Computational Linguistics. DOI: 10.18653/v1/2020.acl-main.645.

MCGUFFIE K. & NEWHOUSE A. (2020). The radicalization risks of gpt-3 and advanced neural language models. *arXiv preprint arXiv:2009.06807*.

MITCHELL E., LEE Y., KHAZATSKY A., MANNING C. D. & FINN C. (2023). Detectgpt: Zero-shot machine-generated text detection using probability curvature. *arXiv preprint arXiv:2301.11305*.

NGUYEN-SON H.-Q., THAO T., HIDANO S., GUPTA I. & KIYOMOTO S. (2021). Machine translated text detection through text similarity with round-trip translation. In *Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies*, p. 5792-5797.

OUYANG L., WU J., JIANG X., ALMEIDA D., WAINWRIGHT C., MISHKIN P., ZHANG C., AGARWAL S., SLAMA K., GRAY A., SCHULMAN J., HILTON J., KELTON F., MILLER L., SIMENS M., ASKELL A., WELINDER P., CHRISTIANO P., LEIKE J. & LOWE R. (2022). Training language models to follow instructions with human feedback. In A. H. OH, A. AGARWAL, D. BELGRAVE & K. CHO, Éds., *Advances in Neural Information Processing Systems*.

RADFORD A., NARASIMHAN K., SALIMANS T. & SUTSKEVER I. (2018). Improving language understanding by generative pre-training.

RADFORD A., WU J., CHILD R., LUAN D., AMODEI D. & SUTSKEVER I. (2019). Language models are unsupervised multitask learners.

RAE J. W., BORGEAUD S., CAI T., MILLICAN K., HOFFMANN J., SONG F., ASLANIDES J., HENDERSON S., RING R., YOUNG S. *et al.* (2021). Scaling language models: Methods, analysis & insights from training gopher. *arXiv preprint arXiv:2112.11446*.

RAFFEL C., SHAZEER N., ROBERTS A., LEE K., NARANG S., MATENA M., ZHOU Y., LI W. & LIU P. J. (2020). Exploring the limits of transfer learning with a unified text-to-text transformer. *Journal of Machine Learning Research*, 21(140), 1-67.

SHOEYBI M., PATWARY M., PURI R., LEGRESLEY P., CASPER J. & CATANZARO B. (2019). Megatron-LM: Training multi-billion parameter language models using model parallelism. *arXiv preprint arXiv:1909.08053*.

SOLAIMAN I., BRUNDAGE M., CLARK J., ASKELL A., HERBERT-VOSS A., WU J., RADFORD A., KRUEGER G., KIM J. W., KREPS S. *et al.* (2019). Release strategies and the social impacts of language models. *arXiv preprint arXiv:1908.09203*.

STIENNON N., OUYANG L., WU J., ZIEGLER D., LOWE R., VOSS C., RADFORD A., AMODEI D. & CHRISTIANO P. F. (2020). Learning to summarize with human feedback. In H. LAROCHELLE, M. RANZATO, R. HADSELL, M. BALCAN & H. LIN, Éds., *Advances in Neural Information Processing Systems*, volume 33, p. 3008-3021: Curran Associates, Inc.

UCHENDU A., LE T., SHU K. & LEE D. (2020). Authorship attribution for neural text generation. In *Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP)*, p. 8384-8395, Online: Association for Computational Linguistics. DOI: 10.18653/v1/2020.emnlp-main.673.
WEIDINGER L., MELLOR J., RAUH M., GRIFFIN C., UESATO J., HUANG P.-S., CHENG M., GLAESE M., BALLE B., KASIRZADEH A. et al. (2021). Ethical and social risks of harm from language models. *arXiv preprint arXiv:2112.04359*.

WOLFF M. & WOLFF S. (2020). Attacking neural text detectors. *arXiv preprint arXiv:2002.11768*.

YANG Y., YIH S. W.-T. & MEEK C. (2015). Wikiqa: A challenge dataset for open-domain question answering. In *Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing: ACL - Association for Computational Linguistics*.

ZELLERS R., HOLTZMAN A., RASHKIN H., BISK Y., FARHADI A., ROESNER F. & CHOI Y. (2019). Defending against neural fake news. *Advances in neural information processing systems*, **32**.
# Cross-lingual Strategies for Low-resource Language Modeling:
A Study on Five Indic Dialects

Niyati Bafna¹ Cristina España-Bonet³ Josef van Genabith²,³
Benoît Sagot¹ Rachel Bawden¹

(1) Inria, Paris, France

(2) Saarland Informatics Campus, Saarland University, Germany

(3) DFKI GmbH, Germany

niyatibafna13@gmail.com, {josef.van_genabith, cristinae}@dfki.de,
{benoit.sagot, rachel.bawden}@inria.fr

## ABSTRACT

Neural language models play an increasingly central role for language processing, given their success for a range of NLP tasks. In this study, we compare some canonical strategies in language modeling for low-resource scenarios, evaluating all models by their (finetuned) performance on a POS-tagging downstream task. We work with five (extremely) low-resource dialects from the Indic dialect continuum (Braj, Awadhi, Bhojpuri, Magahi, Maithili), which are closely related to each other and the standard mid-resource dialect, Hindi. The strategies we evaluate broadly include from-scratch pretraining, and cross-lingual transfer between the dialects as well as from different kinds of off-the-shelf multilingual models; we find that a model pretrained on other mid-resource Indic dialects and languages, with extended pretraining on target dialect data, consistently outperforms other models. We interpret our results in terms of dataset sizes, phylogenetic relationships, and corpus statistics, as well as particularities of this linguistic system.

## RÉSUMÉ

### Stratégies inter-langues pour la modélisation des langues à faibles ressources : étude sur cinq dialectes indo-aryens

Les modèles de langue neuronaux jouent désormais un rôle central en traitement automatique des langues, grâce à leurs performances sur de nombreuses tâches du domaine. Dans cet article, nous étudions le développement de tels modèles pour des langues (très) peu dotées, à savoir cinq langues du continuum dialectal indo-aryen (braj, awadhi, bhojpuri, magahi, maithili), toutes très proches du hindi, une langue moyennement dotée. Nous comparons plusieurs stratégies classiques par l'adaptation (finetuning) et l'évaluation sur la tâche d'étiquetage en parties du discours. Ces stratégies incluent le pré-entraînement à partir de zéro ainsi que le transfert entre dialectes et depuis des modèles multilingues existants. Nous constatons qu'un modèle préentraîné sur d'autres dialectes et langues indiennes moyennement dotées avec poursuite du préentraînement sur les données du dialecte cible surpasse systématiquement les autres modèles. Nous interprétons nos résultats à la lumière de la taille des jeux de données et de leurs propriétés statistiques, des relations phylogénétiques entre dialectes, ainsi que des particularités de ce système linguistique.

**KEYWORDS:** Language modeling, low-resource, Indic languages, cross-lingual transfer, POS tagging.

<figure><img src="image_21.png" /></figure>
# 1 Introduction

In the last decade, natural language models have made tremendous progress on multiple tasks (Kalyan et al., 2021). Many recent advances in natural language processing (NLP) owe credit to neural models that are pretrained over large quantities of unlabeled text, such as BERT (Devlin et al., 2019). Data inequity over the vast range of the world's languages has led efforts to “transfer” these data-hungry neural models from resource-rich languages such as English and Spanish, to lower-resource languages (Wu & Dredze, 2019), with many studies focusing on phylogenetic closeness between the source and target languages as one of the important factors determining the results (Lin et al., 2019; Dhamecha et al., 2021; Patil et al., 2022).

Indic NLP, or NLP for Indian languages,<fnref n="1" /> has also made corresponding advances, with the release of large corpora, language models, and benchmarks for 18 “major” Indian languages (Kakwani et al., 2020). However, there are hundreds of other languages and dialects in India, many of them spoken by millions of people, such as Rajasthani, Kannauji, Garhwali, and others, that have non-existent or nascent NLP research (Bafna et al., 2022).

We work with a typical real-world situation, with five (extremely) low-resource North Indian dialects belonging to the Indic language family—namely, Braj, Awadhi, Bhojpuri, Magahi, Maithili. These languages bear close relationships with Hindi, a mid-resource dialect<fnref n="2" /> although with a number of morphosyntactic and lexical divergences. We compare strategies for language modeling for low-resource languages, using a part-of-speech (POS) tagging downstream task for evaluation. We report that relatedness at the level of the language family between the pretraining languages and the target language benefits downstream performance. However, while comparing low-resource dialects as sources for a particular target dialect in a transfer setup, the results are less explained by phylogeny than by corpus domain match and lexical overlap. Finally, we find that extended pretraining shows consistent benefits. We hope that these experiments will raise an interest in NLP for these dialects, and constitute a starting point for other work in this context.

# 2 Related Work

Recently, there have been some attempts to develop basic NLP tools and resources for some of the prominent languages of the Indic continuum. Mundotiya et al. (2021) collect monolingual data and POS-tagged corpora for Bhojpuri, Maithili, and Magahi, also providing CRF baselines for POS tagging. Priyadarshi & Saha (2020) collect a monolingual corpus for Maithili as well as some POS-annotated data,<fnref n="3" /> Ojha (2019) contribute a similar effort for Bhojpuri, and Ojha et al. (2020)

<footnote n="1">¹The word “Indic”, depending on context, is used to refer to both the subfamily of the Indo-European family spoken in India (e.g. Hindi, Bengali, Marathi), and the Indian languages in general (including non-Indo-European languages such as the Dravidian family of languages). In this paper, unless otherwise mentioned, we use the first, phylogenetic, sense of the term.</footnote>

<footnote n="2">²In this work, we will refer to Braj (bra), Awadhi (awa), Bhojpuri (bho), Magahi (mag), Maithili (mai), and (standard) Hindi as “dialects” belonging to the “macrolanguage” of the dialect continuum that forms the “Hindi” heartland of India. This terminology is not intended to have political connotations.</footnote>

<footnote n="3">³Not publicly available.</footnote>
<table><caption>Table 1: Examples of cognates. Braj is not included due to lack of data. Since the Devanagari script is phonetically transparent, phonetic similarity is visible both in IPA and in Devanagari (not shown).</caption><thead><tr><th>Hindi</th><th>Awadi</th><th>Bhojpuri</th><th>Magahi</th><th>Maithili</th><th>Meaning</th></tr></thead><tbody><tr><td>dza: rəhe: ho:</td><td>dza: təha: i</td><td>dza: t ba:</td><td>dza: həi</td><td>dza: rəhəl ətʃi</td><td>(you) are going</td></tr><tr><td>ləqka:</td><td>ləqka:</td><td>ləika:</td><td>ləi:ka:</td><td>ləqka:</td><td>boy (nom.)</td></tr><tr><td>bət: a:ja:/ kə:h lija:</td><td>bət: a:vət</td><td>kəhəl</td><td>kəhəlie:</td><td>kəhəlhu<sup>n</sup></td><td>told (completive)</td></tr><tr><td>a:pki:</td><td>a:pən</td><td>a:pən</td><td>əpən</td><td>əha:nk</td><td>your (hon., fem. sing. obj)</td></tr><tr><td>bəhən</td><td>bəhin</td><td>bəhin</td><td>bəhin</td><td>bəhin</td><td>sister</td></tr></tbody></table>

provide monolingual data and some parallel data for Bhojpuri and Magahi. As part of the NSURL 2019 shared task in POS-tagging for Bhojpuri and Magahi (Freihat & Abbas, 2019), Kumar M (2019) present an SVM-based system as well as a BERT-based classifier. Proisl et al. (2019) experiment with available taggers, including a BiLSTM+CRF architecture and the Stanford tagger.

There has also been work in language modeling for “dialects” of a standard variant, accompanying, of course, a rich literature in cross-lingual transfer to low-resource languages. Transformer-based pre-trained multilingual models such as mBERT (Devlin et al., 2019; Conneau et al., 2020) are often claimed to show multilingual generalization (Pires et al., 2019). There are multiple aspects to the phenomenon of multilingual generalization, and many of them have received attention in the NLP community. One of the primary ways in which cross-lingual ability is demonstrated is through zero-shot transfer, i.e. a setting in which a multilingual pretrained model is trained on labeled or supervised data in one language and performs well in another language. Early papers found that mBERT performed remarkably well in the zero-shot setting (Pires et al., 2019; Wu & Dredze, 2019) under certain conditions, such as similar typologies of source and target languages, but regardless of others, such as script and common vocabulary. Since then, many studies, such as (Chai et al., 2022; Ri & Tsuruoka, 2022), have attempted to explore these conditions; notably, Muller et al. (2021) show that a common script indeed facilitates transfer, along with shared typological features, and Khemchandani et al. (2021) show the same for Indic languages. Studies are split on results regarding the relationship between subword overlap and ease of transfer. For example, K et al. (2020) show that shared subwords play a small role in positive transfer, while Deshpande et al. (2022) argue that this is only the case for languages with shared word order.

Research has also looked at the question of which languages may benefit from large multilingual models. For high-resource languages, it was quickly clear that monolingual models outperform or at least match multilingual models on most tasks (de Vries et al., 2019; Martin et al., 2020). However, ensuing studies have also found that monolingual models or language-family models can outperform multilingual counterparts for low-resource languages (Ulčar & Robnik-Šikonja, 2020; Ortiz Suárez et al., 2020; Armengol-Estapé et al., 2021; Micallef et al., 2022; Barry et al., 2022). In effect, there is no clear consensus in the community on the best strategies for solving a downstream task in typical conditions for a low-resource language, specifically, limited monolingual data, a related high-resource language, and possibly some annotated task data. This motivates our work in investigating different cross-lingual transfer strategies in the given context of dialects from the Indic continuum.
<figure><img src="image_22.png" /><figcaption>Figure 1: Characterization of the Indic dialects used in this work</figcaption></figure>

## 3 Languages

The Indic dialect continuum is a group of more than 40 dialects spoken across most of North India and surrounding regions, with hundreds of millions of speakers. The dialects of this continuum are classified under the Apabhramsic (e.g. Rajasthani), Western Hindi (e.g. Haryanvi), Eastern Hindi (e.g. Awadhi), and Bihari (e.g. Bhojpuri) branches of the Indic language family. We are working with six of these dialects, all of which are written in the Devanagari script, namely Awadhi, Bhojpuri, Braj, Magahi, Maithili, and the high-resource standardized dialect, i.e. Hindi. See Figure 1b for a phylogenetic tree of these dialects.<fnref n="4" /> Geographically, these dialects are spread across the continuum (see Figure 1a<fnref n="5" />), with standard Hindi co-existing in many of these regions, although it is genetically part of the western sub-family of the continuum. This means that many of these dialects borrow from Hindi and share similarities with it due to contact, rather than via genetic transmission.

The dialects of the Indic continuum share cognates as well as morphosyntactic properties, such as a roughly common (free) word order, noun inflection for case, and verbal inflection for number and gender to a varying extent. However, they differ in specifics, for example, in the number of cases, the levels of honorifics, and the degree of inflection for gender. See Table 1 for examples of cognates in these dialects.<fnref n="6" />

## 4 Data and Description

**Data** We use monolingual data from different (non-overlapping) sources for these dialects. These sources include the VarDial 2018 shared task (Zampieri et al., 2018) for Bhojpuri, Magahi, Awadhi, and Braj, the BHLTR project for Bhojpuri (Ojha, 2019), LoResMT (Ojha et al., 2020) for Bhojpuri and Magahi, and the BMM corpus (Mundotiya et al., 2021) and the Wordschatz Leipzig corpus (Goldhahn et al., 2012) for Maithili. For Hindi, we use the IndicCorp corpus (Kakwani et al., 2020). This is the largest available consolidated Hindi corpus, as of the date of writing, and was used to

<footnote n="4">⁴Taken from Glottolog: https://glottolog.org/resource/languoid/id/midd1375.</footnote>

<footnote n="5">⁵Taken from https://titus.fkidgl.uni-frankfurt.de/indexe.htm</footnote>

<footnote n="6">⁶Translations are taken from Glosbe: https://glosbe.com.</footnote>
<table><caption>Table 2: Monolingual/POS dataset sizes (in #tokens) and POS tagset sizes, for all dialects.</caption><thead><tr><th></th><th>Monolingual<br>#toks</th><th>POS<br>#toks</th><th>POS labels<br>#tags</th></tr></thead><tbody><tr><td>awa</td><td>0.16M</td><td>21K</td><td>37</td></tr><tr><td>bho</td><td>2.99M</td><td>94K</td><td>34</td></tr><tr><td>bra</td><td>0.32M</td><td>62K</td><td>31</td></tr><tr><td>hin</td><td>1800.00M</td><td>351K</td><td>31</td></tr><tr><td>mag</td><td>3.04M</td><td>61K</td><td>19</td></tr><tr><td>mai</td><td>0.46M</td><td>211K</td><td>25</td></tr></tbody></table>

<figure><img src="image_23.png" /><figcaption>Figure 2: Visualizations of lexical similarity among dialects.</figcaption></figure>

train the publicly available pretrained Hindi model that we use for our experiments (described in Section 5).

For POS-annotated datasets, we use a single data source in a given dialect to maintain consistency in annotation style, the tagset, and its associated granularity, although these differ across dialect datasets. Specifically, we use the NSURL 2019 shared task datasets (Freihat & Abbas, 2019) for Bhojpuri and Magahi, the KMI-Linguistics datasets<fnref n="7" /> for Awadhi and Braj, the BMM corpus for Maithili, and the Universal Dependencies Treebank HDTB project for Hindi (Palmer et al., 2009; Bhat et al., 2017). Aggregate token counts for each dialect are listed in Table 2.

**Crosslingual interaction** We would like to understand the crosslingual interactions between these dialects, in order to contextualize the results of our experiments, described in Section 5. We calculate the normalized lexical overlap<fnref n="8" /> between monolingual corpora for all pairs of dialects (Figure 2a). The resulting similarity matrix can be used to cluster the dialects by similarity (as shown in Figure 2b); we see that the resulting tree does not resemble the gold phylogenetic tree in Figure 1b. This can have a few explanations: it is possible that lexical similarity is not a good measure of closeness—it does

<footnote n="7">⁷https://github.com/kmi-linguistics/</footnote>

<footnote n="8">⁸This is calculated as the number of unique words that are common to both corpora, divided by the minimum of the number of unique words in the two corpora; thus, the measure lies between 0 and 1.</footnote>
not, for example, take into account morphosyntactic similarity, or shared cognates that do not exactly match. It is also possible that the corpora we use are not representative of the true distributions of the dialects. Note that the outermost leaf in the tree, Maithili, is the only dialect whose monolingual data does not include VarDial shared task data. Finally, we can also credit widespread borrowing of words from Hindi with genetically more distant dialects having higher-than-expected lexical similarity.

The lexical similarity between monolingual pretraining corpora and the annotated datasets<fnref n="9" /> may also be relevant in explaining our transfer results (see Figure 3a). Intuitively, low lexical similarity would indicate fewer benefits of pretraining. We note that the Hindi corpus has an almost perfect coverage of the annotated datasets of all dialects including itself. This is unsurprising given its size as well as the common subsumption of dialects on this continuum under “Hindi.”

# 5 Experiments

We compare different multilingual or cross-lingual transfer strategies in the context of Indic dialects, evaluated on the downstream task of POS-tagging. We will refer to the two following operations: “pretraining” refers to training a model on mono/multilingual raw text, “EP” or “extended pretraining” refers to further pretraining an already pretrained model on different mono/multilingual raw text.<fnref n="10" /> All models are finetuned and evaluated on the annotated dataset of the target dialect. Due to tagset differences, we cannot attempt zero-shot transfer without performing label alignment. Finally, we do not pretrain from scratch on Hindi data and use a publicly available Hindi pretrained model instead (Joshi, 2022).

We use the HuggingFace transformers library (Wolf et al., 2020) for training and accessing publicly available pretrained models. All models (including the publicly available models that we use) have a BERT-base architecture, consisting of 12 attention heads, 12 layers, and with hidden layer size 768. Models trained from scratch on dialect data are trained on the Masked Language Modeling (MLM) objective for ~40 epochs, EP over pretrained models is performed for 15 epochs, and finetuning is performed over the best performing pretraining checkpoint for 5 epochs.<fnref n="11" />

**Baseline** As the baseline for each dialect, we use the BERT architecture described above, pretrained from scratch on monolingual dialect data, and finetuned on task data for the dialect.

**Using pretrained models** We report the results obtained by finetuning three publicly available large pretrained models on the POS-tagged dataset for each dialect:

* Hindi (we hereafter refer to this model as Hin-BERT) (Joshi, 2022): We use a pretrained Hindi model<fnref n="12" /> trained on the MLM objective; we want to see how well a pretrained model in a *related mid-resource dialect* transfers to a low-resource dialect.

<footnote n="9">⁹Calculated in the same way as for corpus lexical similarity.</footnote>

<footnote n="10">¹⁰Other works may use different terms for what we call extended pretraining, or may carry out extended pretraining in a different manner.</footnote>

<footnote n="11">¹¹Further finetuning did not improve performance.</footnote>

<footnote n="12">¹²https://huggingface.co/13cube-pune/hindi-bert-scratch/tree/main</footnote>
* MuRIL – Multilingual Representations for Indian Languages (Khanuja et al., 2021): The publicly available MuRIL model represents a *mid/high-resource related language family* model. MuRIL is trained on the MLM and Translation Language Modeling (TLM) objectives on 17 languages in total, including other Indic languages such as Marathi and Bengali, as well as genealogically unrelated languages from the Indian subcontinent, such as Tamil and Kannada.<fnref n="13" />

* mBERT (Devlin et al., 2019):<fnref n="14" /> Finally, we also finetune mBERT for each dialect; mBERT is trained on the MLM and Next Sentence Prediction (NSP) objectives, on 104 languages, including Indic languages, but also several other languages and language families.

We also perform extended pretraining for the MuRIL and Hin-BERT models to observe potential benefits. Specifically, these models are pretrained further with an MLM objective on the monolingual data of the target dialect, and then (like all other models) finetuned and evaluated on the target dialect. The MuRIL model was chosen over mBERT due to its better initial performance.<fnref n="15" />

**Using related dialects** One can use data in related low-resource dialects to boost the learning of shared properties and similar words. We conduct the following experiments to investigate this idea:

* Pairwise transfer (D+ft): We pretrain a BERT model from scratch on monolingual data from a low-resource source dialect, therefore excluding Hindi, and finetune and evaluate it on task-specific data of the target dialect. We do this for all possible pairs, and report the best F1 performance over all source languages for every target dialect. We would also like to draw inference from the above setup as to which dialects perform best as sources for a given dialect, in relation to their genealogical or other type of closeness to the target. In the D+ft setup, however, the results are confounded by varying amounts of monolingual data available for different dialects. Therefore, we fix the monolingual as well as the evaluation data size in tokens for all (source and target) dialects, using the minimum available dataset size (Awadhi), and repeat pairwise transfer experiments.

* All dialects together (ABBMM+ft): In the setup, we pretrain a BERT model from scratch on all available low-resource dialect data,<fnref n="16" /> and finetune and evaluate separately on each dialect. The aim of this experiment is to investigate how far joint training on related dialects (without a high-resource dialect) can benefit the target.

* MuRIL with EP on all dialects (MuRIL+EP<sub>ABBMM</sub>+ft): Finally, we choose the best performing large pretrained model from the previous set of experiments (namely, MuRIL), and extended-pretrain it with all low-resource dialects, followed by separate finetuning and evaluation in each dialect.

<footnote n="13">¹³See more details here: https://huggingface.co/google/muril-base-cased/tree/main.</footnote>

<footnote n="14">¹⁴https://huggingface.co/bert-base-multilingual-cased/tree/main</footnote>

<footnote n="15">¹⁵We do not perform this experiment for Hindi, i.e. we do not do extended pretraining on Hindi data, for two reasons: firstly, both MuRIL and mBERT have already seen Hindi data, therefore rendering this a different experiment to that with the dialects, and secondly, in our work, our focus is on the low-resource dialects. We leave the exploration of best-performing transfer setups for mid-to-high range resource languages to other works.</footnote>

<footnote n="16">¹⁶Hindi is not included in these experiments since it would easily dominate the low-resource data, and the resulting experiment would not be very different from Hin-BERT+ft, which we conduct separately.</footnote>
<figure><img src="image_24.png" /><figcaption>Figure 3: Pairwise transfer results</figcaption></figure>

<table><caption>Table 3: Evaluation on POS-tagging (F1). EP: extended pretraining, ABBMM: all low-resource dialect data, D+ft: best performing low-resource source-to-target model per target dialect.</caption><thead><tr><th></th><th>bho</th><th>bra</th><th>awa</th><th>hin</th><th>mag</th><th>mai</th></tr></thead><tbody><tr><td>Monolingual</td><td>92.97</td><td>87.98</td><td>80.46</td><td>97.10</td><td>90.53</td><td>85.00</td></tr><tr><td>Hin-BERT+ft</td><td>92.13</td><td>93.31</td><td>84.05</td><td>97.10</td><td>90.89</td><td>87.98</td></tr><tr><td>Hin-BERT+EP<sub>mono</sub>+ft</td><td>92.42</td><td>93.74</td><td>84.10</td><td>-</td><td>91.12</td><td>87.46</td></tr><tr><td>mBERT+ft</td><td>93.05</td><td>93.5</td><td>83.53</td><td>97.08</td><td>90.47</td><td>87.90</td></tr><tr><td>MuRIL+ft</td><td>92.96</td><td>94.14</td><td>82.31</td><td>98.01</td><td>91.25</td><td>88.54</td></tr><tr><td>MuRIL+EP<sub>mono</sub>+ft</td><td><strong>93.62</strong></td><td><strong>94.73</strong></td><td>84.22</td><td>-</td><td>91.81</td><td>88.30</td></tr><tr><td>D+ft</td><td>91.40</td><td>92.12</td><td>82.95</td><td>96.39</td><td>90.39</td><td>87.01</td></tr><tr><td>ABBMM+ft</td><td>92.86</td><td>93.14</td><td>83.12</td><td>96.35</td><td>90.96</td><td>87.48</td></tr><tr><td>MuRIL+EP<sub>ABBMM</sub>+ft</td><td>93.59</td><td>94.68</td><td><strong>85.72</strong></td><td>-</td><td><strong>91.95</strong></td><td><strong>88.69</strong></td></tr></tbody></table>

<table><caption>Table 4: Evaluation on POS-tagging (F1), for pairwise transfer experiments.</caption><thead><tr><th rowspan="2">Target<br>Lang</th><th colspan="6">Source Language</th><th colspan="6">Source Language</th></tr><tr><th>bho</th><th>bra</th><th>awa</th><th>hin</th><th>mag</th><th>mai</th><th>bho</th><th>bra</th><th>awa</th><th>hin</th><th>mag</th><th>mai</th></tr></thead><tbody><tr><td>bho</td><td><strong>92.97</strong></td><td>87.49</td><td>87.67</td><td>92.13</td><td>91.40</td><td>87.48</td><td><strong>84.17</strong></td><td>83.77</td><td>83.50</td><td>83.63</td><td>82.51</td><td>83.00</td></tr><tr><td>bra</td><td>92.12</td><td>87.98</td><td>87.79</td><td><strong>93.31</strong></td><td>91.31</td><td>89.31</td><td>90.57</td><td><strong>93.31</strong></td><td>92.83</td><td>90.44</td><td>92.79</td><td>92.09</td></tr><tr><td>awa</td><td>82.95</td><td>80.06</td><td>80.46</td><td><strong>84.05</strong></td><td>82.43</td><td>79.88</td><td>79.25</td><td>77.92</td><td>77.65</td><td>77.37</td><td>79.53</td><td><strong>80.19</strong></td></tr><tr><td>hin</td><td>96.39</td><td>94.69</td><td>94.55</td><td><strong>97.10</strong></td><td>96.11</td><td>94.40</td><td>84.28</td><td>83.69</td><td><strong>87.02</strong></td><td>86.24</td><td>83.45</td><td>86.39</td></tr><tr><td>mag</td><td>90.39</td><td>87.97</td><td>88.06</td><td><strong>90.89</strong></td><td>90.53</td><td>87.72</td><td>85.24</td><td>86.23</td><td>85.93</td><td>83.31</td><td><strong>86.87</strong></td><td>86.08</td></tr><tr><td>mai</td><td>87.01</td><td>85.53</td><td>85.25</td><td><strong>87.98</strong></td><td>86.79</td><td>85.01</td><td><strong>81.84</strong></td><td>80.22</td><td>80.89</td><td>80.56</td><td>79.50</td><td>81.39</td></tr></tbody><tfoot><tr><td colspan="6">(a) Original dataset sizes</td><td colspan="6">(b) Equal dataset sizes</td></tr></tfoot></table>
# 6 Results and Discussion

**Monolingual Performance** Within dialects, differences in performance can be explained by the size of the annotated dataset, the amount of monolingual data, and the complexity of the tagset (see Table 2), as well as the token coverage of the annotated dataset by the monolingual data (mono-POS overlap, see Figure 3a). We see in Table 3 that the Maithili and Awadhi monolingual models perform worse than the others; they also show the least mono-POS overlap. Similarly, Braj has less monolingual and annotated data than Maithili, but still performs better, possibly because of its higher mono-POS overlap.

Bhojpuri and Magahi, the highest resourced dialects, have baseline performances roughly on par with {mBERT | MuRIL}+ft. Although these dialects are still very low-resource by several orders of magnitude compared to Hindi, their datasets are already big “enough” to yield a good performance on a relatively shallow task such POS-tagging. The transfer methods are mainly beneficial for the lowest-resourced dialects, Braj, Awadhi, and Maithili.

**Pretrained models** Comparing {Hin-BERT | MuRIL | mBERT}+ft, we observe that MuRIL-based models do better than mBERT-based models on four out of six dialects. This extends the results shown by Khanuja et al. (2021) that demonstrate that MuRIL outperforms mBERT consistently on its 17 pretraining languages. We also see that Hin-BERT and mBERT seem to perform on par, with perhaps a slight edge to Hin-BERT, although mBERT is pretrained on much more data. This corroborates the intuition that the relatedness of the pretraining languages with target languages could positively affect transfer results, “compensating”, in a way, for less data. However, the fact that these pretrained models differ in their pretraining objectives must be kept in mind while making observations about the effects of pretraining languages.<fnref n="17" />

The increase in performance over the monolingual baseline with pretrained models, especially for Hin-BERT+ft, can also be contextualized by crosslingual lexical similarity between monolingual corpora (see Figure 2a). We see that Braj, Awadhi, and Bhojpuri show the highest lexical similarity with Hindi. This explains the jump in performance for low-resource Braj and Awadhi (whereas for Bhojpuri, which already has a good amount of monolingual data, training on Hindi causes worsening).

**Extended pretraining** EP helps consistently; language-specific pretraining possibly serves to expose the model to non-cognate words or language specific constructions in the target language. The only performance drop is observed for Maithili; monolingual EP slightly worsens performance in both Hin-BERT+ft and MuRIL+ft. This accords with our earlier observation of the low Maithili mono-POS overlap, and its possible effects.

**Using other dialect data** The best performing single-language transfer from another low-resource dialect, i.e. the D+ft model, does better than the monolingual model for dialects with little monolingual data, namely, Braj, Maithili and Awadhi, and worse for the higher resourced dialects i.e. Bhojpuri and Magahi. ABBMM+ft always does better than D+ft, presumably because the model sees monolingual data in the target dialect as well as more related dialect data in general. We also observe that

<footnote n="17">¹⁷Note that the training data of mBERT does include Hindi and other Indic languages; however, these are naturally accorded less “space” or percentage of training data as compared to with MuRIL or simply a Hindi pretrained model.</footnote>
ABBMM+ft is on par with {mBERT | MuRIL}+ft even for dialects without much monolingual data; again, this indicates that models pretrained on roughly of a few million tokens, even from closely related dialects, perform comparably with much larger (language family or other) multilingual models (pretrained on three orders of magnitude more data) for a downstream POS-tagging task. It is possible that this is not the case for tasks requiring more language understanding.

Pairwise transfer with equal dataset size By fixing dataset sizes for all dialects, we aim to directly compare different dialects as (pretraining) sources for a given target dialect.<fnref n="18" /> The resulting F1 scores are presented in Table 4a. We see that the differences in performance for a given dialect with different pretraining dialects are much lower than before. Interestingly, we observe that for Awadhi, Hindi, and Maithili, it is better to pretrain on a different dialect than itself. This can be partially understood in view of similarities between different dialect corpora and annotated datasets (Figure 3a), although these similarities are calculated over the full datasets rather than same-sized subsets. For example, we see that the Maithili POS-dataset has lower lexical overlap with the Maithili corpus than with the Bhojpuri corpus. A similar argument holds for Awadhi.

We also use these scores (Table 4b) to extract a dendrogram of language relatedness, with the hypothesis that this may recover a phylogenetic tree, which would mean that genetically close dialects behave similarly as sources and targets. We use the 0-1 normalized mean source-target performance of each pair of dialects as their “similarity” score¹⁹ (Figure 3b). The resulting tree is not in fact a good representation of the phylogenetic tree of these dialects; the effect of genealogy seems to be outweighed by other factors, possibly including lexical overlap due to borrowings, and domain match.

Takeaways The takeaways from the results can be summarized as follows:

* Multilingual models pretrained on (a) data from the same language family, (b) a closely related high-resource dialect, (c) “general” multilingual data, as well as (d) low-resource closely related dialects are all good candidates for base pretrained models (to be finetuned on task data), with (a) consistently outperforming the others. Their relative performance can be interpreted as a function of the relatedness of the pretraining corpus languages, and the amount of such data.

* Among closely related dialects, the best performing source dialect pretrained model may be determined by lexical overlap or domain match with the target dialect annotated data rather than phylogenetic closeness between the source and target dialects; in general, especially for lower-resource dialects, closely-related dialect data helps performance.

* Extended pretraining, even on very little data, consistently helps. The best performing models are obtained by extended pretraining MuRIL with either monolingual data (for Bhojpuri and Braj) or all dialect data together (for Awadhi, Maithili, and Magahi).

<footnote n="18">¹⁸Although we do also fix the annotated dataset size, this does not mean that the downstream task is of the same difficulty for all dialects. Different datasets have different inherent difficulty due to the tagset size, length of sentences, rare words, tag distributions, etc. Therefore, it is still not advisable to make comparisons across target dialects.

¹⁹This clustering algorithm makes the assumption that the similarity of a dialect with itself is 1, or at least higher than that with any other dialect; we therefore ignore self-source-target scores.</footnote>
# 7 Conclusion

In this paper, we looked at different strategies for developing language models for low-resource languages, using five extremely low-resource dialects belonging to the Indic continuum as a testbed. We compared conventional pretraining and cross-lingual transfer methods, and concluded that large pretrained models trained on the same language family (in our case MuRIL, for the Indic language family) are particularly successful as base models, especially if followed by extended pretraining, either monolingually or on closely related dialect data. We hope that this work contributes to building a basic research base for the Indic dialect continuum, as well as other dialect systems.

# Acknowledgments

This work was partly funded by R. Bawden's and B. Sagot's chairs in the PRAIRIE institute funded by the French national agency ANR as part of the "Investissements d'avenir" programme under the reference ANR-19-P3IA-0001 and by the Emergence project, DadaNMT, funded by Sorbonne Université. The work was also supported by the German Research Foundation (Deutsche Forschungs-gemeinschaft) under grant SFB 1102: Information Density and Linguistic Encoding.

# References

ARMENGOL-ESTAPÉ J., CARRINO C. P., RODRIGUEZ-PENAGOS C., DE GIBERT BONET O., ARMENTANO-OLLER C., GONZÁLEZ-AGIRRE A., MELERO M. & VILLEGAS M. (2021). Are Multilingual Models the Best Choice for Moderately Under-resourced Languages? A Comprehensive Assessment for Catalan. In *Findings of the Association for Computational Linguistics: ACL-IJCNLP 2021*, p. 4933-4946.

BAFNA N., VAN GENABITH J., ESPAÑA-BONET C. & ŽABOKRTSKÝ Z. (2022). Combining Noisy Semantic Signals with Orthographic Cues: Cognate Induction for the Indic Dialect Continuum. In *Proceedings of the 26th Conference on Computational Natural Language Learning (CoNLL)*, p. 110-131, Abu Dhabi, United Arab Emirates (Hybrid): Association for Computational Linguistics.

BARRY J., WAGNER J., CASSIDY L., COWAP A., LYNN T., WALSH A., Ó MEACHAIR M. J. & FOSTER J. (2022). gaBERT — an Irish Language Model. In *Proceedings of the Thirteenth Language Resources and Evaluation Conference*, p. 4774-4788, Marseille, France: European Language Resources Association.

BHAT R. A., BHATT R., FARUDI A., KLASSEN P., NARASIMHAN B., PALMER M., RAMBOW O., SHARMA D. M., VAIDYA A., VISHNU S. R. et al. (2017). The Hindi/Urdu Treebank Project. In *Handbook of Linguistic Annotation*. Springer Press.

CHAI Y., LIANG Y. & DUAN N. (2022). Cross-Lingual Ability of Multilingual Masked Language Models: A Study of Language Structure. In *Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers)*, p. 4702-4712, Dublin, Ireland: Association for Computational Linguistics. DOI: 10.18653/v1/2022.acl-long.322.
CONNEAU A., KHANDELWAL K., GOYAL N., CHAUDHARY V., WENZEK G., GUZMÁN F., GRAVE E., OTT M., ZETTLEMOYER L. & STOYANOV V. (2020). Unsupervised Cross-lingual Representation Learning at Scale. In *Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics*, p. 8440–8451, Online: Association for Computational Linguistics. DOI: 10.18653/v1/2020.acl-main.747.

DE VRIES W., VAN CRANENBURGH A., BISAZZA A., CASELLI T., VAN NOORD G. & NISSIM M. (2019). BERTje: A Dutch BERT Model. arXiv:1912.09582 [cs], DOI: 10.48550/arXiv.1912.09582.

DESHPANDE A., TALUKDAR P. & NARASIMHAN K. (2022). When is BERT Multilingual? Isolating Crucial Ingredients for Cross-lingual Transfer. In *Proceedings of the 2022 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies*, p. 3610–3623, Seattle, United States: Association for Computational Linguistics. DOI: 10.18653/v1/2022.naacl-main.264.

DEVLIN J., CHANG M.-W., LEE K. & TOUTANOVA K. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In *Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers)*, p. 4171–4186, Minneapolis, Minnesota: Association for Computational Linguistics. DOI: 10.18653/v1/N19-1423.

DHAMECHA T., MURTHY R., BHARADWAJ S., SANKARANARAYANAN K. & BHATTACHARYYA P. (2021). Role of Language Relatedness in Multilingual Fine-tuning of Language Models: A Case Study in Indo-Aryan Languages. In *Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing*, p. 8584–8595, Online and Punta Cana, Dominican Republic: Association for Computational Linguistics. DOI: 10.18653/v1/2021.emnlp-main.675.

FREIHAT A. A. & ABBAS M., Éds. (2019). *Proceedings of the First International Workshop on NLP Solutions for Under Resourced Languages (NSURL 2019) co-located with ICNLSP 2019 - Short Papers*. Trento, Italy: Association for Computational Linguistics.

GOLDHAHN D., ECKART T. & QUASTHOFF U. (2012). Building Large Monolingual Dictionaries at the Leipzig Corpora Collection: From 100 to 200 Languages. In *Proceedings of the Eighth International Conference on Language Resources and Evaluation (LREC’12)*, p. 759–765, Istanbul, Turkey: European Language Resources Association (ELRA).

JOSHI R. (2022). L3Cube-HindBERT and DevBERT: Pre-Trained BERT Transformer models for Devanagari based Hindi and Marathi Languages. arXiv preprint arXiv:2211.11418.

K K., WANG Z., MAYHEW S. & ROTH D. (2020). Cross-Lingual Ability of Multilingual BERT: An Empirical Study. In *International Conference on Learning Representations*. DOI: 10.48550/arXiv.1912.07840.

KAKWANI D., KUNCHUKUTTAN A., GOLLA S., N.C. G., BHATTACHARYYA A., KHAPRA M. M. & KUMAR P. (2020). IndicNLPSuite: Monolingual Corpora, Evaluation Benchmarks and Pre-trained Multilingual Language Models for Indian Languages. In *Findings of the Association for Computational Linguistics: EMNLP 2020*, p. 4948–4961, Online: Association for Computational Linguistics. DOI: 10.18653/v1/2020.findings-emnlp.445.

KALYAN K. S., RAJASEKHARAN A. & SANGEETHA S. (2021). AMMUS: A Survey of Transformer-based Pretrained Models in Natural Language Processing. arXiv:2108.05542 [cs], DOI: 10.48550/arXiv.2108.05542.
KHANUJA S., BANSAL D., MEHTANI S., KHOSLA S., DEY A., GOPALAN B., MARGAM D. K., AGGARWAL P., NAGIPOGU R. T., DAVE S. et al. (2021). Muril: Multilingual representations for indian languages. *arXiv preprint arXiv:2103.10730*.

KHEMCHANDANI Y., MEHTANI S., PATIL V., AWASTHI A., TALUKDAR P. & SARAWAGI S. (2021). Exploiting Language Relatedness for Low Web-Resource Language Model Adaptation: An Indic Languages Study. In *Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers)*, p. 1312–1323, Online: Association for Computational Linguistics. DOI: 10.18653/v1/2021.acl-long.105.

KUMAR M A. (2019). NITK-IT_NLP@NSURL2019: Transfer Learning based POS Tagger for Under Resourced Bhojpuri and Magahi Language. In *Proceedings of the First International Workshop on NLP Solutions for Under Resourced Languages (NSURL 2019) co-located with ICNLSP 2019 - Short Papers*, p. 68–72, Trento, Italy: Association for Computational Linguistics.

LIN Y.-H., CHEN C.-Y., LEE J., LI Z., ZHANG Y., XIA M., RIJHWANI S., HE J., ZHANG Z., MA X., ANASTASOPOULOS A., LITTELL P. & NEUBIG G. (2019). Choosing Transfer Languages for Cross-Lingual Learning. In *Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics*, p. 3125–3135, Florence, Italy: Association for Computational Linguistics. DOI: 10.18653/v1/P19-1301.

MARTIN L., MULLER B., ORTIZ SUÁREZ P. J., DUPONT Y., ROMARY L., DE LA CLERGERIE E., SEDDAH D. & SAGOT B. (2020). CamemBERT: a Tasty French Language Model. In *Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics*, p. 7203–7219, Online: Association for Computational Linguistics. DOI: 10.18653/v1/2020.acl-main.645.

MICALLEF K., GATT A., TANTI M., VAN DER PLAS L. & BORG C. (2022). Pre-training Data Quality and Quantity for a Low-Resource Language: New Corpus and BERT Models for Maltese. In *Proceedings of the Third Workshop on Deep Learning for Low-Resource Natural Language Processing*, p. 90–101. arXiv:2205.10517 [cs], DOI: 10.18653/v1/2022.deeplo-1.10.

MULLER B., ANASTASOPOULOS A., SAGOT B. & SEDDAH D. (2021). When Being Unseen from mBERT is just the Beginning: Handling New Languages With Multilingual Language Models. In *Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies*, p. 448–462, Online: Association for Computational Linguistics. DOI: 10.18653/v1/2021.naacl-main.38.

MUNDOTIYA R. K., SINGH M. K., KAPUR R., MISHRA S. & SINGH A. K. (2021). Linguistic Resources for Bhojpuri, Magahi, and Maithili: Statistics about Them, Their Similarity Estimates, and Baselines for Three Applications. *ACM Transactions on Asian and Low-Resource Language Information Processing*, 20(6), 95:1–95:37. DOI: 10.1145/3458250.

OJHA A. K. (2019). English-Bhojpuri SMT System: Insights from the Karaka Model. arXiv:1905.02239 [cs], DOI: 10.48550/arXiv.1905.02239.

OJHA A. K., MALYKH V., KARAKANTA A. & LIU C.-H. (2020). Findings of the LoResMT 2020 Shared Task on Zero-Shot for Low-Resource languages. In *Proceedings of the 3rd Workshop on Technologies for MT of Low Resource Languages*, p. 33–37, Suzhou, China: Association for Computational Linguistics.
ORTIZ SUÁREZ P. J., ROMARY L. & SAGOT B. (2020). A Monolingual Approach to Contextualized Word Embeddings for Mid-Resource Languages. In *Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics*, p. 1703–1714, Online: Association for Computational Linguistics. DOI: 10.18653/v1/2020.acl-main.156.

PALMER M., BHATT R., NARASIMHAN B., RAMBOW O., SHARMA D. M. & XIA F. (2009). Hindi syntax: Annotating dependency, lexical predicate-argument structure, and phrase structure. In *The 7th International Conference on Natural Language Processing*, p. 14–17.

PATIL V., TALUKDAR P. & SARAWAGI S. (2022). Overlap-based Vocabulary Generation Improves Cross-lingual Transfer Among Related Languages. In *Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers)*, p. 219–233, Dublin, Ireland: Association for Computational Linguistics. DOI: 10.18653/v1/2022.acl-long.18.

PIRES T., SCHLINGER E. & GARRETTE D. (2019). How Multilingual is Multilingual BERT? In *Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics*, p. 4996–5001, Florence, Italy: Association for Computational Linguistics. DOI: 10.18653/v1/P19-1493.

PRIYADARSHI A. & SAHA S. K. (2020). Towards the first Maithili part of speech tagger: Resource creation and system development. *Computer Speech & Language*, **62**, 101054. DOI: 10.1016/j.csl.2019.101054.

PROISL T., UHRIG P., BLOMBACH A., DYKES N., HEINRICH P., KABASHI B. & MAMMARELLA S. (2019). The_Illiterati: Part-of-Speech Tagging for Magahi and Bhojpuri without Even Knowing the Alphabet. In *Proceedings of The First International Workshop on NLP Solutions for Under Resourced Languages (NSURL 2019) co-located with ICNLSP 2019-Short Papers*, p. 73–79.

RI R. & TSURUOKA Y. (2022). Pretraining with Artificial Language: Studying Transferable Knowledge in Language Models. In *Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers)*, p. 7302–7315, Dublin, Ireland: Association for Computational Linguistics. DOI: 10.18653/v1/2022.acl-long.504.

ULČAR M. & ROBNIK-ŠIKONJA M. (2020). FinEst BERT and CroSloEngual BERT. In P. SOJKA, I. KOPEČEK, K. PALA & A. HORÁK, Éds., *Text, Speech, and Dialogue*, p. 104–111, Cham: Springer International Publishing.

WOLF T., DEBUT L., SANH V., CHAUMOND J., DELANGUE C., MOI A., CISTAC P., RAULT T., LOUF R., FUNTOWICZ M., DAVISON J., SHLEIFER S., VON PLATEN P., MA C., JERNITE Y., PLU J., XU C., LE SCAO T., GUGGER S., DRAME M., LHOEST Q. & RUSH A. (2020). Transformers: State-of-the-art natural language processing. In *Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing: System Demonstrations*, p. 38–45, Online: Association for Computational Linguistics. DOI: 10.18653/v1/2020.emnlp-demos.6.

WU S. & DREDZE M. (2019). Beto, Bentz, Becas: The Surprising Cross-Lingual Effectiveness of BERT. In *Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP)*, p. 833–844, Hong Kong, China: Association for Computational Linguistics. DOI: 10.18653/v1/D19-1077.
ZAMPIERI M., NAKOV P., LJUBEŠIĆ N., TIEDEMANN J., MALMASI S. & ALI A., Éds. (2018).
*Proceedings of the Fifth Workshop on NLP for Similar Languages, Varieties and Dialects (VarDial 2018)*. Santa Fe, New Mexico, USA: Association for Computational Linguistics.
# Pauzee : Prédiction des pauses dans la lecture d'un texte

Marion Baranes, Karl Hayek, Romain Hennequin et Elena V. Epure¹

(1) Deezer Research, Paris, France
research@deezer.com

## RÉSUMÉ

Les pauses silencieuses jouent un rôle crucial en synthèse vocale où elles permettent d'obtenir un rendu plus naturel. Dans ce travail, notre objectif consiste à prédire ces pauses silencieuses, à partir de textes, afin d'améliorer les systèmes de lecture automatique. Cette tâche n'ayant pas fait l'objet de nombreuses études pour le français, constituer des données d'apprentissage dédiées à la prédiction de pauses est nécessaire. Nous proposons une stratégie d'inférence de pauses, reposant sur des informations temporelles issues de données orales transcrites, afin d'obtenir un tel corpus. Nous montrons ensuite qu'à l'aide d'un modèle basé sur des transformeurs et des données adaptées, il est possible d'obtenir des résultats prometteurs pour la prédiction des pauses produites par un locuteur lors de la lecture d'un document.

## ABSTRACT

**Pauzee : Pauses Prediction in text reading.**

Silent pauses play a crucial role in text-to-speech synthesis, where they help make the text reading sound more natural. In this work, our goal is to predict these silent pauses from texts to improve automatic reading systems. As this task has not been extensively studied for French, it is necessary to build training data dedicated to the prediction of pauses. We propose a strategy for inferring pauses, based on temporal information from transcribed speech, in order to obtain such a corpus. We then show that with the help of a model based on transformers and appropriate data, it is possible to obtain promising results for the prediction of pauses produced by a speaker during text reading.

**MOTS-CLÉS** : pauses silencieuses, prédiction des pauses, annotation pour la synthèse vocale.

**KEYWORDS** : silent break, break prediction, speech synthesis annotation.

## 1 Introduction

La conversion de textes en contenu audio permet de multiples applications telles que la production de nouveaux médias sonores (e.g. livres audio) (Steinhaeusser et al., 2021) ou l'amélioration de l'accessibilité, pour les personnes malvoyantes ou non-voyantes, à des contenus textuels (Freitas & Kouroupetroglou, 2008). Toutefois, obtenir une lecture réaliste et fluide du texte reste un défi en synthèse vocale. Par exemple, sans variations d'emphase, de ton, de rythme ou encore sans pauses de respiration, un texte lu automatiquement semblera monotone et peu naturel (Székely et al., 2020).

Dans ce projet, nous nous intéressons aux pauses silencieuses réalisées par les lecteurs en français, dans le but d'améliorer à terme la lecture automatique d'histoires et d'articles. Nous cherchons notamment à identifier les endroits où les humains marquent une pause silencieuse, consciemment ou non, lors de leur lecture d'un texte à voix haute. Ces pauses peuvent être produites pour des raisons

<figure><img src="image_25.png" /></figure>
respiratoires, stylistiques ou encore syntaxiques (Grosman et al., 2018). Elles peuvent être de durée variable. Campione & Véronis (2002b) ainsi que Goldman et al. (2010) distinguent par exemple les pauses brèves, moyennes et longues. Grosman et al. (2018) définissent les pauses silencieuses comme "une interruption de la phonation". Dans ce papier, nous considérons qu'une interruption de la phonation est une pause silencieuse dès lors qu'elle peut être perçue à l'oreille humaine. Cette notion de perception est délicate à prendre en compte. Pour ce faire, certain travaux choisissent par exemple d'écarter les pauses trop brèves en utilisant des seuils prédéfinis en millisecondes (Grosjean & Deschamps, 1975; Candea, 2000). Toutefois, étant donnée la variabilité des débits de paroles et des durées de pauses, utiliser des seuils fixes peut avoir des conséquences sur les résultats (Campione & Véronis, 2002b; Grosman et al., 2018). Utiliser la ponctuation comme marqueurs de pauses et de respiration est aussi une solution proposée (Wang et al., 2021) pour prédire où un lecteur fera des pauses. Néanmoins, elle peut ne pas convenir à tous les types de textes, notamment les phrases longues et peu ponctuées comme dans les articles de Wikipédia. Définir quand une pause silencieuse peut apparaître est ainsi un problème non trivial.

Comme nous le verrons en section 2, les stratégies utilisées ont beaucoup évolué au fil du temps. Toutefois, ces études ont majoritairement été effectuées pour la langue anglaise (Székely et al., 2019). D'autres travaux se sont penchés sur des tâches similaires, telles que la prédiction de ponctuation (Rei et al., 2021) avec des approches multilingues. Chacun de ces systèmes de prédiction requiert des données d'apprentissage pertinentes dans la langue traitée. Ces données, très spécifiques, peuvent se révéler complexes à trouver pour des langues moins dotées que l'anglais, telles que le français. Or, les construire de toutes pièces n'est pas une tâche aisée. Comme expliqué plus haut, un système se reposant uniquement sur des symboles de ponctuation ou sur des seuils fixés manuellement ne semble pas optimal. Pour pallier cela, nous proposons d'inférer un tel corpus, à partir de données temporelles intermots provenant de transcriptions de données orales, et de l'utiliser pour prédire des pauses. Le système de prédiction de pauses proposé, Pauzee, est inspiré des systèmes de prédiction de ponctuation. L'adaptation de tels systèmes à notre tâche permettrait en effet de prédire, dans un texte, les endroits où des pauses pourraient être réalisées en lecture. Dans un second temps, nous nous intéressons au niveau de détail qu'il est possible d'obtenir en tentant de prédire la longueur d'une pause. En synthèse vocale, si toutes les pauses générées sont de la même durée, le résultat restera peu naturel voire peu intelligible. Disposer d'informations à ce sujet est donc primordial. Les contributions principales réalisées dans ce travail sont les suivantes<fnref n="1" />

- La mise en place d'un système d'inférence dynamique des pauses silencieuses à partir d'informations temporelles prenant en considération les variations de ces pauses compte-tenu des différents locuteurs et types de corpus, et permettant ainsi la production d'un corpus annoté.

- Pauzee : l'implémentation d'une nouvelle approche s'appuyant sur des transformeurs pour la prédiction de pauses réalisées lors de la lecture d'un texte.

La suite du papier est organisée comme suit : la section 2 offre un aperçu des travaux déjà faits dans le domaine. La section 3 détaille la construction des données utilisées pour l'apprentissage et l'évaluation du système de prédiction Pauzee. Ce système est ensuite décrit en section 4. Enfin, les résultats obtenus sont détaillés en section 5 et sont suivis d'une conclusion en section 6.

<footnote n="1">1. Le code développé pour la création du jeu de données utilisé ainsi que pour la prédiction de pauses silencieuses est disponible ici : https://github.com/deezer/pauzee_taln23.</footnote>
## 2 État de l'art

Dans le domaine du traitement automatique des langues, la prédiction de pauses a donné lieu à plusieurs travaux. Les premiers sur le sujet s'appuyaient sur des systèmes par règles (Sorin et al., 1987; Bachenko & Fitzpatrick, 1990; Atterer, 2002) et sur des arbres de décision (Ostendorf & Veilleux, 1994; Apel et al., 2004). Puis, l'évolution des techniques en apprentissage automatique a influencé le domaine. Certaines études ont ainsi opté pour des modèles de Markov cachés (Taylor & Black, 1998), des champs aléatoires conditionnels (Keri et al., 2007) ou encore des réseaux de neurones récurrents (Pascual & Bonafonte, 2016). Plus récemment, Székely et al. (2019) a choisi d'utiliser un système de classification qui s'appuie sur un réseau de neurones avec deux couches convolutes suivies d'une couche récurrente bidirectionnelle de type bloc LSTM. Cette stratégie permet de prendre en compte un plus long contexte temporel et d'obtenir de meilleures performances. Les auteurs ont notamment repris cette approche dans des travaux ultérieurs (Székely et al., 2020; Alexanderson et al., 2020; Wang et al., 2021).

Toutes ces approches nécessitent des données d'apprentissage dans la langue étudiée. Ces données ne sont pas systématiquement disponibles dans toutes les langues. Pour répondre à ce problème, différentes stratégies sont mises en place. Certaines études prennent le parti d'utiliser des corpus existants, il en existe notamment pour l'anglais. Nous pouvons par exemple citer le Spoken English Corpus qui est annoté en pauses (Taylor & Black, 1998). D'autres, choisissent d'annoter manuellement leurs données (Ostendorf & Veilleux, 1994; Székely et al., 2019). Enfin, une dernière stratégie est de réaliser cette annotation de manière plus automatique. C'est par exemple le cas de Keri et al. (2007) qui considèrent tous les silences de plus de 150 ms comme des pauses silencieuses. À notre connaissance, à l'exception de Sorin et al. (1987), rares sont les travaux fait sur le français et, par conséquent, rares sont les corpus annotés disponibles.

Comme dit précédemment, les symboles de ponctuation, tels que les points et les virgules, sont souvent associés à une pause dans la lecture (Wang et al., 2021). Campione & Véronis (2002a) montrent d'ailleurs que près de 88% des pauses lors de la lecture apparaissent en présence d'une ponctuation (Campione & Véronis, 2002a). Cette même étude constate que 18,7% des symboles de ponctuations ne provoquent pas de pauses. Bien que non systématique, cette corrélation entre ponctuation et pauses reste observable et suggère que la prédiction de pauses pourrait utiliser des méthodes similaires à celles de la prédiction de ponctuation. En prédiction de ponctuation, les travaux les plus récents utilisent majoritairement des transformeurs. C'est par exemple le cas de Sunkara et al. (2020) qui prédit la ponctuation en alignant des caractéristiques lexicales et prosodiques. Plus récemment, SEPP-NLG 2021 (Tuggener & Aghaebrahimian, 2021), la première tâche partagée sur la prédiction de fin de phrase et de ponctuation, a été organisée afin de développer des solutions dans ce domaine. Trois systèmes se sont retrouvés gagnants : OnPoint (Michail et al., 2021), HTW+t2k (Guhr et al., 2021) et Unbelab (Rei et al., 2021). Ces trois systèmes avaient pour point commun d'utiliser des transformeurs.

Pauzee, le système de prédiction de pauses silencieuses que nous voulons mettre en place à besoin de données d'apprentissage. Nous proposons dans ce travail de développer une nouvelle manière d'inférer si un silence annoté en millisecondes peut être considéré comme une pause silencieuse. Pour ce faire nous faisons cet apprentissage sur des données orales transcrites qui ont l'avantage d'être disponibles. Contrairement à Keri et al. (2007), nous ne souhaitons pas utiliser un seuil fixe prédéfini. Un telle stratégie risquerait d'ignorer les variations de durée des pauses observables d'un locuteur à un autre (Grosman et al., 2018). Pour éviter cela, nous proposons d'apprendre ces seuils
de manière dynamique, les rendant ainsi adaptables au style de narration du locuteur. À la vue des travaux réalisés dans le domaine, nous avons choisi de nous inspirer des travaux les plus récents et d’évaluer l’intérêt des transformeurs pour une telle tâche. Des travaux en prédiction de ponctuation ayant déjà été réalisés avec des transformeurs, nous proposons de reprendre cette stratégie pour l’adapter à la prédiction de pauses silencieuses.

## 3 Données

Afin de constituer nos données d’entraînement et d’évaluation, nous proposons d’inférer les pauses produites par les locuteurs à partir de deux corpus de transcriptions d’histoires parlées et lues en français, contenant des données temporelles indiquant le début et la fin de chaque mot. Le premier, le corpus SynPaFlex (Sini et al., 2018), contient des extraits de livres datant du 19ème siècle lus par une seule et unique locutrice. De ce corpus, seuls les textes contenant des informations temporelles ont été conservés<fnref n="2" />. Le second corpus, contenu sur la plate-forme ORFEO (Outils et Ressources sur le Français Ecrit et Oral) (Benzitoun & Debaisieux, 2020), est le French Oral Narrative Corpus (Carruthers et al., 2013). Ce jeu de données regroupe 87 contes oraux narrés en français par des conteurs professionnels et semi-professionnels. Chaque conte n’apparaît qu’une fois dans le corpus, nous ne disposons pas de contes identiques racontés par deux locuteurs différents. Notons que ce corpus est un corpus de parole spontanée ce qui le différencie de SynPaFlex. Bien que le format conté de mémoire des contes se distingue d’un point de vue prosodique du format lu (Levin et al., 1982), il se rapproche toutefois de ce dernier d’un point de vue intentionnel. En effet dans ces deux cas, il est important de pouvoir partager une histoire de manière compréhensible et les pauses y jouent un rôle clé, bien que leur durée et leur fréquence différent. Il est à préciser qu’un prétraitement a été réalisé sur ces deux corpus : tous les symboles de ponctuation ont été retirés. Ce pré-traitement avait pour but d’aligner les deux corpus ensemble, le corpus conté n’étant pas doté de ponctuation. Par ailleurs, retirer la ponctuation de nos corpus présente aussi un intérêt pour notre étude puisque nous ne souhaitons pas développer un système dépendant des signes de ponctuation.

Pour annoter ces corpus, nous proposons d’utiliser les informations temporelles disponibles pour inférer la présence des pauses. Ces informations nous indiquent notamment la durée (en millisecondes) de chaque silence produit entre deux mots. Nous appellerons ici cette information "silence intermot". Précisons que tous les silences intermots, trop courts, ne peuvent être considérés comme des pauses (e.g. les occlusives). Toutefois, fixer un seuil strict pour la prédiction de pauses (tel que 150, 200 ou 300ms) n’est pas recommandé en raison de la variabilité temporelle des pauses et de la façon de s’exprimer du locuteur (Campione & Véronis, 2002a; Grosman et al., 2018). Sans seuil, Campione & Véronis (2002a) observent d’ailleurs manuellement des pauses descendant jusqu’à 60ms. Pour définir ce que nous pouvons considérer comme pause ou non, plusieurs analyses de corpus ont été réalisées. Bien que SynPaFlex se distingue du corpus French Oral Narrative Corpus (pauses plus courtes et moins nombreuses), nous ne pouvons savoir si ces différences sont dues au type de corpus ou à la manière de s’exprimer de la locutrice. Pour ces raisons, les observations sur les pauses, décrites ci-dessous, se concentrent sur le corpus Oral Narrative.

La figure 1 présente l’évolution de la durée des silences intermots observés dans le French Oral Narrative, percentile par percentile, pour chaque locuteur. Les courbes représentent les différents

<footnote n="2">2. Les textes conservés sont : *la fille du pirate* (1878) de Chevalier ; *la vampire* (1865) de Feval, *Madame Bovary* (1857) de Flaubert, *Carmen* (1845) et la vénus d’Ille (1835) de Mérimée, *les mystères de Paris* (1842) de Sue et, *Contes Sénégal et du Niger* (1913) de Zeltner.</footnote>
<figure><img src="image_26.png" /><figcaption>FIGURE 1 – Répartition des pauses faites dans le corpus Oral Narrative</figcaption></figure>

locuteurs, l'ordonnée correspondant au nombre de millisecondes et l'abscisse indiquant les percentiles. Cette visualisation est limitée aux percentiles supérieurs à 75, les durées intermots en dessous étant trop courtes pour être considérées comme des pauses silencieuses. En effet, à l'exception d'un locuteur, à 75 percentiles tous les silences intermots produits sont en dessous de 60ms. Cette illustration offre deux constats : 1) les locuteurs ne font pas le même pourcentage de pauses dans leurs silences intermots (ce pourcentage varie entre 22% et 12%) et 2) la durée d'une pause peut varier d'une personne à l'autre. Par exemple, les pauses les plus longues constatées pour chaque locuteur varient entre 1000ms et 2500ms. Ces observations doivent être interprétées avec prudence : les différences peuvent également provenir du contenu de l'histoire racontée par chaque locuteur, chaque récit étant différent des autres. Suite à cette étude, nous avons choisi de définir un seuil dynamique pour chaque locuteur et chaque histoire. Utiliser un seuil ne dépendant pas d'un nombre de millisecondes prédéfini pourrait offrir une meilleure prise en compte de la fluctuation des pauses et ainsi conduire à une lecture plus fluide et naturelle. Pour cela, nous appuyons sur deux critères : la taille de la pause en millisecondes et le percentile. Suite à notre étude et à la lecture de différentes études citées précédemment, nous considérons qu'une pause doit durer au minimum 80 ms et qu'un narrateur peut faire jusqu'à 22% de pauses silencieuses parmi les silences intermots observés. Pour chaque corpus, nous avons observé la longueur de toutes les pauses apparaissant à partir du percentile 78, puis avons incrémenté ce percentile jusqu'à trouver des longueurs de pauses correspondant à ces critères. Cette stratégie nous permet d'avoir un corpus annoté en pauses prenant en considération leur variabilité compte-tenu du locuteur et du corpus.

Parmi les pauses réalisées en texte lu, se distinguent les pauses brèves, moyennes et longues (Campione & Véronis, 2002b; Goldman et al., 2010; Grosman et al., 2018). Cependant, les seuils qui délimitent
ces pauses varient selon les études : celle de la pause courte est souvent comprise entre 100 ms et 250 ms (Campione & Véronis, 2002b; Goldman et al., 2010; Bailly & Gouvernayre, 2012), celle de la pause moyenne entre 500 ms et 1000 ms (Goldman et al., 2010; Campione & Véronis, 2002b) et à la pause longue correspond aux pauses de durées supérieures (Campione & Véronis, 2002b; Goldman et al., 2010). De même que le seuil qui sépare un silence d'une pause peut varier, nous pensons que les seuils qui distinguent une pause courte, moyenne ou longue peuvent varier selon les locuteurs. On constate sur la figure, il n'y a pas de séparation nette entre les différentes longueurs de pauses, un constat qu'avait également fait Campione & Véronis (2002b). Pour chaque locuteur, nous déterminons les percentiles parmi lesquels se trouvent les pauses, puis nous divisons ces percentiles en trois groupes de tailles égales afin d'obtenir les seuils correspondant aux pauses courtes, moyennes et longues. En moyenne, les seuils séparant les pauses courtes des moyennes sont de 350ms et celles séparant les moyennes des longues est de 950ms. Cette seconde stratégie permet de compléter le corpus annoté en pause par une seconde annotation en longueur de pauses.

La table 1 illustre le nombre de pauses courtes (C), moyennes (M) et longues (L) ainsi que leur total dans chaque corpus. À noter, les corpus ont été divisés au préalable en deux afin de constituer un corpus dédié à l'entraînement (train) et un autre dédié à l'évaluation (test). Pour SynPaFlex, cette division a été effectuée en extrayant 30% des lignes de chaque corpus pour constituer le corpus test et en conservant les autres pour le corpus train. Pour le French Oral Narrative Corpus, une division par ligne n'était pas possible, chaque fichier contenant un mot par ligne. Ainsi, nous avons procédé à la séparation des fichiers de contes en veillant, tant que possible, à ce que les mêmes locuteurs apparaissent à la fois dans les corpus de test et d'entraînement. Pour ce dernier cas, nous avons tenté d'avoir ici aussi un corpus train représentant 70% du corpus initial et un corpus test représentant 30% du corpus initial.

<table><caption>TABLE 1 – Nombre de pauses et de mots contenus dans chaque corpus.</caption><thead><tr><th>Datasets</th><th># Pauses C</th><th># Pauses M</th><th># Pauses L</th><th># Pauses</th><th># Mots</th></tr></thead><tbody><tr><td>SynPaflex train</td><td>2 702</td><td>3 164</td><td>3 047</td><td>8 913</td><td>54 426</td></tr><tr><td>Oral Narrative train</td><td>6 272</td><td>7 481</td><td>7 072</td><td>20 825</td><td>115 912</td></tr><tr><td>Total train</td><td>8 974</td><td>10 645</td><td>10 119</td><td>29 738</td><td>170 338</td></tr><tr><td>SynPaflex test</td><td>874</td><td>1 062</td><td>1 017</td><td>2 953</td><td>19 453</td></tr><tr><td>Oral Narrative test</td><td>2 659</td><td>3 101</td><td>2 960</td><td>8 720</td><td>48 747</td></tr><tr><td>Total test</td><td>3 533</td><td>4 163</td><td>3 977</td><td>11 673</td><td>68 200</td></tr></tbody></table>

# 4 Système d'apprentissage

Pour cette tâche, nous souhaitons reprendre un système faisant de la prédiction de ponctuation pour l'adapter à notre tâche : la prédiction de pauses silencieuses et de leur longueur. La sélection du système qui nous a servi de point de départ s'est faite sur deux critères : ce système devrait être au niveau de l'état de l'art pour la prédiction de ponctuation et devait être très performant pour le français. Notre choix s'est arrêté sur Unbelab (Rei et al., 2021) qui utilise un modèle multilingue (anglais, français, allemand et italien) proposant de prédire dans un texte les fins de phrases et les signes de ponctuation. Son système a été retenu gagnant à SEPP-NLG 2021 (Tuggener & Aghaebrahimian, 2021) et a obtenu de bons résultats pour le français.
Le système d'Unbelab étend le travail de Miguel Guerreiro et al. (2021). Il fonctionne comme suit : un encodeur pré-entraîné reposant sur un transformeur est tout d'abord mis en place. Cela permet la création d'embeddings pour chaque sous-mot et chaque couche du transformeur. Puis ils encapsulent toutes les couches de ce transformeur en un seul embedding à l'aide d'un mécanisme d'attention. Enfin, la dernière étape est dédiée aux têtes de classification qui concatenent les embeddings obtenus. Cela permet de les utiliser comme paramètres afin de prédire d'une part la fin d'une phrase et d'autre part le signe de ponctuation. Pour entraîner leur modèle, Rei et al. (2021) utilisent un système d'affinage. Ils combinent ainsi le modèle XLM-Roberta large (Conneau et al., 2020) à un jeu de données annoté pour la prédiction de fin de phase et ponctuation (corpus fourni par les organisateurs de SEPP-NLG 2021 (Tuggener & Aghaebrahimian, 2021)). Les paramètres, bien décrits dans le papier, sont divisés en deux parties : ceux pour XLM-Roberta large et ceux pour les têtes classification. Les paramètres de l'encodeur sont gelés durant les étapes de 0,1% de la première époque. Cela permet aux paramètres pour la classification de s'ajuster à l'objectif de la tâche avant de modifier, et ainsi affiner, ceux pré-entraînés. Entre chaque époque une évaluation est effectuée sur 50% des données. Si aucune amélioration n'est constatée pendant deux époques consécutives, l'entraînement est interrompu.

Notre modèle, Pauzee, reprend ce système et l'adapte à la prédiction de pause. Pour ce faire, nous avons principalement modifié les paramètres qui concernaient la tâche de classification. Nous avons ainsi remplacé les paramètres propres à la ponctuation par des paramètres propres aux pauses. Nous prenons ainsi en compte la prédiction de pauses avec deux valeurs possibles : "absence de pause" et "présence de pause" et la prédiction de la longueur d'une pause avec quatre valeurs possibles : "absence de pause", "pause courte", "pause moyenne" et "pause longue". Concernant l'entraînement nous continuons à utiliser le modèle de langue XLM-Roberta large que nous affinons, non plus au jeu de données fourni par SEPP-NLG 2021, mais aux deux jeux de données (French Oral Narrative Corpus et SynPaFlex) automatiquement annotés en pauses décrits dans la section 3, plus adaptés à notre tâche.

# 5 Résultats

Ce travail tente de comprendre dans quelle mesure des pauses silencieuses, produites par un humain à partir d'un texte lu, ainsi que leurs longueurs peuvent être prédites. L'évaluation de ces tâches de classification est réalisée avec des métriques classiques : la précision, le rappel et la F-mesure. Ces métriques sont calculées pour chacune des classes étudiées, leur macro-moyenne et leur moyenne pondérée.

Prédire la présence d'une pause à un endroit donné est une tâche de classification binaire. Nous ne disposons malheureusement pas des modèles et des corpus utilisés par les autres travaux décrits dans l'état de l'art et nous ne pouvons donc comparer notre système, Pauzee, aux leurs. Par conséquent, nous proposons d'utiliser deux approches de base :

- La première, "Syllabe", est naïve. Elle repose sur l'idée que les locuteurs font des pauses régulières. Grosjean & Deschamps (1973) montrent que la longueur médiane des espaces entre les pauses sont de 6 syllabes dans une description et de 15 syllabes dans une interview. Nous proposons donc d'ajouter une pause de manière régulière toutes les 7 syllabes. Pour déterminer le nombre de syllabes pris en compte, nous avons testé cette approche de base en allant de 5 à 15 syllabes. Plus le nombre de syllabes était élevé, meilleurs étaient les résultats pour la prédiction d'absence de pauses et moins bons étaient ceux pour la prédiction de pauses.
Le choix concernant nombre de syllabes s'est donc fait sur la macro-moyenne.

— La seconde, "Unbabel", propose de s'appuyer sur le système Unbabel initial entraîné pour de la prédiction de ponctuation. L'idée sous-jacente étant de mesurer l'apport des données d'entraînement que nous avons choisi d'utiliser pour affiner le modèle appris. Unbabel prédit non pas des pauses, mais de la ponctuation. Ainsi, pour prendre en compte ses résultats dans notre évaluation, tous les marqueurs de fin de phrases (".", "!", "?") ainsi que les virgules et point virgule prédits par Unbabel sont considérés comme une prédiction de pause.

Le tableau 2 montre, pour chaque classe prédite et en moyenne, les résultats obtenus par les approches de base et par Pauzee. La dernière colonne indique le nombre d'éléments concernés.

<table><caption>TABLE 2 – Résultats pour la prédiction de pauses.</caption><thead><tr><th>Système</th><th></th><th>Précision</th><th>Rappel</th><th>F-Mesure</th><th># éléments</th></tr></thead><tbody><tr><td rowspan="4">Syllabe</td><td>classe Absence Pause</td><td>0,84</td><td>0,81</td><td>0,83</td><td>56 489</td></tr><tr><td>classe Pause</td><td>0,23</td><td>0,27</td><td>0,25</td><td>11 673</td></tr><tr><td>macro-moyenne</td><td>0,53</td><td>0,54</td><td>0,54</td><td>68 162</td></tr><tr><td>moyenne pondérée</td><td>0,74</td><td>0,72</td><td>0,73</td><td>68 162</td></tr><tr><td rowspan="4">Unbabel</td><td>classe Absence Pause</td><td>0,92</td><td>0,93</td><td>0,93</td><td>56 489</td></tr><tr><td>classe Pause</td><td>0,65</td><td>0,63</td><td>0,64</td><td>11 673</td></tr><tr><td>macro-moyenne</td><td>0,79</td><td>0,78</td><td>0,79</td><td>68 162</td></tr><tr><td>moyenne pondérée</td><td>0,88</td><td>0,88</td><td>0,88</td><td>68 162</td></tr><tr><td rowspan="4">Pauzee</td><td>classe Absence Pause</td><td>0,93</td><td>0,95</td><td>0,94</td><td>56 489</td></tr><tr><td>classe Pause</td><td>0,73</td><td>0,64</td><td>0,68</td><td>11 673</td></tr><tr><td>macro-moyenne</td><td>0,83</td><td>0,79</td><td>0,81</td><td>68 162</td></tr><tr><td>moyenne pondérée</td><td>0,89</td><td>0,90</td><td>0,90</td><td>68 162</td></tr></tbody></table>

Plusieurs études ont montré que les pauses apparaissaient aux niveaux des frontières syntaxiques (Grosman et al., 2018). Dès lors, les résultats obtenus pas la "Syllabe" ne sont pas surprenant et ce d'autant plus sans prise en compte des débuts et fins de phrases (indication absente de nos corpus). En effet, les transformeurs utilisés par les systèmes Unbabel et Pauzee apprennent des représentations vectorielles de mots et de phrases à partir de grandes quantités de textes. Cela leur permet de prendre en compte de manière implicite de nombreuse informations syntaxiques telles que ces frontières. Concernant la tâche de prédiction de l'absence de pause, Unbabel et Pauzee obtiennent des résultats similaires. Concernant la tâche de prédiction d'une pause, les résultats obtenus sont plus éloquents au niveau de la précision obtenue par les deux tâches. Celui obtenu par Pauzee monte à 0,73 alors que celui d'Unbabel reste à 0,65. Le rappel obtenu montre que plusieurs pauses ne sont toujours pas prédites et que ce système d'apprentissage pourrait être encore amélioré. Cela s'explique notamment par le fait que certaines pauses sont plus propres au locuteur qu'au texte lu. Notons toutefois que le fait que le système Unbabel, appris sur de la ponctuation, et le notre, appris sur des pauses silencieuses, obtiennent des résultats similaires illustre bien la corrélation existante entre pause et ponctuation.

Quelques exemples de résultats des systèmes Unbabel et Pauzee sont partagés dans la table 3. Les exemples proviennent des corpus SynPaFlex ("Carmen" (1) et "Madame Bovary" (2)) et French Oral Narrative ("Mélusine" (3) et "La pierre barbue" (4)). Chacun de ces passages montrent les différentes découpes du texte en pauses <P> obtenues par Unbabel et par Pauzee. Pour certains passages, les deux propositions semblent acceptables et dépendent plutôt de la manière de raconter du locuteur. C'est par exemple, le cas des extraits 1 et 3. L'exemple 4 est intéressant. Il propose deux manières de raconter un même passage. Unbabel propose une version très ponctuée et contée. Notre système propose
<table><caption>TABLE 3 – Exemples de pauses prédites.</caption><tr><td>Unbabel</td><td>1) je me sentais près de pleurer &lt;P&gt; je lui dis que je reviendrais et je me sauvai &lt;P&gt;<br/>2) le soir &lt;P&gt; après le maigre diner de son propriétaire &lt;P&gt; il remontait à sa chambre et se remettait<br/>au travail dans ses habits mouillés qui fumaient sur son corps &lt;P&gt; devant le poêle rougi &lt;P&gt;<br/>3) on était samedi soir &lt;P&gt; Raymondin a reçu la nouvelle tout seul et il a eu toute la nuit pour y<br/>penser &lt;P&gt; et le dimanche matin &lt;P&gt; Mélusine est arrivée tout doucement vers lui<br/>4) la hyène &lt;P&gt; elle &lt;P&gt; rôdait partout &lt;P&gt; affamée comme une bête &lt;P&gt; quand &lt;P&gt; un jour &lt;P&gt;<br/>elle est allée au fond d' une vallée &lt;P&gt;</td></tr><tr><td>Pauzee</td><td>1) je me sentais près de pleurer &lt;P&gt; je lui dis que je reviendrais &lt;P&gt; et je me sauvai &lt;P&gt;<br/>2) le soir après le maigre diner de son propriétaire &lt;P&gt; il remontait à sa chambre &lt;P&gt; et se remettait<br/>&lt;P&gt; au travail dans ses habits mouillés &lt;P&gt; qui fumaient sur son corps &lt;P&gt; devant le poêle rougi &lt;P&gt;<br/>3) on était samedi soir &lt;P&gt; Raymondin a reçu la nouvelle tout seul &lt;P&gt; et il a eu toute la nuit<br/>pour y penser &lt;P&gt; et le dimanche matin &lt;P&gt; Mélusine est arrivée tout doucement vers lui &lt;P&gt;<br/>4) la hyène elle rôdait partout affamée comme une bête &lt;P&gt; quand un jour elle est allée au fond<br/>d' une vallée &lt;P&gt;</td></tr></table>

une version plus épurée, peut être trop pour paraître naturel. L'exemple 2 est plus problématique : Unbabel ne le segmente pas assez et nous fait prononcer 19 mots d'affilée sans aucune pause. Pauzee, lui, le segmente trop. Il propose par exemple une pause après le mot "remettait", ce qui gène la compréhension. Pour être acceptable cette pause devrait être à peine perceptible. Ces exemples nous montrent ainsi les limites des deux systèmes.

La seconde question à laquelle nous souhaitons répondre est relative à la longueur des pauses. Elle tend à préciser notre compréhension des résultats présentés plus haut. Il s'agit, cette fois-ci, d'une tâche de classification en classes multiples. Le tableau 4 illustre les résultats obtenus pour cette seconde tâche. Aux vues des résultats obtenus ici, on constate que la prédiction de l'absence de pauses concorde avec les résultats précédents mais que la prédiction des différents types de pauses est plus complexe à interpréter. La matrice de confusion proposée en figure 2 illustre de manière plus précises les résultats obtenus pour chaque classe. Cette matrice a été normalisée par ligne donc en fonction des pauses attendues.

<table><caption>TABLE 4 – Résultats pour la prédiction de longueur des pauses.</caption><thead><tr><td>Système</td><td>Précision</td><td>Rappel</td><td>F-Mesure</td><td># éléments</td></tr></thead><tbody><tr><td>classe Absence Pause</td><td>0,90</td><td>0,98</td><td>0,94</td><td>56 489</td></tr><tr><td>classe Pause C</td><td>0,25</td><td>0,00</td><td>0,00</td><td>3 533</td></tr><tr><td>classe Pause M</td><td>0,33</td><td>0,15</td><td>0,21</td><td>4 163</td></tr><tr><td>classe Pause L</td><td>0,48</td><td>0,63</td><td>0,55</td><td>3 977</td></tr><tr><td>macro-moyenne</td><td>0,49</td><td>0,44</td><td>0,42</td><td>68 162</td></tr><tr><td>moyenne pondérée</td><td>0,81</td><td>0,86</td><td>0,82</td><td>68 162</td></tr></tbody></table>

On constate tout d'abord que l'absence de pauses demeure bien prédite. C'est lors de la prédiction des pauses que Pauzee rencontre plus de difficultés. Les pauses courtes ne sont ici jamais prédites. Les pauses moyennes ne sont correctement prédites que pour 15% d'entre elles. Toutefois, on note que 48% d'entre elles sont bien reconnues en tant que pauses. Enfin, les pauses longues sont bien prédites pour 63% d'entre elles et 73% d'entre elles sont reconnues comme pauses. Ainsi, plus une pause est longue, plus elle semble évidente à prédire. Cela s'explique principalement par la variabilité des pauses. Les pauses longues sont probablement celles qui sont les plus communes à tous les
<figure><img src="image_27.png" /><figcaption>FIGURE 2 – Matrice de confusion des résultats normalisés</figcaption></figure>

locuteurs. Il s'agit de pauses marquant souvent des fins de phrases ou de paragraphes. Leurs contextes d'apparition sont, par conséquent, plus réguliers. Les pauses courtes, quant à elles, semblent plus propres au locuteur. Elles apparaissent généralement au milieu des phrases et ont tendance à être optionnelles, ce qui rend leur prédiction moins claire. Par ailleurs, il est important de noter que plus une pause est brève moins elle est audible. On peut donc se demander si chaque pause courte de notre corpus serait annotée comme telle lors d'une tâche d'annotation manuelle. Les résultats obtenus dans la table 4 sont ainsi dus à cette variabilité mais aussi au fait que notre système d'évaluation est trop strict. Il considère de même importance une erreur portant sur la prédiction d'une pause et une portant sur une confusion entre deux longueurs de pauses. Avec un système plus flexible, capable de considérer que ne pas prédire une pause doit être plus sanctionné qu'une erreur portant sur sa longueur, la F-Mesure de la macro-moyenne peuvent monter à 0,59 et celle de la moyenne pondérée à 0,86.

## 6 Conclusion

Dans cet article, nous présentons un système de prédiction des pauses silencieuses qui peuvent survenir lors de la lecture à voix haute d'un texte. Cette prédiction peut être utilisée pour améliorer les outils de synthèse vocale. Notre système, Pauzee, utilise un modèle de prédiction de ponctuation basé sur des transformeurs. Une méthode qui, à notre connaissance, n'avait pas été proposée auparavant dans la littérature. Nous avons entraîné Pauzee sur des données inférées plutôt que manuellement annotées car il n'existe pas de données spécifiques pour la prédiction de pauses en français. Ce système d'inférence offre une meilleure prise en compte de la fluctuation des temps de pauses qui peuvent apparaître d'un
locuteur à l'autre et entre différents type de corpus. Cela nous permet d'obtenir des données annotées pour chaque locuteur. Peu bruyant, Pauzee produit des résultats encourageants. Nous pouvons noter les pauses prédites sont en bonne partie corrélées à de la ponctuation, les autres restent toutefois un défi. Nos résultats mettent par ailleurs en évidence la variabilité des pauses silencieuses. Étant donné que chaque élément de notre corpus est lu ou narré par une seule personne, il est difficile de distinguer les pauses spécifiques au locuteur de celles communes à tous les locuteurs. On constate cependant que plus une pause est longue plus elle est prévisible et probablement attendue de tous.

Nos résultats pourraient être améliorés à plusieurs niveaux. Apprendre à prédire plus finement les pauses communes à tous les locuteurs et celles qui sont plus optionnelles est une première piste. Comme nous avons pu le constater, parfois plusieurs annotations semblent acceptables à l'oreille humaine. Par conséquent, une évaluation humaine de ce travail serait pertinente. Même si nos résultats ne sont pas identiques à ceux attendus dans le corpus d'évaluation, ils pourraient finalement être perçus comme valides par des humains. En outre, les seuils dynamiques de notre système d'inférence pourrait être mieux adaptés. La définition de pauses courtes demeure ici encore trop ambiguë et trop permissive. Enfin, les caractéristiques du locuteur ne sont pas prises en compte dans ce travail, les ajouter dans notre système pourrait le rendre plus précis et réduire le nombre d'erreurs.

Références

ALEXANDERSON S., SZÉKELY É., HENTER G. E., KUCHERENKO T. & BESKOW J. (2020). Generating coherent spontaneous speech and gesture from text. In *Proceedings of the 20th ACM International Conference on Intelligent Virtual Agents*, p. 1–3.

APEL J., NEUBARTH F., PIRKER H. & TROST H. (2004). Have a break! modelling pauses in german speech. In *KONVENS*, p. 5–12.

ATTETERER M. (2002). Assigning prosodic structure for speech synthesis : a rule-based approach. In *Speech Prosody 2002, International Conference*.

BACHENKO J. & FITZPATRICK E. (1990). A computational grammar of discourse-neutral prosodic phrasing in english. *Computational Linguistics*, **16**, 155–170.

BAILLY G. & GOUVERNAYRE C. (2012). Pauses and respiratory markers of the structure of book reading. In *Interspeech 2012-13th Annual Conference of the International Speech Communication Association*, p. Thu–O9d.

BENZITOUN C. & DEBAISIEUX J.-M. (2020). Orféo : un corpus et une plateforme pour l'étude du français contemporain. HAL : [hal-03011344](https://hal.inria.fr/hal-03011344).

CAMPIONE E. & VÉRONIS J. (2002a). Etude des relations entre pauses et ponctuations pour la synthèse de la parole à partir de texte. In *Actes de la 9ème conférence sur le Traitement Automatique des Langues Naturelles. Articles longs*, p. 177–186, Nancy, France : ATALA.

CAMPIONE E. & VÉRONIS J. (2002b). A large-scale multilingual study of silent pause duration. In *Speech prosody 2002, international conference*.

CANDEA M. (2000). *Contribution à l'étude des pauses silencieuses et des phénomènes dits" d'hésitation" en français oral spontané. Etude sur un corpus de récits en classe de français.* Thèse de doctorat, Université de la Sorbonne nouvelle-Paris III.

CARRUTHERS J. et al. (2013). French oral narrative corpus. *Oxford Text Archive Core Collection*.
CONNEAU A., KHANDELWAL K., GOYAL N., CHAUDHARY V., WENZEK G., GUZMÁN F., GRAVE E., OTT M., ZETTLEMOYER L. & STOYANOV V. (2020). Unsupervised cross-lingual representation learning at scale. In *Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics*, p. 8440–8451, Online : Association for Computational Linguistics. DOI : 10.18653/v1/2020.acl-main.747.

FREITAS D. & KOUROUPETROGLOU G. (2008). Speech technologies for blind and low vision persons. *Technology and Disability*, **20**, 135–156. DOI: 10.3233/TAD-2008-20208.

GOLDMAN J.-P., FRANÇOIS T., ROEKHAUT S., SIMON A. C. *et al*. (2010). Étude statistique de la durée pausale dans différents styles de parole. *Journées d'Etude sur la Parole (JEP)*.

GROSJEAN F. & DESCHAMPS A. (1973). Analyse des variables temporelles du français spontané. *Phonetica*, **28**(3-4), 191–226.

GROSJEAN F. & DESCHAMPS A. (1975). Analyse contrastive des variables temporelles de l'anglais et du français : vitesse de parole et variables composantes, phénomènes d'hésitation. *Phonetica*, **31**(3-4), 144–184.

GROSMAN I., SIMON A. C. & DEGAND L. (2018). Variation de la durée des pauses silencieuses : impact de la syntaxe, du style de parole et des disfluences. *Langages*, **211**, 13–40. DOI: 10.3917/lang.211.0013.

GUHR O., SCHUMANN A.-K., BAHRMANN F. & BÖHME H.-J. (2021). Fullstop : Multilingual deep models for punctuation prediction. In *Swiss Text Analytics Conference*.

KERI V., PAMMI S. C. & PRAHALLAD K. (2007). Pause prediction from lexical and syntax information. In *Proceedings of International Conference on Natural Language Processing (ICON)*.

LEVIN H., SCHAFFER C. A. & SNOW C. (1982). The prosodic and paralinguistic features of reading and telling stories. *Language and speech*, **25**(1), 43–54.

MICHAIL A., WEHRLI S. & BUCKOVÁ T. (2021). Uzh onpoint at swisstext-2021 : Sentence end and punctuation prediction in nlg text through ensembling of different transformers (short paper). In *Swiss Text Analytics Conference*.

MIGUEL GUERREIRO N., REI R. & BATISTA F. (2021). Towards better subtitles : A multilingual approach for punctuation restoration of speech transcripts. *Expert Systems with Applications*, **186**, 115740. DOI: 10.1016/j.eswa.2021.115740.

OSTENDORF M. & VEILLEUX N. M. (1994). A hierarchical stochastic model for automatic prediction of prosodic boundary location. *Computational Linguistics*, **20**(1), 27–54.

PASCUAL S. & BONAFONTE A. (2016). Prosodic break prediction with rnns. In *Advances in Speech and Language Technologies for Iberian Languages : Third International Conference, IberSPEECH*, p. 64–72. DOI: 10.1007/978-3-319-49169-1_7.

REI R., BATISTA F., GUERREIRO N. M. & COHEUR L. (2021). Multilingual simultaneous sentence end and punctuation prediction (short paper). In *Swiss Text Analytics Conference*.

SINI A., LOLIVE D., VIDAL G., TAHON M. & DELAIS-ROUSSARIE É. (2018). SynPaFlex-corpus : An expressive French audiobooks corpus dedicated to expressive speech synthesis. In *Proceedings of the Eleventh International Conference on Language Resources and Evaluation (LREC 2018)*, p. 328–333, Miyazaki, Japan : European Language Resources Association (ELRA). HAL : hal-01826690.

SORIN C., LARREUR D. & LLORCA R. (1987). A rhythm-based prosodic parser for text-to-speech systems in french. *XIème Congrès International des Sciences Phonétiques*, p. 125–128.
STEINHAEUSSER S. C., SCHAPER P. & LUGRIN B. (2021). Comparing a robotic storyteller versus audio book with integration of sound effects and background music. In *Companion of the 2021 ACM/IEEE International Conference on Human-Robot Interaction*, HRI '21 Companion, p. 328–333, New York, NY, USA: Association for Computing Machinery. DOI: 10.1145/3434074.3447186.

SUNKARA M., RONANKI S., BEKAL D., BODAPATI S. B. & KIRCHHOFF K. (2020). Multimodal semi-supervised learning framework for punctuation prediction in conversational speech. In *Interspeech 2020*, p. 4911–4915. DOI: 10.21437/Interspeech.2020-3074.

SZÉKELY É., HENTER G. E., BESKOW J. & GUSTAFSON J. (2020). Breathing and speech planning in spontaneous speech synthesis. In *ICASSP 2020-2020 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP)*, p. 7649–7653: IEEE.

SZÉKELY É., HENTER G. E. & GUSTAFSON J. (2019). Casting to corpus: Segmenting and selecting spontaneous dialogue for tts with a cnn-lstm speaker-dependent breath detector. In *ICASSP 2019-2019 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP)*, p. 6925–6929: IEEE.

TAYLOR P. & BLACK A. W. (1998). Assigning phrase breaks from part-of-speech sequences. *Comput. Speech Lang.*, **12**(2), 99–117. DOI: 10.1006/csla.1998.0041.

TUGGENER D. & AGHAEBRAHIMIAN A. (2021). The sentence end and punctuation prediction in nlg text (sepp-nlg) shared task 2021. In *Swiss Text Analytics Conference*.

WANG S., ALEXANDERSON S., GUSTAFSON J., BESKOW J., HENTER G. E. & SZ'EKELY E. (2021). Integrated speech and gesture synthesis. *Proceedings of the 2021 International Conference on Multimodal Interaction*.
# Reconnaissance de défigements dans des tweets en français par similarité d'alignements textuels

Julien Bezançon¹,² Gaël Lejeune¹,²

(1) STIH, 28 rue Serpente, 75006 Paris, France

(2) CERES, 28 rue Serpente, 75006 Paris, France

julienbezancon@gmail.com, gael.lejeune@sorbonne-universite.fr

## RÉSUMÉ

Cet article propose une première approche permettant la reconnaissance automatique de défigements linguistiques dans un corpus de tweets. Les recherches portant sur le domaine du figement ont gagné en popularité depuis quelques décennies. De nombreux travaux dérivés de cette notion sont également apparus, portant sur le phénomène corollaire du défigement. Alors que les linguistes essayent de décrypter les modes de construction de ces exemples de créativité lexicale, peu de travaux de recherche en TAL s'y sont intéressés. La problématique qu'offre le cas du défigement est pourtant intéressante : des outils informatiques peuvent-ils être en mesure de reconnaître automatiquement un défigement ? Nous présentons ici une méthodologie basée sur des alignements de séquences réalisés sur diverses couches d'informations linguistiques. Cette méthodologie permet l'isolement de potentiels défigements au sein d'un corpus de tweets. Nous expérimentons ensuite une méthode de tri par similarité des défigements potentiels isolés.

## ABSTRACT

### Recognition of unfrozen expressions in french tweets using similarity measures

This paper proposes a first approach for the automatic recognition of unfrozen expressions in a corpus of tweets. Research on frozen expressions has been gaining in popularity for a few decades. Similarly, many works derived from this notion have emerged, dealing with the phenomenon of unfreezing. While linguists try to understand the modes of appearance of this phenomenon and its relation to the freezing effect, no research work in computer science has focused on it. However, the scientific question that arises with freezing/unfreezing is interesting : can computer tools automatically recognize an unfrozen expression ? We present here a methodology based on sequence alignments performed on various linguistic layers. This methodology allows the isolation of possible unfrozen expressions within a corpus of tweets. We then use different similarity methods to sort these possible unfrozen expressions.

**MOTS-CLÉS** : Figement linguistique, Expression Figées, Défigement, Alignement, Similarité.

**KEYWORDS** : Frozen expressions, Unfrozen expressions, Alignment, Similarity.

# 1 Introduction

Le figement est le phénomène par lequel une séquence de mots va se fixer, faisant ainsi perdre aux différents termes leur sens individuel au profit d'un sens global faiblement compositionnel. Cette notion figure au cœur de nombreux travaux, bien qu'il n'y ait pas de définition univoque de ce phénomène (Lamiroy, 2008). Il en résulte un manque de propriétés formelles fiables permettant la

<figure><img src="image_28.png" /></figure>
reconnaissance automatique de ces phénomènes. Toutefois, certains chercheurs ont développé des ressources lexicales et des méthodes consacrées à la reconnaissance automatique de séquences figées (ci-après SF) en français (Leclère, 2000; Mejri, 2005; Fort et al., 2018, 2020) comme pour d'autres langues (Baptista et al., 2004; Català & Baptista, 2007; Tan et al., 2021).

La notion de défigement linguistique est intimement liée à la notion de figement. Le défigement est un phénomène qui vient briser une SF en lui retirant son caractère monolithique à la suite d'une ou plusieurs transformations linguistiques (Eline & Zhu, 2014). (Gross, 1996) va jusqu'à considérer le défigement comme un critère de reconnaissance du figement. À notre connaissance, contrairement aux SF, il n'existe pas de travaux de recherches s'intéressant spécifiquement à la reconnaissance automatique de séquences défigées (SD) à l'exception peut être de travaux sur la production de jeu de mots, énoncés que l'on peut voir comme des cas particuliers de défigements linguistiques (Valitutti et al., 2013). Pourtant, ceci serait d'un intérêt triple d'un point de vue linguistique : (I) caractériser le figement d'expressions par leur productivité en termes de SD ; (II) détecter l'apparition de figements en « en temps réel » et (III) étudier les processus permettant aux locuteurs humains de reconnaître ces défigements. Nous faisons l'hypothèse qu'il est possible d'exploiter une méthodologie automatique permettant à des experts linguistiques d'explorer des corpus de manière non-supervisée afin d'opérer une veille informatisée d'un grand intérêt pour des chercheurs en linguistique.

Cet article est organisé de la façon suivante : dans la section 2 nous étudions les notions de figement et de défigement afin d'identifier les propriétés permettant de reconnaître automatiquement ces défigements à l'aide d'outils informatiques, dans la section 3 nous composons un corpus de tweets avec des défigements candidats, puis dans les sections 4 et 5 nous proposons des observations qualitatives et quantitatives sur les séquences défigées que nous avons extraites avant de proposer quelques perspectives de ce travail dans la section 6.

## 2 Propriétés linguistiques du défigement

**Intrication des concepts de figement et de défigement** Le figement linguistique se définit par trois critères principaux, issus de l'abondante littérature sur le sujet (Gross, 1982; Rommers et al., 2013; Molinaro & Carreiras, 2010; Lamiroy, 2008; Mejri, 2005) :

**non-compositionnalité du sens** : on ne peut pas réduire le sens d'un figement au sens de chaque unité le composant, un sens global émerge;

**non-modifiabilité de la structure** : l'ordre des mots composant le figement reste identique;

**non-substituabilité des termes** : on ne peut pas remplacer l'un des termes du figement, même par un synonyme.

Le défigement vient « briser » un figement, les trois critères décrivant le figement permettent donc de détecter qu'un défigement se manifeste : « toute atteinte à la fixité formelle et à la globalité sémantique d'une SF serait considérée comme un défigement » (Mejri, 2009). Les études sur la notion de défigement s'accordent à dire que la reconnaissance d'un défigement implique au préalable la reconnaissance par le locuteur du figement dont il est issu (Fiala & Habert, 1989; Eline & Zhu, 2014) et que seul ce qui est figé se défige (Greciano, 1985). Pour caractériser chaque défigement, il faut par conséquent pouvoir identifier le figement à partir duquel ce défigement se forme. Une première piste pour notre travail de reconnaissance de SD est de créer une ressource de SF afin d'orienter les recherches et guider la reconnaissance. Selon (Eline & Zhu, 2014), au contraire du figement, le défigement est motivé, on peut donc considérer que l'on a une « remotivation » du figement, il faut que sa formation soit justifiée. Ce critère permet notamment de différencier l'énoncé fautif, par
exemple une SF mal reconstituée par un locuteur<fnref n="1" />, d'un réel défigement. Ce critère étant difficile à caractériser automatiquement, nous considérons ici que cette distinction serait réalisée par un expert linguiste en aval de la chaîne de traitement automatique. (Eline & Zhu, 2014) précisent également que « toutes les séquences figées sont défigeables, mais toutes n'ont pas la même possibilité de défigement ». Les auteurs ajoutent que « plus la construction d'une SF est rare, plus la SF est apte à un défigement. ». Ces propriétés de productivité en défigements d'une SF et de fréquence nous seront utiles pour pouvoir mesurer parmi les défigements candidats ceux qui sont les plus intéressants en termes de créativité lexicale.

**Degré de figement et défigement** Toute séquence de mots possible dans la langue est en réalité plus ou moins figée, se plaçant dans un *continuum* allant de l'énoncé libre à la séquence figée (Gross, 1982; Mejri, 1998). Pour décrire ce phénomène, la littérature fait référence aux notions de degré de figement et d'opacité sémantique. Les semi-figements et quasi-figements (Mejri, 2005; François & Manguin, 2006) s'opposent ainsi aux figements absolus qui sont des figements non formellement contraints. Ces catégories de figement acceptent différentes variations et les SF y appartenant sont identifiées grâce à différents tests linguistiques tels que ceux effectués dans (Gross, 1982). (Nunberg et al., 1994) précise qu'une SF peut posséder une interprétation littérale et une interprétation figée, pouvant être corrélées au sens compositionnel. En plus de variations formelles, nous pouvons donc observer des variations sémiques et un sens plus ou moins global en fonction des SF. Cette notion de degré de figement peut être problématique pour le TAL : une perte de la globalité du sens signifie-t-elle que nous sommes face à un défigement, ou à une SF avec un faible degré de figement ? Comment différencier une SF avec un degré de figement faible d'une SD ? Existe-t-il des cas ambigus ? Nous observons une relation entre degré de figement et défigement. Selon (Cusimano, 2015), une expression figée avec un degré de figement élevé a plus de chance de donner un défigement avec un degré de figement élevé.

**Procédés de formation des défigements** Nous identifions plusieurs procédés par lesquels des SD sont formées. (Galisson, 1993) parle de filiation phonique et de destructuration syntaxique. (Lecler, 2004) considère les défigement comme marqueurs dialogiques. (Eline & Zhu, 2014) font état d'un viol de la structure syntaxique, de la norme orthographique et d'une détérioration de la structure formelle des figements. Afin de visualiser ces changements avec des outils informatiques, nous devons récupérer des informations linguistiques sur plusieurs couches. Nous désirons analyser les couches syntaxiques, phonétiques et lexicales des expressions figées de notre corpus de figement et des possibles défigements de notre jeu de données. Tous les procédés de formation des défigements que nous venons de décrire illustrent des défigements marqués formellement : nous pouvons distinguer à la lecture le figement dont ils sont issus et les modifications apportées à la SF. Nous devons les dissocier des défigements non marqués formellement (Eline & Zhu, 2014). Ces défigements ne connaissent pas de changements formels par rapport aux figements dont ils sont issus. Leur statut de défigement est dû à des modifications de sens ou de prononciation par rapport à leur figement d'origine. Ils s'identifient donc exclusivement à l'aide du contexte dans lequel on les retrouve. Pour cette étude, nous nous intéressons exclusivement aux défigements analysables hors contexte. Afin de disposer d'un corpus de taille suffisante avec une créativité lexicale variée, nous avons choisi de nous intéresser aux réseaux sociaux numériques, et en l'espèce à TWITTER. Il s'agit de disposer de suffisamment d'exemples originaux pour avoir à la fois des « vrais positifs », de réels défigements, mais aussi des faux positifs, des contre-exemples qui vont permettre de questionner la qualité des algorithmes d'identification. La création de ce corpus est décrite dans la section suivante.

<footnote n="1">1. Par exemple dire « être sur un même pied d'égalité » au lieu de « être sur un pied d'égalité »</footnote>