<figure><img src="image_1.png" /></figure>

HAL
open science

# Actes de CORIA-TALN 2023. Actes de la 30e Conférence sur le Traitement Automatique des Langues Naturelles (TALN)

Christophe Servan, Anne Vilnat

## ► To cite this version:

Christophe Servan, Anne Vilnat. Actes de CORIA-TALN 2023. Actes de la 30e Conférence sur le Traitement Automatique des Langues Naturelles (TALN). CORIA - TALN 2023, 2023. hal-04462975

HAL Id: hal-04462975

https://hal.science/hal-04462975v1

Submitted on 16 Feb 2024

HAL is a multi-disciplinary open access archive for the deposit and dissemination of scientific research documents, whether they are published or not. The documents may come from teaching and research institutions in France or abroad, or from public or private research centers.

L'archive ouverte pluridisciplinaire HAL, est destinée au dépôt et à la diffusion de documents scientifiques de niveau recherche, publiés ou non, émanant des établissements d'enseignement et de recherche français ou étrangers, des laboratoires publics ou privés.

<figure><img src="image_2.png" /></figure>

Distributed under a Creative Commons Attribution 4.0 International License
<figure><img src="image_3.png" /></figure>

<figure><img src="image_4.png" /></figure>

18e Conférence en Recherche d'Information et Applications,
16e Rencontres Jeunes Chercheurs en RI,
30e Conférence sur le Traitement Automatique des Langues Naturelles,
25e Rencontre des Étudiants Chercheurs en Informatique pour le
Traitement Automatique des Langues
(CORIA-TALN)<fnref n="1" />

Actes de CORIA-TALN 2023.

Actes de la 30e Conférence sur le Traitement Automatique des Langues Naturelles (TALN),

volume 4 : articles déjà soumis ou acceptés en conférence internationale

Christophe Servan, Anne Vilnat (Éds.)

Paris, France, 5 au 9 juin 2023

<footnote n="1">1. https://coria-taln-2023.sciencesconf.org/</footnote>
<figure><img src="image_5.png" /></figure>

<figure><img src="image_6.png" /></figure>

<figure><img src="image_7.png" /></figure>

<figure><img src="image_8.png" /></figure>

<figure><img src="image_9.png" /></figure>

<figure><img src="image_10.png" /></figure>

<figure><img src="image_11.png" /></figure>

SORBONNE
UNIVERSITÉ

université
PARIS-SACLAY

GRADUATE SCHOOL
Informatique
et Sciences
du Numérique

<figure><img src="image_12.png" /></figure>

eDF

<figure><img src="image_13.png" /></figure>

<figure><img src="image_14.png" /></figure>

modyco

Modèles, Dynamiques, Corpus
UMR 7114

<figure><img src="image_15.png" /></figure>

scai
SORBONNE CENTER FOR
ARTIFICIAL INTELLIGENCE

Soutenu
par

<figure><img src="image_16.png" /></figure>

MINISTÈRE
DE LA CULTURE

Liberté
Égalité
Fraternité

<figure><img src="image_17.png" /></figure>

Institut national
des langues
et civilisations orientales

<figure><img src="image_18.png" /></figure>

Sens Texte
Informatique
Histoire
# Préface

Organisée conjointement par les laboratoires franciliens sous l'égide de l'Association francophone de Recherche d'Information et Applications (ARIA) et l'Association pour le Traitement Automatique des Langues (ATALA), la conférence CORIA-TALN-RJCRI-RECITAL 2023 regroupe :

— la 18ème Conférence en Recherche d'Information et Applications (CORIA)

— la 30ème Conférence sur le Traitement Automatique des Langues Naturelles (TALN);
ainsi que les deux conférences associées, destinées aux jeunes chercheuses et chercheurs :

— Les 16ème Rencontres Jeunes Chercheurs en RI (RJCRI)

— la 25ème Rencontre des Etudiants Chercheurs en Informatique pour le Traitement Automatique des Langues (RECITAL)

La conférence TALN (Traitement Automatique des Langues Naturelles) est un rendez-vous annuel qui offre, depuis 1994, le plus important forum d'échange international francophone aux acteurs universitaires et industriels des technologies de la langue. Cet événement, qui accueille habituellement près de 250 participants, couvre toutes les avancées récentes en matière de communication écrite et parlée et de traitement informatique de la langue notamment la recherche et l'extraction d'information, la fouille de textes, le dialogue homme-machine, la fouille d'opinions, la traduction automatique, les systèmes de questions-réponses, le résumé automatique...

Cette année, ont été soumis 51 articles longs et 12 articles courts pour la conférence principale, dont respectivement 29 ont été acceptés pour une présentation orale (dont 2 prises de position) et 9 pour une présentation sous forme de posters. 19 présentations courtes, sous forme de posters, d'articles déjà publiés lors de conférences internationales complètent le programme de la conférence, ainsi que des démonstrations et des présentations de projets en cours. L'alternance de sessions communes entre TALN, CORIA et RJC et de sessions plus spécifiques devraient permettre de susciter des échanges fructueux.

En complément de la conférence principale, se tiennent les ateliers "Défi Fouille de Texte" (DEFT), "Atelier sur l'analyse et la recherche de textes scientifiques" (ARTS), "Humain ou pas humain ? : les nouveaux défis pour les humains" (hOUPSh) et le tutoriel "Apprentissage Profond pour le TAL français pour les debutants" (TutoriAL). Ces ateliers et tutoriel illustrent à la fois des tendances nouvelles présentes dans la communauté et des activités récurrentes.

Un grand merci à toutes celles et tous ceux qui ont soumis leurs travaux, ainsi qu'aux membres du comité de programme et aux relectrices et relecteurs pour le travail qu'ils ont accompli. Ce sont eux qui font vivre la conférence. Merci au comité d'organisation réparti sur la région parisienne, et aux sponsors qui nous ont permis d'organiser cet événement.

Christophe Servan et Anne Vilnat, co-présidents de TALN
# Comités

## Comité de programme

### Présidents

- Christophe SERVAN

- Anne VILNAT

### Membres

- Rachel BAWDEN

- Caroline BRUN

- Marie CANDITO

- Rémi CARDON

- Pascal DENIS

- Yannick ESTEVE

- Benoît FAVRE

- Amel FRAISSE

- Thomas GERALD

- Natalia GRABAR

- Lydia-Mai HO-DAC

- José MORENO

- Vassilina NIKOULINA

- Yannick PARMENTIER

- Sylvain POGODALLA

- Solène QUINIOU

- Didier SCHWAB

- Iris TARAVELLA-ESHKOL

## Comité d'organisation

- Marie CANDITO

- Thomas GERALD

- José MORENO

- Benjamin PIWOWARSKI

- Christophe SERVAN

- Laure SOULIER

- Anne VILNAT
Table des matières

Questionner pour expliquer : construction de liens explicites entre documents par la génération automatique de questions 1

Elie Antoine, Hyun Jung Kang, Ismaël Rousseau, Ghislaine Azémard, Frédéric Béchet, Géraldine Damnati

HATS : Un jeu de données intégrant la perception humaine appliquée à l'évaluation des métriques de transcription de la parole 10

Thibault Bañeras-Roux, Jane Wottawa, Mickael Rouvier, Teva Merlin, Richard Dufour

Résumé automatique multi-documents guidé par une base de résumés similaires 19

Florian Baud, Alexandre Aussem

Traduction à base d'exemples du texte vers une représentation hiérarchique de la langue des signes 28

Elise Bertin-Lemée, Annelies Braffort, Camille Challant, Claire Danet, Michael Filhol

Annotation Linguistique pour l'Évaluation de la Simplification Automatique de Textes 35

Rémi Cardon, Adrien Bibal, Rodrigo Wilkens, David Alfter, Magali Norré, Adeline Müller, Patrick Watrin, Thomas François

Un mot, deux facettes : traces des opinions dans les représentations contextualisées des mots 49

Aina Garí Soler, Matthieu Labeau, Chloe Clavel

PromptORE - Vers l'Extraction de Relations non-supervisée 58

Pierre-Yves Genest, Pierre-Edouard Portier, Előd Egyed-Zsigmond, Laurent-Walter Goix

Injection de connaissances temporelles dans la reconnaissance d'entités nommées historiques 65

Carlos-Emiliano González-Gallardo, Emanuela Boros, Edward Giamphy, Ahmed Hamdi, Jose Moreno, Antoine Doucet

Oui mais... ChatGPT peut-il identifier des entités dans des documents historiques ? 74

Carlos-Emiliano González-Gallardo, Emanuela Boros, Nancy Girdhar, Ahmed Hamdi, Jose Moreno, Antoine Doucet

De l'interprétabilité des dimensions à l'interprétabilité du vecteur : parcimonie et stabilité 83

Simon Guillot, Thibault Prouteau, Nicolas Dugue

Effet de l'anthropomorphisme des machines sur le français adressé aux robots : Étude du débit de parole et de la fluence 92

Natalia Kalashnikova, Mathilde Hutin, Ioana Vasilescu, Laurence Devillers

Détection de la nasalité du locuteur à partir de réseaux de neurones convolutifs et validation par des données aérodynamiques 101

Lila Kim, Cedric Gendrot, Amélie Elmerich, Angelique Amelot, Shinji Maeda

DrBERT : Un modèle robuste pré-entraîné en français pour les domaines biomédical et clinique 109
Yanis Labrak, Adrien Bazoge, Richard Dufour, Mickael Rouvier, Emmanuel Morin, Béatrice Daille, Pierre-Antoine Gourraud

Classification automatique de données déséquilibrées et bruitées : application aux exercices de manuels scolaires 121

Elise Lincker, Camille Guinaveau, Olivier Pons, Jérôme Dupire, Isabelle Barbet, Céline Hudelot, Vincent Mousseau, Caroline Huron

Détection de faux tickets de caisse à l'aide d'entités et de relations basées sur une ontologie de domaine 131

Beatriz Martínez Tornés, Emanuela Boros, Petra Gomez-Krämer, Antoine Doucet, Jean-Marc Ogier

Jeu de données de tickets de caisse pour la détection de fraude documentaire 140

Beatriz Martínez Tornés, Théo Taburet, Emanuela Boros, Kais Louis, Petra Gomez-Krämer, Nicolas Sidere, Antoine Doucet, Vincent Poulain D'andecy

Portabilité linguistique des modèles de langage pré-appris appliqués à la tâche de dialogue humain-machine en français 148

Ahmed Njifenjou, Virgile Sucal, Bassam Jabaian, Fabrice Lefèvre

Détection d'événements à partir de peu d'exemples par seuillage dynamique 159

Aboubacar Tuo, Romaric Besançon, Olivier Ferret, Julien Tourille

Sélection globale de segments pour la reconnaissance d'entités nommées 169

Urchade Zaratiana, Niama El Khbir, Pierre Holat, Nadi Tomeh, Thierry Charnois
# Questionner pour expliquer : construction de liens explicites entre documents par la génération automatique de questions

Elie Antoine¹, Hyun Jung Kang², Ismaël Rousseau², Ghislaine Azémard³,
Frederic Bechet¹, Géraldine Damnati²

(1) Aix Marseille Univ, CNRS, LIS, France {first.last}@lis-lab.fr

(2) Orange Innovation, DATA&AI, Lannion {first.last}@orange.com

(3) FMSH/Univ Paris 8 Chaire UNESCO ITEN azemard@msh-paris.fr

## RÉSUMÉ

Cette article présente une méthode d'exploration de documents basée sur la création d'un ensemble synthétique de questions et de réponses qui est ensuite utilisé pour établir des liens explicables entre les documents. Nous menons une évaluation quantitative et qualitative des questions automatiquement générées en termes de leur forme et de leur pertinence pour l'exploration de la collection. De plus, nous présentons une étude quantitative des liens obtenus grâce à notre méthode sur une collection de document provenant d'archives numérisés.

## ABSTRACT

Expliciting links between documents through automatic question generation

This paper presents a method for document mining based on the creation of a synthetic set of questions and answers. This set is used to establish explainable links between documents. We conduct a quantitative and qualitative evaluation of the automatically generated questions in terms of their form and their relevance to the exploration of the collection. In addition, we present a quantitative study of the links obtained with our method on a collection of documents from a digitized archive.

**MOTS-CLÉS** : Génération de questions ; Compréhension de documents ; Explicabilité.

**KEYWORDS:** natural language understanding ; question generation ; explainability.

# 1 Introduction

Cette étude porte sur l'exploration de collections de documents par des méthodes d'appariements permettant de créer des liens entre des textes de la collection. De nombreuses méthodes basées sur des mesures de similarité permettent de créer de tels liens, cependant la justification des liens pour les utilisateurs est bien souvent réduite à la présence de mots clés en commun. Nous proposons dans cette étude d'utiliser le paradigme des questions/réponses sur des textes afin de créer des liens explicables : deux paragraphes sont liés si les questions que posent ces paragraphes sont également liés.

Cet article est structuré comme suit : la section 2 présente notre méthodologie pour générer des liens explicables entre les documents basés sur des modèles de génération de questions ; la section 3 présente notre méthode de génération et de filtrage de questions ; la section 4 décrit comment les questions générées peuvent être utilisées pour créer des liens explicables entre les documents ; enfin,

<figure><img src="image_19.png" /></figure>
les sections 6 et 7 présentent une étude expérimentale sur notre corpus d'archives avec des évaluations
quantitatives, descriptives et qualitatives de la méthode proposée.

## 2 Exploration par la génération de questions

Lors de l'exploration d'une collection d'archives thématiques, des liens peuvent être établis entre des
documents ou des parties de documents en fonction de différents critères tels que la co-occurrence
d'entités (personnes, lieux, organisations, dates, ...), de mots clés liés à une base de connaissances
ou à un thésaurus (Tsatsaronis et al., 2014), ou directement par une mesure de similarité statistique
entre des documents ou des parties de documents tels que des phrases (Wang et al., 2016) ou
des paragraphes (Dai et al., 2015). La structure en graphe ainsi obtenue peut être utilisée pour
concevoir des interfaces de navigation telles que des cartographies ou directement en insérant des
liens hypertextes.

Générer des liens basés sur les mots clés/entités pose plusieurs problèmes : d'une part la grande quantité de liens générés si de grands ensembles de mots clés ou d'entités sont considérés et d'autre part le fait que la simple occurrence de termes pertinents ne signifie pas que leurs contextes d'occurrence sont pertinents ou intéressants pour les utilisateurs.

Les liens basés sur la similarité permettent de corriger ce dernier point en prenant en compte les
mots dans leur contexte, mais l'utilisation de mesures de similarité statistique rend souvent les liens
difficiles à interpréter, obligeant les utilisateurs à les vérifier un par un pour évaluer leur pertinence,
ce qui peut être très chronophage.

Récemment, les avancées dans les modèles de Question-Réponse (QR) à partir de texte ont permis
l'utilisation de questions directes en langage naturel afin d'accéder à des documents électroniques.
Des résultats impressionnants ont été obtenus avec des modèles de langage pré-entraînés tels que
BERT sur des corpus de référence comme SQuAD (Rajpurkar et al., 2016). Cependant il a été
montré que le type de questions que ces modèles gèrent le mieux sont les questions littérales simples
pour lesquelles une réponse factuelle peut être trouvée dans le texte en une seule phrase, et que les
performances diminuent lorsque l'on traite de questions plus abstraites ou nécessitant un contexte
plus large qu'une phrase pour être abordées. De plus, la plupart de ces études ont été appliquées
uniquement au texte de Wikipedia.

Dans notre étude nous n'allons pas utiliser le mode *question→réponse* pour accéder au texte, mais plutôt le mode *réponse→question* : en sélectionnant des zones potentiellement *intéressantes* dans nos corpus nous allons générer des questions à partir du contenu de ces zones (les *réponses*), puis chercher des similarités entre les questions générées pour proposer des liens aux utilisateurs qui soient motivés par la paire de questions mises en relation et qui constitue l'*explication* du lien pour l'utilisateur.

## 3 Génération de questions

Pour la génération de question, nous utilisons une variation d'un des modèles proposés par (Bechet et al., 2022), où une annotation sémantique (SRL) suivant le formalisme PropBank (Palmer et al., 2005) est effectuée afin de sélectionner des *réponses* potentielles pour générer des questions. Cette sélection par un analyseur sémantique nous permet de ne garder que des contextes potentiellement riches
en terme de sens qui peuvent servir de supports à l'expression d'un lien avec d'autres documents.

La génération de question est vue comme une tâche de génération de texte de type séquence-à-séquence avec le modèle BARThez (Kamal Eddine et al., 2021) entraîné sur le corpus FQuAD (d'Hoffschmidt et al., 2020) de questions/réponses en français. La séquence en entrée contient la réponse (ANS), l'unité lexicale qui déclenche la relation sémantique LU et le contexte CTX, comme dans l'exemple suivant provenant de notre jeu d'entrainement FQuAD :

**source** : [ANS:ARG2] Héra [LU] appelée[CTX] Cérès fut également appelée Héra en Allemagne pendant une brève période.

**cible** : Quel nom Cérès a-t-elle porté pendant une brève période en Allemagne ?

Nous appliquons une série de filtres pour améliorer la qualité et réduire la quantité d'exemples générés. La première étape (F1) consiste à restreindre l'analyse SRL pour n'inclure que les cadres ayant un déclencheur strictement verbal (en rejetant les verbes auxiliaires), car ceux-ci sont considérés comme étant de meilleure qualité en raison de leur facilité de détection.

Pour améliorer encore la qualité des exemples générés, nous appliquons un filtre (F2) sur les requêtes afin d'éliminer celles dont les réponses ou les contextes ne sont pas informatifs. Cela inclut les réponses de moins de 5 caractères, ou appartenant à la liste NLTK (Bird et al., 2009) des mots d'arrêt, afin d'éliminer les réponses contenant uniquement des coréférences pronominales. Les requêtes avec un contexte de moins de 5 mots ou une réponse qui n'est pas située dans la phrase du déclencheur sont également éliminées.

Les questions générées sont également soumises à un filtre (F3) basé sur la méthodologie "roundtrip consistency" proposée par (Alberti et al., 2019). Ce filtre consiste à ne conserver que les exemples synthétiques pour lesquels un modèle de question-réponse<fnref n="1" /> est capable d'extraire une partie de la réponse cible de la question générée. Nous considérons que le modèle a réussi à récupérer la réponse s'il y a un chevauchement minimum de 30 % entre la réponse prédite et la réponse de la requête.

Enfin, nous appliquons un dernier filtre (F4) pour éliminer les questions dupliquées, qui sont un phénomène fréquent dû à de légères variations dans certaines requêtes, résultant souvent en des questions très similaires ou identiques.

## 4 Générer des liens explicables

L'originalité principale de notre approche est l'utilisation de nos questions/réponses synthétiques pour établir des liens entre les documents de notre corpus. Alors que les méthodes traditionnelles consistent à calculer la similarité via les plongements de documents à un niveau de granularité choisi (phrase, paragraphe ou bloc de texte, page), notre approche consiste à calculer une mesure de similarité sur des plongements obtenus par la concaténation de questions et de réponses produites par notre méthode décrite dans la section 3.

Nous obtenons des structures "<question> | <réponse>". Par exemple, voici la structure obtenue sur l'exemple de la question générée donnée dans la section précédente : Quel nom Cérès a-t-elle porté pendant une brève période en Allemagne ? | Héra

Notre plongement pour chaque paire question-réponse utilise la bibliothèque SentenceTransformer

<footnote n="1">1. Dans notre cas CamemBert-large (Martin et al., 2020) entraîné sur FQuAD</footnote>
(Reimers & Gurevych, 2019)<fnref n="2" />. Une mesure de similarité cosinus est ensuite utilisée entre toutes les paires de ces projections, ce qui donne lieu au calcul d'une matrice de similarité.

Les sections suivantes présentent une étude expérimentale sur un corpus d'archives numérisées provenant du domaine des sciences sociales.

# 5 Thèmes des questions

Nous définissons les thèmes de la question générée par rapport à un thésaurus spécifique qui a été créé pour le domaine de l'autogestion. À partir de connaissances préalables dans le domaine, une première liste de notions a été construite. Elle a ensuite été enrichie par une liste de mots-clés et de phrases-clés extraites des articles de la revue "Autogestion". Ces termes sont principalement des phrases nominales extraites grâce à une analyse morphosyntaxique des documents. Lorsque des variantes flexionnelles d'une locution sont rencontrées, la forme ayant le plus grand nombre d'occurrences est choisie (forme majoritaire). Parmi toutes les phrases-clés extraites, les experts ont sélectionné une liste d'entrées supplémentaires pour le thésaurus en choisissant des termes qui font référence à des notions générales pouvant être pertinentes pour indexer des documents.

Le thésaurus est ensuite trié hiérarchiquement pour former une structure en arbre de profondeur maximale de quatre niveaux. L'arbre a 437 feuilles et est organisé en huit notions générales à la racine de l'arbre (Organisations, Classes sociales, Développement économique, Exercice du pouvoir, Juridique, Modèles politiques, Psycho-sociologie, Valeurs sociales).

<table><caption>TABLE 1 – Répartition du nombre de mots (w) appartenant au thésaurus T parmi les questions+réponses (Q + R)</caption><tr><td>|w ∈ T|</td><td>0</td><td>1</td><td>2</td><td>3</td><td>4</td><td>5</td></tr><tr><td>|Q + R|</td><td>43693</td><td>25159</td><td>8472</td><td>2129</td><td>355</td><td>58</td></tr></table>

<table><caption>TABLE 2 – Les dix termes les plus fréquents du thésaurus</caption><thead><tr><td>terme</td><td>occurrences</td></tr></thead><tbody><tr><td>travailleurs</td><td>3247</td></tr><tr><td>travail</td><td>2668</td></tr><tr><td>pouvoir</td><td>2214</td></tr><tr><td>société</td><td>1947</td></tr><tr><td>révolution</td><td>1834</td></tr><tr><td>production</td><td>1742</td></tr><tr><td>contrôle</td><td>1470</td></tr><tr><td>système</td><td>1426</td></tr><tr><td>ouvrier</td><td>1387</td></tr><tr><td>mouvement</td><td>1362</td></tr></tbody></table>

Nous avons analysé notre corpus de paires de questions/réponses synthétiques pour étudier l'utilisation des entrées du thésaurus. Nos résultats montrent que **30,6%** des questions générées et **25,1%** des

<footnote n="2">2. Nous utilisons le modèle multilingue *distiluse-base-multilingual-cased-v1* (Reimers & Gurevych, 2020)</footnote>
réponses contiennent au moins un terme du thésaurus. De plus, nous avons constaté que **45,3%** des paires question/réponse incluent au moins un mot du thésaurus dans la question ou dans la réponse, et **10,4%** contiennent un mot du thésaurus dans les deux. Une description plus détaillée de la répartition du nombre d'entrées détectées dans les questions et les réponses peut être trouvée dans le Tableau 1 et les 10 entrées les plus fréquentes dans le Tableau 2.

La paire avec le plus de termes du thésaurus est la suivante : Q : Qu'est ce qui rendra possible le **développement** de la **participation** des **travailleurs** et de leurs **organisations** à la direction et à la gestion des entreprises nationales ? A : le **changement** -- en **droit** et dans les faits -- des formes de la **propriété**

Cette analyse suggère qu'en plus de permettre la création de liens pour explorer la collection, les questions générées pourraient également être un moyen d'illustrer les principales notions abordées dans le journal. Des interfaces dédiées pourraient être développées à cette fin dans le cadre de travaux futurs.

# 6 Évaluation qualitative des questions générées

<table><caption>TABLE 3 – Résumé des différents filtres : F2 (suppression des réponses non informatives), F3 (round-trip consistency), F4 (suppression des doublons).</caption><thead><tr><th>Filtre</th><th>F1</th><th>F2</th><th>F3</th><th>F4</th></tr></thead><tbody><tr><th>Nb. questions</th><td>247 907</td><td>193 685</td><td>129 119</td><td>79 869</td></tr></tbody></table>

Nous avons appliqué notre méthode de génération de questions à un corpus de 24 numéros de la collection *Autogestion* provenant d'un fond d'archives en sciences sociales allant de 1966 à 1979. Chaque numéro contient plusieurs articles courts ou longs pour un total de 448 articles. La version électronique de ce corpus étant obtenue par OCR, nous disposons de deux niveaux de segmentation supplémentaires : *page* (correspondant à l'OCR de chaque image d'une page donnée de la collection) et *bloc de texte* (l'unité minimale de texte cohérent produite par le système OCR). Nous considérons ici un sous-ensemble du corpus entier, contenant 4786 pages, 33551 blocs de texte pour un total de 1,5 million de tokens. Initialement, le processus d'étiquetage des rôles sémantiques produit 143 317 détections de cadres, qui sont réduites à 124 925 lorsque l'on se concentre sur les verbes non auxiliaires à partir du processus de filtrage **F1**. Chaque détection de cadre sémantique produit en moyenne 1,7 élément de trame, ce qui signifie que le premier ensemble est composé de 247 907 questions. Le tableau 3 indique le nombre de questions générées à la suite des processus de filtrage décrits dans la Sextion 3.

En plus de l'évaluation quantitative et descriptive des questions générées sur le corpus de self-management, nous avons également effectué une première évaluation qualitative sur un sous-ensemble de la collection selon deux dimensions. La première dimension se concentre sur la qualité de la forme de la question, avec des questions catégorisées comme "Valide", "Question incohérente" ou "Question non grammaticale". Dans la deuxième dimension, nous évaluons la pertinence de la question une fois qu'elle a été validée dans la dimension précédente. Cette évaluation implique trois échelles de Likert à 5 points :
<figure><img src="image_20.png" /><figcaption>FIGURE 1 – Évaluation de la pertinence des questions générées</figcaption></figure>

1. "Le segment mis en évidence correspond bien à une réponse à la question"

2. "La question est pertinente dans le contexte de la phrase"

3. "La question est pertinente dans le contexte général de la lecture"

Un annotateur professionnel a été embauché pour cette tâche et a annoté un total de 582 questions. Environ 92% des questions ont été validées sur leur forme, ce qui confirme la qualité syntaxique de notre système de génération de questions.

Pour les annotations de pertinence, les résultats sont également prometteurs. En termes d'adéquation de réponse, la majorité des questions (67%) ont reçu une note indiquant un niveau élevé d'adéquation <fnref n="3" /> (Figure 1a). Les deux échelles de Likert mesurant la pertinence de la question sont plus subjectives, mais une grande proportion de questions (plus de 68%) ont été évaluées comme pertinentes dans le contexte local (Figure 1b). Dans le contexte global de la lecture, le pourcentage de questions évaluées comme pertinentes diminue, avec un peu plus de la moitié des questions répondant au même critère de score (Figure 1c).

Pour vérifier l'accord entre les annotateurs, un sous-ensemble de 129 questions a été annoté par un second annotateur. Pour la première dimension (forme de surface), nous avons remarqué seulement 11 désaccords entre les deux annotateurs. Pour la seconde, concernant le premier Likert avec une évaluation simplifiée en 3 catégories en regroupant les choix 1 et 2 et les choix 4 et 5, nous avons mesuré 25 désaccords sur 115 annotations. Avec le même regroupement, nous avons obtenu 43 désaccords sur 115 annotations pour le Likert 2 et 65 désaccords sur 115 annotations pour le Likert 3. Ces nombres plus élevés de désaccords étaient attendus, car cette dernière évaluation est hautement subjective.

# 7 Évaluation des liens entre documents

L'évaluation des liens produits grâce aux questions nécessite une évaluation auprès d'utilisateurs dans un contexte réaliste étant donné la forte subjectivité de cette évaluation. Une évaluation de ce type est en cours. Cependant il est également possible d'évaluer ces liens par des mesures complémentaires automatiques. Ainsi nous avons évalué notre approche d'appariement basée sur les questions par rapport à des méthodes d'appariement uniquement basées sur la similarité textuelle. Pour quantifier la

<footnote n="3">3. Dans ce paragraphe, la notion de haut niveau d'adéquation correspond aux scores Likert > 3</footnote>
<table><caption>TABLE 4 – % d'intersection entre les ensembles de similarités</caption><thead><tr><th rowspan="2">Ensembles de similarités</th><th colspan="3">Pourcentage d'intersection</th></tr><tr><th>(ALL)</th><th>(OUT_ART)</th><th>(OUT_NUM)</th></tr></thead><tbody><tr><td>[QA] // [SENTENCE]</td><td>21 %</td><td>17 %</td><td>19 %</td></tr><tr><td>[QA] // [TEXTBLOCK]</td><td>23 %</td><td>12 %</td><td>20 %</td></tr></tbody></table>

différence, nous considérons l'ensemble de liens produits par une question comme une entité unique et calculons l'intersection avec l'ensemble de liens générés par d'autres méthodes de similarité.

Pour cela, nous avons réalisé le même appariement que celui présenté dans la section 4 (noté QA dans la suite), mais en utilisant la mesure de similarité uniquement sur le texte selon deux granularités : phrase (SENTENCE) et bloc de texte de l'OCR (TEXTBLOCK). Nous créons un lien entre deux phrases ou deux TextBlocks si la similarité entre leurs embeddings est inférieure à un seuil. Comme pour la similarité sur les questions, nous ne conservons que les N meilleurs liens. Dans cette expérience, N était fixé à 49.

Pour nous assurer que les liens sont comparés au même niveau de granularité, nous considérons que les liens sont identiques s'ils pointent vers la même page. Le pourcentage de chevauchement est calculé comme l'intersection entre l'ensemble des liens produits par les questions sur une phrase ou un TextBlock et ceux produits par la similarité sur le texte.

Bien que cette évaluation (Table 4) ne permette pas à elle seule de mesurer la qualité de nos liens, elle nous montre que notre méthode produit des liens originaux avec près de 80% des 49 pages les plus similaires qui sont différentes de celles produites en utilisant des méthodes de similarité directement sur les segments de texte. Une évaluation subjective qui vérifiera le retour des lecteurs professionnels aux liens et explications proposés par notre méthode sera bientôt réalisée.

# 8 Conclusion

Cet article propose une nouvelle approche pour construire des liens entre des documents en se basant sur la génération de questions. Nos expériences montrent la qualité de nos questions générées automatiquement, leur pertinence dans un contexte local, ainsi que l'originalité des liens produits par l'appariement de ces questions. Des expériences restent à mener pour étudier de manière plus qualitative les liens générés, ainsi que pour enrichir et filtrer de manière plus fine la grande quantité de questions sur le corpus.

# Remerciements

Ces travaux ont été partiellement financés par l'Agence Nationale pour la Recherche (ANR) à travers le projet ANR-19-CE38-0011 (ARCHIVAL).

Ces travaux ont bénéficié d'un accès aux ressources en HPC/IA de l'IDRIS au travers de l'allocation de ressources 2022-AD011012688R1 attribuée par GENCI.
Références

ALBERTI C., ANDOR D., PITLER E., DEVLIN J. & COLLINS M. (2019). Synthetic QA corpora generation with roundtrip consistency. In *Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics*, p. 6168–6173, Florence, Italy : Association for Computational Linguistics. DOI : 10.18653/v1/P19-1620.

BECHET F., ANTOINE E., AUGUSTE J. & DAMNATI G. (2022). Question generation and answering for exploring digital humanities collections. In *Proceedings of the Thirteenth Language Resources and Evaluation Conference*, p. 4561–4568, Marseille, France : European Language Resources Association.

BIRD S., KLEIN E. & LOPER E. (2009). *Natural language processing with Python : analyzing text with the natural language toolkit*. " O'Reilly Media, Inc.".

DAI A. M., OLAH C. & LE Q. V. (2015). Document embedding with paragraph vectors. CoRR, abs/1507.07998.

D'HOFFSCHMIDT M., BELBLIDIA W., HEINRICH Q., BRENGLÉ T. & VIDAL M. (2020). FQuAD : French question answering dataset. In *Findings of the Association for Computational Linguistics : EMNLP 2020*, p. 1193–1208, Online : Association for Computational Linguistics. DOI : 10.18653/v1/2020.findings-emnlp.107.

KAMAL EDDINE M., TIXIER A. & VAZIRGIANNIS M. (2021). BARThez : a skilled pretrained French sequence-to-sequence model. In *Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing*, p. 9369–9390, Online and Punta Cana, Dominican Republic : Association for Computational Linguistics. DOI : 10.18653/v1/2021.emnlp-main.740.

MARTIN L., MULLER B., ORTIZ SUÁREZ P. J., DUPONT Y., ROMARY L., DE LA CLERGERIE É., SEDDAH D. & SAGOT B. (2020). CamemBERT : a tasty French language model. In *Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics*, p. 7203–7219, Online : Association for Computational Linguistics. DOI : 10.18653/v1/2020.acl-main.645.

PALMER M., GILDEA D. & KINGSBURY P. (2005). The proposition bank : An annotated corpus of semantic roles. *Comput. Linguist.*, **31**(1), 71–106. DOI : 10.1162/0891201053630264.

RAJPURKAR P., ZHANG J., LOPYREV K. & LIANG P. (2016). Squad : 100,000+ questions for machine comprehension of text. In *Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing*, p. 2383–2392 : Association for Computational Linguistics. DOI : 10.18653/v1/D16-1264.

REIMERS N. & GUREVYCH I. (2019). Sentence-bert : Sentence embeddings using siamese bert-networks. In *Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing* : Association for Computational Linguistics.

REIMERS N. & GUREVYCH I. (2020). Making monolingual sentence embeddings multilingual using knowledge distillation. In *Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP)*, p. 4512–4525, Online : Association for Computational Linguistics. DOI : 10.18653/v1/2020.emnlp-main.365.

TSATSARONIS G., VARLAMIS I. & VAZIRGIANNIS M. (2014). Text relatedness based on a word thesaurus. CoRR, abs/1401.5699.

WANG Z., MI H. & ITTYCHERIAH A. (2016). Sentence similarity learning by lexical decomposition and composition. In *Proceedings of COLING 2016, the 26th International Conference on Computational Linguistics : Technical Papers*, p. 1340–1349, Osaka, Japan : The COLING 2016 Organizing Committee.
# Annexes

## A Exemples de questions par annotations en likert

Le score donné à la question pour l'affirmation est indiqué entre parenthèses.

"La question est pertinente dans le contexte général de la lecture" :

* Qu'est ce qui ne sautent pas aux yeux ? (1)

* Comment simplifient-t-on le problème ? (1)

* Qui a rejeté la solution préconisée ? (1)

* Qu'est ce qui n'existe pas ? (1)

* Qu'exige le jeu du marché ? (3)

* Qu'a permis ce système dans la période en question ? (3)

* Qui est à l'origine de la participation des travailleurs ? (3)

* Qu'exige l'autogestion ? (5)

* Qui agit en tant que force idéologique d'avant-garde dans la réalisation des intérêts fondamentaux des travailleurs ? (5)

* Contre quoi les travailleurs ont-ils à lutter ? (5)

* Quel est le moyen le plus simple d'exercer un contrôle sur les travailleurs ? (5)

"La question est pertinente dans le contexte de la phrase" :

* Quelle est la conséquence de ces déclarations ? (1)

* Qu'accompagne l'autogestion ? (1)

* Qu'est-ce qui est à l'origine de l'économie auto-organisée et de ses intérêts ? (1)

* Quel syndicat s'oppose à ce mouvement ? (1)

* Qui favorise le développement de ce mouvement ? (3)

* Qui tend à atomiser l'économie ? (3)

* Combien de travailleurs sont capables de gérer l'usine ? (3)

* Qu'exige le jeu du marché ? (5)

* Quelle proportion des travailleurs se retrouve salariée ? (5)

* Que permet le statut de coopérative ? (5)

* Quel est le moyen le plus simple d'exercer un contrôle sur les travailleurs ? (5)
# HATS : Un jeu de données intégrant la perception humaine appliquée à l'évaluation des métriques de transcription de la parole

Thibault Bañeras-Roux¹,² Jane Wottawa³ Michael Rouvier² Teva Merlin² Richard Dufour¹

(1) Laboratoire des Sciences du Numérique de Nantes (LS2N), France

(2) Laboratoire Informatique d'Avignon (LIA), France

(3) Laboratoire d'Informatique de l'Université du Mans (LIUM), France

thibault.roux@univ-nantes.fr, jane.wottawa@univ-lemans.fr,
michael.rouvier@univ-avignon.fr, teva.merlin@univ-avignon.fr,
richard.dufour@univ-nantes.fr

## RÉSUMÉ

Traditionnellement, les systèmes de reconnaissance automatique de la parole (RAP) sont évalués sur leur capacité à reconnaître correctement chaque mot contenu dans un signal vocal. Dans ce contexte, la mesure du taux d'erreur-mot est la référence pour évaluer les transcriptions vocales. Plusieurs études ont montré que cette mesure est trop limitée pour évaluer correctement un système de RAP, ce qui a conduit à la proposition d'autres variantes et d'autres métriques. Cependant, toutes ces métriques restent orientées "système" alors même que les transcriptions sont destinées à des humains. Dans cet article, nous proposons un jeu de données original annoté manuellement en termes de perception humaine des erreurs de transcription produites par divers systèmes de RAP. 143 humains ont été invités à choisir la meilleure transcription automatique entre deux hypothèses. Nous étudions la relation entre les préférences humaines et diverses mesures d'évaluation pour les systèmes de RAP, y compris les mesures lexicales et celles fondées sur les plongements de mots.

## ABSTRACT

### HATS : An open dataset integrating human perception applied to the evaluation of Automatic Speech Recognition metrics

Traditionally, Automatic Speech Recognition (ASR) systems are evaluated on their ability to correctly recognize each word contained in a speech signal. In this context, the Word Error Rate metric is the reference for evaluating speech transcripts. Several studies have shown that this measure is too limited to correctly evaluate an ASR system, which has led to the proposal of other variants and other metrics. However, all these metrics remain system-oriented, even when transcripts are intended for humans. In this paper, we describe an original manually annotated dataset in terms of human perception of transcription errors produced by various ASR systems. 143 humans were asked to choose the best automatic transcription between two hypotheses. We investigate the relationship between human preferences and various evaluation metrics for ASR systems, including lexical and embedding-based metrics.

**MOTS-CLÉS** : reconnaissance de la parole, jeu de données, perception, métrique, corpus.

**KEYWORDS**: speech recognition, dataset, perception, metric, corpus.

<figure><img src="image_21.png" /></figure>
# 1 Introduction

La Reconnaissance Automatique de la Parole (RAP) consiste à transcrire de la parole en texte. Depuis l'utilisation des systèmes de RAP fondés sur les Modèles de Markov cachés (Juang & Rabiner, 1991), le domaine a connu d'importants progrès avec l'utilisation des réseaux de neurones profonds et des méthodes auto-supervisées telles que wav2vec (Baevski et al., 2020) et HuBERT (Hsu et al., 2021) qui permettent d'extraire des informations de la parole sans données étiquetées. Ces transcriptions automatiques peuvent être utilisées par les humains dans le cas par exemple du sous-titrage, de la rédaction de messages ou par des systèmes tiers tels que les assistants personnels virtuels.

Face à des erreurs dans un flux de parole ou des des textes, un humain est capable de les intégrer et éventuellement de les corriger si elles n'impactent pas fondamentalement le sens de la séquence (Cutter, 2012). Les erreurs dans les transcriptions automatiques proviennent de divers facteurs, tels que le bruit dans le signal vocal, les accents des locuteurs ou les limitations techniques. La question est de savoir quelles erreurs sont acceptables et lesquelles entraînent des difficultés de compréhension chez l'humain. Par conséquent, il apparaît souhaitable que les métriques d'évaluation des systèmes de RAP se rapprochent de la perception humaine.

Les métriques automatiques les plus couramment utilisées pour évaluer les systèmes de RAP sont le taux d'erreur-mot (WER pour Word Error Rate en anglais), qui mesure le nombre de mots incorrectement transcrits, et le taux d'erreurs-caractères (CER pour Character Error Rate en anglais) qui évalue le nombre de caractères qui diffèrent par rapport à la référence. Cependant, de nombreux travaux (Wang et al., 2003; Favre et al., 2013; Itoh et al., 2015; Kafle & Huenerfauth, 2017) ont soulevé des problèmes liés à ces mesures tels que l'absence de pondération des erreurs ou encore le manque d'informations linguistiques et de connaissances sémantiques. En réponse à ces problèmes, le développement de nouvelles métriques a suscité un intérêt croissant dans la communauté. Des métriques alternatives se focalisant sur la qualité et l'efficacité des transcriptions automatiques ont été proposées (Nam & Fels, 2019; Gordeeva et al., 2021; Kim et al., 2021; Bañeras-Roux et al., 2022).

Des évaluation humaines de systèmes de RAP ont par le passé été réalisées, notamment à l'aide d'une expérience côte-à-côte (Gordeeva et al., 2021; Kafle & Huenerfauth, 2017; Kim et al., 2022), consistant à demander à des sujets humains de choisir la meilleure transcription parmi deux proposées. Ces études ont également permis d'évaluer des métriques automatiques. La présente étude s'inspire de ce protocole expérimental mais, au lieu d'altérer le signal vocal ou d'utiliser différentes sorties du même système de RAP afin d'obtenir deux hypothèses différentes, notre étude met en compétition les sorties de 10 systèmes intégrant des architectures différentes. En plus, les hypothèses ont été appariées selon un ensemble de critères métriques bien définis.

Cette expérience nous permet de distribuer librement un nouveau jeu de données ouvert, nommé appelé HATS (Human Assessed Transcription Side-by-side), intégrant des préférences humaines sur des transcriptions automatiques. Comme seconde contribution, une étude originale est menée à partir de HATS sur l'évaluation des métriques automatiques de systèmes de RAP en étudiant leur accord avec les évaluations humaines. Notre objectif est de mettre en évidence les métriques qui corrèlent le mieux avec la perception humaine.

# 2 Systèmes de transcription et métriques

Dans la section 2.1, nous présentons les systèmes de reconnaissance automatique de la parole (RAP), y compris le protocole expérimental, utilisés pour construire le jeu de données HATS. Ensuite, nous présentons dans la section 2.2 les différentes mesures d'évaluation utilisées dans notre étude.
## 2.1 Systèmes de reconnaissance automatique de la parole (RAP)

Dans cette étude, nous avons implémenté huit systèmes de bout-en-bout (end-to-end) en utilisant la boîte à outils Speechbrain (Ravanelli et al., 2021), et deux systèmes pipeline fondés sur des réseaux de neurones artificiels profonds et des Modèles de Markov caché (DNN-HMM) à l'état de l'art<fnref n="1" /> en utilisant la boîte à outils Kaldi (Povey et al., 2011). Concernant les systèmes de bout-en-bout, chacun a été entraîné en utilisant un modèle acoustique auto-supervisé différent (sept systèmes utilisent des variantes des modèles wav2vec2 appris sur le français et un utilise le modèle XLS-R-300m). Pour les systèmes pipeline, l'un des systèmes contient une étape supplémentaire de ré-évaluation en utilisant un modèle de langage neuronal.

Tous les systèmes ont été entraînés sur du français avec les corpus ESTER 1 et 2 (Galliano et al., 2006, 2009), EPAC (Esteve et al., 2010), ETAPE (Gravier et al., 2012), REPERE (Giraudel et al., 2012) et des données internes. Ces corpus représentent environ 940 heures d'audio composées de données de diffusion radio et télévision. Les transcriptions permettant de construire notre corpus HATS sont extraites du corpus de test de REPERE, qui représente environ 10 heures de données audio.

## 2.2 Métriques pour la RAP

En plus des métriques lexicales classiques telles que le taux d'erreur-mot (WER) et le taux d'erreur-caractère (CER), nous étudierons trois métriques sémantiques fondées sur les plongements de mots. La première, le **taux d'erreur-plongement** ou **EmBER** (pour *Embedding Error Rate*) (Bañeras-Roux et al., 2022), est un WER où les erreurs de substitution sont pondérées en fonction de la distance cosinus entre le plongement lexical d'un mot de référence et le plongement du mot substituant. Les plongements lexicaux sont obtenus à partir de fastText (Grave et al., 2018; Bojanowski et al., 2017). La deuxième métrique, **SemDist** (Kim et al., 2021), consiste à calculer une similarité cosinus entre la référence et l'hypothèse en utilisant des plongements obtenus au niveau de la phrase. Différentes méthodes sont utilisées afin d'évaluer leur impact sur la métrique : utiliser le plongement du premier token des modèles CamemBERT (Martin et al., 2020) ou FlauBERT (Le et al., 2020) ou d'un modèle de plongement de phrase (SentenceBERT (Reimers & Gurevych, 2019)). La dernière métrique sémantique est le **BERTScore** (Zhang* et al., 2020), qui calcule un score de similarité pour chaque mot de la phrase candidate avec chaque mot de la phrase de référence en utilisant des plongements contextuels. Dans notre étude, nous utilisons un modèle multilingue BERT et le modèle CamemBERT. Alors que les transcriptions textuelles sont issues de la parole, nous considérons finalement une métrique **taux d'erreur-phonème** ou **PER** (pour *Phoneme Error Rate*) qui consiste à calculer une distance de Levenshtein entre les séquences de phonèmes de référence et d'hypothèse obtenues avec l'aide d'un convertisseur texte-à-phonème<fnref n="2" />.

## 3 Évaluation humaine

La collecte du corpus HATS est décrite dans cette partie. La section 3.1 résume la mise en place de l'expérience perceptive tandis que la section 3.2 décrit le protocole permettant la sélection des transcriptions automatiques en vue de leur évaluation humaine.

<footnote n="1">1. https://github.com/kaldi-asr/kaldi/blob/master/egs/librispeech/s5/</footnote>

<footnote n="2">2. https://github.com/Remiphilius/PoemesProfonds</footnote>
## 3.1 Expérience perceptive

Dans notre étude, l'expérience côte-à-côte consiste à présenter d'une part, au sujet, une référence textuelle transcrite manuellement à partir d'un court extrait de parole, et d'autre part deux transcriptions automatiques, chacune réalisée par un système de RAP différent. Les transcriptions automatiques présentaient toujours des déviations par rapport à la référence (i.e. contenaient des erreurs de transcription). À l'aide de la souris, les participants devaient choisir, selon eux, la meilleure hypothèse en fonction de la référence. L'étude a utilisé un protocole d'instruction minimal, permettant aux participants de déterminer eux-mêmes les critères qui étaient importants pour déterminer la qualité d'une transcription. La référence était uniquement sous forme écrite afin que les sujets et méthodes automatique aient accès aux mêmes informations (Vasilescu et al., 2012).

Pour l'étude, 143 participants se sont portés volontaires en ligne. Avant de débuter l'évaluation, les participants ont rempli un questionnaire afin de renseigner leur âge, le nombre de langues parlées, leur langue maternelle, ainsi que leur niveau d'éducation. Chaque participant a évalué 50 triplets de transcription dans un ordre aléatoire, avec un temps total moyen de 15 minutes par participant.

## 3.2 Protocole de sélection des transcriptions automatiques

Les triplets de transcriptions, issues du corpus de test REPERE, ont été sélectionnées en respectant les 3 critères suivants : (1) les deux hypothèses sont différentes et doivent avoir au moins un caractère de différence avec la référence, (2) chaque système doit avoir au moins quelques hypothèses face à des hypothèses de chaque systèmes et (3) la sélection des paires d'hypothèses s'appuie sur le respect de critères basées sur les scores des métriques.

<table><caption>TABLE 1 – Détails de quelques critères de choix des stimuli avec des exemples.</caption><thead><tr><th>Categorie</th><th>Critères de métriques</th><th>Référence</th><th>Hypothèse A</th><th>Hypothèse B</th></tr></thead><tbody><tr><td>(A)</td><td>WER =</td><td>et on découvre les spectateurs</td><td>€ on découvre les spectateurs</td><td>et on découvre les spectacles</td></tr><tr><td>(A)</td><td>WER =</td><td>et on découvre les spectateurs</td><td>€ on découvre les spectateurs</td><td>et on découvre les spectacles</td></tr><tr><td>(A)</td><td>CER ></td><td>sur la vie politique</td><td>€ la vie politique</td><td>c' la vie politique</td></tr><tr><td>(A)</td><td>SemDist &gt;&gt;</td><td>c' est à paris</td><td>€ est à paris</td><td>c' est appau €</td></tr><tr><td>(B)</td><td>WER =;<br>SemDist ></td><td>encore du rock</td><td>corps du rock</td><td>encore du rok</td></tr><tr><td>(C)</td><td>WER ≠<br>BERTscore</td><td>où les passions sont si vives</td><td>€ les patients sont si vive</td><td>où les patients sont si vifs</td></tr></tbody></table>

Le point (3) peut être divisé en trois catégories différentes : (A) chaque métrique a été comparée à elle-même en présentant soit le même score, soit un score légèrement différent, soit un score très différent entre les deux hypothèses, (B) dans les deux hypothèses, le WER ou le CER étaient égaux mais le WER ou le CER, EmbER, SemDist, BERTScore étaient différents, (C) les métriques indiquaient des prédictions opposées sur quelle est la meilleure hypothèse (e.g. WER<sub>(hypA)</sub> > WER<sub>(hypB)</sub> mais CER<sub>(hypA)</sub> < CER<sub>(hypB)</sub>). Le tableau 1 illustre la manière dont les hypothèses ont été confrontés avec des exemples concrets utilisés dans la tâche d'évaluation humaine.
# 4 Le jeu de données HATS

## 4.1 Description du corpus

Le corpus HATS comprend 1 000 références avec respectivement deux transcription automatiques provenant de systèmes de RAP différents. 143 humains ont chacun évalué 50 triplets référence-hypothèses, ce qui a conduit au final à 7 150 annotations. Notons que tous les triplets de transcription ont été évaluées par au moins 7 participants.

## 4.2 Méthodologie d'évaluation des métriques

Nous ne conservons que les annotations de transcription ayant obtenu un niveau de consensus suffisant entre les annotateurs. Nous calculons leur accord de la façon suivante : Soit A le nombre de sujets choisissant la première transcription automatique et B ceux ayant choisi l'autre, alors l'accord humain se calcule en prenant le maximum entre A et B, divisé par la somme de A et B. Les choix humains sont alors considérés selon trois pourcentages d'accord : **100%** (seulement les triplets où tous les sujets ont choisi la même hypothèse), **70%**, ou **0%** (pas de filtre); ce qui correspond respectivement à 371, 819 et 1000 triplets. Le seuil de 70 % a été choisi afin d'avoir un accord cohérent des annotateurs même si tous les participants ne répondent pas de la même manière (Nowak & Rüger, 2010).

Pour l'évaluation des métriques automatiques, nous cherchons à savoir si celles-ci corrèlent avec la perception humaine (i.e. la métrique automatique désigne la même que celle choisit par les humains). Nous obtenons donc au final, pour chaque métrique, son taux de couverture par rapport à l'annotation humaine. Le code ainsi que les données de HATS sont mises disponibles publiquement<fnref n="3" />.

# 5 Évaluation des métriques

Le tableau 2 résume les résultats obtenus par chaque métrique automatique selon leur accord avec la perception humaine. Sans surprise, plus l'accord humain est élévée, plus les performances des métriques sont élevées. En contradiction avec les résultats d'études antérieures (Kim et al., 2022), notre étude montre que le CER corrèle mieux avec la perception humaine que le WER. Cette divergence peut être attribuée à l'utilisation d'un texte écrit comme référence dans notre expérience perceptive, plutôt qu'un texte audio, ou à des variations linguistiques intrinsèques entre le français et l'anglais (l'orthographe du français comporte beaucoup de lettres muettes).

Il est intéressant de noter qu'au niveau des phonèmes, le PER donne de bons résultats, meilleurs que ceux du WER et du CER, malgré le fait que les humains aient fait leurs choix sur la base du texte uniquement. Cela montre que les humains semblent tenir compte de la façon dont les phrases sont phonétisées, même pendant la lecture. Ceci est particulièrement vrai si les phrases sont contrastées avec une référence.

Bien que les hypothèses choisies selon BERTScore avec les plongements BERT-base-multilingue soient 8 % meilleures que celles choisies selon SemDist utilisant des plongements de phrases multilingues, il serait précipité de conclure que la stratégie BERTScore est meilleure pour déterminer la qualité des transcriptions car les deux métriques utilisent différents plongements. En comparant ces métriques avec les mêmes plongements, SemDist est meilleure que BERTScore quand il s'agit des

<footnote n="3">3. https://github.com/thibault-roux/metric-evaluator</footnote>
<table><caption>TABLE 2 – Performance de chaque métrique en fonction de l'accord hymain. Full signifie qu'aucun filtre sur l'accord n'a été appliqué à l'ensemble des données. Le nombre entre parenthèses indique le pourcentage de fois où la mesure a donné la même note aux deux hypothèses.</caption><thead><tr><th>Accord</th><th>100%</th><th>70%</th><th>0% (Full)</th></tr></thead><tbody><tr><td>Taux d'erreur mot</td><td>63% (23%)</td><td>53% (28%)</td><td>49% (28%)</td></tr><tr><td>Taux d'erreur caractère</td><td>77% (17%)</td><td>64% (21%)</td><td>60% (22%)</td></tr><tr><td>Taux d'erreur plongement</td><td>73% (12%)</td><td>62% (16%)</td><td>57% (17%)</td></tr><tr><td>BERTScore BERT-base multilingue</td><td>84% (0%)</td><td>75% (1%)</td><td>70% (1%)</td></tr><tr><td>BERTScore CamemBERT-base</td><td>81% (0%)</td><td>72% (0%)</td><td>68% (0%)</td></tr><tr><td>BERTScore CamemBERT-large</td><td>80% (0%)</td><td>68% (0%)</td><td>65% (0%)</td></tr><tr><td>SemDist CamemBERT-base</td><td>86% (0%)</td><td>74% (0%)</td><td>70% (0%)</td></tr><tr><td>SemDist CamemBERT-large</td><td>80% (0%)</td><td>71% (0%)</td><td>67% (0%)</td></tr><tr><td>SemDist Phrases CamemBERT-base</td><td>86% (0%)</td><td>75% (0%)</td><td>71% (0%)</td></tr><tr><td>SemDist Phrases CamemBERT-large</td><td>90% (0%)</td><td>78% (0%)</td><td>73% (0%)</td></tr><tr><td>SemDist Phrases multilingual</td><td>76% (0%)</td><td>66% (0%)</td><td>62% (0%)</td></tr><tr><td>SemDist FlauBERT-base</td><td>65% (0%)</td><td>62% (0%)</td><td>59% (0%)</td></tr><tr><td>Taux d'erreur phoneme</td><td>80% (14%)</td><td>69% (16%)</td><td>64% (17%)</td></tr></tbody></table>

plongements de CamemBERT-base, et SemDist a des performances similaires à BERTScore quand il s'agit des plongements de CamemBERT-large.

Sur les accords à 70 % et 0 %, le taux d'erreur mot a des performances proche d'un choix aléatoire. Cela est dû au fait que dans notre jeu de données, de nombreux cas présentent des hypothèses avec le même WER, des prédictions égales étant considérées comme un échec de la métrique puisque les humains sont capables de sélectionner une hypothèse. De plus, nous pouvons observer que SemDist utilisant les plongements de FlauBERT a de moins bonnes performances que le CER. Cela met en évidence la nécessité de choisir soigneusement les plongements et de les évaluer sur un jeu de données tel que HATS avant de tirer des conclusions sur les systèmes au niveau sémantique. Enfin, selon notre corpus orienté vers l'humain, la meilleure métrique est SemDist utilisant les plongements de phrase de CamemBERT-large, ce qui peut s'expliquer par le fait que cette métrique s'appuie sur des plongements spécifiquement entraînés pour maximiser la similarité entre des phrases ayant un sens similaire. Il est important de noter qu'une grande quantité de données annotées est nécessaire pour utiliser ces métriques fondées sur les plongements.

# 6 Conclusion et perspectives

Dans cette étude, des métriques automatiques appliquées à différents systèmes de RAP ont été comparées à l'évaluation humaine de différentes hypothèses erronées selon une référence écrite.

Nos résultats montrent que SemDist avec les plongements de phrases de BERT évaluent les transcriptions d'une manière qui semble acceptable pour les évaluateurs humains. Dans le cas de plongements de phrases, BERTScore semble être la deuxième meilleure option. Cette métrique est plus stable que SemDist sur les plongements de BERT. Néanmoins, si possible, les métriques devraient être évaluées sur des ensembles de données comprenant également des annotations humaines, comme HATS.

Bien que ces nouvelles méthodes d'évaluation soient intéressantes en RAP, l'avantage des métriques WER et CER est leur faible coût de calcul et l'interprétabilité du score. Par conséquent, la prochaine
étape pourrait consister à développer des métriques en corrélation avec la perception humaine tout en restant interprétables, ce qui n'est pour l'instant pas le cas de la métrique SemDist par exemple.

Dans le cadre d'un travail futur, une étude supplémentaire pourrait être menée en reproduisant l'expérience actuelle en utilisant une référence audio au lieu d'une référence textuelle, de sorte que les sujets ne disposent pas d'informations sur les caractères. Cette approche nous permettrait d'examiner les variations éventuelles et de déterminer si la métrique CER est toujours considérée comme meilleure que le WER dans un contexte multimodal.

Références

BAEVSKI A., ZHOU Y., MOHAMED A. & AULI M. (2020). wav2vec 2.0 : A framework for self-supervised learning of speech representations. *Advances in Neural Information Processing Systems*, **33**, 12449-12460.

BAÑERAS-ROUX T., ROUVIER M., WOTTAWA J. & DUFOUR R. (2022). Qualitative Evaluation of Language Model Rescoring in Automatic Speech Recognition. In *Interspeech 2022*.

BOJANOWSKI P., GRAVE E., JOULIN A. & MIKOLOV T. (2017). Enriching word vectors with subword information. *Transactions of the association for computational linguistics*, **5**, 135-146.

CUTLER A. (2012). *Native listening : Language experience and the recognition of spoken words*. Mit Press.

ESTEVE Y., BAZILLON T., ANTOINE J.-Y., BÉCHET F. & FARINAS J. (2010). The EPAC corpus : manual and automatic annotations of conversational speech in French broadcast news. In *International Conference on Language Resources and Evaluation (LREC)*.

FAVRE B., CHEUNG K., KAZEMIAN S., LEE A., LIU Y., MUNTEANU C., NENKOVA A., OCHEI D., PENN G., TRATZ S. et al. (2013). Automatic human utility evaluation of ASR systems : Does WER really predict performance ? In *INTERSPEECH*, p. 3463-3467.

GALLIANO S., GEOFFROIS E., GRAVIER G., BONASTRE J.-F., MOSTEFA D. & CHOUKRI K. (2006). Corpus description of the ESTER Evaluation Campaign for the Rich Transcription of French Broadcast News. In *International Conference on Language Resources and Evaluation (LREC)*, p. 139-142.

GALLIANO S., GRAVIER G. & CHAUBARD L. (2009). The ESTER 2 evaluation campaign for the rich transcription of French radio broadcasts. In *Tenth Annual Conference of the International Speech Communication Association*.

GIRAUDEL A., CARRÉ M., MAPELLI V., KAHN J., GALIBERT O. & QUINTARD L. (2012). The repere corpus : a multimodal corpus for person recognition. In *International Conference on Language Resources and Evaluation (LREC)*, p. 1102-1107.

GORDEEVA L., ERSHOV V., GULYAEV O. & KURALENOK I. (2021). Meaning Error Rate : ASR domain-specific metric framework. In *Proceedings of the 27th ACM SIGKDD Conference on Knowledge Discovery & Data Mining*, p. 458-466.

GRAVE É., BOJANOWSKI P., GUPTA P., JOULIN A. & MIKOLOV T. (2018). Learning word vectors for 157 languages. In *Proceedings of the Eleventh International Conference on Language Resources and Evaluation (LREC 2018)*.

GRAVIER G., ADDA G., PAULSSON N., CARRÉ M., GIRAUDEL A. & GALIBERT O. (2012). The ETAPE corpus for the evaluation of speech-based TV content processing in the French language. In *International Conference on Language Resources and Evaluation (LREC)*, p. 114-118.
HSU W.-N., BOLTE B., TSAI Y.-H. H., LAKHOTIA K., SALAKHUTDINOV R. & MOHAMED A. (2021). Hubert: Self-supervised speech representation learning by masked prediction of hidden units. *IEEE/ACM Transactions on Audio, Speech, and Language Processing*, **29**, 3451–3460.

ITOH N., KURATA G., TACHIBANA R. & NISHIMURA M. (2015). A metric for evaluating speech recognizer output based on human-perception model. In *Sixteenth Annual Conference of the International Speech Communication Association*.

JUANG B. H. & RABINER L. R. (1991). Hidden Markov models for speech recognition. *Techno-metrics*, **33**(3), 251–272.

KAFLE S. & HUENERFAUTH M. (2017). Evaluating the usability of automatically generated captions for people who are deaf or hard of hearing. In *Proceedings of the 19th International ACM SIGACCESS Conference on Computers and Accessibility*, p. 165–174.

KIM S., ARORA A., LE D., YEH C.-F., FUEGEN C., KALINLI O. & SELTZER M. L. (2021). Semantic Distance: A New Metric for ASR Performance Analysis Towards Spoken Language Understanding. In *Proc. Interspeech 2021*, p. 1977–1981. doi: 10.21437/Interspeech.2021-1929.

KIM S., LE D., ZHENG W., SINGH T., ARORA A., ZHAI X., FUEGEN C., KALINLI O. & SELTZER M. (2022). Evaluating User Perception of Speech Recognition System Quality with Semantic Distance Metric. In *Proc. Interspeech 2022*, p. 3978–3982. doi: 10.21437/Interspeech.2022-11144.

LE H., VIAL L., FREJ J., SEGONNE V., COAVOUX M., LECOUTEUX B., ALLAUZEN A., CRABBÉ B., BESACIER L. & SCHWAB D. (2020). FlauBERT: Unsupervised Language Model Pre-training for French. In *Proceedings of the 12th Language Resources and Evaluation Conference*, p. 2479–2490.

MARTIN L., MULLER B., SUÁREZ P. J. O., DUPONT Y., ROMARY L., DE LA CLERGERIE É. V., SEDDAH D. & SAGOT B. (2020). CamemBERT: a Tasty French Language Model. In *Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics*, p. 7203–7219.

NAM S. & FELS D. (2019). Simulation of Subjective Closed Captioning Quality Assessment Using Prediction Models. *International Journal of Semantic Computing*, **13**(01), 45–65.

NOWAK S. & RÜGER S. (2010). How reliable are annotations via crowdsourcing: a study about inter-annotator agreement for multi-label image annotation. In *Proceedings of the international conference on Multimedia information retrieval*, p. 557–566.

POVEY D., GHOSHAL A., BOULIANNE G., BURGET L., GLEMBEK O., GOEL N., HANNEMANN M., MOTLICEK P., QIAN Y., SCHWARZ P. et al. (2011). The Kaldi speech recognition toolkit. In *IEEE 2011 workshop on automatic speech recognition and understanding*, volume CONF: IEEE Signal Processing Society.

RAVANELLI M., PARCOLLET T., PLANTINGA P., ROUHE A., CORNELL S., LUGOSCH L., SUBAKAN C., DAWALATABAD N., HEBA A., ZHONG J., CHOU J.-C., YEH S.-L., FU S.-W., LIAO C.-F., RASTORGUEVA E., GRONDIN F., ARIS W., NA H., GAO Y., MORI R. D. & BENGIO Y. (2021). SpeechBrain: A general-purpose speech toolkit. arXiv:2106.04624.

REIMERS N. & GUREVYCH I. (2019). Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks. In *Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP)*, p. 3982–3992.

VASILESCU I., ADDA-DECKER M. & LAMEL L. (2012). Cross-lingual studies of ASR errors: paradigms for perceptual evaluations. In *Proceedings of the Eighth International Conference on Language Resources and Evaluation (LREC’12)*, p. 3511–3518.
WANG Y.-Y., ACERO A. & CHELBA C. (2003). Is word error rate a good indicator for spoken language understanding accuracy. In *2003 IEEE workshop on automatic speech recognition and understanding (IEEE Cat. No. 03EX721)*, p. 577–582 : IEEE.

ZHANG* T., KISHORE* V., WU* F., WEINBERGER K. Q. & ARTZI Y. (2020). Bertscore : Evaluating text generation with bert. In *International Conference on Learning Representations*.
# Résumé automatique multi-documents guidé par une base de résumés similaires

Florian Baud¹,² Alex Aussem¹

(1) LIRIS UMR 5205 CNRS, 25 Avenue Pierre de Coubertin, 69622 Villeurbanne, France

(2) Visiativ, 26 Rue Benoit Bennier, 69260 Charbonnières-les-Bains, France

florian.baud@liris.cnrs.fr, alexandre.aussem@liris.cnrs.fr

## RÉSUMÉ

Le résumé multi-documents est une tâche difficile en traitement automatique du langage, ayant pour objectif de résumer les informations de plusieurs documents. Cependant, les documents sources sont souvent insuffisants pour obtenir un résumé qualitatif. Nous proposons un modèle guidé par un système de recherche d'informations combiné avec une mémoire non paramétrique pour la génération de résumés. Ce modèle récupère des candidats pertinents dans une base de données, puis génère le résumé en prenant en compte les candidats avec un mécanisme de copie et les documents sources. Cette mémoire non paramétrique est implémentée avec la recherche approximative des plus proches voisins afin de faire des recherches dans de grandes bases de données. Notre méthode est évalué sur le jeu de données *MultiXScience* qui regroupe des articles scientifiques. Enfin, nous discutons de nos résultats et des orientations possibles pour de futurs travaux.

## ABSTRACT

### Non-Parametric Memory Guidance for Multi-Document Summarization

Multi-document summarization is a difficult task in natural language processing, aiming to summarize information from several documents. However, the source documents are often insufficient to obtain a qualitative summary. We propose a retriever-guided model combined with non-parametric memory for summary generation. This model retrieves relevant candidates from a database and then generates the summary considering the candidates with a copy mechanism and the source documents. The retriever is implemented with Approximate Nearest Neighbor Search (ANN) to search large databases. Our method is evaluated on the *MultiXScience* dataset which includes scientific articles. Finally, we discuss our results and possible directions for future work.

**MOTS-CLÉS** : Résumé multi-document, Augmentée par recherche, Guidage.

**KEYWORDS:** Multi-document summarization, Retrieval augmented, Guidance.

# 1 Introduction

Le résumé multi-documents automatique s'effectue à l'aide de deux méthodes : extractive (Wang et al., 2020; Liu et al., 2021) ou par abstraction (Jin et al., 2020; Xiao et al., 2022). Les méthodes dites extractives classent les phrases des documents sources afin d'obtenir un résumé. Ces méthodes réutilisent bien les informations importantes pour construire un résumé de qualité mais manquent de cohérence entre les phrases. Pour surmonter ce problème, les méthodes par abstraction sont étudiées pour rendre les résumés obtenus avec une meilleure cohérence. Les modèles générant des résumés

<figure><img src="image_22.png" /></figure>
par abstraction montrent d'excellentes performances sur le style d'écriture, mais oublient souvent des informations clés pour obtenir un résultat de qualité.

Pour que les modèles par abstraction tiennent compte des informations essentielles, (Dou et al., 2021) guide leur modèle avec des informations supplémentaires comme un ensemble de mots-clés, des triplets de graphes, des phrases importantes des documents sources ou des résumés similaires récupérés depuis une base de connaissances. Avec comme mesure de similarité, la similarité cosinus. Leur méthode, qui utilise toutes les formes d'informations mentionnées précédemment, améliore la qualité et la contrôlabilité du résumé par rapport aux modèles non guidés. Cependant, le guidage nécessite des données d'entraînement spécifiques, notamment pour les mots-clés, les triplets de graphes et les phrases surlignées.

Notre proposition est qu'en guidant avec des résumés préexistants, le modèle puisse s'inspirer du résumé dans sa globalité mais aussi de pouvoir extraire des mots-clés et des phrases en utilisant un mécanisme de copie (Gu et al., 2016; See et al., 2017). Par conséquent, ce travail se concentre sur le guidage par des résumés similaires extraits d'une base de connaissances en utilisant la similarité cosinus. Le modèle, inspiré de RAG (Lewis et al., 2020), est entièrement différentiable. En outre, le générateur du modèle utilise un mécanisme de copie sur les résumés remontés de la base de connaissances inspiré de (Cai et al., 2021). Les conclusions de ces deux travaux ont motivé l'élaboration de notre modèle pour la tâche de résumé de texte multi-documents.

Nous démontrons le potentiel de notre méthode sur la base *MultiXScience* (Lu et al., 2020) regroupant des articles scientifiques. Dans le cas d'articles scientifiques, les documents sources sont souvent insuffisants pour générer la partie *"related work"*. Des connaissances externes sont nécessaires pour rédiger un tel paragraphe. Notre objectif est de générer la partie *"related work"* avec notre méthode en intégrant des informations externes, dans notre cas des résumés préexistant et qui sont proches du résumé cible.

Dans cet article, nous étudions un modèle séquence à séquence guidé par une mémoire non paramétrique de résumés similaires. Notre contribution est double : premièrement, nous intégrons une mémoire non paramétrique comme définis dans (Lewis et al., 2020) afin de récupérer les candidats à la génération du résumé, et deuxièmement, nous utilisons un mécanisme de copie pour intégrer ces candidats dans la procédure de génération. Le code de notre travail est disponible sur github<fnref n="1" />.

## 2 Travaux similaires

Nous commençons par une revue des travaux similaires, tout d'abord les travaux sur les résumés d'articles scientifiques. En effet, (Cohan et al., 2018) proposent de résumer des articles scientifiques provenant de Arvix et Pubmed, ils capturent la structure du document pour mieux représenter l'information du document source. Cependant cela concerne le résumé automatique d'un seul document. Dans le même but, (Cohan & Goharian, 2018; Yasunaga et al., 2019) proposent de résumer un article avec les articles qui le citent. L'inconvénient de cette méthode est qu'elle ne peut pas être utilisée lors de la rédaction d'un article. Dans ce travail, nous utilisons les méthodes de résumé de texte multi-documents avec les références et non les articles qui citent les documents à résumer contrairement aux deux travaux précédents.

Les modèles utilisant des guidages sont proches de notre travail. (Cao et al., 2018; Dou et al., 2021)

<footnote n="1">1. https://github.com/florianbaud/retrieval-augmented-mds</footnote>
extraient des résumés similaires d'une base de connaissances pour aider la génération du résumé cible. Cependant, ils utilisent des systèmes de recherche d'information tels que *ElasticSearch* pour trouver des candidats à la génération du résumé. De même, (An et al., 2021) introduisent un système de recherche avec des vecteurs denses pour le résumé de texte, mais ils n'entraînent pas le système de recherche avec le reste du modèle. Dans notre cas, la recherche est effectuée avec des vecteurs denses et est entraînable pour trouver les candidats les plus pertinents à la génération du résumé.

Le domaine des modèles augmentés avec un système de recherche d'information différentiable partagent des points communs avec notre travail. Rag, (Lewis et al., 2020) qui a introduit ce type de modèle, est utilisé pour la tâche de questions-réponses, où un contexte est donné pour répondre à la question. Le modèle récupère plusieurs contextes avec un système de recherche d'information entraînable end-to-end, puis répond à la question en utilisant chacun des candidats récupérés. Ces types de modèles sont également utilisés dans la tâche de traduction, où (Cai et al., 2021) traduit une phrase avec une base de traduction préétablie. Leur modèle recherche dans cette base des traductions possibles de la phrase à traduire, puis les intègre dans la génération de la traduction par un mécanisme de copie. L'architecture que nous proposons repose sur la même idée : elle est basée sur un système de recherche d'information différentiable qui intègre la mémoire au moyen d'un mécanisme de copie. Il est intéressant de déterminer si le mécanisme de copie employé avec succès en traduction apporte également un gain au résumé multi-documents.

## 3 Méthode proposée

<figure><img src="image_23.png" /></figure>

FIGURE 1 – Dans un premier temps, tous les éléments de la base de connaissances sont encodés avec un encodeur dédié : le "Memory Encoder". Les documents sources sont transformés avec deux encodeurs distincts : le "Query Encoder" se charge d'encoder les documents sources afin de rechercher dans la base de connaissances et le "Source Encoder" se charge de représenter les documents sources pour la génération du résumé. Après avoir récupéré le top-k de la recherche, les candidats sont encodés avec l'encodeur "Retrieved Encoder" et avec le "Memory Encoder" pour recalculer le score de pertinence afin de propager le signal lors de la rétro-propagation du gradient. Finalement, le décodeur prend en entrée les documents sources et candidats pour la génération du résumé.

Inspiré par (Cai et al., 2021), nous proposons un modèle composé d'un système de recherche d'information différentiable end-to-end et d'un générateur augmenté avec un mécanisme de copie. Nous commençons par présenter le système de recherche d'information différentiable puis le décodeur augmenté avec le mécanisme de copie. La figure 1 illustre l'architecture du modèle dans sa globalité.
## 3.1 Encodeur à mémoire non paramétrique

Les systèmes de recherche d'informations consistent en une requête et une base de recherche, l'objectif étant de retrouver les éléments pertinents de la base à l'aide de la requête. Dans notre cas les documents sources et les résumés cibles correspondent aux requêtes et à la base de recherche ou mémoire, respectivement noté $Q$ et $M$. Ces documents sont encodés avec un modèle de type Longformer (Beltagy et al., 2020). LongFormer possède une architecture Transformer (Vaswani et al., 2017) qui peut traiter de longues séquences d'entrée avec une attention fenêtrée sur tous les tokens et une attention globale sur quelques tokens. Nous encodons les documents sources et les résumés avec deux encodeurs pré-entraînés distincts, un pour les documents sources et l'autre pour les résumés :

$$h^q = \mathrm{LED}_{\mathrm{enc}}^q(q) \quad q \in Q$$ $$h^m = \mathrm{LED}_{\mathrm{enc}}^m(m) \quad m \in M$$

où l'encodeur LongFormer est désigné par $LED_{enc}$. Tous les résumés de la base de connaissances sont encodés et stockés en amont de l'entraînement. Lors de la recherche dans la base, nous prenons le token [CLS] correspondant à un token spécial censé représenter le sens global du document encodé. Ce token est normalisé afin de calculer un score avec une fonction de pertinence :

$$h_{cls}^q = \mathrm{norm}(h_{cls}^q)$$ $$h_{cls}^m = \mathrm{norm}(h_{cls}^m)$$ $$\mathrm{score}(x, y) = x^\top \cdot y$$

Le score représente la similarité cosinus entre les documents sources $q$ et les documents de la mémoire $m$ qui tombent dans l'intervalle $[-1, 1]$. Pour une recherche rapide, nous retrouvons les $k$ documents les plus pertinents $m_{topk} = (m_1, \dots, m_k)$ de la mémoire en utilisant la bibliothèque FAISS (Johnson et al., 2021). À chaque propagation en avant de l'entraînement, les vecteurs des documents candidats $\{h_{cls,i}^m\}_{i=1}^k$ sont recalculés ainsi que les scores de pertinence $\{s_i = \mathrm{score}(h_{cls,i}^m, h_{cls}^q)\}_{i=1}^k$ afin de propager le signal jusqu'à l'encodeur de la mémoire comme dans (Cai et al., 2021; Lewis et al., 2020). De ce fait, les scores recalculés viennent biaiser le mécanisme de copie du décodeur permettant la propagation du signal jusqu'aux encodeurs.

L'encodeur de la mémoire ne ré-encode pas toute la base de connaissances à chaque étape de l'entraînement car cela serait un calcul coûteux. Au lieu de cela, la base de connaissances et l'index FAISS sont mis à jour à intervalles réguliers. D'autre part, nous encodons les candidats les plus recherchés (top-k) et les documents sources avec deux encodeurs distincts, $LED_{enc}^r$ et $LED_{enc}^s$, comme indiqué ci-dessous :

$$h_{topk}^r = \mathrm{LED}_{\mathrm{enc}}^r(m_{topk})$$ $$h^s = \mathrm{LED}_{\mathrm{enc}}^s(q)$$

Le décodeur prend en compte ces deux résultats avec de l'attention croisée.

## 3.2 Le décodeur avec mécanisme de copie

Dans la partie décodeur de notre modèle, nous utilisons le décodeur de LongFormer et nous appliquons un mécanisme de copie aux candidats précédemment récupérés. Ainsi, nous avons :
$$h^d = \mathrm{LED}_{\mathrm{dec}}(y, h^s)$$

où $LED_{dec}$ correspond à la partie décodeur du modèle *LongFormer*, et $y$ est le résumé ciblé. Le décodeur prend en compte les documents sources $h^s$ et les tokens précédents $y_{1:t-1}$, produisant un état caché $h_t^d$ à chaque pas de la génération $t$. La probabilité du token suivant est calculée avec une fonction softmax :

$$P_{\mathrm{dec}}(y_t) = \mathrm{softmax}(W_d \cdot h_t^d + b_d) \qquad (1)$$

où $W_d$ est une matrice $hiddens_{size} \times vocab_{size}$ et $b_d$ un vecteur de biais; ces deux paramètres sont entraînés. Ensuite, nous incorporons les candidats du top-k $m_{topk}$ avec un mécanisme de copie en calculant une attention croisée entre $h_t^d$ et $h_{topk}^r$. Pour cela, nous réutilisons la partie attention croisée de *LongFormer* pour l'ajouter après son décodeur original. Cette nouvelle couche n'a qu'une seule tête d'attention afin d'utiliser les poids d'attention comme probabilité de copier un mot parmi les candidats du top-k. Étant donné k documents encodés dans $h_{topk}^r$, nous pouvons construire un ensemble de plongements (embeddings) de mots $\{r_{i,j}\}_{j=1}^{L_i}$ où $i \in [1, k]$, $j \in [1, L_i]$ et $L_i$ est la longueur du document $i$. Concrètement, le poids d'attention du jème token dans le ième document pertinent est exprimé comme suit,

$$\alpha_{ij} = \frac{\exp(h_t^{d\top} W_a r_{i,j} + \beta s_i)}{\sum_{i=1}^{k} \sum_{j=1}^{L_i} \exp(h_t^{d\top} W_a r_{i,j} + \beta s_i)} \\ c_t = W_c \sum_{i=1}^{k} \sum_{j=1}^{L_i} \alpha_{ij} r_{i,j}$$

où $W_a$ et $W_c$ sont des paramètres entraînable, $c_t$ est une représentation pondérée des k meilleurs candidats et $\beta$ est un scalaire entraînable qui contrôle le score de pertinence entre les candidats récupérés et l'état caché du décodeur, permettant le flux de gradient vers les encodeurs comme dans (Cai et al., 2021; Lewis et al., 2020). L'équation 1 peut être réécrite pour inclure la mémoire :

$$P_{\mathrm{dec}}(y_t) = \mathrm{softmax}(W_d \cdot (h_t^d + c_t) + b_d) \qquad (2)$$

Ainsi, la probabilité du prochain token prend en compte les poids d'attention des k candidats les plus importants. La probabilité finale du prochain token est donnée par :

$$P(y_t) = (1 - \lambda_t) P_{\mathrm{dec}}(y_t) + \lambda_t \sum_{i=1}^{k} \sum_{j=1}^{L_i} \alpha_{ij} \mathbb{1}_{r_{ij}=y_t}$$

où $\lambda_t$ est un scalaire agissant comme une porte logique calculé par un réseau feed-forward $\lambda_t = g(h^d, c_t)$. Le modèle est entraîné avec la fonction de perte de la log-vraisemblance $\mathcal{L} = - \log P(y^*)$ où $y^*$ est le résumé cible.

## 3.3 Détails de l'entraînement

Notre modèle est composé de plusieurs encodeurs et décodeurs basés sur le *LongFormer* (Beltagy et al., 2020). La taille de notre modèle est de 1.9 milliard de paramètres entraînables. Pour entraîner le modèle, nous avons utilisé la librairie *DeepSpeed* (Rasley et al., 2020).
L'entraînement du modèle utilise les données *MultiXScience* comprenant 30 369 articles scientifiques pour l'entraînement, 5 066 articles de validation et 5 093 articles de test. L'objectif est de générer la partie "related work" en utilisant le résumé de l'article et les résumés des articles cités. Il s'agit d'un ensemble de données intéressant à expérimenter car l'écriture de la partie "related work" nécessite des connaissances extérieures aux documents sources.

Au début de l'apprentissage, les poids sont initialisés de façon aléatoire et l'encodeur sélectionne de "mauvais" candidats. Pour surmonter ce problème, nous pré-entraînons le système de recherche d'informations sur les données *MultiXScience* afin de commencer l'entraînement avec des résultats de bonne qualité. L'objectif est de maximiser la similarité entre le résumé et la section "related work". Ces deux sections sont encodées avec les deux encodeurs précédents afin de calculer la similarité cosinus. Ainsi, pour une taille de données d'entraînement égale à N, nous avons N sections "abstract" encodées avec $A = \{LED_{enc}^q(a_i)\}_{i=1}^N$ et N sections "related work" encodées avec $B = \{LED_{enc}^m(b_j)\}_{j=1}^N$, le but est d'obtenir une similarité cosinus égal à 1 lorsque $j = i$ correspondant aux exemples positifs et -1 sinon pour les exemples négatifs. Nous calculons pour chaque élément de A, les erreurs suivantes :

$$ \mathcal{L}_i(A, B) = - \log \frac{\exp(\text{score}(A_i, B_i)/\tau)}{\sum_{j=1}^{N} \exp(\text{score}(A_i, B_j)/\tau)} $$

où $\tau$ est un paramètre de température choisi arbitrairement. L'erreur finale est $\mathcal{L} = \sum_{i=1}^{N} \mathcal{L}_i$ rétro-propagée dans les deux encodeurs.

# 4 Expérimentation

Dans cette section, nous présentons les expériences réalisées sur le jeu de données *MultiXScience* pour évaluer notre modèle. L'entraînement du modèle complet est plus difficile en raison de sa taille mais aussi du problème du démarrage à froid du système d'informations. Ce dernier correspond au fait que les résumés similaires récupérés ne sont pas suffisamment pertinents pour aider le modèle à générer des résumés de qualité.

Pour réduire la charge de calcul, nous avons utilisé un modèle réduit où la base de connaissances n'est pas du tout reconstruite. En outre, les paramètres de l'encodeur de mémoire ont été gelés afin de réduire la complexité de l'apprentissage. Ces deux modifications ont permis de réduire considérablement le temps d'apprentissage. Le modèle réduit a moins de paramètres entraînables (1.4 milliard). Le modèle a été entraîné pendant deux jours sur quatre GPU v100 avec l'optimiseur Adam et un taux d'apprentissage de 1e-4, une taille de données d'entraînement de 32, un top-k de 5 pour le récupérateur et avec 2k étapes de *warmup* et une décroissance linéaire jusqu'à 20k étapes. Les scores rouges (Lin, 2004) sur le jeu de données *MultiXScience* sont reportés dans le tableau 1.

<table><caption>TABLE 1 – Le score ROUGE (R-1/R-2/R-L) de nos résultats sur le jeu de données de test *MultiXScience*. Le symbole * signifie que les résultats ont été empruntés à (Xiao et al., 2022).</caption><thead><tr><th>Method</th><th>R-1</th><th>R-2</th><th>R-L</th></tr></thead><tbody><tr><td>Notre modèle<br>(Xiao et al., 2022)*</td><td>28.9</td><td>6.2</td><td>17.6</td></tr><tr><td>(Lu et al., 2020)*</td><td>31.9</td><td><strong>7.4</strong></td><td>18.0</td></tr><tr><td></td><td><strong>33.9</strong></td><td>6.8</td><td><strong>18.2</strong></td></tr></tbody></table>
Malgré sa réduction de taille, nous observons que le modèle est compétitif par rapport à l'état de l'art avec des méthodes n'utilisant pas de mécanisme de copie couplé avec un système de recherche d'informations sur des résumés similaires.

# 5 Conclusion

Cet article présente une architecture pour le résumé de texte multi-documents inspirée par des modèles augmentés par un système de recherche d'informations. Cette architecture comprend un système de recherche d'informations qui cherche dans une base de connaissances des résumés similaires pour la génération d'un résumé. Ces documents sont intégrés dans la génération au moyen d'un mécanisme de copie. Une version réduite du modèle a été évaluée sur le jeu de données *MultiXScience*. Les résultats sont compétitifs par rapport à l'état de l'art, mais nous espérons améliorer encore nos résultats, d'une part en corrigeant correctement le problème du démarrage à froid, et d'autre part en utilisant le modèle complet. Pour la suite des travaux, nous prévoyons également d'augmenter la taille de la base de connaissances avec de nouvelles données, et d'appliquer notre méthode à d'autres jeux de données pour la tâche de résumé multi-documents.

# Remerciements

Nous remercions le Centre de Calcul CNRS/IN2P3 (Lyon - France) pour la mise à disposition des ressources informatiques nécessaires à ce travail. De plus, ces travaux ont bénéficié d'un accès aux moyens de calcul de l'IDRIS au travers de l'allocation de ressources 2022-AD011013300 attribuée par GENCI. Enfin, nous remercions Roch Auburtin de la société Visiativ pour les conseils fournis sur nos travaux.

# Références

AN C., ZHONG M., GENG Z., YANG J. & QIU X. (2021). Retrievalsum : A retrieval enhanced framework for abstractive summarization.

BELTAGY I., PETERS M. E. & COHAN A. (2020). Longformer : The long-document transformer.
arXiv : 2004.05150.

CAI D., WANG Y., LI H., LAM W. & LIU L. (2021). Neural machine translation with monolingual translation memory. In *Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers)*, p. 7307–7318, Online : Association for Computational Linguistics. DOI : 10.18653/v1/2021.acl-long.567.

CAO Z., LI W., LI S. & WEI F. (2018). Retrieve, rerank and rewrite : Soft template based neural summarization. In *Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers)*, p. 152–161, Melbourne, Australia : Association for Computational Linguistics. DOI : 10.18653/v1/P18-1015.

COHAN A., DERNONCOURT F., KIM D. S., BUI T., KIM S., CHANG W. & GOHARIAN N. (2018). A discourse-aware attention model for abstractive summarization of long documents. In *Proceedings*
of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 2 (Short Papers), p. 615–621, New Orleans, Louisiana: Association for Computational Linguistics. DOI: 10.18653/v1/N18-2097.

COHAN A. & GOHARIAN N. (2018). Scientific document summarization via citation contextualization and scientific discourse. *International Journal on Digital Libraries*, **19**(2), 287–303. DOI: 10.1007/s00799-017-0216-8.

DOU Z.-Y., LIU P., HAYASHI H., JIANG Z. & NEUBIG G. (2021). GSum: A general framework for guided neural abstractive summarization. In *Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies*, p. 4830–4842, Online: Association for Computational Linguistics. DOI: 10.18653/v1/2021.naACL-main.384.

GU J., LU Z., LI H. & LI V. O. (2016). Incorporating copying mechanism in sequence-to-sequence learning. In *Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers)*, p. 1631–1640, Berlin, Germany: Association for Computational Linguistics. DOI: 10.18653/v1/P16-1154.

JIN H., WANG T. & WAN X. (2020). Multi-granularity interaction network for extractive and abstractive multi-document summarization. In *Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics*, p. 6244–6254, Online: Association for Computational Linguistics. DOI: 10.18653/v1/2020.acl-main.556.

JOHNSON J., DOUZE M. & JÉGOU H. (2021). Billion-scale similarity search with gpus. *IEEE Transactions on Big Data*, **7**(3), 535–547. DOI: 10.1109/TBDATA.2019.2921572.

LEWIS P., PEREZ E., PIKTUS A., PETRONI F., KARPUKHIN V., GOYAL N., KÜTTLER H., LEWIS M., YIH W.-T., ROCKTÄSCHEL T., RIEDEL S. & KIELA D. (2020). Retrieval-augmented generation for knowledge-intensive nlp tasks. In *Proceedings of the 34th International Conference on Neural Information Processing Systems*, NIPS’20, Red Hook, NY, USA: Curran Associates Inc.

LIN C.-Y. (2004). ROUGE : A package for automatic evaluation of summaries. In *Text Summarization Branches Out*, p. 74–81, Barcelona, Spain: Association for Computational Linguistics.

LIU Y., ZHANG J., WAN Y., XIA C., HE L. & YU P. (2021). HETFORMER : Heterogeneous transformer with sparse attention for long-text extractive summarization. In *Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing*, p. 146–154, Online and Punta Cana, Dominican Republic: Association for Computational Linguistics. DOI: 10.18653/v1/2021.emnlp-main.13.

LU Y., DONG Y. & CHARLIN L. (2020). Multi-XScience : A large-scale dataset for extreme multi-document summarization of scientific articles. In *Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP)*, p. 8068–8074, Online: Association for Computational Linguistics. DOI: 10.18653/v1/2020.emnlp-main.648.

RASLEY J., RAJBHANDARI S., RUWASE O. & HE Y. (2020). Deepspeed : System optimizations enable training deep learning models with over 100 billion parameters. In *Proceedings of the 26th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining*, KDD ’20, p. 3505–3506, New York, NY, USA: Association for Computing Machinery. DOI: 10.1145/3394486.3406703.

SEE A., LIU P. J. & MANNING C. D. (2017). Get to the point : Summarization with pointer-generator networks. In *Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers)*, p. 1073–1083, Vancouver, Canada: Association for Computational Linguistics. DOI: 10.18653/v1/P17-1099.
VASWANI A., SHAZEER N., PARMAR N., USZKOREIT J., JONES L., GOMEZ A. N., KAISER L. U. & POLOSUKHIN I. (2017). Attention is all you need. In I. GUYON, U. V. LUXBURG, S. BENGIO, H. WALLACH, R. FERGUS, S. VISHWANATHAN & R. GARNETT, Éds., *Advances in Neural Information Processing Systems*, volume 30 : Curran Associates, Inc.

WANG D., LIU P., ZHENG Y., QIU X. & HUANG X. (2020). Heterogeneous graph neural networks for extractive document summarization. In *Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics*, p. 6209–6219, Online : Association for Computational Linguistics. DOI: 10.18653/v1/2020.acl-main.553.

XIAO W., BELTAGY I., CARENINI G. & COHAN A. (2022). PRIMERA : Pyramid-based masked sentence pre-training for multi-document summarization. In *Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1 : Long Papers)*, p. 5245–5263, Dublin, Ireland : Association for Computational Linguistics. DOI: 10.18653/v1/2022.acl-long.360.

YASUNAGA M., KASAI J., ZHANG R., FABBRI A. R., LI I., FRIEDMAN D. & RADEV D. R. (2019). Scisummnet : A large annotated corpus and content-impact models for scientific paper summarization with citation networks. *Proceedings of the AAAI Conference on Artificial Intelligence*, 33(01), 7386–7393. DOI: 10.1609/aaai.v33i01.33017386.
# Traduction à base d'exemples du texte vers une représentation hiérarchique de la langue des signes

Élise Bertin-Lemée¹ Annelies Braffort² Camille Challant²

Claire Danet² Michael Filhol²

(1) SYSTRAN, 5 rue Feydeau, Paris, France

(2) LISN, Univ. Paris-Saclay, bât. 507, rue du Belvédère, 91405 Orsay, France

elise.bertinlemee@systrangroup.com, {annelies.braffort, camille.challant, claire.danet, michael.filhol}@lisn.upsaclay.fr

## RÉSUMÉ

Cet article présente une expérimentation de traduction automatique de texte vers la langue des signes (LS). Comme nous ne disposons pas de corpus aligné de grande taille, nous avons exploré une approche à base d'exemples, utilisant AZee, une représentation intermédiaire du discours en LS sous la forme d'expressions hiérarchisées.

## ABSTRACT

### Example-Based Machine Translation from Text to a Hierarchical Representation of Sign Language

This paper presents an experiment in automatic translation from text to sign language (SL). As we do not have a large aligned corpus, we have explored an example-based approach, using AZee, an intermediate representation of the discourse in SL in the form of hierarchical expressions.

**MOTS-CLÉS** : Langue des signes, traduction à base d'exemples, représentation intermédiaire.

**KEYWORDS:** Sign Language, example-based translation, intermediate representation.

## 1 Introduction

Le travail présenté ici a été réalisé dans le cadre d'un projet qui visait à étudier des solutions d'accessibilité pour les contenus audiovisuels pour les personnes sourdes à l'aide de sous-titrage et de traduction en langue des signes (LS). Pour ce dernier objectif, les trois principales contributions ont été la constitution d'un corpus aligné de texte et de LS (Bertin-Lemée et al., 2022), un système de traduction automatique (TA) du texte en une représentation formelle de la LS (Bertin-Lemée et al., 2023), et un système permettant de générer des animations d'emojis signants à partir de cette représentation (Dauriac et al., 2022). Après un aperçu des enjeux et des travaux récents dans le domaine, nous expliquons la méthode et les choix de conception et décrivons l'implémentation du système de traduction. Enfin, nous donnons des résultats préliminaires et discutons des questions soulevées pour l'évaluation.

<figure><img src="image_24.png" /></figure>
## 2 Traduction du texte vers la langue des signes

Les LS sont des langues naturelles pratiquées au sein des communautés de Sourds et la Langue des Signes Française (LSF) est celle utilisée en France. Dans la suite, nous parlerons des LS en général quand les aspects abordés les concernent toutes et de la LSF lorsque cela concerne uniquement cette langue. Ce sont des langues visuo-gestuelles : une personne s'exprime en LS en utilisant de nombreuses composantes corporelles (mains et bras, mais aussi torse, épaules, tête, regard et expressions faciales) et son interlocuteur perçoit le message par le canal visuel. Le système linguistique des LS exploite ces canaux spécifiques : de nombreuses informations sont exprimées simultanément et s'organisent dans l'espace, et l'iconicité joue un rôle central et structurant à tous les niveaux (du sub-lexical au discours). À ce jour, les LS n'ont pas de système d'écriture et les rares systèmes graphiques pour la transcription, tels que HamNoSys (Hanke, 2004) ou SignWriting (Bianchini, 2014), ne décrivent que l'aspect lexical. Ceux-ci ne peuvent représenter pleinement le niveau discursif, la multilinéarité, l'utilisation de l'espace et les structures illustratives. Tous ces aspects contribuent aux défis de la TA depuis ou vers les LS.

La TA d'un texte vers une LS est un sujet de recherche assez récent et encore très peu exploré. L'approche dominante en TA est l'approche neuronale, qui s'appuie sur la disponibilité de grands volumes de données alignées (de l'ordre de plusieurs millions de phrases), non disponibles dans cette quantité pour les LS. Si des tentatives existent avec ces méthodes, elles ne donnent pas encore de résultats satisfaisants, comme l'ont montré les évaluations humaines lors du premier défi portant sur la traduction automatique de LS suisse-allemande (DSGS) vers l'allemand (Müller et al., 2022).

La traduction automatique basée sur des exemples (EBMT<fnref n="1" />) est une autre approche fondée sur l'analogie qui utilise un corpus bilingue contenant des textes et leurs traductions (Nagao, 1984). Étant donné un texte à traduire, on sélectionne dans ce corpus des segments contenant des éléments similaires. Ces éléments sont ensuite utilisés pour traduire les éléments du texte original dans la langue cible, et ces phrases sont recombinées pour former une traduction complète. L'approche EBMT peut être mise en œuvre sur des corpus plus petits et donc envisagée dans notre cas. Les capacités de traduction restent liées à la taille du corpus, mais dans un domaine ciblé, on peut espérer obtenir des résultats de meilleure qualité que ceux obtenus actuellement par les approches neuronales.

Comme les LS n'ont pas de forme écrite, une approche courante est de procéder en deux étapes : une première étape consiste à traduire le texte en une représentation intermédiaire, et une seconde étape utilise cette représentation comme entrée d'un système de synthèse pour contrôler l'animation d'un personnage virtuel afin d'afficher le contenu en LS sous forme de vidéo.

Après une première génération d'études basées principalement sur des approches à base de règles (Veale et al., 1998; Zhao et al., 2000; Marshall & Safar, 2004), d'autres ont exploré des approches à base d'exemples (Morrissey & Way, 2005). Elles ont parfois été combinées avec des approches statistiques, comme par exemple De Martino et al. (2017) qui a développé un système qui traduit automatiquement quelques textes en portugais brésilien vers la LS brésilienne (LIBRAS), en fonction du contexte et de la fréquence d'apparition dans les traductions précédentes. À notre connaissance, ces projets n'ont donné lieu à aucune suite.

La grande majorité des projets utilisant une représentation intermédiaire de la LS, y compris les plus récents (Egea Gómez et al., 2021), utilisent des séquences de gloses, chaque glose<fnref n="2" /> représentant

<footnote n="1">1. En anglais : *example-based machine translation*.</footnote>

<footnote n="2">2. Une glose est une étiquette textuelle, généralement un seul mot, qui reflète la signification du signe qu'elle représente.</footnote>
une unité lexicale. Les systèmes de traduction traitent alors une séquence de tokens. Cependant, avec ce type de représentation, il est très difficile, voire impossible, de traiter les phénomènes courants de la LS, tels que l'activité non manuelle, les relations spatiales, les structures iconiques ou le rythme des mouvements. Il en résulte des animations de très mauvaise qualité, incomplètes, voire incompréhensibles. Pour cette raison, il parait indispensable d'envisager une représentation intermédiaire plus riche que de simples concatenations de gloses.

Dans certaines approches récentes de bout-en-bout (Stoll et al., 2020), l'utilisation d'une représentation intermédiaire n'est pas présente. Cette approche neuronale, encore très expérimentale, génère directement des vidéos de contenus signés photoréalistes à partir d'entrées textuelles. En plus de nécessiter des corpus de très grande taille, elle n'offre pas les mêmes avantages que les avatars (anonymat dans le rendu, apparence modifiable) que nous avons choisi de privilégier.

## 3 Approche à base d'exemples et représentation hiérarchique

Comme nous ne disposons pas de corpus aligné de grande taille, nous avons choisi d'explorer l'approche à base d'exemples. Par ailleurs, nous avons retenu AZee comme représentation intermédiaire, une approche formelle de représentation du discours en LS (Filhol et al., 2014). Celle-ci permet de définir des règles de production, qui associent des formes à articuler (par exemple, hausser les sourcils) à un sens identifié (par exemple, l'expression d'un doute). En les combinant, on peut construire des expressions discursives hiérarchiquement structurées représentant des énoncés complets, déterminant les formes à produire de manière suffisamment détaillée pour permettre ensuite de contrôler l'animation d'un avatar (Challant & Filhol, 2022).

Par exemple, considérons les six règles de production suivantes identifiées pour la LSF : les trois sans argument que sont ministre, environnement et parler, ainsi que les trois ci-dessous comportant des arguments (en italique) :

- info-about(topic, info) : info, qui est ciblée, est donnée sur un topic;

- side-info(focus, info) : focus avec une information supplémentaire (non focalisée) info à son sujet;

- nerveusement(s)ig : sig d'une manière nerveuse.

Ces règles peuvent être combinées hiérarchiquement dans l'expression suivante pour former la structure d'un énoncé signifiant "*le ministre de l'écologie parle nerveusement*" et respectant la grammaire de la LSF :

*:info-about
'topic
:side-info (*)
'focus
:ministre
'info
:environnement
'info
:nerveusement
'sig
:parler*
Afin d'explorer l'utilisation d'une approche à base d'exemples, nous avons utilisé une banque<fnref n="3" /> de
près de 2000 alignements entre des segments de texte en français et des expressions de ce type, créée
à partir du corpus parallèle français-LSF du projet.

L'approche à base d'exemples s'appuie sur l'analogie avec des exemples existants pour traduire
de nouveaux contenus. Cela signifie que nous pouvons tenter de traduire une nouvelle phrase en
trouvant des exemples suffisamment proches, et en remplaçant ce qui est différent. Par exemple, pour
traduire la phrase "la présidente parle nerveusement" qui ne figure pas dans la base d'exemples, on
peut partir de l'exemple "le ministre de l'écologie parle nerveusement" qui, lui, est présent dans
la base, et substituer une traduction de "la présidente" à celle de "le ministre de l'écologie" dans
le segment aligné. Dans cet exemple, "présidente" n'a pas de correspondance dans la phrase et est
nommé "anti-match", "ministre de l'écologie" est nommé sa "correction". L'hypothèse est que si
nous trouvons les parties correspondant à chaque anti-match dans la traduction alignée, nous pouvons
tenter de les remplacer par les traductions de leurs corrections.

# 4 Implémentation

Pour une phrase donnée à traduire, on va chercher dans le corpus des alignements dans lesquels le
segment de texte est exactement identique et on récupère les expressions alignées correspondantes.
En cas d'échec, on considère tous les alignements de texte qui sont "proches" et dont les différences
sont les "anti-matchs". La structure globale de la traduction dans la représentation intermédiaire est
ainsi conservée, dans laquelle on va pouvoir faire les substitutions.

Dans l'exemple précédent, on peut considérer que le segment "*le ministre de l'écologie parle nerveusement*" est proche de "*la présidente parle nerveusement*". L'anti-match unique $\bar{m}_1$ est "*le ministre de l'écologie*" et sa correction $c_1$ est "*la présidente*". Notre approche est alors : (1) d'identifier la sous-expression marquée (*) ci-dessus comme le nœud correspondant à la traduction de $\bar{m}_1$ ; et (2) d'y substituer une traduction de $c_1$. Pour ces deux tâches, on utilise récursivement le même algorithme. Pour (1) on génère les traductions possibles de $\bar{m}_1$ en vue d'y trouver (*) , et pour (2) on génère directement celles de $c_1$, qui pourront être substituées à (*).

Un des problèmes de cette approche est celui de l'échec de la traduction, qui est d'autant plus
susceptible de se produire que le corpus d'alignements d'exemples est petit. Dans de tels cas, nous
avons recours à une solution de repli où nous décomposons la requête en une partition de plus petits
morceaux de texte, que nous traduirons séparément et concaténerons dans le résultat avec pour seule
règle le suivi de l'ordre en source. Cette stratégie de repli produit une LS de moins bonne qualité, et
équivaut en fait à une traduction littérale (mot à mot) si elle est utilisée systématiquement. Mais elle
permet de juxtaposer des morceaux de LS plus importants et donc plus complets et plus fluides sans
recourir à la simple concaténation d'unités uniquement lexicales.

L'implémentation pratique de l'algorithme s'appuie sur plusieurs modules de traitement de texte pour
trouver les meilleures correspondances dans le corpus existant.

Pour permettre la mise en correspondance, l'anti-match et les partitions sous-phrastiques, la tokenisa-
tion au niveau du mot est d'abord effectuée par Open-NMT Tokenizer<fnref n="4" /> et une certaine flexibilité est
permise lors de la recherche de segments correspondants avec la ponctuation et les articles.

<footnote n="3">3. L'ensemble du corpus est disponible ici : https://www.ortolang.fr/market/corpora/rosetta-lsf</footnote>

<footnote n="4">4. https://github.com/OpenNMT/Tokenizer</footnote>
Ensuite, le défi principal est de définir quel type de “similarité” dans la langue source peut produire
les meilleurs candidats pour la génération de la langue cible. La sémantique et la syntaxe entrent en
jeu pour déterminer les éléments similaires à remplacer ou à traduire séparément. En pratique, nous
nous appuyons sur deux types d’analyse de texte à différentes étapes de l’algorithme.

Pour trouver les meilleurs anti-matches dans la base de données actuelle et les remplacer par des
corrections, nous utilisons l’appariement de chaîne de caractères et considérons comme candidats tous
les alignements qui ont des tokens en commun avec le texte soumis. Les meilleures correspondances
ont été définies empiriquement comme étant celles qui ont le maximum de tokens en commun, ainsi
que la longueur minimale en nombre de tokens ou la meilleure proportion de tokens similaires dans
l’ensemble des tokens. Pour l’instant, ce choix reste arbitraire et mériterait une étude comparative.

Lorsque les approches d'appariement et d'anti-match échouent, nous avons recours à des partitions
déterminées en naviguant dans l'arbre de dépendance syntaxique obtenu à l'aide de spaCy<fnref n="5" />, une
bibliothèque avec des modèles prêts à l'emploi et des chaînes de traitement optimisées pour les
langues naturelles. L'analyse syntaxique par dépendance n'explore pas toutes les partitions possibles
d'une phrase mais limite l'exploration à des morceaux syntaxiquement valides.

# 5 Test et discussion

Pour tester notre système, nous avons construit un jeu de test en créant des phrases mélangeant des
segments de différentes phrases de notre corpus, pour étudier les résultats produits. Notre jeu de test
est composé de 15 phrases. Par exemple, la phrase “*Recul de l'âge légal à la retraite : c'est ce que proposent les retraités pour leurs enfants*” a été créée à partir des phrases suivantes du corpus :

— “Recul de l'âge légal à la retraite : "Il ne faut pas prendre les Français pour des canards sauvages", lance Valérie Pécresse.”

— “Des routes nationales bientôt privatisées ? C'est ce que proposent les sociétés d'autoroutes dans une note interne.”

— “Solidarité : une ancienne abbaye accueille des retraités”

— “Au Japon, des dizaines de pères français se battent désespérément pour voir leurs enfants.”

Grâce à ce jeu de tests, nous avons pu faire valider, par le biais de focus groups avec des locuteurs
de LSF, que notre approche est préférable à une approche basée sur une simple concatenation de
signes lexicaux. En effet, les structures spécifiques à la LSF peuvent être trouvées dans les traductions
finales, ce qui n'est pas le cas lorsque la langue est réduite à une séquence de gloses.

En outre, l'approche produit des résultats présentant une certaine forme de créativité. En LSF, les
paraphrases ou les ajouts sont couramment utilisés, et font d'ailleurs partie de notre corpus tel qu'il a
été livré initialement par le traducteur au moment de la création du corpus vidéo. Ces éléments ont été
alignés par la suite comme exemples, et apparaissent donc fréquemment dans les traductions générées,
même si ce n'est pas toujours strictement nécessaire. Par exemple “Alsace” peut être signé par un seul
signe, mais il est aussi exprimé dans notre corpus par une expression bien plus complexe impliquant
des référencements spatialisés (zone à l'Est de la France placée sur un plan vertical), typique de la
LSF quand aucun contexte n'existe encore.

De plus, la sortie de l’algorithme est un ensemble de traductions (construites à partir des différentes

<footnote n="5">5. https://spacy.io</footnote>
combinaisons de substitution), et pas nécessairement une expression unique. Cela rend compte, d'une certaine manière, de la réalité de la tâche de traduction. Dans notre jeu de test, le nombre de traductions proposées pour une requête varie de 1 à 12 (moyenne : 4).

# 6 Conclusion et perspectives

Nous avons présenté une nouvelle idée de système de TA du texte vers la LSF, utilisant une approche à base d'exemples et une représentation hiérarchique de la LS, ainsi qu'un algorithme d'appariement, substitution et concaténation. Le corpus utilisé contient des alignements de textes français et leurs traductions en LSF décrites selon cette représentation. Un prototype a été réalisé et testé sur quelques exemples, fournissant ainsi une preuve de concept. Les capacités de ce système et la taille du corpus doivent encore être étendues avant de pouvoir effectuer de véritables évaluations. Mais nous pouvons d'ores et déjà souligner que l'évaluation d'un tel système ne sera pas facile, puisqu'il propose une traduction d'une langue vers une représentation d'une autre langue, non lisible directement.

Les métriques habituellement utilisées, qu'elles soient quantitatives ou qualitatives, sont adaptées aux cas où les langues source et cible sont textuelles. Dans notre cas, la cible n'est pas directement la LSF, mais une représentation formelle. En outre, cette représentation est utilisée pour générer des animations qui, certes, sont directement "lisibles" par les locuteurs de LSF, mais qui nécessitent de leur côté des phases d'évaluations qui ne sont pas liées aux aspects linguistiques mais plutôt à l'aspect de l' avatar, aux mouvements et à leur degré de bio-réalisme. La mise en place d'un protocole d'évaluation robuste et complet est clairement un sujet d'étude à part entière, qui devra être abordé dans un avenir proche.

# Remerciements

Ce travail a été financé par le projet d'investissement Bpifrance "Grands défis du numérique", dans le cadre du projet ROSETTA (RObot for Subtitling and intElligent adapTed TranslAtion). Nous remercions Noémie Churlet, Raphaël Bouton et Media'Pi ! pour leur engagement dans ce projet, qui n'aurait pas eu la même validité et le même impact sans eux.

# Références

BERTIN-LEMÉE E., BRAFFORT A., CHALLANT C., DANET C., DAURIAC B., FILHOL M., MARTINOD E. & SEGOUAT J. (2022). Rosetta-LSF : an Aligned Corpus of French Sign Language and French for Text-to-Sign Translation. In *Proceedings of the Language Resources and Evaluation Conference (LREC)*, Marseille, France.

BERTIN-LEMÉE E., BRAFFORT A., CHALLANT C., DANET C. & FILHOL M. (2023). Example-Based Machine Translation from Text to a Hierarchical Representation of Sign Language. In *The 24th Annual Conference of The European Association for Machine Translation*.

BIANCHINI C. S. (2014). *Analyse métalinguistique de l'émergence d'un système d'écriture des langues des signes : SignWriting et son application à la langue des signes italienne (LIS)*. Thèse de doctorat. Thèse de doctorat dirigée en Sciences du langage de l'Université Paris 8.
CHALLANT C. & FILHOL M. (2022). A First Corpus of AZee Discourse Expressions. In *Proceedings of the Language Resources and Evaluation Conference (LREC)*, p. 1560-1565, Marseille, France.

DAURIAC B., BRAFFORT A. & BERTIN-LEMÉE E. (2022). Example-based Multilinear Sign Language Generation from a Hierarchical Representation. In *Proceedings of the 7th International Workshop on Sign Language Translation and Avatar Technology : The Junction of the Visual and the Textual : Challenges and Perspectives*, p. 21-28, Marseille, France : European Language Resources Association.

DE MARTINO J. M., SILVA I. R., BOLOGNINI C. Z., COSTA P. D. P., KUMADA K. M. O., CORADINE L. C., DA SILVA BRITO P. H., DO AMARAL W. M., BENETTI Â. B., POETA E. T. et al. (2017). Signing Avatars : Making Education More Inclusive. *Universal access in the information society*, **16**(3), 793-808.

EGEA GÓMEZ S., McGILL E. & SAGGION H. (2021). Syntax-aware Transformers for Neural Machine Translation : The Case of Text to Sign Gloss Translation. In *Proceedings of the 14th Workshop on Building and Using Comparable Corpora (BUCC 2021)*, p. 18-27 : INCOMA Ltd.

FILHOL M., HADJADJ M. & CHOISIER A. (2014). Non-Manual Features : The Right to Indifference. In *International Conference on Language Resources and Evaluation*, p. 49-54, Reykjavik, Iceland.

HANKE T. (2004). Hamnosys - representing sign language data in language resources and language processing contexts. In O. STREITER & C. VETTORI, Éds., *LREC 2004, Workshop proceedings : Representation and processing of sign languages* : Paris : ELRA.

MARSHALL I. & SAFAR E. (2004). Sign language generation in an ALE HPSG. In S. MÜLLER, Éd., *Proceedings of the 11th International Conference on Head-Driven Phrase Structure Grammar, Center for Computational Linguistics, Katholieke Universiteit Leuven*, p. 189-201, Stanford, CA : CSLI Publications. DOI : 10.21248/hpsg.2004.11.

MORRISSEY S. & WAY A. (2005). An Example-Based Approach to Translating Sign Language. In *Workshop on Example-Based Machine Translation, MT SUMMIT*, p. 109-116, Phuket, Thailand : Asia-Pacific Association for Machine Translation, Tokyo.

MÜLLER M., EBLING S., AVRAMIDIS E., BATTISTI A., BERGER M., BOWDEN R., BRAFFORT A., CIHAN CAMGÖZ N., ESPAÑA-BONET C., GRUNDKIEWICZ R., JIANG Z., KOLLER O., MORYOSSEF A., PERROLLAZ R., REINHARD S., RIOS A., SHTERIONOV D., SIDLER-MISEREZ S. & TISSI K. (2022). Findings of the First WMT Shared Task on Sign Language Translation (WMT-SLT22). In *Proceedings of the Seventh Conference on Machine Translation (WMT)*, p. 744-772, Abu Dhabi, United Arab Emirates (Hybrid) : Association for Computational Linguistics.

NAGAO M. (1984). A Framework of a Mechanical Translation between Japanese and English by Analogy Principle. In *Proceedings of the International NATO Symposium on Artificial and Human Intelligence*, p. 173-180. USA : Elsevier North-Holland, Inc.

STOLL S., CAMGOZ N. C., HADFIELD S. & BOWDEN R. (2020). Text2sign : Towards sign language production using neural machine translation and generative adversarial networks. *International Journal of Computer Vision*, **128**(4), 891-908.

VEALE T., CONWAY A. & COLLINS B. (1998). The Challenges of Cross-modal Translation : English-to-Sign-Language Translation in the Zardoz System. *Machine Translation*, **13**(1), 81-106.

ZHAO L., KIPPER K., SCHULER W., VOGLER C., BADLER N. & PALMER M. (2000). A Machine Translation System from English to American Sign Language. In *Conference of the Association for Machine Translation in the Americas*, p. 54-67 : Springer.
# Annotation Linguistique pour l'Évaluation de la Simplification Automatique de Textes*

Rémi Cardon, Adrien Bibal, Rodrigo Wilkens, David Alfter, Magali Norré, Adeline Müller, Patrick Watrin, Thomas François

CENTAL (IL&C), UCLouvain, Place Montesquieu 3, 1348 Louvain-la-Neuve, Belgique

prenom.nom@uclouvain.be

## RÉSUMÉ

L'évaluation des systèmes de simplification automatique de textes (SAT) est une tâche difficile, accomplie à l'aide de métriques automatiques et du jugement humain. Cependant, d'un point de vue linguistique, savoir ce qui est concrètement évalué n'est pas clair. Nous proposons d'annoter un des corpus de référence pour la SAT, ASSET, que nous utilisons pour éclaircir cette question. En plus de la contribution que constitue la ressource annotée, nous montrons comment elle peut être utilisée pour analyser le comportement de SARI, la mesure d'évaluation la plus populaire en SAT. Nous présentons nos conclusions comme une étape pour améliorer les protocoles d'évaluation en SAT à l'avenir.

## ABSTRACT

### Linguistic Corpus Annotation for Automatic Text Simplification Evaluation

Evaluating automatic text simplification (ATS) systems is a difficult task that is either performed by automatic metrics or user-based evaluations. However, from a linguistic point-of-view, it is not always clear on what bases these evaluations operate. We propose to annotate the ASSET corpus to shed more light on ATS evaluation. In addition to contributing with this resource, we show how it can be used to analyze SARI's relation to linguistic operations. We present our insights as a step to improve ATS evaluation protocols in the future.

**MOTS-CLÉS** : evaluation, resource, automatic text simplification, annotation.

**KEYWORDS:** évaluation, ressource, simplification automatique de textes, annotation.

## 1 Introduction

La simplification automatique de textes (SAT) consiste à rendre des textes plus accessibles pour un public donné. Plusieurs états de l'art sur le sujet ont été publiés ces dernières années (Saggion, 2017; Al-Thanyyan & Azmi, 2021; Štajner, 2021). La SAT est principalement étudiée avec des approches par apprentissage profond (Nisioi et al., 2017; Alva-Manchego et al., 2020b; Cooper & Shardlow, 2020), mais d'autres travaux poursuivent les recherches par le biais de systèmes à base de règles (Evans & Orasan, 2019; Wilkens et al., 2020). Un des verrous majeurs du domaine est l'évaluation des systèmes de SAT (Grabar & Saggion, 2022). Il existe deux approches courantes : le jugement humain et l'évaluation automatique. Dans la première approche, il est demandé à des personnes de

<figure><img src="image_25.png" /></figure>

<footnote>*. Cet article est une adaptation d'un article précédemment publié (Cardon et al., 2022)</footnote>
noter la sortie d'un système selon trois critères : grammaticalité, préservation du sens, et simplicité. Pour l'évaluation automatique, les métriques les plus courantes sont : BLEU (Papineni et al., 2002), empruntée à la traduction automatique ; SARI (Xu et al., 2016a), spécifiquement proposée pour la SAT ; et la formule de lisibilité Flesch-Kincaid (Kincaid et al., 1975). Bien que ces métriques ne soient pas idéales (Sulem et al., 2018a; Alva-Manchego et al., 2021; Tanprasert & Kauchak, 2021), leur facilité d'utilisation rend leur application répandue. BLEU et SARI nécessitent des simplifications de référence et sont décrites comme étant plus fiables à mesure que le nombre de références augmente. Comme différents publics ont différents besoins en termes de simplification (Rennes et al., 2022), il est crucial de s'assurer qu'un jeu de référence reflète ces besoins. D'autres métriques sont moins fréquemment utilisées, tel que BertScore (Zhang et al., 2020) – initialement conçue pour la génération automatique – et SAMSA (Sulem et al., 2018b) – conçue pour la SAT, mais difficile à utiliser car elle nécessite une annotation sémantique.

En anglais, trois corpus sont couramment utilisés pour l'évaluation : TurkCorpus (Xu et al., 2016b), ASSET (Alva-Manchego et al., 2020a) et Newsela (Xu et al., 2015). Les deux premiers ont les mêmes phrases sources, avec différentes simplifications obtenues par production participative (crowdsourcing). Pour les autres langues, qui reçoivent moins d'attention de la communauté, les systèmes sont évalués avec des corpus adhoc (Kodaira et al., 2016; Cardon & Grabar, 2020; Anees & Abdul Rauf, 2021; Spring et al., 2021; Todirascu et al., 2022). La manière dont les métriques automatiques sont liées aux opérations de simplification n'est pas connue. Des travaux récents (Vásquez-Rodríguez et al., 2021) ont exploré la relation de ces métriques avec les opérations computationnelles basiques comme l'ajout et la suppression, mais aucun travail n'a étudié cette relation avec les opérations de simplification présentes dans des typologies linguistiques (Brunato et al., 2022; Gala et al., 2020; Amancio & Specia, 2014). Dans cet article, nous souhaitons étudier l'impact du type d'opérations linguistiques sur les métriques automatiques d'évaluation de la SAT. Pour cela, nous avons annoté le corpus ASSET avec les opérations linguistiques qu'il contient.

Nous présentons un état de l'art sur les typologies de transformations pour la simplification (Section 2). Ensuite nous décrivons le processus d'annotation et la ressource produite (Section 3) puis des analyses menées sur SARI avec notre ressource (Section 4). Enfin nous concluons (Section 5) par une synhèse des enseignements obtenus suite à nos expériences.

## 2 État de l'art

Avant que les méthodes neuronales soient au centre de la recherche en SAT, les typologies d'opérations étaient nécessaires au développement des systèmes, car elles représentaient la base conceptuelle des approches à base de règles. Comme présenté par Siddharthan (2014), les premiers systèmes de SAT s'occupaient de syntaxe (Chandrasekar et al., 1996; Dras, 1999; Brouwers et al., 2014) et décrivaient les typologies d'opérations syntaxiques qui étaient visées pour simplifier la structure des phrases. Actuellement, nous distinguons deux ensembles pour les typologies d'opérations de simplification : l'un basé sur la description linguistique et l'autre basé sur l'édition de chaînes de tokens.

### 2.1 Opérations linguistiques

Le premier ensemble de typologies vise à décrire les opérations linguistiques mises en œuvre lors de la simplification. Cela a été étudié pour différentes langues : l'espagnol (Bott & Saggion, 2014),
l'italien (Brunato et al., 2014, 2022), le français (Koptient et al., 2019; Gala et al., 2020), le portugais du Brésil (Caseli et al., 2009), le basque (Gonzalez-Dios et al., 2018) et l'anglais (Amancio & Specia, 2014). Bien que des opérations soient communes à ces typologies, comme le passage de la voix passive à la voix active, ces typologies présentent des catégories distinctes comme la « *proximization* » (Bott & Saggion, 2014) – faire en sorte que le texte s'adresse au lecteur – ou la « spécification » (Koptient et al., 2019) – conserver un terme difficile et y accoler une explication. Notons que ces deux exemples dépendent du genre de texte : il est peu probable de trouver la *proximization* dans la simplification d'articles encyclopédiques, et il est attendu que la spécification ait lieu dans des textes qui contiennent du lexique spécialisé ou technique. Ces typologies ont été utilisées de manière descriptive, pour renseigner sur les corpus ainsi que sur les pratiques humaines de simplification.

## 2.2 Éditions de chaînes de tokens

Dans le cadre de ce deuxième ensemble de typologies, les phrases sont vues comme des chaînes de tokens, et la simplification consiste à modifier l'agencement de ces tokens. Ici, les opérations sont donc décrites comme des modifications à des chaînes de tokens, il s'agit par exemple de la suppression, de l'ajout, ou du maintien. Cet angle a été exploré presque exclusivement pour l'anglais (Coster & Kauchak, 2011; Alva-Manchego et al., 2017, 2020a; Vásquez-Rodríguez et al., 2021), avec une exception récente pour l'italien (Brunato et al., 2022). Ces typologies ont été mises en œuvre à diverses fins. Comme pour les typologies linguistiques, elles ont servi à analyser des corpus (Alva-Manchego et al., 2020a). Elles ont aussi servi à étudier la relation des distances entre les chaînes avec les scores attribués par les métriques automatiques (Vásquez-Rodríguez et al., 2021). Certains systèmes de SAT incorporent ce type d'opérations dans leur architecture (Alva-Manchego et al., 2017; Dong et al., 2019; Agrawal et al., 2021). La métrique d'évaluation SARI intègre ce type d'opération dans sa formule : avec les sous-composants KEEP, ADD et DELETE (cf. Section 4 pour plus de détails).

# 3 Annotation

Deux des trois corpus d'évaluation décrits en section 1 sont librement accessibles : TurkCorpus et ASSET. Nous retenons ASSET, qui a été décrit indépendamment comme meilleur que TurkCorpus (Vásquez-Rodríguez et al., 2021). Cette section présente la typologie d'opérations que nous utilisons pour son annotation (Section 3.1). Nous décrivons le processus d'annotation (Section 3.2), puis nous décrivons la ressource produite (Section 3.3).

## 3.1 Typologie

Les travaux présentés en section 2.1 proposent des typologies basées sur des analyses manuelles de corpus. Nous construisons la nôtre sur ces travaux. En conséquence, nous n'introduisons aucune nouvelle opération. Nous ne retenons pas les opérations spécifiques au genre de texte, comme celles mentionnées en section 2.1 (*proximization* et spécification), afin d'avoir un ensemble d'opérations gé- nériques. La liste ainsi obtenue est présentée ci-dessous, avec le nom des opérations et leur identifiant dans la ressource. Le nom de certaines opérations est suffisamment descriptif, d'autres opérations sont brièvement clarifiées. Nous présentons les opérations en deux temps : premièrement les opérations qui peuvent directement correspondre à des opérations computationnelles. La correspondance est la
suivante : INSERT (parfois dénotée ADD dans la littérature), DELETE et MOVE, traduits plus bas, sont déjà utilisés tels quels pour les opérations computationnelles. Toutes les autres catégories sont des substitutions.

— Déplacement (move)

— Insérer/Supprimer proposition (inprop, delprop)

— Insérer/Supprimer modifieur (inmod, delmod). Notre définition de modifieur couvre les modifieurs de mots (p. ex. un adjectif qualifiant un nom) et les modifieurs de phrases (p. ex. un complément circonstanciel).

— Insérer/Supprimer pour la cohérence (incst, delcst). Toute insertion ou suppression nécessaire suite à une autre opération pour que la phrase reste grammaticale.

— Insérer/Supprimer autre (inoth, deloth). Toute insertion ou suppression n'appartenant pas à une des catégories précédentes.

— Substitution par synonymie (synonym)

— Substitution par hyperonymie (hyperonym)

— Substitution par hyponymie (hyponym)

— Substitution du singulier par le pluriel (s2p)

— Substitution du pluriel par le singulier (p2s)

— Substitution par pronominalisation (pron)

— Substitution par résolution d'antécédent (fromPron)

— Modification des traits verbaux (verbf). Tout changement de mode ou temps d'un verbe.

Deuxièmement, les opérations qui sont le résultat de combinaisons d'opérations computationnelles, ou qui sont trop complexes pour établir une correspondance stable entre les deux types d'opérations.

— Voix Active vers passive (a2p)

— Voix passive vers active (p2a)

— Changement de partie du discours (POSchange)

— Découpage de phrases (split)

— Regroupement de phrases (merge)

— Vers forme impersonnelle (toImp)

— Vers forme personnelle (fromImp)

— Affirmation vers négation (a2n)

— Négation vers affirmation (n2a)

Nous ajoutons également une étiquette Simplification erronée (err). Bien que nous n'évaluions pas la simplicité, cela permet de signaler, pendant l'annotation, des erreurs manifestes de grammaticalité ou de préservation du sens, qui rendent la simplification non-désirée en tant que référence dans un protocole d'évaluation.

## 3.2 Processus

Nous utilisons YAWAT (Germann, 2008) pour l'annotation, un outil déjà utilisé dans ce cadre auparavant (Koptient et al., 2019).<fnref n="1" /> La typologie construite fut la base de la rédaction du guide d'annotation. Quatre personnes (travaillant dans la recherche en TAL) ont annoté les mêmes 50 couples de phrases d'ASSET. Cela a servi à (1) évaluer la clarté du guide, (2) former à l'utilisation de l'outil et (3) discuter des points d'amélioration du guide. Cette troisième étape a permis de discuter des cas difficiles et de comment les traiter<fnref n="2" /> pour atteindre le consensus. Les discussions n'ont pas

<footnote n="1">1. Un outil plus récent et commode existe, TS-ANNO (Stodden & Kallmeyer, 2022) mais n'était pas encore disponible au moment de notre annotation.</footnote>

<footnote n="2">2. La plupart de ces cas servent d'exemples dans le guide d'annotation.</footnote>
entraîné de modifications de la typologie. Nous avons réitéré cette étape 2 fois avec 25 nouveaux couples de phrases à chaque fois. Une fois le guide finalisé, nous avons engagé<fnref n="3" /> cinq étudiants de master en TAL pour compléter l'équipe d'annotation.

La dernière étape avant l'annotation du corpus intégral – par l'équipe de neuf personnes – fut d'annoter 50 nouveaux couples de phrases d'ASSET. Cela a servi de base au calcul de l'accord inter-annotateurs (Davies & Fleiss, 1982). L'accord est calculé au niveau des tokens et calculé séparément pour les deux côtés du corpus (original et simplifié). L'accord est de 0,61 pour le côté source et de 0,68 pour le côté cible. Nous l'avons également calculé en fusionnant toutes les insertions en une seule catégorie, et toutes les suppressions en une seule catégorie. De la sorte, l'accord est de 0,74 côté source et 0,72 côté cible. Cela indique un compromis entre la granularité de l'annotation et l'accord que l'on peut en obtenir. Le corpus intégralement annoté porte le nom « ASSET<sub>ann</sub> ».

## 3.3 Description de la ressource

Cette section décrit le résultat de l'annotation, le corpus ASSET<sub>ann</sub>. Le jeu de test d'ASSET contient 3 590 couples de phrases (359 phrases simplifiées 10 fois chacune). Pendant l'annotation, nous avons trouvé 19 couples de phrases identiques, et 227 simplifications erronées concernant 157 phrases d'origine. ASSET<sub>ann</sub> contient 3 323 couples de phrases annotées. Un total de 12 827 opérations y sont annotées. Synonym est l'opération la plus fréquente, avec 14 % du nombre total d'opérations. Sept opérations (synonym, delcst, deloth, incst, delmod, move et delprop) représentent 70 % des opérations à la fois dans le gold et dans ASSET<sub>ann</sub>.

# 4 Analyse de SARI

Nous utilisons ASSET<sub>ann</sub> pour analyser le comportement de SARI et ses sous-composants en relation avec les opérations de simplification. SARI utilise trois sous-composants, dont la moyenne représente le score final. Ces sous-composants sont keep, add et delete. Pour chaque sous-composant, le score F1 est calculé entre les transformations appliquées de la phrase d'origine pour arriver à la référence ou aux références, et les transformations appliquées de la phrase d'origine pour arriver à la phrase à évaluer. Ces transformations sont observées en n-grammes de tokens, où n va de 1 à 4⁴ :

$$F1(n, sc) = \frac{2 * prec_{sc}(n) * rappel_{sc}(n)}{prec_{sc}(n) + rappel_{sc}(n)}$$ $$SARI = \frac{1}{3} \sum_{sc \in \{keep, add, del\}} \frac{1}{k} \sum_{n=1}^{k} F1(n, sc).$$

Nous représentons les couples de phrases par le nombre d'occurrences de chaque opération dans l'annotation. En observant la relation entre la présence d'opérations spécifiques et le score global SARI, nous trouvons une faible corrélation. De plus, même les opérations en correspondance avec les sous-composants de SARI (insertions et suppression) ne sont pas corrélées avec les scores SARI (voir

<footnote n="3">3. À un taux horaire 25 % supérieur au revenu minimum national.</footnote>

<footnote n="4">4. Cette description de SARI correspond à son implémentation dans EASSE (Alva-Manchego et al., 2019), qui est l'outil que nous avons utilisé lors de ce travail.</footnote>
Table 2 en annexe A), bien qu’elles soient légèrement corrélées avec les scores des sous-composants (voir Table 3 en annexe A).

Pour aller plus loin, nous analysons comment la combinaison des opérations permet de prédire le score SARI, par paire de phrases. Un modèle de régression Lasso (Tibshirani, 1996) avec optimisation des hyperparamètres a ainsi été entraîné et évalué avec $R^2$, estimé via une validation croisée à 10 plis. Le $R^2$ de notre modèle est de 0 pour la prédiction du score SARI, ce qui indique que le modèle ne peut pas prédire mieux qu’en utilisant la moyenne. Il ne trouve donc aucun lien entre les opérations de simplification annotées et le score SARI. Nous obtenons le même résultat avec d’autres algorithmes, tels que les arbres de régression (Breiman et al., 1984), les random forests (Breiman, 2001) et un perceptron multi-couches (Hinton, 1989)<fnref n="5" />.

Cependant, prédire les sous-composants de SARI semble partiellement possible avec Lasso, avec un $R^2$ moyen de 0,24, 0,03 et 0,23 respectivement pour KEEP, ADD et DEL. La Table 1 présente ainsi les coefficients d'un modèle Lasso entraîné sur le corpus entier pour prédire les sous-composants de SARI. Ces coefficients ont été obtenus avec un $R^2$ de 0,25, 0,05 et 0,24 pour KEEP, ADD and DEL respectivement. Nous pouvons déjà observer que beaucoup d'opérations ont un coefficient de 0, indiquant qu'elles n'ont pas d'effet sur les sous-composants de SARI.

Il apparaît que bien que SARI montre un certain degré de relation avec les opérations linguistiques, procéder à la moyenne des scores des sous-composants efface cette information. Cela met en lumière deux problèmes de SARI. Premièrement, cette métrique a une variance très faible et n'est pas sensible aux différences entre les sorties des systèmes. Deuxièmement, comme SARI requiert des références, faire la moyenne sur plusieurs références (9 par phrase dans nos expériences) renforce la faible variance. Cette observation est aussi vraie pour les sous-composants, ce qui explique les scores $R^2$ plutôt faibles.

# 5 Bilan et perspectives

Nous avons annoté ASSET avec pour objectif d'analyser l'évaluation de la SAT à la lumière des informations linguistiques. Cela nous a permis de porter plusieurs contributions, en plus de la ressource annotée. Concernant l'analyse des pratiques courantes d'évaluation automatique de la SAT, nous avons montré que les sous-composants de SARI peuvent informer sur les opérations linguistiques présentes dans les références et qui apparaissent dans la sortie d'un système, et que cette information est perdue lors du calcul de la moyenne pour produire un score unique. Cela constitue un argument en faveur de rapporter les scores des sous-composants lors de l'évaluation, comme certains travaux commencent à le faire (Zhao et al., 2020; Tanprasert & Kauchak, 2021). Les analyses que nous avons faites encouragent à explorer les liens entre les opérations linguistiques et les opérations computationnelles. Nous pensons qu'`ASSET$_{ann}$ et nos expériences représentent une première étape vers des pratiques d'évaluation qui intégreraient ces aspects.

Lors de ce travail, nous avons produit une version annotée du jeu de test d'ASSET. Cette ressource est annotée par 9 personnes, utilisant une typologie que nous proposons en nous basant sur des travaux antérieurs dans plusieurs langues. À partir de l'annotation, nous avons pu nettoyer le jeu de test en excluant 227 couples de phrases avec des erreurs manifestes et produire une version vérifiée manuellement de ces données. Nous avons également mené une analyse poussée de SARI et ses

<footnote n="5">5. Toutes les expériences ont été menées avec Scikit-learn (Pedregosa et al., 2011)</footnote>
sous-composants et avons trouvé des liens assez ténus entre ces derniers et les opérations linguistiques. Nous voyons ces résultats comme une direction prometteuse pour l'amélioration de l'évaluation automatique de la SAT, en explorant davantage la relation entre les différents types d'opérations. La ressource décrite ici est librement disponible en ligne.<fnref n="6" />

# 6 Remerciements

Nous exprimons nos remerciements à Nils Bouckaert, Elena Cao, Angela Kasparian, Melanie Johanns and Luca Matarelli, pour leur aide lors de l'annotation des données. Merci également à Damien de Meyere et Hubert Naets pour leur aide avec YAWAT.

Enfin, nous remercions les relecteurs anonymes pour leurs commentaires et suggestions qui ont contribué à améliorer la qualité de cet article.

Rémi Cardon est financé par le programme *FSR Incoming Postdoc Fellowship* du FSR - Université Catholique de Louvain. Adrien Bibal est financé par la région Wallonne avec un fonds Win2Wal. Rodrigo Wilkens est financé par une convention de recherche avec France Education Internatinal (FEI). David Alfter est financé par le Fonds de la Recherche Scientifique de Belgique (F.R.S-FNRS), référence MIS/PGY F.4518.21.

# Références

AGRAWAL S., XU W. & CARPUAT M. (2021). A non-autoregressive edit-based approach to controllable text simplification. In *Findings of the Association for Computational Linguistics : ACL-IJCNLP 2021*, p. 3757–3769, Online : Association for Computational Linguistics. DOI : 10.18653/v1/2021.findings-acl.330.

AL-THANYAN S. S. & AZMI A. M. (2021). Automated text simplification : A survey. *ACM Computing Surveys (CSUR)*, **54**(2), 1–36.

ALVA-MANCHEGO F., BINGEL J., PAETZOLD G., SCARTON C. & SPECIA L. (2017). Learning how to simplify from explicit labeling of complex-simplified text pairs. In *Proceedings of the 8th International Joint Conference on Natural Language Processing (Volume 1 : Long Papers)*, p. 295–305, Taipei, Taiwan : Asian Federation of Natural Language Processing.

ALVA-MANCHEGO F., MARTIN L., BORDES A., SCARTON C., SAGOT B. & SPECIA L. (2020a). ASSET : A dataset for tuning and evaluation of sentence simplification models with multiple rewriting transformations. In *Proceedings of the Annual Meeting of the Association for Computational Linguistics*, p. 4668–4679.

ALVA-MANCHEGO F., MARTIN L., SCARTON C. & SPECIA L. (2019). EASSE : Easier automatic sentence simplification evaluation. In *Proceedings of the Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing : System Demonstrations*, p. 49–54, Hong Kong, China : Association for Computational Linguistics. DOI : 10.18653/v1/D19-3009.

ALVA-MANCHEGO F., SCARTON C. & SPECIA L. (2020b). Data-driven sentence simplification : Survey and benchmark. *Computational Linguistics*, **46**(1), 135–187.

<footnote n="6">6. https://github.com/remicardon/assetann</footnote>
ALVA-MANCHEGO F., SCARTON C. & SPECIA L. (2021). The (un) suitability of automatic evaluation metrics for text simplification. *Computational Linguistics*, **47**(4), 861–889.

AMANCIO M. & SPECIA L. (2014). An analysis of crowdsourced text simplifications. In *Proceedings of the 3rd Workshop on Predicting and Improving Text Readability for Target Reader Populations (PITR)*, p. 123–130, Gothenburg, Sweden : Association for Computational Linguistics.
DOI : 10.3115/v1/W14-1214.

ANEES Y. & ABDUL RAUF S. (2021). Automatic sentence simplification in low resource settings for Urdu. In *Proceedings of the 1st Workshop on NLP for Positive Impact*, p. 60–70, Online : Association for Computational Linguistics. DOI: 10.18653/v1/2021.nlp4posimpact-1.7.

BOTT S. & SAGGION H. (2014). Text simplification resources for Spanish. *Language Resources and Evaluation*, **48**, 93–120.

BREIMAN L. (2001). Random forests. *Machine learning*, **45**(1), 5–32.

BREIMAN L., FRIEDMAN J. H., OLSHEN R. A. & STONE C. J. (1984). *Classification and Regression Trees*. Belmont, CA : Wadsworth International Group.

BROUWERS L., BERNHARD D., LIGOZAT A.-L. & FRANÇOIS T. (2014). Syntactic sentence simplification for french. In *Proceedings of the 3rd Workshop on Predicting and Improving Text Readability for Target Reader Populations (PITR)@ EACL 2014*, p. 47–56.

BRUNATO D., DELL'ORLETTA F. & VENTURI G. (2022). Linguistically-based comparison of different approaches to building corpora for text simplification : A case study on italian. *Frontiers in Psychology*, **13**.

BRUNATO D., DELL'ORLETTA F., VENTURI G. & MONTEMAGNI S. (2014). Defining an annotation scheme with a view to automatic text simplification. In *Proceedings of the Italian Conference on Computational Linguistics and of the International Workshop EVALITA*, p. 87–92.

CARDON R., BIBAL A., WILKENS R., ALFTER D., NORRÉ M., MÜLLER A., PATRICK W. & FRANÇOIS T. (2022). Linguistic corpus annotation for automatic text simplification evaluation. In *Proceedings of the 2022 Conference on Empirical Methods in Natural Language Processing*, p. 1842–1866, Abu Dhabi, United Arab Emirates : Association for Computational Linguistics.

CARDON R. & GRABAR N. (2020). French biomedical text simplification : When small and precise helps. In *Proceedings of the 28th International Conference on Computational Linguistics*, p. 710–716, Barcelona, Spain (Online) : International Committee on Computational Linguistics. DOI : 10.18653/v1/2020.coling-main.62.

CASELI H. M., PEREIRA T. F., SPECIA L., PARDO T. A., GASPERIN C. & ALUÍSIO S. M. (2009). Building a brazilian portuguese parallel corpus of original and simplified texts. *Advances in Computational Linguistics, Research in Computer Science*, **41**, 59–70.

CHANDRASEKAR R., DORAN C. & SRINIVAS B. (1996). Motivations and methods for text simplification. In *The 16th International Conference on Computational Linguistics*.

COOPER M. & SHARDLOW M. (2020). CombiNMT : An exploration into neural text simplification models. In *Proceedings of the 12th Language Resources and Evaluation Conference*, p. 5588–5594, Marseille, France : European Language Resources Association.

COSTER W. & KAUCHAK D. (2011). Simple English Wikipedia : A new text simplification task. In *Proceedings of the Annual Meeting of the Association for Computational Linguistics : Human Language Technologies*, p. 665–669.

DAVIES M. & FLEISS J. L. (1982). Measuring agreement for multinomial data. *Biometrics*, **38**, 1047.
DONG Y., LI Z., REZAGHOLIZADEH M. & CHEUNG J. C. K. (2019). EditNTS : An neural programmer-interpreter model for sentence simplification through explicit editing. In *Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics*, p. 3393–3402, Florence, Italy : Association for Computational Linguistics. DOI : 10.18653/v1/P19-1331.

DRAS M. (1999). *Tree adjoining grammar and the reluctant paraphrasing of text*. Macquarie University Sydney.

EVANS R. & ORASAN C. (2019). Sentence simplification for semantic role labelling and information extraction. In *Proceedings of the International Conference on Recent Advances in Natural Language Processing*.

GALA N., TODIRASCU A., BERNHARD D., WILKENS R. & MEYER J.-P. (2020). Transformations syntaxiques pour une aide à l’apprentissage de la lecture : typologie, adéquation et corpus adaptés. *SHS Web of Conferences*, **78**, 14006.

GERMANN U. (2008). Yawat : Yet Another Word Alignment Tool. In *Proceedings of the ACL : HLT Demo Session*, p. 20–23, Columbus, Ohio : Association for Computational Linguistics.

GONZALEZ-DIOS I., ARANZABE M. J. & DÍAZ DE ILARRAZA A. (2018). The corpus of Basque simplified texts (CBST). *Language Resources and Evaluation*, **52**(1), 217–247.

GRABAR N. & SAGGION H. (2022). Evaluation of automatic text simplification : Where are we now, where should we go from here. In *Actes de la 29e Conférence sur le Traitement Automatique des Langues Naturelles. Volume 1 : conférence principale*, p. 453–463, Avignon, France : ATALA.

HINTON G. E. (1989). Connectionist learning procedures. *Artificial Intelligence*, **40**(1), 185–234.

KINCAID J., FISHBURNE R., RODGERS R. & CHISSOM B. (1975). *Derivation of new readability formulas for navy enlisted personnel*. Rapport interne, n°8-75, Research Branch Report.

KODAIRA T., KAJIWARA T. & KOMACHI M. (2016). Controlled and balanced dataset for Japanese lexical simplification. In *Proceedings of the ACL Student Research Workshop*, p. 1–7, Berlin, Germany : Association for Computational Linguistics. DOI : 10.18653/v1/P16-3001.

KOPTIENT A., CARDON R. & GRABAR N. (2019). Simplification-induced transformations : typology and some characteristics. In *Proceedings of the BioNLP Workshop and Shared Task*, p. 309–318.

NISIOI S., ŠTAJNER S., PONZETTO S. P. & DINU L. P. (2017). Exploring neural text simplification models. In *Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (volume 2 : Short papers)*, p. 85–91.

PAPINENI K., ROUKOS S., WARD T. & ZHU W.-J. (2002). Bleu : a method for automatic evaluation of machine translation. In *Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics*, p. 311–318.

PEDREGOSA F., VAROQUAUX G., GRAMFORT A., MICHEL V., THIRION B., GRISEL O., BLONDEL M., PRETTENHOFER P., WEISS R., DUBOURG V., VANDERPLAS J., PASSOS A., COURNAPEAU D., BRUCHER M., PERROT M. & DUCHESNAY E. (2011). Scikit-learn : Machine learning in Python. *Journal of Machine Learning Research*, **12**, 2825–2830.

RENNES E., SANTINI M. & JONSSON A. (2022). The swedish simplification toolkit : designed with target audiences in mind. In *Proceedings of The 2nd Workshop on Tools and Resources to Empower People with REAding Difficulties (READI) within the 13th Language Resources and Evaluation Conference*, p. 31–38, Marseille, France : European Language Resources Association.

SAGGION H. (2017). Automatic text simplification. *Synthesis Lectures on Human Language Technologies*, **10**(1), 1–137.
SIDDHARTHAN A. (2014). A survey of research on text simplification. *ITL-International Journal of Applied Linguistics, **165*(2), 259–298.

SPRING N., RIOS A. & EBLING S. (2021). Exploring German multi-level text simplification. In *Proceedings of the International Conference on Recent Advances in Natural Language Processing*, p. 1339–1349, Held Online : INCOMA Ltd.

ŠTAJNER S. (2021). Automatic text simplification for social good: Progress and challenges. In *Findings of the Association for Computational Linguistics : ACL-IJCNLP*, p. 2637–2652.

STODDEN R. & KALLMEYER L. (2022). TS-ANNO: An annotation tool to build, annotate and evaluate text simplification corpora. In *Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics : System Demonstrations*, p. 145–155, Dublin, Ireland : Association for Computational Linguistics.

SULEM E., ABEND O. & RAPPOPORT A. (2018a). BLEU is not suitable for the evaluation of text simplification. In *Proceedings of the Conference on Empirical Methods in Natural Language Processing*, p. 738–744.

SULEM E., ABEND O. & RAPPOPORT A. (2018b). Semantic structural evaluation for text simplification. In *Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics : Human Language Technologies, Volume 1 (Long Papers)*, p. 685–696, New Orleans, Louisiana : Association for Computational Linguistics. DOI: 10.18653/v1/N18-1063.

TANPRASERT T. & KAUCHAK D. (2021). Flesch-kincaid is not a text simplification evaluation metric. In *Proceedings of the 1st Workshop on Natural Language Generation, Evaluation, and Metrics (GEM 2021)*, p. 1–14, Online : Association for Computational Linguistics. DOI: 10.18653/v1/2021.gem-1.1.

TIBSHIRANI R. (1996). Regression shrinkage and selection via the lasso. *Journal of the Royal Statistical Society : Series B (Methodological)*, **58**(1), 267–288.

TODIRASCU A., WILKENS R., ROLIN E., FRANÇOIS T., BERNHARD D. & GALA N. (2022). HECTOR: A hybrid TExt Simplification Tool for raw texts in French. In *Proceedings of the Thirteenth Language Resources and Evaluation Conference*, p. 4620–4630, Marseille, France : European Language Resources Association.

VÁSQUEZ-RODRÍGUEZ L., SHARDLOW M., PRZYBYŁA P. & ANANIADOU S. (2021). Investigating text simplification evaluation. In *Findings of the Association for Computational Linguistics : ACL-IJCNLP*, p. 876–882, Online : Association for Computational Linguistics. DOI: 10.18653/v1/2021.findings-acl.77.

VÁSQUEZ-RODRÍGUEZ L., SHARDLOW M., PRZYBYŁA P. & ANANIADOU S. (2021). The role of text simplification operations in evaluation. In *Proceedings of the SEPLN Workshop on Current Trends in Text Simplification*, p. 57–69.

WILKENS R., OBERLE B. & TODIRASCU A. (2020). Coreference-based text simplification. In *Proceedings of the 1st Workshop on Tools and Resources to Empower People with REAding Difficulties (READI)*, p. 93–100.

XU W., CALLISON-BURCH C. & NAPOLES C. (2015). Problems in current text simplification research: New data can help. *Transactions of the Association for Computational Linguistics, **3***, 283–297. DOI: 10.1162/tacl_a_00139.

XU W., NAPOLES C., PAVLICK E., CHEN Q. & CALLISON-BURCH C. (2016a). Optimizing statistical machine translation for text simplification. *Transactions of the Association for Computational Linguistics, **4***, 401–415.
XU W., NAPOLES C., PAVLICK E., CHEN Q. & CALLISON-BURCH C. (2016b). Optimizing Statistical Machine Translation for Text Simplification. *Transactions of the Association for Computational Linguistics*, **4**, 401–415. DOI: 10.1162/tacl_a_00107.

ZHANG T., KISHORE V., WU F., WEINBERGER K. Q. & ARTZI Y. (2020). BERTScore: Evaluating text generation with BERT. In *International Conference on Learning Representations*.

ZHAO Y., CHEN L., CHEN Z. & YU K. (2020). Semi-supervised text simplification with back-translation and asymmetric denoising autoencoders. *Proceedings of the AAAI Conference on Artificial Intelligence*, **34**(05), 9668–9675. DOI: 10.1609/aaai.v34i05.6515.
A Tableaux d'analyse de SARI

<table><caption>TABLE 1 – Coefficients des modèles de régression Lasso pour la prédiction des sous-composants de SARI. Les opérations ayant des coefficients différents de zéro pour *add* et *del* impliquent l'ajout et la suppression de *tokens*. Les coefficients négatifs pour la prédiction de *keep* indiquent que l'opération diminue le score du sous-composant *keep* de SARI. Les opérations absentes ont tous leurs coefficients à zéro.</caption><thead><tr><th></th><th>keep</th><th>add</th><th>del</th></tr></thead><tbody><tr><td>inoth</td><td>0</td><td>0.1</td><td>0</td></tr><tr><td>split</td><td>0</td><td>0.73</td><td>0</td></tr><tr><td>deloth</td><td>-3.91</td><td>-0.19</td><td>3.05</td></tr><tr><td>delcst</td><td>-2.44</td><td>0</td><td>1.52</td></tr><tr><td>move</td><td>-1.55</td><td>0.14</td><td>1.5</td></tr><tr><td>delprop</td><td>-3.97</td><td>-0.74</td><td>3.66</td></tr><tr><td>incst</td><td>0</td><td>0.95</td><td>0</td></tr><tr><td>hyperonym</td><td>0</td><td>0.14</td><td>1.58</td></tr><tr><td>synonym</td><td>-1.68</td><td>0.61</td><td>3.63</td></tr><tr><td>delmod</td><td>-3.39</td><td>0</td><td>3.02</td></tr></tbody></table>
<table><caption>TABLE 2 – Corrélation de Spearman entre l'occurrence des opérations dans les couples de phrases et le score SARI. Une p-value marquée à 0 signifie qu'elle est inférieure à 0,0001. Les p-values élevées s'expliquent par un nombre insuffisant d'occurrences des opérations correspondantes dans le corpus.</caption><thead><tr><th></th><th>Spearman correlation</th><th>p-value</th></tr></thead><tbody><tr><td>inoth</td><td>0.0161</td><td>0.3349</td></tr><tr><td>split</td><td>0.0915</td><td>0</td></tr><tr><td>deloth</td><td>-0.0137</td><td>0.4119</td></tr><tr><td>p2s</td><td>-0.017</td><td>0.3084</td></tr><tr><td>delcst</td><td>0.0413</td><td>0.0134</td></tr><tr><td>verbf</td><td>0.0519</td><td>0.0018</td></tr><tr><td>pron</td><td>-0.035</td><td>0.036</td></tr><tr><td>move</td><td>0.012</td><td>0.4731</td></tr><tr><td>inprop</td><td>0.0295</td><td>0.0775</td></tr><tr><td>delprop</td><td>-0.0381</td><td>0.0223</td></tr><tr><td>incst</td><td>0.0718</td><td>0</td></tr><tr><td>s2p</td><td>-0.0338</td><td>0.0428</td></tr><tr><td>fromPron</td><td>-0.0038</td><td>0.8194</td></tr><tr><td>merge</td><td>-0.0033</td><td>0.8421</td></tr><tr><td>p2a</td><td>0.0119</td><td>0.4752</td></tr><tr><td>pos2neg</td><td>0.0028</td><td>0.8648</td></tr><tr><td>neg2pos</td><td>-0.018</td><td>0.2806</td></tr><tr><td>hyponym</td><td>-0.0191</td><td>0.253</td></tr><tr><td>toImp</td><td>-0.0283</td><td>0.09</td></tr><tr><td>fromImp</td><td>-0.0349</td><td>0.0367</td></tr><tr><td>POSchange</td><td>0.0177</td><td>0.2895</td></tr><tr><td>hyperonym</td><td>0.0374</td><td>0.025</td></tr><tr><td>a2p</td><td>-0.018</td><td>0.2814</td></tr><tr><td>synonym</td><td>0.163</td><td>0</td></tr><tr><td>delmod</td><td>-0.0025</td><td>0.8792</td></tr><tr><td>inmod</td><td>0.0194</td><td>0.2451</td></tr></tbody></table>
<table><caption>TABLE 3 – Corrélation de Spearman et p-values entre chaque transformation annotée et les sous-composant de SARI. Une p-value marquée à 0 signifie qu'elle est inférieure à 0,0001.</caption><thead><tr><th rowspan="2">Transformation</th><th colspan="2">keep</th><th colspan="2">add</th><th colspan="2">del</th></tr><tr><th>Spearman</th><th>p-value</th><th>Spearman</th><th>p-value</th><th>Spearman</th><th>p-value</th></tr></thead><tbody><tr><td>inoth</td><td>-0.0752</td><td>0</td><td>0.0658</td><td>0.0001</td><td>0.073</td><td>0</td></tr><tr><td>split</td><td>0.0251</td><td>0.1328</td><td>0.1925</td><td>0</td><td>-0.0063</td><td>0.7052</td></tr><tr><td>deloth</td><td>-0.2214</td><td>0</td><td>0.0008</td><td>0.9614</td><td>0.2015</td><td>0</td></tr><tr><td>p2s</td><td>-0.0478</td><td>0.0042</td><td>0.0144</td><td>0.3899</td><td>0.0378</td><td>0.0235</td></tr><tr><td>delcst</td><td>-0.2267</td><td>0</td><td>0.1482</td><td>0</td><td>0.2279</td><td>0</td></tr><tr><td>verbf</td><td>-0.0827</td><td>0</td><td>0.089</td><td>0</td><td>0.1441</td><td>0</td></tr><tr><td>pron</td><td>-0.0827</td><td>0</td><td>0.011</td><td>0.5084</td><td>0.0321</td><td>0.0547</td></tr><tr><td>move</td><td>-0.1764</td><td>0</td><td>0.0828</td><td>0</td><td>0.1486</td><td>0</td></tr><tr><td>inprop</td><td>-0.0699</td><td>0</td><td>0.069</td><td>0</td><td>0.0947</td><td>0</td></tr><tr><td>delprop</td><td>-0.1694</td><td>0</td><td>-0.0636</td><td>0.0001</td><td>0.1809</td><td>0</td></tr><tr><td>incst</td><td>-0.1269</td><td>0</td><td>0.2198</td><td>0</td><td>0.1362</td><td>0</td></tr><tr><td>s2p</td><td>-0.108</td><td>0</td><td>0.0258</td><td>0.1217</td><td>0.073</td><td>0</td></tr><tr><td>fromPron</td><td>-0.0458</td><td>0.006</td><td>0.0114</td><td>0.4931</td><td>0.04</td><td>0.0165</td></tr><tr><td>merge</td><td>-0.0257</td><td>0.123</td><td>-0.0056</td><td>0.736</td><td>0.0269</td><td>0.107</td></tr><tr><td>p2a</td><td>-0.0304</td><td>0.0684</td><td>0.0123</td><td>0.4616</td><td>0.0421</td><td>0.0116</td></tr><tr><td>pos2neg</td><td>-0.038</td><td>0.0229</td><td>0.0186</td><td>0.2663</td><td>0.0346</td><td>0.038</td></tr><tr><td>neg2pos</td><td>-0.038</td><td>0.0226</td><td>-0.0147</td><td>0.3777</td><td>0.0378</td><td>0.0235</td></tr><tr><td>hyponym</td><td>-0.0373</td><td>0.0256</td><td>0.0263</td><td>0.1145</td><td>0.0068</td><td>0.6847</td></tr><tr><td>toImp</td><td>-0.0826</td><td>0</td><td>0.0148</td><td>0.3767</td><td>0.049</td><td>0.0033</td></tr><tr><td>fromImp</td><td>-0.0355</td><td>0.0333</td><td>-0.0278</td><td>0.0957</td><td>-0.0055</td><td>0.7408</td></tr><tr><td>POSchange</td><td>-0.1317</td><td>0</td><td>0.0655</td><td>0.0001</td><td>0.1538</td><td>0</td></tr><tr><td>hyperonym</td><td>-0.0303</td><td>0.0699</td><td>0.0836</td><td>0</td><td>0.0649</td><td>0.0001</td></tr><tr><td>a2p</td><td>-0.0307</td><td>0.0658</td><td>-0.0281</td><td>0.0926</td><td>0.0155</td><td>0.353</td></tr><tr><td>synonym</td><td>-0.0607</td><td>0.0003</td><td>0.2135</td><td>0</td><td>0.2116</td><td>0</td></tr><tr><td>delmod</td><td>-0.1857</td><td>0</td><td>0.0195</td><td>0.2416</td><td>0.2071</td><td>0</td></tr><tr><td>inmod</td><td>-0.0472</td><td>0.0047</td><td>0.0332</td><td>0.0466</td><td>0.0725</td><td>0</td></tr></tbody></table>
# Un mot, deux facettes : traces des opinions dans les représentations contextualisées des mots

Aina Garí Soler Matthieu Labeau Chloé Clavel

LTCI, Télécom-Paris, Institut Polytechnique de Paris, France

`{aina.garisoler,matthieu.labeau,chloe.clavel}@telecom-paris.fr`

## RÉSUMÉ

La façon dont nous utilisons les mots est influencée par notre opinion. Nous cherchons à savoir si cela se reflète dans les plongements de mots contextualisés. Par exemple, la représentation d' « animal » est-elle différente pour les gens qui voudraient abolir les zoos et ceux qui ne le voudraient pas ? Nous explorons cette question du point de vue du changement sémantique des mots. Nos expériences avec des représentations dérivées d'ensembles de données annotés avec les points de vue révèlent des différences minimes, mais significatives, entre postures opposées<fnref n="1" />.

## ABSTRACT

**One Word, Two Sides : Traces of Stance in Contextualized Word Representations**

The way we use words is influenced by our opinion. We investigate whether this is reflected in contextualized word embeddings. For example, is the representation of “animal” different between people who would abolish zoos and those who would not? We explore this question from a Lexical Semantic Change standpoint. Our experiments with BERT embeddings derived from datasets with stance annotations reveal small but significant differences in word representations between opposing stances.

**MOTS-CLÉS** : Représentations contextualisées, changement sémantique, détection de point de vue.

**KEYWORDS** : Contextualized representations, semantic change, stance detection.

## 1 Introduction

Nos opinions se reflètent dans notre façon de parler. Les personnes ayant des positions opposées sur un sujet particulier peuvent utiliser des mots différents pour en discuter. Par exemple, seules les personnes contre l'utilisation de masques pendant la pandémie de COVID-19 sont susceptibles de les appeler des « muselières ». Dans cet article, cependant, nous n'étudions pas quels mots sont utilisés de part et d'autre : nous comparons plutôt la façon dont les locuteurs qui sont en désaccord sur un sujet utilisent les mêmes mots. Plus précisément, nous cherchons à savoir si les modèles contextuels capturent une différence entre la représentation d'un mot (par exemple, « masque ») lorsqu'il est utilisé par des personnes qui sont pour ou contre une certaine cible (par exemple, l'utilisation obligatoire de masques).

Nous abordons cette question du point de vue du changement lexico-sémantique (CLS). Les travaux sur le CLS visent généralement à détecter les changements de sens des mots sur deux périodes de

<figure><img src="image_26.png" /></figure>

<footnote n="1">1. Cet article est une adaptation et traduction de Garí Soler et al. (2022).</footnote>
<figure><img src="image_27.png" /><figcaption>FIGURE 1 – Exemples d'instances de « mask » de l'ensemble de données de position Covid19 (Glandt et al., 2021). Nous comparons la similarité d'utilisation interne aux, et entre, les positions.</figcaption></figure>

temps ou plus (Tahmasebi et al., 2021), mais leurs techniques ont également été employées pour identifier les différences synchroniques dans l'utilisation des mots, par exemple à travers différents âges, sexes, professions (Gonen et al., 2020), domaines (Yin et al., 2018; Schlechtweg et al., 2019) ou cultures (Garimella et al., 2016). Contrairement aux études connexes qui étudient le CLS entre différents points de vue (Azarbonyad et al., 2017; Rodriguez et al., 2021), notre objectif n'est pas d'explorer l'utilisation de mots spécifiques, et nous n'évaluons pas notre méthode en fonction du classement des mots par la stabilité de leur sens. Nous voulons plutôt déterminer si les représentations vectorielles reflètent une plus grande similitude dans l'utilisation des mots au sein d'un point de vue qu'entre différentes positions (voir Figure 1). Nous explorons cette question en nous appuyant sur des ensembles de données annotés avec des informations sur la position. Auparavant, nous testons différents modèles contextuels dans une configuration où les données sont rares, afin de sélectionner un type de représentation robuste<fnref n="2" />.

Notre objectif à long terme est de détecter les différences d'utilisation des mots entre les locuteurs d'une conversation, ce qui pourrait indiquer leur niveau d'alignement conceptuel (Stolk et al., 2016); c'est-à-dire la mesure dans laquelle les participants au dialogue « veulent dire la même chose en utilisant les mêmes mots » (Schober, 2005). Avec cette étude, nous présentons un premier pas dans cette direction. Les représentations sensibles aux différences d'opinion pourraient être utiles pour identifier les désaccords et les désalignements dans le dialogue.

# 2 Méthodologie

## 2.1 Données

Nous utilisons des ensembles de données en anglais contenant des phrases étiquetées comme étant en faveur (FAVOR) ou contre (AGAINST) une cible spécifique. Nous excluons les phrases sans position claire (NONE), le cas échéant. SemEval2016 (Mohammad et al., 2016b,a) contient des tweets sur six cibles variées. Nous en extrayons 3 253 phrases<fnref n="3" />. Covid19 (Glandt et al., 2021) est un ensemble de données avec 3 918 tweets centrés sur quatre cibles liées à la pandémie de COVID-19. P-Stance (Li et al., 2021) contient 21 574 tweets sur trois politiciens américains. Enfin, IBM-ArgQ-Rank-30kArgs (Gretz et al., 2020), ci-après ArgQ, est une collection d'arguments sur 71 cibles. Nous

<footnote n="2">2. Notre code et nos données sont disponibles sur https://github.com/ainagari/1word2sides</footnote>

<footnote n="3">3. Nous omettons la cible « Climate Change is a Real Concern » car elle ne contient que 26 tweets AGAINST.</footnote>
utilisons 29 972 arguments qui ont une position claire (avec un score de confiance<fnref n="4" /> supérieur à 0,6, d'après Bar-Haim et al. (2020)). Nous voulons organiser les données de manière à nous permettre de déterminer si des instances du même mot ont une similitude plus élevée au sein d'une position qu'entre les positions. À cette fin, nous prétraitons et organisons les données comme suit.

**Prétraitement** : L'ensemble de données ArgQ était à l'origine destiné à la détection de la qualité des arguments, et plusieurs arguments mentionnent explicitement leur position. Pour atténuer les biais potentiels que cela pourrait engendrer, nous appliquons une stratégie qui omet automatiquement cette partie d'une phrase. Si le début d'une phrase contient les mêmes mots que la cible (avec l'ajout facultatif de *not* et *n't*) et est suivi de *because* (*of*), *as*, *since*, d'une virgule ou d'un point, on omet la première partie de la phrase jusqu'à ce token (inclus) <fnref n="5" />. Cette procédure modifie 3 223 phrases. Ensuite, les phrases dans tous les ensembles de données sont tokenisées, annotées en parties du discours et lemmatisées avec la librairie nltk.

**Ensembles de phrases** : Pour une cible donnée, nous divisons aléatoirement les phrases de chaque position (*f* (FAVOR) ou *a* (AGAINST)) en deux ensembles de taille égale *P* et *Q*. Avec ces ensembles, nous exécutons quatre comparaisons, deux intra-position : WITHIN-FAVOR (*P*<sub>*f*</sub> vs *Q*<sub>*f*</sub>) et WITHIN-AGAINST (*P*<sub>*a*</sub> vs *Q*<sub>*a*</sub>); et deux entre-positions : BETWEEN-1 (*P*<sub>*f*</sub> vs *Q*<sub>*a*</sub>) et BETWEEN-2 (*P*<sub>*a*</sub> vs *Q*<sub>*f*</sub>).

## 2.2 Représentations vectorielles

Nous voulons générer des représentations vectorielles pour des ensembles d'instances de mots tirés d'une position (par exemple, *P*<sub>*f*</sub>). Par exemple, on veut obtenir une représentation du mot « woman » à partir de phrases en faveur du « mouvement féministe » (SemEval2016) et la comparer à la représentation de « woman » dans des phrases exprimant une position contre cette cible.

Dans la détection de CLS, les plongements statiques ont tendance à être plus performants que ceux contextualisés (Schlechtweg et al., 2020). Une approche typique consiste à apprendre séparément les plongements statiques pour chaque période, corpus ou point de vue, puis les comparer soit en les alignant (Hamilton et al., 2016) soit avec un approche basée sur les plus proches voisins (Gonen et al., 2020). Dans ces études, même dans celles portant sur la détection de changement à court terme (Stewart et al., 2017; Del Tredici et al., 2019), il est courant de disposer d'un assez grande nombre d'instances d'un mot donné. Cependant, le nombre de phrases disponibles par mot dans un point de vue est limité dans nos données <fnref n="6" />. Nous expérimentons donc avec trois types différents de plongements contextualisés :

**Les plongements À la carte (ALC)** (Khodak et al., 2018) ont été utilisées pour détecter des différences dans l'utilisation des mots selon les points de vue (Rodriguez et al., 2021). Le modèle consiste à appliquer une transformation linéaire à la moyenne des plongements pré-entraînés des mots du contexte du mot cible. Nous utilisons un modèle ALC reposant sur des plongements GloVe 300d (Pennington et al., 2014) formés sur 840 × 10⁹ tokens de Common Crawl.

<footnote n="4">4. Ce score reflète la mesure dans laquelle les annotateurs sont d'accord sur la position d'un argument. Il est calculé comme une moyenne pondérée des décisions des annotateurs et il varie de 0 à 1.</footnote>

<footnote n="5">5. Par exemple, on retient seulement la partie en italique pour la phrase « Homeschooling should not be banned because it is a right for parents to educate their children in their comfort of home. » (pour la cible « Homeschooling should be banned »).</footnote>

<footnote n="6">6. Par exemple, Schlechtweg et al. (2020) a une moyenne de 788 instances par lemme et période de temps. Dans nos données, le nombre moyen d'instances d'un mot dans un côté d'une comparaison est de 14.</footnote>
**Context2vec (c2v)** (Melamud et al., 2016) qui apprend simultanément la représentation d'un mot cible et, à l'aide d'un biLSTM, du contexte qui l'entoure : il est optimisé pour que les représentations du mot et de son contexte, plongées dans le même espace, soient similaires. Nous utilisons un modèle 600d entraîné sur le corpus ukWaC (Baroni et al., 2009).

**BERT** : (Devlin et al., 2019) Nous utilisons des représentations contextualisées générées avec le modèle 768d bert-base-uncased.

Nous notons $V_P$ le vocabulaire d'un ensemble de phrases P. Nous incluons dans le vocabulaire tous les noms et les verbes apparaissant dans au moins trois phrases différentes de P. Dans les tweets, les mentions et les hashtags sont traités comme des noms. Les mots vides sont exclus. Nous traitons toutes les instances d'un lemme avec une catégorie grammaticale spécifique comme le même mot. Nous extrayons une représentation $\mathbf{w}_P$ pour chaque mot $w$ dans $V_P$. Pour c2v et BERT, cela se fait en faisant la moyenne des représentations de toutes les instances $w$ de P.

## 2.3 Tester les représentations

Nous identifions d'abord les représentations les mieux adaptées pour refléter la similarité sémantique lexicale entre de petits ensembles de phrases. En suivant Schlechtweg & Schulte im Walde (2020), nous utilisons SemCor (Miller et al., 1993), un corpus annoté en sens, pour créer un ensemble de données qui simule le changement sémantique. Nous contrôlons en outre le nombre de phrases disponible pour chaque lemme. Le jeu de données est composé de 576 lemmes : 245 noms, 241 verbes, 69 adjectifs et 21 adverbes. Pour chaque lemme, nous avons deux ensembles de 25 instances chacun, P et Q. Pour simuler des situations de données, nous créons des sous-ensembles de taille X de P et Q ($P_X$, $Q_X$). Nous expérimentons différentes valeurs de X. Comme dans Schlechtweg & Schulte im Walde (2020), nous déterminons la « vraie » distance sémantique entre deux groupes $P_X$ et $Q_X$ en calculant la divergence de Jensen-Shannon (JSD) entre leurs distributions de sens.

Les prédicitions de similarité pour un mot $w$ sont obtenues en calculant simplement la similarité cosinus entre les représentations de ce lemme dans chaque ensemble de phrases, $\cos(\mathbf{w}_{P_X}, \mathbf{w}_{Q_X})$. Nous rapportons le coefficient de corrélation $\tau$-b de Kendall entre JSD et les similarités prédites par chaque type de représentation. Les résultats de cette expérience sont présentés dans la section 3.1.

## 2.4 Calcul de similarité et évaluation

**Calcul de similarité** : Pour calculer la similarité globale de l'utilisation des mots pour une comparaison entre deux ensembles de phrases P et Q, nous identifions d'abord les mots communs aux deux ensembles, $V_P \cap V_Q$. Cependant, $V_P \cap V_Q$ contient des mots qui ne sont pas nécessairement liés à la cible en question. On calcule donc une similarité basée uniquement sur un sous-ensemble de $V_P \cap V_Q$, appelé $V_{PQ}$. Le score de similarité est la similarité cosinus moyenne de tous les mots dans $V_{PQ}$ :

$$sim(P, Q) = \frac{\sum_{w \in V_{PQ}} \cos(\mathbf{w}_P, \mathbf{w}_Q)}{|V_{PQ}|} \qquad (1)$$

Cette mesure de similarité vise à refléter dans quelle mesure les mots sont utilisés de la même manière et dans le même sens dans deux ensembles de phrases. Nous expérimentons avec trois définitions de
$V_{PQ}$ Dans chacune, nous veillons à utiliser le même nombre de mots pour les quatre comparaisons qui sont faites au sein d'une cible. Dans all, on inclut les *k* premiers mots les plus fréquents dans $V_P \cap V_Q$, où *k* correspond à la plus petite taille de $V_P \cap V_Q$ disponible pour cette cible. La fréquence est déterminée à partir de l'union des phrases dans *P* et *Q*. Nous utilisons également les 10 premiers mots de $V_P \cap V_Q$ avec les scores tf-idf les plus élevés dans cette cible (tf-idf). Les scores tf-idf sont calculés sur l'ensemble des jeux de données, en traitant toutes les phrases concernant la même cible comme un seul document. Enfin, on utilise aussi les 10 mots de $V_P \cap V_Q$ avec le plus petit poids de tf-idf (rev-tf-idf). Ce sous-ensemble contient des mots qui sont moins pertinents pour la cible, et donc nous nous attendons à ce que les similarités BETWEEN- et WITHIN- aient des valeurs plus proches. Notons que 25% des comparaisons (dans SemEval2016 et ArgQ) ont moins de 20 mots en commun. Dans ces cas, les valeurs tf-idf et rev-tf-idf sont partiellement calculées avec les mêmes mots.

**Évaluation** : Nous nous attendons à ce que les comparaisons de type WITHIN présentent une similarité moyenne plus élevée que les comparaisons BETWEEN. Pour mesurer à quel point cela est vrai, nous utilisons la précision par paires : nous vérifions pour combien de paires (WITHIN, BETWEEN) la comparaison de type BETWEEN a une similarité plus faible. Avec 4 comparaisons par cible, nos expériences portent sur un total de 332 paires (WITHIN, BETWEEN). Les résultats sur les données de position sont présentées dans la section 3.2.

# 3 Résultats

## 3.1 Sélection d'un type de représentation

Les résultats sur SemCor sont présentés sur la Figure 2. Dans les graphiques *a* et *b*, nous voyons les corrélations obtenues par les différents types de représentations sur différentes quantités de données (*X*). Naturellement, les performances sont moins bonnes avec des valeurs faibles de *X*. C'est notamment le cas de ALC, qui à *X* = 25 continue à s'améliorer. Dans le cas de c2v et BERT, cependant, nous n'observons pas de d'amélioration significative après *X* = 10. Dans ce contexte de données rares, les performances des plongements ALC sont bien inférieures à celles de c2v et BERT. Dans l'ensemble, les représentations BERT de la 10ème couche fonctionnent le mieux. On utilise donc des plongements de cette couche pour nos expériences sur les données de points de vue. Nous examinons également les performances des deux meilleurs modèles (c2v et la 10ème couche dans BERT) par PoS (figures *c* et *d*) : nous constatons que les noms et les verbes, qui sont les catégories grammaticales incluses dans nos expériences de position, sont généralement mieux représentés.

## 3.2 Résultats sur la position

Les précisions par paires obtenues avec la 10ème couche BERT avec différentes définitions de $V_{PQ}$ se trouvent dans la Table 1 (gauche). Nous voyons que, en particulier pour *all* et *tf-idf*, la précision par paires est remarquablement élevée dans tous les ensembles de données. Cela montre que les représentations de mots contextualisées de BERT reflètent des différences dans la façon dont les mots sont utilisés entre deux postures opposées.

Lors de l'utilisation des 10 mots avec le tf-idf le plus faible (*rev-tf-idf*), les performances diminuent,
<figure><img src="image_28.png" /><figcaption>FIGURE 2 – a and b : τ de Kendall obtenu par différentes représentations vectorielles sur SemCor. Nous n’incluons que des couches paires pour BERT pour une meilleure lisibilité. c et d : Performances de c2v et BERT (10ème couche) par catégorie grammaticale.</figcaption></figure>

<table><thead><tr><th>Dataset</th><th>all</th><th>tf-idf</th><th>rev-tf-idf</th></tr></thead><tbody><tr><td>SemEval2016</td><td>0.90</td><td>0.85</td><td>0.60</td></tr><tr><td>Covid19</td><td>0.88</td><td>0.81</td><td>0.50</td></tr><tr><td>P-stance</td><td>1.00</td><td>1.00</td><td>0.83</td></tr><tr><td>ArgQ</td><td>1.00</td><td>0.98</td><td>0.95</td></tr><tr><td>Global</td><td>0.99</td><td>0.96</td><td>0.90</td></tr></tbody></table>

<table><caption>TABLE 1 – À gauche : Précision par paires par ensemble de données avec différents $V_{PQ}$. Global correspond à tous les jeux de données réunis. À droite : Différences de similarité entre comparaisons.</caption><thead><tr><th></th><th>all</th><th>tf-idf</th><th>rev-tf-idf</th></tr></thead><tbody><tr><td>a) W vs W</td><td>0.013</td><td>0.010</td><td>0.023</td></tr><tr><td>b) B vs B</td><td>0.013</td><td>0.010</td><td>0.023</td></tr><tr><td>c) W vs B</td><td>0.047</td><td>0.027</td><td>0.041</td></tr></tbody></table>

mais elles restent élevées pour les datasets P-Stance et ArgQ. Nous exécutons des tests du $\chi^2$ pour la qualité d’ajustement sur les prédicitions *rev-tf-idf* pour déterminer leur probabilité sous l’hypothèse nulle ($H_0$ : préc. = 0.5). Les valeurs-p sont significatives pour tous les jeux de données ensemble ($p < 0.001$) mais pas pour l’ensemble de toutes les données Twitter ($p = 0.08$, $\alpha = 0.05$). Il semble que les représentations BERT encodent, dans une certaine mesure, les différences dans les mots qui sont moins pertinents pour la cible. Cependant, si pour une raison quelconque, tous les mots ne peuvent pas être utilisés, (s’il y en a trop), alors il est préférable de sélectionner soigneusement un sous-ensemble (par exemple avec tf-idf).

Nous examinons également les mots qui ont les similitudes les plus élevées et les plus faibles dans les comparaisons BETWEEN. Les mots qui sont utilisés le plus différemment entre les positions tendent à être des noms qui sont au centre du sujet (par exemple « religion » dans « athéisme »), tandis que les mots les plus similaires sont souvent non-thématiques (« man » ou « take »).

Nous étudions l’ampleur des différences de similarité entre les comparaisons WITHIN (W) et BETWEEN (B) en examinant les différences de similarité (en valeur absolue) entre les paires de comparaison : a) entre WITHIN-FAVOR et WITHIN-AGAINST (W vs W), b) entre BETWEEN-1 et BETWEEN-2 (B vs B), et c) la différence moyenne trouvée dans les quatre appariements WITHIN vs BETWEEN (W vs B). Nous nous attendons à ce que ce dernier ait une plus grande différence de similarité que a) et b), où les comparaisons sont du même type. Les résultats sont présentés dans la Table 1 (droite). Nous rapportons la moyenne de ces valeurs sur toutes les données. Les différences de similarité sont assez faibles dans l’ensemble, ce qui indique que le contraste (c’est-à-dire la mesure dans laquelle les comparaisons WITHIN affichent une plus grande similarité que les comparaisons BETWEEN) est subtile. Les valeurs sont cependant entre 1,8 et 3,6 fois plus grandes pour les paires de comparaison W vs B. Pour toutes les définitions $V_{PQ}$, les valeurs de différence des paires de comparaison sont
# 4 Conclusion et travaux futurs

Nous avons montré que les représentations de mots BERT sont sensibles à l'opinion exprimée dans les phrases dont ils sont dérivés. Les différences de similitude trouvées entre les positions concordantes et contradictoires sont petites, mais significatives ; et les mots avec les différences les plus élevées ont tendance à être au cœur du sujet. Notre approche peut servir à identifier les points de divergence par rapport à une cible, et elle peut être utile pour la détection de position et l'analyse des débats. Nos expériences sur SemCor fournissent des informations précieuses sur la quantité suffisante d'instances de mots nécessaire à l'obtention de représentations de qualité, ce qui est pertinent pour étudier le CLS à faibles ressources et, plus généralement, pour dériver des vecteurs de mots à partir de peu de données.

Dans nos futurs travaux, nous prévoyons d'appliquer cette méthodologie au dialogue. Les ensembles *P* et *Q* correspondraient aux énoncés des participants à une conversation. La mesure de similarité agirait comme une approximation de l'alignement conceptuel ou de position entre les deux participants, indiquant si les locuteurs partagent des opinions et utilisent des mots de manière similaire.

# Remerciements

Nous remercions les relecteurs anonymes pour leurs commentaires utiles. Ce travail a été soutenu par la chaire de recherche Télécom Paris sur la Science des Données et Intelligence Artificielle pour l'Industrie et les Services Numériques (DSAIDIS).

# Références

AZARBONYAD H., DEHGHANI M., BEELEN K., ARKUT A., MARX M. & KAMPS J. (2017). Words Are Malleable : Computing Semantic Shifts in Political and Media Discourse. In *Proceedings of the 2017 ACM on Conference on Information and Knowledge Management*, CIKM '17, p. 1509–1518, New York, NY, USA : Association for Computing Machinery. DOI : 10.1145/3132847.3132878.

BAR-HAIM R., EDEN L., FRIEDMAN R., KANTOR Y., LAHAV D. & SLONIM N. (2020). From Arguments to Key Points : Towards Automatic Argument Summarization. In *Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics*, p. 4029–4039, Online : Association for Computational Linguistics. DOI : 10.18653/v1/2020.acl-main.371.

BARONI M., BERNARDINI S., FERRARESI A. & ZANCHETTA E. (2009). The WaCky wide web : a collection of very large linguistically processed web-crawled corpora. *Journal of Language Resources and Evaluation, 43*(3), 209–226.

<footnote n="7">7. Selon les tests de Wilcoxon ou de Student appariés, dépendant de la normalité des données (déterminée par les tests de Shapiro-Wilk).</footnote>
DEL TREDICI M., FERNÁNDEZ R. & BOLEDA G. (2019). Short-Term Meaning Shift : A Distribu-
tional Exploration. In *Proceedings of the 2019 Conference of the North American Chapter of the
Association for Computational Linguistics : Human Language Technologies, Volume 1 (Long and
Short Papers)*, p. 2069–2075, Minneapolis, Minnesota : Association for Computational Linguistics.
DOI: 10.18653/v1/N19-1210.

DEVLIN J., CHANG M.-W., LEE K. & TOUTANOVA K. (2019). BERT: Pre-training of Deep
Bidirectional Transformers for Language Understanding. In *Proceedings of the 2019 Conference
of the North American Chapter of the Association for Computational Linguistics : Human Lan-
guage Technologies, Volume 1 (Long and Short Papers)*, p. 4171–4186, Minneapolis, Minnesota :
Association for Computational Linguistics. DOI: 10.18653/v1/N19-1423.

GARÍ SOLER A., LABEAU M. & CLAVEL C. (2022). One word, two sides: Traces of stance in contextualized word representations. In *Proceedings of the 29th International Conference on Computational Linguistics*, p. 3950–3959, Gyeongju, Republic of Korea: International Committee on Computational Linguistics.

GARIMELLA A., MIHALCEA R. & PENNEBAKER J. (2016). Identifying Cross-Cultural Differences in Word Usage. In *Proceedings of COLING 2016, the 26th International Conference on Computational Linguistics : Technical Papers*, p. 674–683, Osaka, Japan: The COLING 2016 Organizing Committee.

GLANDT K., KHANAL S., LI Y., CARAGEA D. & CARAGEA C. (2021). Stance Detection in
COVID-19 Tweets. In *Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers)*, p. 1596–1611, Online : Association for Computational Linguistics. DOI : 10.18653/v1/2021.acl-long.127.

GONEN H., JAWAHAR G., SEDDAH D. & GOLDBERG Y. (2020). Simple, Interpretable and Stable Method for Detecting Words with Usage Change across Corpora. In *Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics*, p. 538–555, Online : Association for Computational Linguistics. DOI : 10.18653/v1/2020.acl-main.51.

GRETZ S., FRIEDMAN R., COHEN E., TOLEDO A., LAHAV D., AHARONOV R. & SLONIM
N. (2020). A Large-Scale Dataset for Argument Quality Ranking : Construction and Ana-
lysis. *Proceedings of the AAAI Conference on Artificial Intelligence*, **34**, 7805–7813. DOI : 10.1609/aaai.v34i05.6285.

HAMILTON W. L., LESKOVEC J. & JURAFSKY D. (2016). Diachronic Word Embeddings Reveal Statistical Laws of Semantic Change. In *Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers)*, p. 1489–1501, Berlin, Germany : Association for Computational Linguistics. DOI: 10.18653/v1/P16-1141.

KHODAK M., SAUNSHI N., LIANG Y., MA T., STEWART B. & ARORA S. (2018). A La Carte Embedding : Cheap but Effective Induction of Semantic Feature Vectors. In *Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers)*, p. 12–22, Melbourne, Australia : Association for Computational Linguistics. DOI : 10.18653/v1/P18-1002.

LI Y., SOSEA T., SAWANT A., NAIR A. J., INKPEN D. & CARAGEA C. (2021). P-Stance : A Large Dataset for Stance Detection in Political Domain. In *Findings of the Association for Computational Linguistics : ACL-IJCNLP 2021*, p. 2355–2365, Online : Association for Computational Linguistics. DOI : 10.18653/v1/2021.findings-acl.208.

MELAMUD O., GOLDBERGER J. & DAGAN I. (2016). context2vec : Learning Generic Context Embedding with Bidirectional LSTM. In *Proceedings of the 20th SIGNLL Conference on Compu-
*tational Natural Language Learning*, p. 51–61, Berlin, Germany : Association for Computational Linguistics. DOI : 10.18653/v1/K16-1006.

MILLER G. A., LEACOCK C., TENGI R. & BUNKER R. T. (1993). A Semantic Concordance. In *Human Language Technology : Proceedings of a Workshop Held at Plainsboro, New Jersey, March 21-24, 1993*.

MOHAMMAD S., KIRITCHENKO S., SOBHANI P., ZHU X. & CHERRY C. (2016a). A Dataset for Detecting Stance in Tweets. In *Proceedings of the Tenth International Conference on Language Resources and Evaluation (LREC’16)*, p. 3945–3952, Portorož, Slovenia : European Language Resources Association (ELRA).

MOHAMMAD S., KIRITCHENKO S., SOBHANI P., ZHU X. & CHERRY C. (2016b). SemEval-2016 Task 6 : Detecting Stance in Tweets. In *Proceedings of the 10th International Workshop on Semantic Evaluation (SemEval-2016)*, p. 31–41, San Diego, California : Association for Computational Linguistics. DOI : 10.18653/v1/S16-1003.

PENNINGTON J., SOCHER R. & MANNING C. (2014). Glove : Global Vectors for Word Representation. In *Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing (EMNLP)*, p. 1532–1543, Doha, Qatar : Association for Computational Linguistics. DOI : 10.3115/v1/D14-1162.

RODRIGUEZ P. L., SPIRLING A. & STEWART B. M. (2021). *Embedding Regression : Models for Context-Specific Description and Inference*. Rapport interne, Working Paper Vanderbilt University.

SCHLECHTWEG D., HÄTTY A., DEL TREDICI M. & SCHULTE IM WALDE S. (2019). A Wind of Change : Detecting and Evaluating Lexical Semantic Change across Times and Domains. In *Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics*, p. 732–746, Florence, Italy : Association for Computational Linguistics. DOI : 10.18653/v1/P19-1072.

SCHLECHTWEG D., MCGILLIVRAY B., HENGCHEN S., DUBOSSARSKY H. & TAHMASEBI N. (2020). SemEval-2020 Task 1 : Unsupervised Lexical Semantic Change Detection. In *Proceedings of the Fourteenth Workshop on Semantic Evaluation*, p. 1–23, Barcelona (online) : International Committee for Computational Linguistics. DOI : 10.18653/v1/2020.semeval-1.1.

SCHLECHTWEG D. & SCHULTE IM WALDE S. (2020). Simulating Lexical Semantic Change from Sense-Annotated Data. In A. RAVIGNANI, C. BARBIERI, M. MARTINS, M. FLAHERTY, Y. JADOUL, E. LATTENKAMP, H. LITTLE, K. MUDD & T. VERHOEF, Éds., *The Evolution of Language : Proceedings of the 13th International Conference (EvoLang13)*. DOI : 10.17617/2.3190925.

SCHOBER M. F. (2005). Conceptual alignment in conversation. *Other minds : How humans bridge the divide between self and others*, p. 239–252.

STEWART I., ARENDT D., BELL E. & VOLKOVA S. (2017). Measuring, Predicting and Visualizing Short-Term Change in Word Representation and Usage in VKontakte Social Network. *Proceedings of the International AAAI Conference on Web and Social Media, 11*(1), 672–675.

STOLK A., VERHAGEN L. & TONI I. (2016). Conceptual alignment : How brains achieve mutual understanding. *Trends in cognitive sciences, 20*(3), 180–191.

TAHMASEBI N., BORIN L. & JATOWT A. (2021). Survey of computational approaches to lexical semantic change detection. In N. TAHMASEBI, L. BORIN, A. JATOWT, Y. XU & S. HENGCHEN, Éds., *Computational approaches to semantic change*. Language Science Press. DOI : 10.5281/zenodo.5040302.

YIN Z., SACHIDANANDA V. & PRABHAKAR B. (2018). The global anchor method for quantifying linguistic shifts and domain adaptation. *Advances in neural information processing systems, 31*.
# PromptORE – Vers l'Extraction de Relations non-supervisée

Pierre-Yves Genest<fnref n="1" />, ² Pierre-Edouard Portier² Előd Egyed-Zsigmond²
Laurent-Walter Goix³ *

(1) Alteca, 88 Boulevard des Belges, 69006 Lyon, France

(2) Univ Lyon, INSA Lyon, LIRIS, CNRS UMR5205, 20 Avenue Einstein, 69621 Villeurbanne, France

(3) Nokia, 37 Quai du Président Roosevelt, 92130 Issy-les-Moulineaux, France

pygenest@alteca.fr, pierre-edouard.portier@insa-lyon.fr,

elod.egyed-zsigmond@insa-lyon.fr, laurent-walter.goix@nokia.com

## RÉSUMÉ

L'extraction de relations non-supervisée vise à identifier les relations qui lient les entités dans un texte sans utiliser de données annotées pendant l'entraînement. Cette tâche est utile en monde ouvert, où les types de relations et leur nombre sont inconnus. Bien que des modèles récents obtiennent des résultats prometteurs, ils dépendent fortement d'hyper-paramètres dont l'ajustement nécessite des données annotées, signifiant que ces modèles ne sont pas complètement non-supervisés. Pour résoudre ce problème, nous proposons PromptORE, à notre connaissance le premier modèle d'extraction de relations non-supervisé qui ne nécessite pas d'ajustement d'hyper-paramètres. Pour cela, nous adaptons le principe du prompt-tuning pour fonctionner sans supervision. Les résultats montrent que PromptORE surpasse largement les méthodes à l'état de l'art, avec un gain relatif de 20 – 40% en B³, V-measure et ARI. Le code source est accessible <fnref n="1" />.

## ABSTRACT

PromptORE – A Novel Approach Towards Fully Unsupervised Relation Extraction

Unsupervised relation extraction aims to identify relations between entities in text, without having access to labeled data during training. This setting is particularly relevant for open-domain relation extraction where relation types and the number of relations are a priori unknown. Although recent approaches achieve promising results, they heavily depend on hyperparameters whose tuning requires labeled data, meaning they are not fully unsupervised. To mitigate this issue, we propose PromptORE, to the best of our knowledge, the first unsupervised relation extraction model that does not need hyperparameter tuning. We adapt the novel prompt-tuning paradigm to work in an unsupervised setting. Results shows that PromptORE consistently outperforms state-of-the-art models with a relative gain of 20 – 40% in B³, V-measure and ARI. The source code is available<fnref n="1" />.

**MOTS-CLÉS** : extraction de relation non-supervisée ; extraction de relation ouverte ; prompt-tuning.

**KEYWORDS** : unsupervised relation extraction ; open relation extraction ; prompt-tuning.

<figure><img src="image_29.png" /></figure>

<footnote>∗ Recherche réalisée lorsque l'auteur travaillait chez Alteca.</footnote>

<footnote n="1">1. https://github.com/alteca/PromptORE.</footnote>
# 1 Introduction

L'Extraction de Relations Non-Supervisée (ER-NS) vise à identifier les relations qui lient les entités dans un texte, sans avoir accès à des données annotées pendant l'entraînement. Cette tâche est particulièrement utile sur des domaines très spécifiques où aucun jeu de données annoté n'est disponible, ou en monde ouvert où les types de relations et leur nombre ne sont pas connus à l'avance. Plusieurs approches récentes s'intéressent à cette thématique et obtiennent des résultats prometteurs (Simon et al., 2019; Tran et al., 2020; Hu et al., 2020), mais elles dépendent toutes de nombreux hyper-paramètres, dont l'ajustement nécessite des données annotées.

Pour répondre à ce problème, nous proposons PromptORE, un modèle d'Extraction de Relations en monde Ouvert basée sur des Prompts<fnref n="2" />, que nous avons présenté lors de la conférence CIKM'22 (Genest et al., 2022). Nous utilisons et modifions la nouvelle technique du prompt-tuning pour fonctionner en mode non-supervisé. Nous l'utilisons pour calculer une représentation vectorielle de chaque relation (relation embedding). Nous effectuons ensuite un clustering sur ces embeddings pour identifier des groupes de relations similaires, et effectuer des prédicitions. À notre connaissance, PromptORE est le premier modèle d'ER-NS qui ne nécessite pas d'ajustement d'hyper-paramètres. Les résultats obtenus sur des datasets de domaines général et spécifique montrent que PromptORE surpasse largement les méthodes à l'état de l'art, avec un gain relatif de 20 – 40% en B<fnref n="3" />, V-measure et ARI, tout en étant plus simple. Une analyse qualitative montre aussi la capacité de PromptORE à extraire des clusters sémantiquement cohérents et très proches des vraies relations.

# 2 État de l'art

L'extraction de relations non-supervisée (ER-NS) vise à identifier la relation binaire *r* qui lie deux entités *e1* et *e2* dans le contexte d'une phrase S<fnref n="3" />, sans utiliser un jeu de données annoté. Le plus souvent, il s'agit de regrouper dans un cluster toutes les instances (S, *e1*, *e2*) qui expriment la même relation *r*. Les approches récentes s'appuient sur des modèles de langage, notamment BERT (Devlin et al., 2019), et suivent un processus en deux étapes (Hu et al., 2020; Simon et al., 2019; Marcheggiani & Titov, 2016) : 1. encodage des instances, c'est-à-dire représenter chaque relation par un vecteur appelé plongement de relation, et 2. prédiction de la relation en utilisant le plongement. Simon et al. (2019); Marcheggiani & Titov (2016) utilisent une approche générative basée sur les auto-encodeurs variationnels. SelfORE (Hu et al., 2020) utilise l'apprentissage auto-supervisé, en générant des pseudo-labels avec un clustering et en les prédisant avec un classificateur pour affiner les paramètres de BERT (fine-tuning). Cependant, Tran et al. (2020) montrent avec EType+ qu'un modèle très simple, raisonnant sur les types d'entités, obtient de meilleures performances que ces approches complexes.

Bien que tous ces modèles extraient des relations sans utiliser de données annotées, nous ne pensons pas qu'ils soient réellement non-supervisés. En effet, ils possèdent beaucoup d'hyper-paramètres comme le nombre de clusters, le nombre d'époques, d'itérations, le taux d'apprentissage, l'early-stopping, ou la régularisation. Ajuster ces hyper-paramètres est critique pour les performances des modèles, et les auteurs ne décrivent aucune méthode pour les ajuster automatiquement et sans données

<footnote n="2">2. *Prompt* peut être traduit par réplique ou requête.</footnote>

<footnote n="3">3. Les modèles d'EN-RS se concentrent sur l'extraction dans des phrases, bien que l'extraction dans des documents soit plus générale.</footnote>
<figure><img src="image_30.png" /><figcaption>FIGURE 1 – Architecture de PromptORE.</figcaption></figure>

<figure><img src="image_31.png" /><figcaption>FIGURE 2 – Matrice de confusion entre les relations et les clusters de PromptORE sur FewRel.</figcaption></figure>

annotées. De fait, les approches existantes ne sont pas utilisables dans un contexte non-supervisé réel.

## 3 PromptORE

C'est pour répondre à ce problème que nous proposons PromptORE. Il a pour objectif d'extraire la relation binaire *r* entre deux entités **e1** et **e2** déjà extraites dans une phrase **S**, sans utiliser de données annotées pendant l'apprentissage et l'ajustement des hyper-paramètres. Nous supposons avoir accès à un dataset **D** contenant *n* instances (voir Figure 1). Chaque instance est décrite par un triplet (**S**, **e1**, **e2**), avec **S** le texte de l'instance et **e1** et **e2** les deux entités. Nous supposons **e1** et **e2** extraits, et qu'il existe une relation *r* qui relie **e1** et **e2** dans le contexte de **S** (hypothèse habituelle de l'ER-NS). *R* est l'ensemble des *k* types de relations de **D**. Nous ne connaissons pas *k*, ni n'avons d'information sur les relations (label, description, types d'entités, etc.). Comme SelfORE (Hu *et al.*, 2020), PromptORE est composé de deux modules principaux (voir Figure 1) : l'encodeur de relations, et le clustering des relations.

**Encodeur de relations** Ce module calcule une représentation vectorielle de la relation (relation embedding) qui lie **e1** à **e2** dans le contexte de **S**. En d'autres termes, l'encodeur de relation abstrait le texte, pour fournir un plongement qui est facile à comparer grâce à une métrique (distance euclidienne). L'objectif est d'avoir un plongement représentatif de la relation sous-jacente : si deux instances ont des plongements proches, alors elles manifestent vraisemblablement la même relation *r*. Pour notre encodeur, nous utilisons le principe du *prompt-tuning* avec le modèle de langage BERT, que nous adaptons pour fonctionner dans un cadre non-supervisé<fnref n="4" /> :

<footnote n="4">4. Le prompt-tuning a déjà été utilisé pour l'extraction de relation, mais dans un cadre supervisé (e.g., Lv *et al.* (2022)).</footnote>
<table><caption>TABLE 1 – Résultats de PromptORE et de modèles à l'état de l'art sur deux jeux de données. EType+ et SelfORE ont accès au nombre de relations *k*, PromptORE l'estime ($\hat{k}$).</caption><thead><tr><th>Dataset</th><th></th><th>Modèle</th><th>B<sup>3</sup> (F1)</th><th>V (F1)</th><th>ARI</th></tr></thead><tbody><tr><td rowspan="3">FewRel<br>(Han et al., 2018)</td><td>k = 80</td><td>ЕType+ (Tran et al., 2020)</td><td>13.7</td><td>47.9</td><td>8.4</td></tr><tr><td rowspan="2">k̂ = 65</td><td>SelfORE (Hu et al., 2020)</td><td>29.2</td><td>53.2</td><td>24.4</td></tr><tr><td>PromptORE</td><td><b>49.5</b></td><td><b>71.2</b></td><td><b>42.2</b></td></tr><tr><td rowspan="3">FewRel PubMed<br>(Gao et al., 2019)</td><td>k = 10</td><td>ЕType+ (Tran et al., 2020)</td><td>18.1</td><td>0</td><td>0</td></tr><tr><td rowspan="2">k̂ = 10</td><td>SelfORE (Hu et al., 2020)</td><td>59.3</td><td>63.4</td><td>45.4</td></tr><tr><td>PromptORE</td><td><b>77.4</b></td><td><b>81.1</b></td><td><b>73.8</b></td></tr></tbody></table>

1. Pour une instance (S, e1, e2), déterminer un prompt *P*, qui est une séquence de tokens incluant un token [MASK]. Dans un cadre de *prompt-tuning* classique, l'objectif est d'optimiser la formulation de *P* pour améliorer les performances. Sans accès à des données annotées, cela nous est impossible, aussi nous proposons d'utiliser la template la plus simple possible :

$$ \mathcal{P}(S, e1, e2) = \text{"[CLS] S e1 [MASK] e2. [SEP]"}. \qquad (1) $$

Un exemple de prompt est disponible sur la Figure 1.

2. Prédire le plongement *h* du token [MASK] dans le contexte de *P* en utilisant BERT : *h* = BERT(*P*, [MASK]). *h* est le *relation embedding*, le plongement de la relation.

Les approches précédentes d'ER-NS utilisent la technique de la représentation des paires d'entités pour l'encodeur (Hu et al., 2020; Simon et al., 2019; Marcheggiani & Titov, 2016) : elles calculent un plongement pour e1 et e2, grâce à l'ajout de tokens virtuels, et concatènent les deux plongements pour obtenir le *relation embedding*. Cette approche nécessite de fine-tuner BERT, ce qui est la source de beaucoup d'hyper-paramètres. Notre implémentation basée sur le prompt-tuning, ne nécessite pas de fine-tuning, supprimant de fait tous ces hyper-paramètres.

**Clustering des relations** Pour identifier les groupes d'instances manifestant la même relation *r*, nous calculons un clustering avec les k-moyennes (Lloyd, 1957) sur les plongements *h* de toutes les instances de *D* (voir Figure 1). Pour estimer le nombre de relations *k*, nous proposons d'utiliser l'elbow rule (Thorndike, 1953) en conjonction avec le coefficient silhouette (Rousseeuw, 1987). Elle permet de trouver un nombre de clusters $\hat{k}$ qui est un compromis entre la simplicité du clustering et la valeur du coefficient silhouette.

# 4 Expériences

**Jeux de données, Métriques & Comparaisons** Nous utilisons deux jeux de données : FewRel (Han et al., 2018), de domaine général (articles Wikipedia) et contenant 56 000 instances avec 80 types de relations; et FewRel PubMed (Gao et al., 2019), centré sur le domaine biomédical, avec 10 types de relations différents. Étant donné que nous calculons un clustering comme les travaux précédents, nous évaluons PromptORE avec les métriques B³ (Bagga & Baldwin, 1998), V-measure (V) (Rosenberg & Hirschberg, 2007) et Adjusted Rand Index (ARI) (Hubert & Arabie, 1985). Nous