# Actes de JEP-TALN-RECITAL 2024. 31ème Conférence sur le Traitement Automatique des Langues Naturelles, volume 1: articles longs et prises de position

Mathieu Balaguer, Nihed Bendahman, Lydia-Mai Ho-Dac, Julie Mauclair, José G. Moreno, Julien Pinquier

## ► To cite this version:

Mathieu Balaguer, Nihed Bendahman, Lydia-Mai Ho-Dac, Julie Mauclair, José G. Moreno, et al. Actes de JEP-TALN-RECITAL 2024. 31ème Conférence sur le Traitement Automatique des Langues Naturelles, volume 1: articles longs et prises de position. 35èmes Journées d'Études sur la Parole (JEP) 31ème Conférence sur le Traitement Automatique des Langues Naturelles (TALN) 26ème Rencontre des Étudiants Chercheurs en Informatique pour le Traitement Automatique des Langues (RECITAL), ATALA & AFPC, pp.1–740, 2024, 978-2-917490-37-2. hal-04623005

HAL Id: hal-04623005

https://inria.hal.science/hal-04623005v1

Submitted on 5 Jul 2024

HAL is a multi-disciplinary open access archive for the deposit and dissemination of scientific research documents, whether they are published or not. The documents may come from teaching and research institutions in France or abroad, or from public or private research centers.

L'archive ouverte pluridisciplinaire HAL, est destinée au dépôt et à la diffusion de documents scientifiques de niveau recherche, publiés ou non, émanant des établissements d'enseignement et de recherche français ou étrangers, des laboratoires publics ou privés.

<figure><img src="image_1.png" /></figure>

Distributed under a Creative Commons Attribution 4.0 International License
JEP - TALN
RECITAL

TOULOUSE 2024

35èmes Journées d'Études sur la Parole (JEP 2024)

31ème Conférence sur le Traitement Automatique des Langues Naturelles (TALN 2024)

26ème Rencontre des Étudiants Chercheurs en Informatique pour le Traitement Automatique des Langues (RECITAL 2024)
https://jep-taln2024.sciencesconf.org

31ème Conférence sur le Traitement Automatique des Langues Naturelles, volume 1 : articles longs et prises de position

Mathieu BALAGUER, Nihed BENDAHMAN, Lydia-Mai HO-DAC, Julie MAUCLAIR, Jose G MORENO, Julien PINQUIER (Éds.)
<figure><img src="image_2.png" /></figure>

CLLE

COGNITION
LANGUES
LANGAGE
ERGONOMIE
(UMS 2510)

<figure><img src="image_3.png" /></figure>

<figure><img src="image_4.png" /></figure>

UNIVERSITÉ TOULOUSE
Jean Jaurès

<figure><img src="image_5.png" /></figure>

IRIT
Institut de Recherche
en Informatique de Toulouse
CNRS - Toulouse INP - UT1 - UT2 - UIT Capitole - UT2

<figure><img src="image_6.png" /></figure>

UNIVERSITÉ
TOULOUSE III
PAUL SABATIER

<figure><img src="image_7.png" /></figure>

<figure><img src="image_8.png" /></figure>

SCIENCES
DU
LANGAGE

<figure><img src="image_9.png" /></figure>

<figure><img src="image_10.png" /></figure>

LNPL

Laboratoire
de Neuro
Psycho
Linguistique

<figure><img src="image_11.png" /></figure>

<figure><img src="image_12.png" /></figure>

<figure><img src="image_13.png" /></figure>

LIN AGORA

<figure><img src="image_14.png" /></figure>

LE VOICE LAB
# Préface

Organisée conjointement par les équipes de recherche IRIS, MELODI et SAMoVA de l'Institut de Recherche en Informatique de Toulouse (IRIT UMR 5505), l'équipe PLC du laboratoire Cognition, Langues, Langage, Ergonomie (CLLE UMR 5263) et l'axe neurocognition langagière, linguistique et phonétique cliniques du laboratoire de NeuroPsychoLinguistique (LNPL URI EA 4156), sous l'égide de l'Association Francophone de la Communication Parlée (AFCP) et l'Association pour le Traitement Automatique des Langues (ATALA), la conférence JEP-TALN-RECITAL 2024 regroupe :

— les 35ème Journées d'Études sur la Parole (JEP),

— la 31ème Conférence sur le Traitement Automatique des Langues Naturelles (TALN),

— la 26ème Rencontre des Étudiants Chercheurs en Informatique pour le Traitement Automatique des Langues (RECITAL).

Les conférences TALN et JEP sont un rendez-vous qui offre le plus important forum d'échange francophone aux acteurs universitaires et industriels des technologies de la langue et la parole. Pour cette édition, nous avons plus de 200 inscrits dont une grande partie des étudiants qui construisent le futur de la recherche francophone et assurent le relais de son développement.

En tant que conférenciers invités, nous aurons Véronique HOSTE de l'Université de Ghent, Laurent BESACIER de Naver Labs Europe et Catia CUCCHIARINI de l'Université de Radboud. Ces trois conférenciers qui représentent un large spectre de thématiques entre le texte et la parole vont aborder les dernières avancées de leurs domaines d'expertise.

Cette édition permet aussi de célébrer les 30 ans de TALN. À cette occasion, nous avons dédié une session spéciale dans le programme. La session a comme objectif de rappeler l'historique de la conférence avec l'intervention des participants qui ont participé à sa pérennité afin de mieux transmettre les enjeux de ce rassemblement à la communauté scientifique du traitement automatique des langues naturelles.

En termes des soumissions, pour TALN, 66 articles pour la conférence principale ont été soumis, dont respectivement 18 ont été acceptés pour une présentation orale et 30 pour une présentation sous forme de posters. Également, nous avons reçu 13 résumés des articles publiés lors de conférences internationales qui ont été acceptés pour une présentation en format poster. En ce qui concerne RECITAL, 11 articles ont été soumis dont 7 ont été acceptés. L'ensemble des soumissions acceptées seront présentées sous forme de posters et 3 d'entre elles donneront lieu à une présentation orale. Pour les JEP, 64 articles ont été soumis et 62 ont été acceptés (17 sous forme de présentation orale et 45 sous format poster). L'alternance de sessions communes entre TALN, JEP et RECITAL et de sessions plus spécifiques devraient permettre de susciter des échanges fructueux. En complément de la conférence principale, se tiennent les ateliers "Parole Spontanée", "Défi Fouille de Texte" (DEFT), "Jurisprudence Prédictive" (JP'24), "Evaluation des modèles génératifs" (EvalLLM) et l'activité HackaTAL 2024. Ces événements illustrent à la fois des tendances nouvelles présentes dans la communauté et des activités récurrentes.

Il convient d'exprimer une profonde reconnaissance envers toutes les personnes qui ont participé à faire vivre la conférence, d'un côté les auteurs de toutes les soumissions et de l'autre les membres de différents comités scientifiques de la conférence. Un remerciement très chaleureux aux relecteurs qui ont accepté une charge importante et qui ont fait des relectures d'urgence afin de faciliter le bon déroulement de la conférence. La bienveillance et l'expertise des comités de programme ont permis la constitution d'un programme riche en thématiques et d'un niveau scientifique correspondant aux attentes de la communauté. Il est également essentiel d'exprimer notre gratitude envers les sponsors et les organisations qui ont subventionné la conférence. Leur soutien financier a permis à cet événement scientifique de se réaliser dans les meilleures conditions, rappelant l'importance des aspects financiers dans la réussite de telles
initiatives. Finalement, un grand merci aux différentes équipes présentes pour le bon fonctionnement, notamment des équipes de l'ATALA, l'AFCP et le CPRS qui nous ont accompagnés dans les différentes étapes de l'organisation.

Jose G Moreno
Président de TALN

Lydia-Mai Ho-Dac
Nihed Bendahman
Présidentes de RECITAL

Julie Mauclair
Présidente de JEP
# Comités

## Comité de Programme

- Rachel Bawden, Inria

- Leonor Becerra-Bonache, Laboratoire d'Informatique et Systèmes

- Delphine Bernhard, LiLPa, Université de Strasbourg

- Nathalie Camelin, LIUM — Université du Maine

- Marie Candito, Université Paris 7 / INRIA

- Vincent Claveau, Irisa

- Géraldine Damnati, Orange Labs

- Iris Eshkol-Taravella, University of Orléans

- Benoit Favre, Aix-Marseille Université

- Natalia Grabar, STL CNRS Université Lille 3

- Thierry Hamon, France

- Lydia-Mai Ho-Dac, CLLE

- Philippe Langlais, Canada

- Jose G Moreno, IRIT – Université Paul Sabatier

- Emmanuel Morin, Université de Nantes, LS2N

- Vincent Segonne, Université Bretagne Sud, UMR CNRS 6074, IRISA, F-56000 Vannes, France

- Christophe Servan, Qwant Research

- Anne Vilnat, LIMSI-CNRS

## Comité de Relecture

- Maxime Amblard, Université de Lorraine

- Jean-Yves Antoine, Université Franois Rabelais de Tours

- Lauriane Aufrant, Inria

- Frederic Bechet, Aix Marseille Université - LIF

- Patrice Bellot, Aix-Marseille Université - CNRS (LIS)

- Asma Ben Abacha, Microsoft Health AI

- Timothée Bernard, Université Paris Cité

- Romaric Besançon, CEA LIST

- Philippe Blache, LPL, AMU

- Chloé Braud, IRIT - CNRS

- Remi Cardon, CENTAL, IL&C, Université Catholique de Louvain

- Maximin Coavoux, CNRS, Université Grenoble Alpes

- Matthieu Constant, Université de Lorraine, ATILF, CNRS

- Caio Corro, Université Paris-Saclay

- Benoît Crabbé, Paris 7 et INRIA

- Béatrice Daille, Laboratoire d'Informatique Nantes Atlantique (LINA)

- Gaël de Chalendar, CEA LIST

- Gaël Dias, Normandie University

- Taoufiq Dkaki, IRIT, Intitut de Recherche en Informatique de Toulouse

- Benamara Farah, Univ. Paul Sabatier, Toulouse and IPAL, Singapore

- Olivier Ferret, CEA List

- Karën Fort, Sorbonne Université

- Amel Fraisse, Université de Lille

- Thomas Francois, Université catholique de Louvain

- Sahar Ghannay, LISN lab

- Cyril Grouin, LISN
— Gaël Guibon, Université de Lorraine - LORIA

— Nabil Hathout, CNRS

— Nicolas Hernandez, Nantes Université - LS2N CNRS UMR 6004

— Gilles Hubert, IRIT

— Luce Lefeuvre, DTIPG, SNCF

— Fabio Martínez Carrillo, Bivl2ab- Biomedical Imaging, vision and learning laboratory. Universidad Industrial de Santander

— Véronique Moriceau, IRIT Université Toulouse 3

— Philippe Muller, IRIT, Toulouse University

— Alexis Nasr, LIS

— Aurélie Névéol, Université Paris-Saclay, CNRS, LISN

— Jian-Yun Nie, University de Montreal

— Damien Nouvel, INALCO

— Yannick Parmentier, LORIA - Université de Lorraine

— Patrick Paroubek, Universite Paris Sacle - CNRS

— Benjamin Piwowarski, CNRS / ISIR, Sorbonne Université

— Thierry Poibeau, LaTTiCe-CNRS

— Solen Quiniou, LS2N - Nantes Université

— Benoît Sagot, INRIA

— Djamé Seddah, Alpage/Université Paris la Sorbonne

— Nasredine Semmar, CEA

— Ludovic Tanguy, CLLE-ERSS

— Xavier Tannier, Sorbonne Université, INSERM, LIMICS

— Julien Tourille, CEA, LIST

— Guillaume Wisniewski, LLF - Université de Paris

— François Yvon, CNRS

— Pierre Zweigenbaum, Université Paris-Saclay, CNRS, LISN
Table des matières

I Articles présentés oralement 1

À propos des difficultés de traduire automatiquement de longs documents 2
Ziqian Peng, Rachel Bawden, François Yvon

Approches cascade et de bout-en-bout pour la traduction automatique de la parole en pictogrammes 22
Cécile Macaire, Chloé Dion, Didier Schwab, Benjamin Lecouteux, Emmanuelle Esperança-Rodier

Au-delà de la performance des modèles : la prédiction de liens peut-elle enrichir des graphes lexico-sémantiques du français ? 36
Hee-Soo Choi, Priyansh Trivedi, Mathieu Constant, Karën Fort, Bruno Guillaume

CQuAE : Un nouveau corpus de question-réponse pour l'enseignement 50
Thomas Gerald, Louis Tamames, Sofiane Ettayeb, Patrick Paroubek, Anne Vilnat

Évaluation automatique des biais de genre dans des modèles de langue auto-régressifs 64
Fanny Ducel, Aurélie Névéol, Karën Fort

Évaluation de la Similarité Textuelle : Entre Sémantique et Surface dans les Représentations Neuronales 85
Julie Tytgat, Guillaume Wisniewski, Adrien Betrancourt

Extraction des arguments d'événements à partir de peu d'exemples par méta-apprentissage 97
Aboubacar Tuo, Romaric Besançon, Olivier Ferret, Julien Tourille

Les petits modèles sont bons : une étude empirique de classification dans un contexte zero-shot 113
Pierre Lepagnol, Thomas Gerald, Sahar Ghannay, Christophe Servan, Sophie Rosset

Les représentations contextuelles stéréotypées dans les modèles de langue français : mieux les identifier pour ne pas les reproduire 130
Léandre Adam-Cuvillier, Pierre-Jean Larpin, Antoine Simoulin

Méta-apprentissage pour l'analyse AMR translingue 144
Jeongwoo Kang, Maximin Coavoux, Cédric Lopez, Didier Schwab

Recherche de relation à partir d'un seul exemple fondée sur un modèle N-way K-shot : une histoire de distracteurs 157
Hugo Thomas, Guillaume Gravier, Pascale Sébillot

Reconnaissance d'entités cliniques en few-shot en trois langues 169
Marco Naguib, Aurélie Névéol, Xavier Tannier

Réduction des répétitions dans la Traduction Automatique Neuronale 198
Marko Avila, Anna Rebollo, Josep Crego

Régression logistique parcimonieuse pour l'extraction automatique de règles de grammaire 211
Santiago Herrera, Caio Corro, Sylvain Kahane
SEC : contexte émotionnel phrastique intégré pour la reconnaissance émotionnelle efficiente dans la conversation 219

Barbara Gendron, Gaël Guibon

Une approche par graphe pour l'analyse syntaxique en dépendances de bout en bout de la parole 234

Adrien Pupier, Maximin Coavoux, Benjamin Lecouteux, Jérôme Goulian

Vers la traduction automatique des néologismes scientifiques 245

Paul Lerner, François Yvon

WikiFactDiff : Un Grand jeu de données Réaliste et Temporellement Adaptable pour la Mise à Jour Atomique des Connaissances Factuelles dans les Modèles de Langue Causaux 262

Hichem Ammar Khodja, Frédéric Béchet, Quentin Brabant, Alexis Nasr, Gwénolé Lecrové

II Articles présentés en session poster 282

Adaptation des modèles de langue à des domaines de spécialité par un masquage sélectif fondé sur le genre et les caractéristiques thématiques 283

Anas Belfathi, Ygor Gallina, Nicolas Hernandez, Laura Monceaux, Richard Dufour

Améliorer la traduction au niveau du document grâce au sur-echantillage négatif et au masquage ciblé 295

Gaëtan Caillaut, Mariam Nakhlé, Jingshu Liu, Raheel Qader

Améliorer les modèles de langue pour l'analyse des émotions : perspectives venant des sciences cognitives 307

Constant Bonard, Gustave Cortal

Analyse de la perception de l'offre INTERCITÉS de jour : Classification multi-étiquettes des émotions dans les tweets 323

Chang Liu, Hélène Flamein, Luce Lefeuvre, Fanny Hanen

Approche multitâche pour l'amélioration de la fiabilité des systèmes de résumé automatique de conversation 338

Eunice Akani, Benoit Favre, Frederic Bechet, Romain Gemignani

Auto-correction et oracle dynamique : certains effets n'apparaissent qu'à taille réduite 352

Fang Zhao, Timothée Bernard

Construction d'une mesure de similarité thématique non supervisée pour les conversations 362

Amandine Decker, Maxime Amblard

De nouvelles méthodes pour l'exploration de l'interface syntaxe-prosodie : un treebank intonosyntaxique et un système de synthèse pour le pidgin nigérian 376

Emmett Strickland, Anne Lacheret-Dujour, Marc Evrard, Sylvain Kahane, Dana Aubakirova, Dorin Doncenco, Diego Torres, Perrine Quennehen, Bruno Guillaume

Étude des facteurs de complexité des modèles de langage dans une tâche de compréhension de lecture à l'aide d'une expérience contrôlée sémantiquement 384
<table>
  <tbody>
    <tr>
      <td>Elie Antoine, Frederic Bechet, Géraldine Damnati, Philippe Langlais</td>
      <td>397</td>
    </tr>
    <tr>
      <td>Évaluation de l'apport des chaînes de coréférences pour le liage d'entités<br>Léo Labat, Lauriane Aufrant</td>
      <td>410</td>
    </tr>
    <tr>
      <td>Extension d'AZee avec des règles de production concernant les gestes non-manuels pour<br>la langue des signes française<br>Camille Challant, Michael Filhol</td>
      <td>422</td>
    </tr>
    <tr>
      <td>Extraction d'entités nommées décrivant des chaînes de traitement bioinformatiques<br>dans des articles scientifiques en anglais<br>Clémence Sebe, Sarah Cohen-Boulakia, Olivier Ferret, Aurélie Névéol</td>
      <td>435</td>
    </tr>
    <tr>
      <td>Génération contrôlée de cas cliniques en français à partir de données médicales struc-<br>turées<br>Hugo Boulanger, Nicolas Hiebel, Olivier Ferret, Karën Fort, Aurélie Névéol</td>
      <td>449</td>
    </tr>
    <tr>
      <td>L'impact de genre sur la prédiction de la lisibilité du texte en FLE<br>Lingyun Gao, Rodrigo Wilkens, Thomas François</td>
      <td>499</td>
    </tr>
    <tr>
      <td>LLM-Generated Contexts to Practice Specialised Vocabulary : Corpus Presentation and<br>Comparison<br>Iglika Nikolova-Stoupak, Serge Bibauw, Amandine Dumont, Françoise Stas, Patrick Watrin, Thomas<br>François</td>
      <td>508</td>
    </tr>
    <tr>
      <td>La reconnaissance automatique des relations de cohérence RST en français.<br>Martial Pastor, Erik Bran Marino, Nelleke Oostdijk</td>
      <td>530</td>
    </tr>
    <tr>
      <td>MEETING : A corpus of French meeting-style conversations<br>Julie Hunter, Hiroyoshi Yamasaki, Océane Granier, Jérôme Louradour, Roxane Bertrand, Kate Thomp-<br>son, Laurent Prévot</td>
      <td>549</td>
    </tr>
    <tr>
      <td>MODEL : Large Language Models for Spontaneous French Dialogue<br>Jérôme Louradour, Julie Hunter, Ismail Harrando, Guokan Shang, Virgile Rennard, Jean-Pierre Lorré</td>
      <td>567</td>
    </tr>
    <tr>
      <td>Modéliser la facilité d'écoute en FLE : vaut-il mieux lire la transcription ou écouter le<br>signal vocal ?<br>Minami Ozawa, Rodrigo Wilkens, Kaori Sugiyama, Thomas François</td>
      <td>582</td>
    </tr>
    <tr>
      <td>Optimisation des performances d'un système de reconnaissance automatique de la pa-<br>role pour les commentaires sportifs : fine-tuning de Whisper<br>Camille Lavigne, Alex Stasica, Anna Kupsc</td>
      <td>605</td>
    </tr>
    <tr>
      <td>Optimiser le choix des exemples pour la traduction automatique augmentée par des<br>mémoires de traduction<br>Maxime Bouthors, Josep Crego, François Yvon</td>
      <td>617</td>
    </tr>
    <tr>
      <td>ParaPLUIE - une mesure automatique d'évaluation de la qualité sémantique des sys-<br>tèmes de paraphrases<br>Quentin Lemesle, Jonathan Chevelu, Damien Lolive, Arnaud Delhay-Lorrain, Philippe Martin</td>
      <td>617</td>
    </tr>
  </tbody>
</table>
Quel workflow pour les sciences du texte ? 630

Antoine Widlöcher

Repérage et caractérisation automatique des émotions dans des textes : traiter aussi leurs modes d'expression indirects 650

Aline Etienne, Delphine Battistelli, Gwénolé Lecorvé

TCFLE-8 : un corpus de productions écrites d'apprenants de français langue étrangère et son application à la correction automatisée de textes 677

Rodrigo Wilkens, Alice Pintard, David Alfter, Vincent Folny, Thomas François

Technologies de la parole et données de terrain : le cas du créole haïtien 686

William N. Havard, Renauld Govain, Daphne Gonçalves Teixeira, Benjamin Lecouteux, Emmanuel Schang

Utiliser l'explicabilité des modèles pour mettre en évidence les expressions genrées dans la parole 695

François Buet, Camille Guinaudeau, Cyril Grouin, Sahar Ghannay, Shin'Ichi Satoh

Vers une pédagogie inclusive : une classification multimodale des illustrations de manuels scolaires pour des environnements d'apprentissage adaptés 708

Saumya Yadav, Élise Lincker, Caroline Huron, Stéphanie Martin, Camille Guinaudeau, Shin'Ichi Satoh, Jainendra Shukla

astroECR : enrichissement d'un corpus astrophysique en entités nommées, coréférences et relations sémantiques 720

Atilla Kaan Alkan, Felix Grezes, Cyril Grouin, Fabian Schüssler, Pierre Zweigenbaum
Première partie

Articles présentés oralement
# À propos des difficultés
de traduire automatiquement de longs documents

Ziqian Peng¹, ² Rachel Bawden² François Yvon¹

(1) Sorbonne Université, CNRS, Institut des Systèmes Intelligents et de Robotique, ISIR, F-75005 Paris, France

(2) Inria, Paris, France

prénom.nom@isir.upmc.fr, prénom.nom@inria.fr

## RÉSUMÉ

Les nouvelles architectures de traduction automatique sont capables de traiter des segments longs et de surpasser la traduction de phrases isolées, laissant entrevoir la possibilité de traduire des documents complets. Pour y parvenir, il est nécessaire de surmonter un certain nombre de difficultés liées à la longueur des documents à traduire. Dans cette étude, nous discutons de la traduction des documents sous l'angle de l'évaluation, en essayant de répondre à une question simple : comment mesurer s'il existe une dégradation des performances de traduction avec la longueur des documents ? Nos analyses, qui évaluent des systèmes encodeur-décodeur et un grand modèle de langue à l'aune de plusieurs métriques sur une tâche de traduction de documents scientifiques, suggèrent que traduire d'un bloc des documents longs reste un problème difficile.

## ABSTRACT

### Document Level Machine Translation: does length matter?

Today's machine translation architectures can process long segments and go beyond the translation of isolated sentences, opening up the possibility of translating full documents. To achieve this goal, it is necessary to overcome several difficulties related to the length of source documents. In this work, we discuss document-level machine translation from an evaluation perspective, trying to answer a simple question: how can we measure whether translation performance degrades with document length? Our analysis, which compares encoder-decoder systems and a large language model using multiple metrics on a scientific document translation task, suggests that translating long documents holistically remains a challenging problem.

**MOTS-CLÉS** : Traduction Automatique, Évaluation de la traduction, Traitement de documents.

**KEYWORDS:** Machine Translation, Evaluation of Machine translation, Document-level processing.

# 1 Introduction

Les évolutions récentes des modèles Transformer (Vaswani et al., 2017) permettent de traiter (c'est-à-dire d'encoder et de décodeur) de très longs contextes contenant des centaines, voire des milliers d'unités : voir (Tay et al., 2023) pour quelques-unes des méthodes qui rendent ce calcul possible. Cette capacité à encoder un long contexte qui va conditionner le processus de génération ouvre de nouvelles perspectives pour de nombreuses applications du traitement automatique des langues (TAL). Nous nous intéressons ici à la traduction automatique (TA), en nous interrogeant sur les difficultés de

<figure><img src="image_15.png" /></figure>
traduire des documents<fnref n="1" /> de manière holistique.

La traduction holistique d'un document consiste à l'encoder intégralement, puis à générer d'un trait
toute la traduction, à l'instar, par exemple, de (Zhang et al., 2018; Junczys-Dowmunt, 2019; Liu
et al., 2020a). Cette stratégie revient à traiter les documents comme sont traitées les phrases dans les
systèmes de traduction standard. Elle se distingue des méthodes qui exploitent un contexte étendu
aux phrases précédentes pour traduire la phrase courante (Post & Junczys-Dowmunt, 2023), comme
de celles qui traduisent d'un bloc des segments étendus (correspondant à des fragments de taille fixe,
ou bien à des paragraphes) (Tiedemann & Scherrer, 2017; Bawden et al., 2018; Lopes et al., 2020;
Ma et al., 2021)<fnref n="2" />. Avec le déploiement de grands modèles de langue multilingues dotés de capacité
de traduction et capables d'interpréter des contextes très longs, cette stratégie devient de plus en plus
commune (Hendy et al., 2023; Zhang et al., 2023), ce qui implique d'en analyser les principes et d'en
diagnostiquer le fonctionnement.

Comme discuté §2, traduire holistiquement induit un changement notable par rapport à la traduction de phrases, aussi bien du point de vue des calculs réalisés que du point de vue des métriques, qui ne peuvent plus s'appuyer sur une comparaison phrase-à-phrase des sorties des systèmes et des références.

Dans la suite de cette contribution, nous nous intéressons plus particulièrement à une question essentielle pour le succès de ces approches, à savoir la capacité à traiter des documents de longueur variable. Plus précisément, notre contribution principale est de nature méthodologique et met à l'épreuve les méthodes expérimentales utilisées pour répondre à cette question. Nous pointons, dans un premier temps, les problèmes des comparaisons automatiques réalisées dans les articles de l'état de l'art, qui reposent sur des métriques globales calculées au niveau du corpus (le score BLEU (Papineni et al., 2002) ou sa variante d-BLEU, voir §2.3). Nous présentons ensuite deux manières alternatives d'aborder les questions de longueur, en nous appuyant sur des métriques locales, qui individualisent les scores au niveau des documents. Nos expérimentations sont menées sur des documents de taille modeste (de quelques phrases à quelques dizaines de phrases), avec 7 systèmes de traduction automatique. Elles nous permettent néanmoins de conclure que la longueur des documents reste un problème, les scores de traduction ayant une tendance à se dégrader avec le nombre d'unités, un effet qui se manifeste clairement en fin de document.

2 La traduction automatique holistique de documents

## 2.1 Vers les systèmes traduisant des documents

Comme discuté, par exemple par Sun et al. (2022), l'approche holistique (aussi nommée « Doc2Doc ») se distingue de la plupart des travaux sur la traduction de documents qui le plus souvent consistent à augmenter le contexte (surtout côté source) des quelques phrases précédentes - avec potentiellement des encodeurs distincts pour la phrase courante et l'historique (Libovický et al., 2018), tout en continuant de traduire phrase par phrase (« Sent2Sent »). Ces variantes sont appelées « Doc2Sent »

<footnote n="1">1. C'est-à-dire dont la longueur varie entre quelques phrases et quelques centaines de phrases, soit un résumé comme pour la campagne d'évaluation sur la TA biomédicale à WMT (Neves et al., 2023), soit un exposé, comme pour la campagne d'évaluation de IWSLT 2023 (Salesky et al., 2023), voire un article complet.</footnote>

<footnote n="2">2. La terminologie « Traduction Automatique pour les Documents » (Document-Level Machine Translation ») ne distingue pas ces approches, dont certaines ne traitent pas des documents complets, mais plutôt des contextes élargis.</footnote>
par Sun et al. (2022) et seraient plus correctement décrites comme des méthodes de traduction avec contexte étendu. Une étude de l'état de l'art, qui ne distingue pas ces deux méthodes, est dans (Maruf et al., 2021). Les résultats expérimentaux qui implémentent ces techniques sont contrastés, ce qui a conduit certains à remettre en cause le bénéfice de contextes étendus (Kim et al., 2019).

L'approche Doc2Doc, qui est notre principal sujet d'étude, est conceptuellement simple, mais elle introduit de multiples changements par rapport à la situation de référence où chaque phrase est encodée et décodée séparément des autres. Nous examinons ci-dessous les principaux changements pour des architectures encodeur-décodeur, sachant que les mêmes observations valent pour les approches à base de grands modèles de langue, lorsqu'on les emploie à des fins de traduction (Wang et al., 2023; Karpinska & Iyyer, 2023). Traduire des documents de manière holistique signifie en particulier que :

- l'encodeur traite l'entièreté du document *D* source, composé de *L* phrases $D = (s_1 ... s_L)$, comme une longue séquence, avec ou sans identification préalable des frontières de phrases;

- pour générer la l'ème phrase cible, le décodeur a accès à l'intégralité de *D*, ainsi qu'à toutes les phrases cibles déjà produites $t_{<l} = t_1 ... t_{l-1}$.

Ces changements ont de nombreuses conséquences, certaines positives (4), d'autres négatives (1)-(3) :

1. les séquences à traiter sont plus longues, entraînant un surcoût computationnel car l'attention dans l'encodeur et le décodeur sont quadratiques en la longueur de l'entrée. Des implémentations approximatives efficaces de ce calcul permettent de conserver des temps de traitement raisonnables (Tay et al., 2023) pour des longues séquences (jusqu'à quelques milliers d'unités).

2. lors du décodage des mots correspondant à la phrase source $s_t$, le décodeur ne peut plus s'appuyer sur un alignement explicite entre phrases et repose donc entièrement sur l'attention croisée, qui doit calculer une forme d'alignement de mots sur l'intégralité de $D^3$. Cet effet est en particulier analysé par Bao et al. (2021).

3. décoder des séquences plus longues augmente les effets liés à l'accumulation des erreurs et au biais d'exposition (exposure bias) - dû au fait que l'apprentissage du modèle ne considère que des contextes cibles $t_{<l}$ corrects, alors qu'à l'inférence ils peuvent être erronés (Ranzato et al., 2016; Mihaylova & Martins, 2019). Décoder des séquences plus longues réduit également la diversité des hypothèses représentées dans le faisceau de recherche.

4. l'allongement des contextes sources et cibles permet d'intégrer des dépendances plus longues, qui aident à désambiguïser des ambiguïtés lexicales ou des références pronominales.

5. les segments générés ne sont plus nécessairement en correspondance un-pour-un avec les segments sources, ce qui complique, voire obère, le calcul des métriques usuelles (voir §2.3).

Les impacts de ces changements ont été le plus souvent ignorés par les approches « mono-encodeur » qui traduisent simplement des segments longs comme s'il s'agissait de phrases isolées — en s'assurant toutefois que la longueur des segments d'apprentissage est cohérente avec celle qui sera vue au test 4.

## 2.2 Architectures pour la traduction de documents

Plus récemment, toutefois, divers travaux ont proposé des modifications significatives de l'architecture encodeur-décodeur de base portant notamment sur :

- la stratégie d'apprentissage, qui doit inclure des segments de longueur variable allant de la phrase isolée à des groupes de phrases (appelé « apprentissage multi-résolution » par Sun et al.

<footnote n="3">3. Alors que l'alignement des phrases est en général simple et monotone, contrairement à l'alignement de mots.</footnote>

<footnote n="4">4. Et que la configuration du système est appropriée, c-à-d. qu'elle permet effectivement d'encoder des longs segments, que l'encodage des positions est correctement réalisé, etc.</footnote>
(2022)). Le besoin de prendre en compte des documents d'apprentissage suffisamment longs est également pointé par (Zhuocheng et al., 2023; Wu et al., 2024);

— l'architecture du réseau, qui doit être plus profonde (augmentation de capacité) pour modéliser plus de phrases (Junczys-Dowmunt, 2019; Post & Junczys-Dowmunt, 2023), et également mieux régularisée (Kim et al., 2019; Sun et al., 2022);

— l'encodage des positions au sein du document source (Li et al., 2022; Lupo et al., 2023);

— la structure de l'auto-attention et de l'attention croisée avec des contraintes qui aident à localiser les phrases parallèles au sein d'un document (Bao et al., 2021; Zhuocheng et al., 2023; Herold & Ney, 2023);

— les méta-paramètres utilisés par le décodeur durant la génération (pénalité de longueur, largeur du faisceau, etc.);

L'enjeu principal de ces études est de parvenir à montrer que (a) les solutions techniques proposées parviennent effectivement à résoudre les problèmes de longueur (« *length bias* ») causés par la longueur des documents, et qu'une fois ces problèmes résolus (b) les méthodes holistiques surpassent les méthodes à traduisant phrase-à-phrase. Avant d'analyser de manière critique les arguments avancés pour prouver que la longueur n'est plus un problème (§3.1), nous nous intéressons dans un premier temps aux méthodes et métriques utilisées pour prouver (b).

## 2.3 La question de l'évaluation, nuances de BLEU

Répondre à cette question requiert des métriques permettant de comparer des traductions holistiques avec des traductions de phrases : comme le nombre de segments produits par les premières peut différer du nombre de segments sources, ces métriques doivent pouvoir comparer des documents ayant des longueurs différentes. La plupart des travaux en traduction de documents utilisent le score BLEU (Papineni et al., 2002), ou plutôt une variante baptisée *d-BLEU* par Liu et al. (2020a)<fnref n="5" />, et ceci en dépit des limites de cette métrique (Callison-Burch et al., 2006; Reiter, 2018; Mathur et al., 2020).

Le calcul de BLEU repose sur le décompte, phrase par phrase, du nombre de *n*-grammes (pour $1 \le n \le 4$) partagés par l'hypothèse de traduction et la référence humaine ; ces scores sont agrégés et normalisés, enfin moyennés (géométriquement) au niveau du corpus ; une pénalité de longueur, est enfin appliquée pour dégrader le score lorsque la longueur (agrégée) des hypothèses est plus courte que celle des références. BLEU est donc un score global, qui repose sur des alignements de phrases.

d-BLEU est également un score global, qui s'affranchit toutefois des appariements phrase-à-phase, et effectue les décomptes des *n*-grammes partagés au niveau des documents. Une conséquence est que d-BLEU, qui repose sur des correspondances élargies, tend à être plus élevé que BLEU, puisque les opportunités de trouver des *n*-grammes sont plus grandes dans une fenêtre plus large. Cet effet est connu et on peut le visualiser par exemple dans (Koehn & Knowles, 2017, Fig. 1), où l'on observe que BLEU augmente quand on considère des groupes de phrases de longueur croissante (au moins pour une certaine plage de longueur), là où on s'attendrait à une baisse (la longueur est souvent liée à la complexité syntaxique et donc à la difficulté de traduction). Il est facile de reproduire cette observation en calculant d-BLEU pour des systèmes qui traduisent phrase-à-phrase (voir le tableau 2).

Une alternative à d-BLEU consiste à réaligner traduction automatique et référence, par exemple avec

<footnote n="5">5. Hendy et al. (2023) considèrent également une variante de COMET (Rei et al., 2022); Zhuocheng et al. (2023) introduisent, par analogie avec d-BLEU, la métrique d-chrF, qui est une variante de chrF (Popović, 2015).</footnote>
l’algorithme de Wicks & Post (2022) 6, tel qu’il soit plus comparable avec les scores BLEU calculé au niveau de phrases reportés dans les publications. Ce problème se pose à l’identique en traduction de parole, l’algorithme de réalignement le plus utilisé dans ce contexte étant dû à Matusov et al. (2005). On se ramène ainsi au cas où référence et traduction ont même longueur et où BLEU peut être calculé. Avec cette approche, les scores obtenus dépendront des heuristiques utilisées pour l’alignement.

# 3 Évaluer les effets de longueur

Une question récurrente dans les études sur la traduction au niveau des documents est la question de la longueur. Un système entraîné uniquement avec des phrases parallèles aura tendance à sous-traduire des documents, stoppant typiquement le processus de génération après la première phrase. Comme expliqué §2.2, d'autres sources de problèmes pour les documents longs sont relatives aux encodages des positions (pour des positions non observées à l'apprentissage), ou encore à des méta-paramètres du système (longueurs maximales acceptées par l'encodeur et le décodeur, etc).

Ces problèmes affectent négativement la pénalité de longueur (BP) du score d-BLEU. Dans nos expériences (§5), le système FT SCIPAR, entraîné sur des phrases isolées, obtient un d-BLEU de 45,0 (BP=1) sur le corpus **THE** traduit phrase par phrase ; lorsqu'on utilise ce système pour traduire des documents complets, d-BLEU tombe à 0,9 (BP= 0,02). Ces problèmes sont assez faciles à corriger : dans nos expériences, en affinant le modèle avec des documents, d-BLEU remonte à 45,6 (BP= 1).

## 3.1 Les courbes BLEU / longueur

<figure><img src="image_16.png" /><figcaption>FIGURE 1 – Graphes BLEU / longueur extraits de (Li et al., 2022, fig. 7) (à gauche) et de (Sun et al., 2022, fig. 1) (à droite).</figcaption></figure>

Pour mettre en évidence ces problèmes de longueur, ou pour prouver qu’ils ont été résolus, une première approche consiste à segmenter les documents en fragments de taille fixe, qui sont traduits séparément puis réassemblés pour calculer d-BLEU (Bao et al., 2021, fig. 7), (Li et al., 2022, fig. 7) et (Zhuocheng et al., 2023, fig. 1 et 5). Le graphe 1 (gauche), extrait de Li et al. (2022) illustre la difficulté des modèles Sent2Sent à traduire des longs fragments et l’amélioration réalisée par des modèles Doc2Doc correctement entraînés. Cette comparaison occulte un biais qui joue en défaveur de la segmentation en fragments plus courts, qui (a) bénéficie de moins de contexte ; (b) traduit des fragments moins cohérents (démarrant ou s’achevant en milieu de phrases).

<footnote n="6">6. L’approche de Junczys-Dowmunt (2019) inclut un ensemble de tags qui contraignent les entrées et sortie à avoir le même nombre de phrases, voir aussi (Li et al., 2022).</footnote>
Une alternative consiste à regrouper les documents en fonction de leur taille et à calculer le score BLEU pour chacun des groupes de longueur – comme sur la figure 1 (droite), tirée de (Sun et al., 2022). Cette manière de procéder évite l’écueil précédent, mais induit une légère confusion, puisqu’elle conduit à aligner sur un même graphique des scores incomparables, puisqu’ils sont calculés sur des corpus de test différents<fnref n="7" />. En se basant de telles analyses, il semble difficile de répondre avec certitude aux questions posées §2.2, ce qui motive les propositions développées ci-dessous.

## 3.2 Nuances de BLEU : nos analyses

Un premier changement méthodologique consiste à établir un lien direct entre longueur du document et métrique automatique, en calculant un score pour chaque document, plutôt qu’un score unique pour un groupe de documents. Nous utilisons pour cette analyse une variante du score s-BLEU. s-BLEU (*sentence-level BLEU*) est attribué à Lin & Och (2004) et consiste essentiellement à appliquer la métrique BLEU à chaque phrase, puis (éventuellement) à moyenner les scores au niveau d’un groupe de phrases ou de tout le corpus. Le calcul de s-BLEU impose toutefois de lisser les précisions *n*-grammes afin d’éviter les valeurs nulles. Il existe de multiples manières de réaliser ce lissage (Chen & Cherry, 2014), sans qu’aucune ne parvienne à faire de ce score une bonne évaluation de la qualité au niveau des phrases (Reiter, 2018). Notons que ce lissage est d’autant plus nécessaire que les séquences sont courtes et que la TA est de mauvaise qualité<fnref n="8" />.

Calculer s-BLEU pour des documents (et des systèmes de bonne qualité) limite ces problèmes et permet d’obtenir un score par document, appelé dans la suite *ds-BLEU*. Dans nos analyses, nous traitons ces scores comme des réalisations d’une variable aléatoire, dont nous pouvons alors étudier la distribution et les relations avec d’autres variables, comme la longueur des documents sources.

# 4 Protocole expérimental

## 4.1 Données pour l’apprentissage et le test

Nos expérimentations considèrent des résumés et des transcriptions d’exposés dans le domaine du traitement automatique des langues, et se focalisent sur la traduction de l’anglais vers le français.

SciPar (Roussis et al., 2022) est un corpus multilingue de phrases parallèles extraites de documents scientifiques collectés sur le Web, dont nous conservons uniquement la partie en-fr. Elle comprend 1,1M phrases, desquelles nous extrayons aléatoirement 3000 phrases pour la validation et le test.

TAL est constitué de résumés d’articles et de thèses dans le domaine du TAL, comprenant d’une part 1701 résumés de thèses récupérés de theses.fr et 1357 résumés d’articles extraits de ISTEX. Ces documents ont été segmentés avec Trankit (Nguyen et al., 2021) et alignés phrase-à-phrase avec hunalign<fnref n="9" /> (Varga et al., 2005). Pour la traduction holistique, les phrases parallèles au sein de chaque document sont concatenées et traduites d’un bloc.

<footnote n="7">7. On constate d'ailleurs que d-BLEU semble augmenter (pour les systèmes Doc2Doc) avec la longueur des documents.</footnote>

<footnote n="8">8. s-BLEU est récemment utilisé dans un contexte de TA de documents, par exemple dans Bao et al. (2021, tab. 2) : comme ce score est calculé phrase par phrase, il nécessite, comme pour BLEU, de réaligner références et traductions automatiques.</footnote>

<footnote n="9">9. https://github.com/danielvarga/hunalign</footnote>
**Jeux de test** : **THE** (dev et test) contient deux échantillons aléatoires de 101 et 100 résumés dans le domaine du TAL extraits également de theses.fr sans recouvrement avec **TAL**. **rTAL** contient enfin 246 résumés parallèles d'articles publiés dans la revue TAL. Ces articles sont alignés au niveau des phrases avec la même méthode que pour **TAL**; ils ont également fait l'objet d'un filtrage avec TransQuest (Ranasinghe et al., 2020) et d'une révision manuelle des alignements. Les statistiques du tableau 1 décrivent ces différents corpus. Pour analyser plus précisément les effets de longueur, nous avons enfin constitué un ensemble de 53 pseudo-documents, désigné par **IWSLT**, en segmentant 10 présentations orales transcrites, puis traduites, préparées pour la campagne IWSLT 2023 (Salesky et al., 2023). La méthode utilisée pour construire ces pseudo-documents est décrite dans l'annexe B.

<table><caption>TABLE 1 – Statistiques des données d’apprentissage (appr.), de validation (valid.) et de test. La longueur est donnée en nombre de tokens calculés par le modèle BPE de MBART50(1-M).</caption><thead><tr><th rowspan="2"></th><th colspan="3">SciPar</th><th colspan="5">TAL</th></tr><tr><th>appr.</th><th>valid.</th><th>test</th><th>appr.</th><th>valid.</th><th>THE</th><th>rTAL</th><th>IWSLT</th></tr></thead><tbody><tr><td>Nb. phrases</td><td>1116325</td><td>3000</td><td>3000</td><td>2858</td><td>101</td><td>100</td><td>246</td><td>53</td></tr><tr><td>Longueur moyenne des documents</td><td>37</td><td>38</td><td>37</td><td>265</td><td>317</td><td>327</td><td>129</td><td>402</td></tr><tr><td>Longueur moyenne des phrases dans un document</td><td>-</td><td>-</td><td>-</td><td>34</td><td>35</td><td>33</td><td>32</td><td>24</td></tr></tbody></table>

## 4.2 Systèmes comparés

MBART50 (1-M) est un modèle encodeur-décodeur « classique » dérivé du modèle multilingue BART en poursuivant l’apprentissage avec des données parallèles associant anglais en source avec 49 langues en cible (Liu et al., 2020b; Tang et al., 2021). Ce modèle est dans un temps premier affiné avec les phrases parallèles du corpus **SciPar** (FT SCIPAR), puis adapté au TAL en présentant les exemples de **TAL** soit phrase-par-phrase (FT TAL-S), soit document-par-document (FT TAL-D). Un second système Doc2Doc (FT TAL-MR) est obtenu en augmentant **TAL-D** avec des pseudo-documents contenant des sous-parties des documents originaux (reproduisant l’apprentissage multi-résolution de Sun et al. (2022)). Les détails concernant l’affinage de MBART50 sont dans l’annexe C.

TOWERBASE (Alves et al., 2024) est un grand modèle de langue dérivé de LLAMA2 (Touvron et al., 2023) en continuant le préapprentissage avec des données multilingues en 10 langues, contenant une large proportion de données parallèles. Nous utilisons la version 7B, et l’amorce suivante : « English : SRC \n French : » en mode « zéro-exemple »<fnref n="10" />. Nous avons également analysé les traductions de TOWERINSTRUCT, les détails sont dans l’annexe E. À des fins de comparaison, nous utilisons la version professionnelle de DEEPL<fnref n="11" />, sans adaptation, pour traduire les jeux de test **THE** et **rTAL**. Ce système est supposé fournir une indication de l’état-de-l’art. Dans nos expériences, nous fournissons au système des documents complets ; la sortie contient toujours autant de segments que l’entrée.

## 4.3 Méthodes

### 4.3.1 Analyse de l'impact de la longueur

Pour mesurer l'impact de la longueur sur le score de traduction, nous calculons pour chaque système la corrélation statistique entre ds-BLEU et la longueur du document : une corrélation négative indique

<footnote n="10">10. Nous avons également testé 3 exemples et 5 exemples sur le jeu de validation du TAL, sans amélioration de BLEU.</footnote>

<footnote n="11">11. https://deepl.com</footnote>
l'existence certaine d'un problème de longueur; l'absence de corrélation indiquant qu'on ne peut pas conclure sur cette question. Un contraste intéressant pour cette analyse est de considérer des systèmes qui traduisent phrase par phrase et dont on peut considérer qu'ils n'ont aucun problème intrinsèque de longueur. Leur co-variation avec ds-BLEU donne donc une indication de l'impact des différents effets listés ci-dessus. Pour compléter cette analyse, nous reportons en annexe F une analyse des corrélations du score ds-BLEU avec la longueur moyenne des phrases dans un document.

### 4.3.2 Analyse des effets de position

La dégradation des scores BLEU avec la longueur peut être uniforme au sein d'un document, ou bien affecter surtout les phrases qui sont en fin de document. Analyser plus spécifiquement cet effet requiert de pouvoir comparer les scores de traduction pour des phrases au sein d'un même document. Pour ce faire, nous procédons comme suit : pour chaque document *d*, nous comparons trois situations impliquant une traduction holistique : (a) *d* est traduit isolément; (b) *d* est traduit dans un pseudo-document, précédé de *d'*; (c) *d* est traduit dans un pseudo-document, suivi de *d'*, où *d'* un document sélectionné aléatoirement<fnref n="12" />. Les situations (b) et (c) sont éventuellement répétées pour plusieurs sélections de *d'*. Comparer ds-BLEU des situations (a) et (b) permet de mettre en évidence l'impact de la position. Dans la mesure où (b) introduit aussi un bruit aléatoire (lié à l'introduction du contexte *d'*), nous comparons également avec (c), dans lequel ce bruit est présent, mais sans changement de position par rapport à (a). Cette méthode demande simplement d'identifier dans la sortie de la traduction de *dd'* la frontière entre les deux documents, que nous obtenons par réalignement.

Une autre méthode consiste à recopier la première phrase de chaque document en position finale, puis de traduire de manière globale pour évaluer à quel point le changement de position (début vs. fin) modifie le texte généré. Cette méthode demande de réaligner pour identifier les frontières de phrases.

<table><caption>TABLE 2 – Variantes du score BLEU (et pénalité de longueur), calculés sur les résumés de THE, de rTAL et les transcriptions de IWSLT. * indique qu’un réalignement est nécessaire pour l’évaluation.</caption><thead><tr><th></th><th>Scores</th><th>MBART50(1-M)</th><th>FT SCIPAR</th><th>FT TAL-S</th><th>FT TAL-D</th><th>FT TAL-MR</th><th>TOWERBASE</th><th>DEEPLPRO</th></tr></thead><tbody><tr><td rowspan="3">THE</td><td>BLEU*</td><td>29,0 (0,82)</td><td>1,1 (0,03)</td><td>1,7 (0,05)</td><td>43,3 (1,00)</td><td>43,0 (1,00)</td><td>39,9 (1,00)</td><td>44,5 (1,00)</td></tr><tr><td>d-BLEU</td><td>32,0 (0,81)</td><td>0,9 (0,02)</td><td>1,7 (0,03)</td><td>45,6 (1,00)</td><td>45,3 (1,00)</td><td>42,2 (1,00)</td><td>46,8 (1,00)</td></tr><tr><td>dS-BLEU</td><td>29,2 (0,77)</td><td>3,4 (0,07)</td><td>3,9 (0,08)</td><td>43,3 (0,98)</td><td>43,4 (0,98)</td><td>39,9 (0,97)</td><td>45,0 (0,98)</td></tr><tr><td rowspan="3">rTAL</td><td>BLEU*</td><td>21,1 (0,75)</td><td>3,9 (0,12)</td><td>4,7 (0,14)</td><td>34,9 (0,99)</td><td>35,0 (1,00)</td><td>31,9 (0,99)</td><td>36,0 (1,00)</td></tr><tr><td>d-BLEU</td><td>23,2 (0,74)</td><td>4,1 (0,11)</td><td>5,0 (0,13)</td><td>36,5 (0,99)</td><td>36,7 (0,99)</td><td>33,5 (0,99)</td><td>37,7 (1,00)</td></tr><tr><td>dS-BLEU</td><td>21,5 (0,73)</td><td>6,7 (0,19)</td><td>7,4 (0,21)</td><td>33,9 (0,95)</td><td>34,0 (0,96)</td><td>30,9 (0,95)</td><td>34,9 (0,96)</td></tr><tr><td rowspan="3">IWSLT</td><td>BLEU*</td><td>31,8 (0,79)</td><td>nan</td><td>nan</td><td>48,1 (0,97)</td><td>49,4 (0,98)</td><td>48,3 (0,98)</td><td>52,9 (1,00)</td></tr><tr><td>d-BLEU</td><td>33,7 (0,78)</td><td>0,8 (0,02)</td><td>1,1 (0,02)</td><td>50,2 (0,96)</td><td>51,3 (0,98)</td><td>50,1 (0,98)</td><td>54,2 (1,00)</td></tr><tr><td>dS-BLEU</td><td>32,8 (0,71)</td><td>3,4 (0,07)</td><td>4,0 (0,08)</td><td>49,9 (0,96)</td><td>50,8 (0,97)</td><td>50,6 (0,94)</td><td>52,6 (0,99)</td></tr></tbody></table>

## 5 Résultats et analyses

Le tableau 2 donne les scores BLEU<fnref n="13" /> pour les trois corpus de test, traduits de manière holistique<fnref n="14" />. On constate en premier lieu, comme attendu, que d-BLEU est toujours supérieur au score BLEU

<footnote n="12">12. Modulo les contraintes sur la longueur cumulée de *d* et *d'* qui doit rester compatible avec les limites de l'encodeur.</footnote>

<footnote n="13">13. Tous les scores BLEU et variantes sont calculés avec SacreBLEU (Post, 2018) version 2.4.0.</footnote>

<footnote n="14">14. Pour IWSLT, certains scores sont absents, à cause de l'impossibilité de réaligner une sortie trop courte avec la référence.</footnote>
(obtenu par réalignment), avec un écart de deux à trois points. Les systèmes entraînés à traduire des phrases ont des scores médiocres, en particulier causés par la très faible pénalité de longueur, démontrant leur inadéquation pour cette tâche<fnref n="15" />. Les systèmes entrainés pour les documents, y compris TOWERBASE, obtiennent des performances bien meilleures, proches de DEEPLPRO.

## 5.1 Impact de la longueur des documents

<table><caption>TABLE 3 – Corrélation de Spearman (et *p*-values) entre ds-BLEU et la longueur des sources ($L_s$) (haut); corrélation de Spearman entre $L_s$ et la différence des scores ds-BLEU entre chaque système et DEEPLPRO (bas).</caption><thead><tr><th></th><th>DEEPLPRO</th><th>MBART50(1-M)</th><th>FT SCIPAR</th><th>FT TAL-S</th><th>FT TAL-D</th><th>FT TAL-MR</th><th>TOWERBASE</th></tr></thead><tbody><tr><th>THE</th><td>0,100 (0,323)</td><td>0,139 (0,169)</td><td><strong>-0,416</strong> (0,000)</td><td><strong>-0,309</strong> (0,002)</td><td>0,100 (0,322)</td><td>0,078 (0,442)</td><td>0,080 (0,431)</td></tr><tr><th>rTAL</th><td><strong>0,214</strong> (0,001)</td><td><strong>0,136</strong> (0,032)</td><td><strong>-0,469</strong> (0,000)</td><td><strong>-0,417</strong> (0,000)</td><td><strong>0,237</strong> (0,000)</td><td><strong>0,220</strong> (0,001)</td><td><strong>0,249</strong> (0,000)</td></tr><tr><th>IWSLT</th><td>0,099 (0,480)</td><td>0,010 (0,943)</td><td><strong>-0,532</strong> (0,000)</td><td><strong>-0,500</strong> (0,000)</td><td>0,002 (0,987)</td><td>-0,055 (0,694)</td><td>-0,151 (0,279)</td></tr><tr><th>THE diff</th><td>-</td><td>0,080 (0,429)</td><td><strong>-0,234</strong> (0,019)</td><td><strong>-0,233</strong> (0,020)</td><td>-0,094 (0,353)</td><td>-0,123 (0,221)</td><td>-0,162 (0,107)</td></tr><tr><th>rTAL diff</th><td>-</td><td><strong>-0,136</strong> (0,033)</td><td><strong>-0,471</strong> (0,000)</td><td><strong>-0,467</strong> (0,000)</td><td>-0,009 (0,885)</td><td>-0,031 (0,625)</td><td>-0,021 (0,740)</td></tr><tr><th>IWSLT diff</th><td>-</td><td>-0,059 (0,673)</td><td>-0,164 (0,241)</td><td>-0,199 (0,154)</td><td>-0,093 (0,509)</td><td>-0,105 (0,453)</td><td>-0,252 (0,069)</td></tr></tbody></table>

Le tableau 3 présente les corrélations de Spearman relevées entre ds-BLEU et la longueur des documents. Pour DEEPLPRO, notre référence, on observe une légère corrélation positive (significative pour rTAL), induite par le biais de ds-BLEU en faveur des documents plus longs (§2.3). Des résultats similaires sont obtenus pour les systèmes holistiques (FT TAL-D, FT TAL-MR et TOWERBASE), laissant penser qu’ils n’ont pas plus de problèmes de longueur que DEEPLPRO. Cette tendance s’inverse pour IWSLT, dont la distribution de longueur est plus équilibrée. Les déficiences des systèmes entraînés avec des phrases isolées se traduisent par de fortes corrélations négatives. La partie inférieure du tableau vise à neutraliser les effets liés à la difficulté intrinsèque de chaque document, en soustrayant de chaque valeur de ds-BLEU le score obtenu par DEEPLPRO. Nous observons alors que toutes les corrélations pour les systèmes holistiques deviennent négatives (de manière non significative) : plus les documents sont longs, plus les scores ds-BLEU s’écartent de ceux de DEEPLPRO, ce qui suggère que la longueur reste un facteur de difficulté pour la traduction des documents holistiques.

## 5.2 Analyse des changements de position

Les graphes de la figure 2 mettent en évidence un effet de position très clair pour les deux systèmes dérivés de MBART : décaler un document de quelques centaines de tokens dans l’encodeur cause une perte moyenne d’environ 1,5 points pour la métrique ds-BLEU, alors qu’ajouter un second document à la suite introduit un léger bruit moyen et une dégradation faible de ds-BLEU. Pour TOWERBASE, les deux transformations sont également problématiques, ce qui s’explique par une architecture différente (décodeur pur) qui est plus impactée par l’adjonction du document $d'$.

Ces résultats sont confirmés par le tableau 5 où nous comparons les traductions des phrases en position initiale avec celle de leur copie en position finale : les premières sont légèrement meilleures que les secondes, surtout pour le corpus THE, dont les documents sont plus longs que rTAL.

<footnote n="15">15. L’annexe D montre que lorsque l’on traduit phrase à phrase, ces systèmes obtiennent les meilleures scores BLEU.</footnote>
<figure><img src="image_17.png" /><figcaption>FIGURE 2 – Densité (haut) et boîtes à moustaches (bas) de la différence entre ds-BLEU des documents traduits par les méthodes (b) ou (c) et par la méthode (a) (voir §4.3) : FT TAL-D (gauche), FT TAL-MR (milieu) et TOWEBASE (droite).</figcaption></figure>

<table><thead><tr><th></th><th></th><th>BLEU</th><th>s-BLEU</th><th>d-BLEU</th><th>ds-BLEU</th></tr></thead><tbody><tr><td rowspan="2">FT TAL-D</td><td>d'd</td><td>40,1 (0,98)</td><td>37,6 (0,92)</td><td>42,9 (0,98)</td><td>41,8 (0,97)</td></tr><tr><td>dd'</td><td>43,0 (1,00)</td><td>40,7 (0,94)</td><td>45,2 (1,00)</td><td>43,1 (0,98)</td></tr><tr><td rowspan="2">FT TAL-MR</td><td>d'd</td><td>40,6 (1,00)</td><td>38,1 (0,93)</td><td>43,3 (1,00)</td><td>41,9 (0,97)</td></tr><tr><td>dd'</td><td>42,8 (1,00)</td><td>40,6 (0,95)</td><td>45,1 (1,00)</td><td>43,3 (0,98)</td></tr><tr><td rowspan="2">TOWERBASE</td><td>d'd</td><td>38,4 (0,98)</td><td>35,9 (0,91)</td><td>40,6 (0,98)</td><td>37,9 (0,94)</td></tr><tr><td>dd'</td><td>37,8 (0,98)</td><td>35,0 (0,89)</td><td>40,2 (0,98)</td><td>38,5 (0,94)</td></tr></tbody></table>

<table><caption>TABLE 4 – Variantes de BLEU, calculées sur les documents *d* en position initiale (i.e. *dd'*), ou finale (i.e. *d'd*). Les scores sont moyennés sur 6 répétitions en variant le choix de *d'*.</caption><thead><tr><th></th><th></th><th>MBART50(1-M)</th><th>FT TAL-D</th><th>FT TAL-MR</th></tr></thead><tbody><tr><td rowspan="3">THE</td><td>début</td><td>36,7 (0,94)</td><td>44,5 (0,99)</td><td>45,0 (0,99)</td></tr><tr><td>fin</td><td>14,7 (0,45)</td><td>43,1 (0,99)</td><td>43,7 (0,98)</td></tr><tr><td>début :fin</td><td>33,1 (0,50)</td><td>90,9 (0,99)</td><td>91,5 (0,99)</td></tr><tr><td rowspan="3">rTAL</td><td>début</td><td>25,7 (0,92)</td><td>34,7 (0,98)</td><td>35,6 (0,98)</td></tr><tr><td>fin</td><td>4,8 (0,30)</td><td>34,8 (0,98)</td><td>35,6 (0,98)</td></tr><tr><td>début :fin</td><td>17,2 (0,36)</td><td>95,0 (1,00)</td><td>95,6 (1,00)</td></tr></tbody></table>

<caption>TABLE 5 – Score BLEU calculé sur l'ensemble des premières phrases, traduites respectivement au début et à la fin. “début :fin” évalue (avec BLEU) la distance entre les deux traductions.</caption>

## 6 Conclusion

La traduction au niveau du document semble à notre portée, mais il reste des défis à relever, notamment en ce qui concerne les longs documents. Dans cette étude, nous avons examiné certains des avantages et inconvénients théoriques de la traduction automatique holistique et exploré les différentes manières dont le score BLEU peut être utilisé pour évaluer la traduction au niveau du document. Notre étude expérimentale indique qu'il existe toujours un effet négatif visible de la longueur du document sur la qualité de la traduction, comme le montre le score BLEU, et cet effet négatif semble croître lorsque la longueur du document augmente. Parmi les pistes de travail, mentionnons l'étude des effets du choix de l'encodage positionnel pour les documents longs et l'impact de la longueur des documents vus à l'apprentissage sur la capacité du modèle à traduire des documents de test de longueur variable.
# Remerciements

Nous adressons nos remerciements à Mathilde Huguin pour l'extraction des données brutes de ISTEX et à Maxime Bouthors pour les données brutes de theses.fr. Nous remercions également Jean-François Nominé pour les traductions avec DeepLPro. Nous remercions enfin Paul Lerner pour ses retours sur une version préliminaire de cet article. Ces travaux sont financés par l'Agence Nationale de la Recherche (ANR) dans le cadre du projet MaTOS. La contribution de R. Bawden a été partiellement financée par sa chaire à l'institut PRAIRIE financé par l'agence nationale française ANR dans le cadre du programme "Investissements d'avenir" sous la référence ANR-19- P3IA-0001.

# Références

ALVES D. M., POMBAL J., GUERREIRO N. M., MARTINS P. H., ALVES J., FARAJIAN A., PETERS B., REI R., FERNANDES P., AGRAWAL S., COLOMBO P., DE SOUZA J. G. C. & MARTINS A. F. T. (2024). Tower: An open multilingual large language model for translation-related tasks.

BAO G., ZHANG Y., TENG Z., CHEN B. & LUO W. (2021). G-transformer for document-level machine translation. In C. ZONG, F. XIA, W. LI & R. NAVIGLI, Éds., *Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers)*, p. 3442–3455, Online : Association for Computational Linguistics. DOI: 10.18653/v1/2021.acl-long.267.

BAWDEN R., SENNRICH R., BIRCH A. & HADDOW B. (2018). Evaluating discourse phenomena in neural machine translation. In M. WALKER, H. JI & A. STENT, Éds., *Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics : Human Language Technologies, Volume 1 (Long Papers)*, p. 1304–1313, New Orleans, Louisiana : Association for Computational Linguistics. DOI: 10.18653/v1/N18-1118.

CALLISON-BURCH C., OSBORNE M. & KOEHN P. (2006). Re-evaluating the role of Bleu in machine translation research. In D. MCCARTHY & S. WINTNER, Éds., *11th Conference of the European Chapter of the Association for Computational Linguistics*, p. 249–256, Trento, Italy : Association for Computational Linguistics.

CHEN B. & CHERRY C. (2014). A systematic comparison of smoothing techniques for sentence-level BLEU. In O. BOJAR, C. BUCK, C. FEDERMANN, B. HADDOW, P. KOEHN, C. MONZ, M. POST & L. SPECIA, Éds., *Proceedings of the Ninth Workshop on Statistical Machine Translation*, p. 362–367, Baltimore, Maryland, USA : Association for Computational Linguistics. DOI: 10.3115/v1/W14-3346.

HENDY A., ABDELREHIM M., SHARAF A., RAUNAK V., GABR M., MATSUSHITA H., KIM Y. J., AFIFY M. & AWADALLA H. H. (2023). How good are GPT models at machine translation? a comprehensive evaluation.

HEROLD C. & NEY H. (2023). Improving long context document-level machine translation. In M. STRUBE, C. BRAUD, C. HARDMEIER, J. J. LI, S. LOAICIGA & A. ZELDES, Éds., *Proceedings of the 4th Workshop on Computational Approaches to Discourse (CODI 2023)*, p. 112–125, Toronto, Canada : Association for Computational Linguistics. DOI: 10.18653/v1/2023.codi-1.15.

JUNCZYS-DOWMUNT M. (2019). Microsoft translator at WMT 2019 : Towards large-scale document-level neural machine translation. In O. BOJAR, R. CHATTERJEE, C. FEDERMANN, M. FISHEL, Y. GRAHAM, B. HADDOW, M. HUCK, A. J. YEPES, P. KOEHN, A. MARTINS, C. MONZ,
M. NEGRI, A. NÉVÉOL, M. NEVES, M. POST, M. TURCHI & K. VERSPOOR, Éds., *Proceedings of the Fourth Conference on Machine Translation (Volume 2: Shared Task Papers, Day 1)*, p. 225–233, Florence, Italy : Association for Computational Linguistics. DOI: 10.18653/v1/W19-5321.

KARPINSKA M. & IYYER M. (2023). Large language models effectively leverage document-level context for literary translation, but critical errors persist. In P. KOEHN, B. HADDOW, T. KOCMI & C. MONZ, Éds., *Proceedings of the Eighth Conference on Machine Translation*, p. 419–451, Singapore : Association for Computational Linguistics. DOI: 10.18653/v1/2023.wmt-1.41.

KIM Y., TRAN D. T. & NEY H. (2019). When and why is document-level context useful in neural machine translation? In A. POPESCU-BELIS, S. LOÁICIGA, C. HARDMEIER & D. XIONG, Éds., *Proceedings of the Fourth Workshop on Discourse in Machine Translation (DiscoMT 2019)*, p. 24–34, Hong Kong, China : Association for Computational Linguistics. DOI: 10.18653/v1/D19-6503.

KOEHN P. & KNOWLES R. (2017). Six challenges for neural machine translation. In T. LUONG, A. BIRCH, G. NEUBIG & A. FINCH, Éds., *Proceedings of the First Workshop on Neural Machine Translation*, p. 28–39, Vancouver : Association for Computational Linguistics. DOI: 10.18653/v1/W17-3204.

LI Y., LI J., JIANG J., TAO S., YANG H. & ZHANG M. (2022). P-Transformer : Towards Better Document-to-Document Neural Machine Translation. arXiv:2212.05830 [cs].

LIBOVICKÝ J., HELCL J. & MAREČEK D. (2018). Input combination strategies for multi-source transformer decoder. In O. BOJAR, R. CHATTERJEE, C. FEDERMANN, M. FISHEL, Y. GRAHAM, B. HADDOW, M. HUCK, A. J. YEPES, P. KOEHN, C. MONZ, M. NEGRI, A. NÉVÉOL, M. NEVES, M. POST, L. SPECIA, M. TURCHI & K. VERSPOOR, Éds., *Proceedings of the Third Conference on Machine Translation : Research Papers*, p. 253–260, Brussels, Belgium : Association for Computational Linguistics. DOI: 10.18653/v1/W18-6326.

LIN C.-Y. & OCH F. J. (2004). Automatic evaluation of machine translation quality using longest common subsequence and skip-bigram statistics. In *Proceedings of the 42nd Annual Meeting of the Association for Computational Linguistics (ACL-04)*, p. 605–612, Barcelona, Spain. DOI: 10.3115/1218955.1219032.

LIU C., ZHANG Q., ZHANG X., SINGH K., SARAF Y. & ZWEIG G. (2020a). Multilingual graphemic hybrid ASR with massive data augmentation. In D. BEERMANN, L. BESACIER, S. SAKTI & C. SORIA, Éds., *Proceedings of the 1st Joint Workshop on Spoken Language Technologies for Under-resourced languages (SLTU) and Collaboration and Computing for Under-Resourced Languages (CCURL)*, p. 46–52, Marseille, France : European Language Resources association.

LIU Y., GU J., GOYAL N., LI X., EDUNOV S., GHAZVININEJAD M., LEWIS M. & ZETTLEMOYER L. (2020b). Multilingual denoising pre-training for neural machine translation. *Transactions of the Association for Computational Linguistics, 8*, 726–742. DOI: 10.1162/tacl_a_00343.

LOPES A., FARAJIAN M. A., BAWDEN R., ZHANG M. & MARTINS A. F. T. (2020). Document-level neural MT : A systematic comparison. In A. MARTINS, H. MONIZ, S. FUMEGA, B. MARTINS, F. BATISTA, L. COHEUR, C. PARRA, I. TRANCOSO, M. TURCHI, A. BISAZZA, J. MOORKENS, A. GUERBEROF, M. NURMINEN, L. MARG & M. L. FORCADA, Éds., *Proceedings of the 22nd Annual Conference of the European Association for Machine Translation*, p. 225–234, Lisboa, Portugal : European Association for Machine Translation.

LUPO L., DINARELLI M. & BESACIER L. (2023). Encoding sentence position in context-aware neural machine translation with concatenation. In S. TAFRESHI, A. AKULA, J. SEDOC, A. DROZD, A. ROGERS & A. RUMSHISKY, Éds., *The Fourth Workshop on Insights from Negative Results in NLP*, p. 33–44, Dubrovnik, Croatia : Association for Computational Linguistics. DOI: 10.18653/v1/2023.insights-1.4.
MA Z., EDUNOV S. & AULI M. (2021). A comparison of approaches to document-level machine translation.

MARUF S., SALEH F. & HAFFARI G. (2021). A Survey on Document-Level Neural Machine Translation: Methods and Evaluation. *ACM Comput. Surv.*, **54**(2). Place: New York, NY, USA
Publisher: Association for Computing Machinery, DOI: 10.1145/3441691.

MATHUR N., BALDWIN T. & COHN T. (2020). Tangled up in BLEU: Reevaluating the evaluation of automatic machine translation evaluation metrics. In D. JURAFSKY, J. CHAI, N. SCHLUTER & J. TETREAULT, Éds., *Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics*, p. 4984–4997, Online : Association for Computational Linguistics. DOI : 10.18653/v1/2020.acl-main.448.

MATUSOV E., LEUSCH G., BENDER O. & NEY H. (2005). Evaluating machine translation output with automatic sentence segmentation. In *Proceedings of the Second International Workshop on Spoken Language Translation*, Pittsburgh, Pennsylvania, USA.

MIHAYLOVA T. & MARTINS A. F. T. (2019). Scheduled sampling for transformers. In F. ALVA-MANCHEGO, E. CHOI & D. KHASHABI, Éds., *Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics : Student Research Workshop*, p. 351–356, Florence, Italy : Association for Computational Linguistics. DOI : 10.18653/v1/P19-2049.

NEVES M., JIMENO YEPES A., NÉVÉOL A., BAWDEN R., DI NUNZIO G. M., ROLLER R., THOMAS P., VEZZANI F., VICENTE NAVARRO M., YEGANOVA L., WIEMANN D. & GROZEA C. (2023). Findings of the WMT 2023 biomedical translation shared task : Evaluation of ChatGPT 3.5 as a comparison system. In P. KOEHN, B. HADDOW, T. KOCMI & C. MONZ, Éds., *Proceedings of the Eighth Conference on Machine Translation*, p. 43–54, Singapore : Association for Computational Linguistics. DOI : 10.18653/v1/2023.wmt-1.2.

NGUYEN M. V., LAI V. D., POURAN BEN VEYSEH A. & NGUYEN T. H. (2021). Trankit : A light-weight transformer-based toolkit for multilingual natural language processing. In D. GKATZIA & D. SEDDAH, Éds., *Proceedings of the 16th Conference of the European Chapter of the Association for Computational Linguistics : System Demonstrations*, p. 80–90, Online : Association for Computational Linguistics. DOI : 10.18653/v1/2021.eacl-demos.10.

OTT M., EDUNOV S., BAEVSKI A., FAN A., GROSS S., NG N., GRANGIER D. & AULI M. (2019). fairseq : A fast, extensible toolkit for sequence modeling. In W. AMMAR, A. LOUIS & N. MOSTAFAZADEH, Éds., *Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics (Demonstrations)*, p. 48–53, Minneapolis, Minnesota : Association for Computational Linguistics. DOI : 10.18653/v1/N19-4009.

PAPINENI K., ROUKOS S., WARD T. & ZHU W.-J. (2002). Bleu : a method for automatic evaluation of machine translation. In P. ISABELLE, E. CHARNIAK & D. LIN, Éds., *Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics*, p. 311–318, Philadelphia, Pennsylvania, USA : Association for Computational Linguistics. DOI : 10.3115/1073083.1073135.

POPOVIĆ M. (2015). chrF : character n-gram F-score for automatic MT evaluation. In O. BOJAR, R. CHATTERJEE, C. FEDERMANN, B. HADDOW, C. HOKAMP, M. HUCK, V. LOGACHEVA & P. PECINA, Éds., *Proceedings of the Tenth Workshop on Statistical Machine Translation*, p. 392–395, Lisbon, Portugal : Association for Computational Linguistics. DOI : 10.18653/v1/W15-3049.

POST M. (2018). A call for clarity in reporting BLEU scores. In O. BOJAR, R. CHATTERJEE, C. FEDERMANN, M. FISHEL, Y. GRAHAM, B. HADDOW, M. HUCK, A. J. YEPES, P. KOEHN, C. MONZ, M. NEGRI, A. NÉVÉOL, M. NEVES, M. POST, L. SPECIA, M. TURCHI & K. VERSPOOR, Éds., *Proceedings of the Third Conference on Machine Translation : Research Papers*, p. 186–191, Brussels, Belgium : Association for Computational Linguistics. DOI : 10.18653/v1/W18-6319.
POST M. & JUNCZYS-DOWMUNT M. (2023). Escaping the sentence-level paradigm in machine translation. arXiv:2304.12959 [cs].

RANASINGHE T., ORASAN C. & MITKOV R. (2020). TransQuest: Translation quality estimation with cross-lingual transformers. In D. SCOTT, N. BEL & C. ZONG, Éds., *Proceedings of the 28th International Conference on Computational Linguistics*, p. 5070–5081, Barcelona, Spain (Online) : International Committee on Computational Linguistics. DOI: 10.18653/v1/2020.coling-main.445.

RANZATO M., CHOPRA S., AULI M. & ZAREMBA W. (2016). Sequence level training with recurrent neural networks. In *4th International Conference on Learning Representations*, ICLR 2016, San Juan, Puerto Rico.

REI R., C. DE SOUZA J. G., ALVES D., ZERVA C., FARINHA A. C., GLUSHKOVA T., LAVIE A., COHEUR L. & MARTINS A. F. T. (2022). COMET-22: Unbabel-IST 2022 submission for the metrics shared task. In P. KOEHN, L. BARRAULT, O. BOJAR, F. BOUGARES, R. CHATTERJEE, M. R. COSTA-JUSSÀ, C. FEDERMANN, M. FISHEL, A. FRASER, M. FREITAG, Y. GRAHAM, R. GRUNDKIEWICZ, P. GUZMAN, B. HADDOW, M. HUCK, A. JIMENO YEPES, T. KOCMI, A. MARTINS, M. MORISHITA, C. MONZ, M. NAGATA, T. NAKAZAWA, M. NEGRI, A. NÉVÉOL, M. NEVES, M. POPEL, M. TURCHI & M. ZAMPIERI, Éds., *Proceedings of the Seventh Conference on Machine Translation (WMT)*, p. 578–585, Abu Dhabi, United Arab Emirates (Hybrid) : Association for Computational Linguistics.

REITER E. (2018). A structured review of the validity of BLEU. *Computational Linguistics*, **44**(3), 393–401. DOI: 10.1162/coli_a_00322.

ROUSSIS D., PAPAVASSILIOU V., PROKOPIDIS P., PIPERIDIS S. & KATSOUROS V. (2022). SciPar : A collection of parallel corpora from scientific abstracts. In N. CALZOLARI, F. BÉCHET, P. BLACHE, K. CHOUKRI, C. CIERI, T. DECLERCK, S. GOGGI, H. ISAHARA, B. MAEGAARD, J. MARIANI, H. MAZO, J. ODIJK & S. PIPERIDIS, Éds., *Proceedings of the Thirteenth Language Resources and Evaluation Conference*, p. 2652–2657, Marseille, France : European Language Resources Association.

SALESKY E., DARWISH K., AL-BADRASHINY M., DIAB M. & NIEHUES J. (2023). Evaluating multilingual speech translation under realistic conditions with resegmentation and terminology. In E. SALESKY, M. FEDERICO & M. CARPUAT, Éds., *Proceedings of the 20th International Conference on Spoken Language Translation (IWSLT 2023)*, p. 62–78, Toronto, Canada (in-person and online) : Association for Computational Linguistics. DOI: 10.18653/v1/2023.iwslt-1.2.

SUN Z., WANG M., ZHOU H., ZHAO C., HUANG S., CHEN J. & LI L. (2022). Rethinking document-level neural machine translation. In S. MURESAN, P. NAKOV & A. VILLAVICENCIO, Éds., *Findings of the Association for Computational Linguistics : ACL 2022*, p. 3537–3548, Dublin, Ireland : Association for Computational Linguistics. DOI: 10.18653/v1/2022.findings-acl.279.

TANG Y., TRAN C., LI X., CHEN P.-J., GOYAL N., CHAUDHARY V., GU J. & FAN A. (2021). Multilingual translation from denoising pre-training. In C. ZONG, F. XIA, W. LI & R. NAVIGLI, Éds., *Findings of the Association for Computational Linguistics : ACL-IJCNLP 2021*, p. 3450–3466, Online : Association for Computational Linguistics. DOI: 10.18653/v1/2021.findings-acl.304.

TAY Y., DEHGHANI M., BAHRI D. & METZLER D. (2023). Efficient Transformers : A Survey. *ACM Computing Surveys*, **55**(6), 1–28. DOI: 10.1145/3530811.

TIEDEMANN J. & SCHERRER Y. (2017). Neural machine translation with extended context. In B. WEBBER, A. POPESCU-BELIS & J. TIEDEMANN, Éds., *Proceedings of the Third Workshop on Discourse in Machine Translation*, p. 82–92, Copenhagen, Denmark : Association for Computational Linguistics. DOI: 10.18653/v1/W17-4811.
TOUVRON H., MARTIN L., STONE K., ALBERT P., ALMAHAIRI A., BABAEI Y., BASHLYKOV N., BATRA S., BHARGAVA P., BHOSALE S., BIKEL D., BLECHER L., FERRER C. C., CHEN M., CUCURULL G., ESIOBU D., FERNANDES J., FU J., FU W., FULLER B., GAO C., GOSWAMI V., GOYAL N., HARTSHORN A., HOSSEINI S., HOU R., INAN H., KARDAS M., KERKEZ V., KHABSA M., KLOUMANN I., KORENEV A., KOURA P. S., LACHAUX M.-A., LAVRIL T., LEE J., LISKOVICH D., LU Y., MAO Y., MARTINET X., MIHAYLOV T., MISHRA P., MOLYBOG I., NIE Y., POULTON A., REIZENSTEIN J., RUNGTA R., SALADI K., SCHEL TEN A., SILVA R., SMITH E. M., SUBRAMANIAN R., TAN X. E., TANG B., TAYLOR R., WILLIAMS A., KUAN J. X., XU P., YAN Z., ZAROV I., ZHANG Y., FAN A., KAMBADUR M., NARANG S., RODRIGUEZ A., STOJNIC R., EDUNOV S. & SCIALOM T. (2023). Llama 2 : Open foundation and fine-tuned chat models.

VARGA D., HALAÁCSY P., KORNAI A., NAGY V., NÉMETH L. & TRÓN V. (2005). Parallel corpora for medium density languages. In *Proceedings of the RANLP 2005 Conference*, p. 590–596.

VASWANI A., SHAZEER N., PARMAR N., USZKOREIT J., JONES L., GOMEZ A. N., KAISER L. & POLOSUKHIN I. (2017). Attention is All you Need. In I. GUYON, U. V. LUXBURG, S. BENGIO, H. WALLACH, R. FERGUS, S. VISHWANATHAN & R. GARNETT, Éds., *Advances in Neural Information Processing Systems 30*, p. 5998–6008 : Curran Associates, Inc.

WANG L., LYU C., JI T., ZHANG Z., YU D., SHI S. & TU Z. (2023). Document-level machine translation with large language models. In H. BOUAMOR, J. PINO & K. BALI, Éds., *Proceedings of the 2023 Conference on Empirical Methods in Natural Language Processing*, p. 16646–16661, Singapore : Association for Computational Linguistics. DOI: 10.18653/v1/2023.emnlp-main.1036.

WICKS R. & POST M. (2022). Does sentence segmentation matter for machine translation? In P. KOEHN, L. BARRAULT, O. BOJAR, F. BOUGARES, R. CHATTERJEE, M. R. COSTA-JUSSÀ, C. FEDERMANN, M. FISHEL, A. FRASER, M. FREITAG, Y. GRAHAM, R. GRUNDKIEWICZ, P. GUZMAN, B. HADDOW, M. HUCK, A. JIMENO YEPES, T. KOCMI, A. MARTINS, M. MORISHITA, C. MONZ, M. NAGATA, T. NAKAZAWA, M. NEGRI, A. NÉVÉOL, M. NEVES, M. POPEL, M. TURCHI & M. ZAMPIERI, Éds., *Proceedings of the Seventh Conference on Machine Translation (WMT)*, p. 843–854, Abu Dhabi, United Arab Emirates (Hybrid) : Association for Computational Linguistics.

WU M., WANG Y., FOSTER G. F., QU L. & HAFFARI G. (2024). Importance-aware data augmentation for document-level neural machine translation. *CoRR*, abs/2401.15360. DOI: 10.48550/ARXIV.2401.15360.

ZHANG B., HADDOW B. & BIRCH A. (2023). Prompting large language model for machine translation : A case study. In A. KRAUSE, E. BRUNSKILL, K. CHO, B. ENGELHARDT, S. SABATO & J. SCARLETT, Éds., *Proceedings of the 40th International Conference on Machine Learning*, volume 202 de *Proceedings of Machine Learning Research*, p. 41092–41110 : PMLR.

ZHANG J., LUAN H., SUN M., ZHAI F., XU J., ZHANG M. & LIU Y. (2018). Improving the transformer translation model with document-level context. In E. RILOFF, D. CHIANG, J. HOCKENMAIER & J. TSUJII, Éds., *Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing*, p. 533–542, Brussels, Belgium : Association for Computational Linguistics. DOI: 10.18653/v1/D18-1049.

ZHUOCHENG Z., GU S., ZHANG M. & FENG Y. (2023). Addressing the length bias challenge in document-level neural machine translation. In H. BOUAMOR, J. PINO & K. BALI, Éds., *Findings of the Association for Computational Linguistics : EMNLP 2023*, p. 11545–11556, Singapore : Association for Computational Linguistics. DOI: 10.18653/v1/2023.findings-emnlp.773.
# A Algorithme de réalignment

Le calcul des scores BLEU et s-BLEU pour les systèmes de traduction holistiques demande un réalignment des phrases traduites automatiquement avec les phrases de la référence. Notre stratégie de réalignment est présentée dans l'algorithme 1. Elle consiste essentiellement à aligner les traductions automatiques avec les références, puis à segmenter les sorties automatiques au niveau des frontières de phrase de la référence. L'alignement est réalisé au niveau des caractères avec la bibliothèque Python `edlib`.

Pour évaluer l'exactitude de l'algorithme 1, nous avons traduit les phrases de **THE-S** séparément et calculé un premier score BLEU. Nous avons ensuite concatené les sorties pour former des documents complets, que nous avons réalignés sur les phrases sources pour obtenir **THE-S-D-S**. Le tableau 6 donne la différence des scores BLEU évalués sur ces deux traductions, qui est toujours très faible (inférieure à 0,2), montrant que la segmentation obtenue par réalignment est très proche de la segmentation initiale. Les mêmes observations valent pour **rTAL**.

<table><caption>TABLE 6 – Scores BLEU calculés sur **THE-S** et **THE-S-D-S**, où nous concatenons les phrases de **THE-S** pour former des documents, puis réalignons avec l'algorithme 1, De même pour **rTAL-S**.</caption><thead><tr><th></th><th>THE-S</th><th>THE-S-D-S</th><th>rTAL-S</th><th>rTAL-S-D-S</th></tr></thead><tbody><tr><td>MBART50(1-M)</td><td>36,2 (1,00)</td><td>36,0 (1,00)</td><td>29,4 (1,00)</td><td>29,2 (1,00)</td></tr><tr><td>FT SCIPAR</td><td>42,8 (1,00)</td><td>42,7 (1,00)</td><td>34,1 (0,99)</td><td>33,9 (0,99)</td></tr><tr><td>FT TAL-S</td><td>44,1 (1,00)</td><td>43,9 (1,00)</td><td>34,7 (0,98)</td><td>34,5 (0,98)</td></tr><tr><td>FT TAL-D</td><td>44,2 (1,00)</td><td>44,1 (1,00)</td><td>34,9 (0,99)</td><td>34,7 (0,99)</td></tr><tr><td>FT TAL-MR</td><td>43,9 (1,00)</td><td>43,8 (1,00)</td><td>35,2 (0,99)</td><td>35,0 (0,99)</td></tr></tbody></table>

<table><caption>Algorithm 1: Calcul d'un réalignment au niveau des phrases</caption><thead><tr><th></th><th></th></tr></thead><tbody><tr><td>Data:</td><td>SYS: l'ensemble des traductions produites automatiquement.<br/>[sep]: un délimiteur qui sépare les phrases au sein des documents.</td></tr><tr><td>Data:</td><td>REF: les traductions de référence, dans lesquelles SEP est inséré aux frontières de<br/>phrases</td></tr><tr><td>Result:</td><td>SYS<sub>sent</sub>, REF<sub>sent</sub>: alignement de phrases entre SYS et REF</td></tr><tr><td>begin</td><td></td></tr><tr><td>N ←</td><td>nombre de documents dans REF</td></tr><tr><td>SYS<sub>sent</sub> ←</td><td>liste vide</td></tr><tr><td>REF<sub>sent</sub> ←</td><td>liste vide</td></tr><tr><td>for I ∈ {1, ..., N} do</td><td></td></tr><tr><td>D<sub>R</sub> ←</td><td>le I<sup>ème</sup> document de REF</td></tr><tr><td>D<sub>S</sub> ←</td><td>le I<sup>ème</sup> document de SYS</td></tr><tr><td>I<sub>SEP</sub> ←</td><td>liste des positions de [sep] dans D<sub>R</sub></td></tr><tr><td>D<sub>R</sub> ←</td><td>supprimer [sep] de D<sub>R</sub></td></tr><tr><td>dériver l'alignement optimal de D<sub>R</sub> et D<sub>S</sub> du calcul de la distance de Levenshtein</td><td></td></tr><tr><td>I<sub>split</sub> ←</td><td>indices des caractères de D<sub>R</sub> alignés avec les positions de I<sub>SEP</sub></td></tr><tr><td>SYS<sub>sent</sub> ←</td><td>segmenter D<sub>S</sub> en phrases aux positions de I<sub>split</sub></td></tr><tr><td>REF<sub>sent</sub> ←</td><td>segmenter D<sub>R</sub> en phrases aux positions de I<sub>SEP</sub></td></tr><tr><td>end</td><td></td></tr><tr><td>end</td><td></td></tr></tbody></table>
## B Construction du corpus IWSLT

À partir des 10 documents du corpus IWSLT, nous construisons un ensemble de 53 pseudo-documents équilibrés en longueur de la manière suivante. Soit $L$ l'ensemble des longueurs $L = \{32, 24, 16, 8, 4\}$, nous construisons pour chaque document $D$ une permutation aléatoire de $L$ notée $L(D)$, puis segmentons $d$ selon $L(D)$ en affectant les $L(D)[1]$ premières phrases au pseudo-document $D_1$, puis les $L(D)[2]$ phrases suivantes au pseudo-document $D_2$, etc. Les phrases en excédent (au-delà de 84) sont affectées au pseudo-document $D_5$.

<table><caption>TABLE 7 – Statistiques de IWSLT : pour chaque longueur de documents (en nombre de phrases) nous donnons la longueur moyenne (en nombre d'unités) des documents et la longueur moyenne (en nombre d'unités) des phrases dans chaque document.</caption><tr><td>Nb. phrases</td><td>4</td><td>6</td><td>7</td><td>8</td><td>12</td><td>16</td><td>21</td><td>23</td><td>24</td><td>32</td><td>33</td></tr><tr><td>Effectif</td><td>10</td><td>2</td><td>1</td><td>8</td><td>1</td><td>9</td><td>1</td><td>1</td><td>10</td><td>9</td><td>1</td></tr><tr><td>Longueur moyenne des documents</td><td>99</td><td>172</td><td>118</td><td>198</td><td>490</td><td>349</td><td>573</td><td>601</td><td>584</td><td>777</td><td>657</td></tr><tr><td>Longueur moyenne des phrases dans un document</td><td>25</td><td>29</td><td>17</td><td>25</td><td>41</td><td>22</td><td>27</td><td>26</td><td>24</td><td>24</td><td>20</td></tr></table>

## C Affinage de MBART

L'affinage de MBART50(1-M) est implémenté avec *fairseq* (Ott et al., 2019). Tous les modèles sont constitués de 12 couches pour l'encodeur et le décodeur, de dimension 1024 avec 16 têtes d'attention. Les systèmes sont entraînés avec un GPU de type NVIDIA RTX A6000 48G et 12 CPU avec chacun 8G de mémoire. La taille des lots est fixée à 4096 avec une mise à jour tous les 4 lots pour FT SCIPAR, et à 2048 avec une mise à jour tous les deux lots pour les autres systèmes. Afin d'éviter le sur-apprentissage, nous utilisons une procédure d'arrêt précoce avec une patience de 5 époques, en fonction des scores BLEU évalués sur le jeu de validation.

La première étape consiste à entraîner FT SCIPAR en affinant MBART50(1-M) avec le corpus *SciPar* pour réaliser une adaptation au domaine scientifique. À partir de FT SCIPAR, nous avons continué à affiner le système avec les documents du domaine du TAL, présentés soit document par document (FT TAL-D) soit phrase par phrase (FT TAL-S).

Pour implanter l'approche multi-résolution (MR) de (Sun et al., 2022), un jeu d'apprentissage **TAL-MR** est construit avec les documents du corpus **TAL**, avec lequel nous dérivons FT TAL-MR par affinage de FT SCIPAR. Cette approche MR consiste à constituer un jeu d'apprentissage des sous-documents de longueur équilibrée en coupant chaque document (de **TAL-D** dans notre cas) en $K$ sous-documents plusieurs fois, avec $K \in \{1, 2, 4, 8, ...\}$. C'est-à-dire, un document de longueur 8 est réparti en 15 sous-parties, avec un document de 8 phrases, 2 sous-documents de 4 phrases, 4 sous-documents de 2 phrases et 8 sous-documents d'une phrase.

Pour le décodage avec *fairseq-interactive*, nous utilisons les valeurs de paramètres `max-len-a=1,5` au lieu de la valeur par défaut (1,2), et `max-len-b=10`. Ces deux paramètres servent à contrôler la longueur des phrases générées par traduction.
# D Analyse des systèmes MBART

Le tableau 8 présente les résultats de traduction pour l'ensemble des systèmes dérivés de MBART50. Pour tous les systèmes, l'adaptation au registre scientifique, puis au domaine du TAL a de larges effets positifs. Traduire phrase par phrase donne des scores d-BLEU assez comparables pour les trois systèmes adaptés. Les traductions automatiques sont d'une longueur adéquate. Il en va tout autrement pour les deux systèmes entraînés sur des phrases isolées, qui ont des pénalités de longueur proches de zéro et des scores d-BLEU insignifiants. L'affinage par document suffit à corriger ce problème et conduit à des performances légèrement inférieures (pour THE) ou comparables (pour rTAL) à la traduction phrase à phrase.

<table><caption>TABLE 8 – d-BLEU et pénalité de longueur pour MBART50 (1-M) et l'ensemble des modèles affinés pour les données de test traduites par phrases et par documents.</caption><thead><tr><th rowspan="2"></th><th colspan="2">Sent2Sent</th><th colspan="2">Doc2Doc</th></tr><tr><th>THE</th><th>rTAL</th><th>THE</th><th>rTAL</th></tr></thead><tbody><tr><td>MBART50 (1-M)</td><td>38,3 (1,0)</td><td>31,0 (1,0)</td><td>32,0 (0,8)</td><td>23,3 (0,7)</td></tr><tr><td>FT SCI PAR</td><td>45,0 (1,0)</td><td>35,7 (1,0)</td><td>0,9 (0,0)</td><td>4,1 (0,1)</td></tr><tr><td>FT TAL-S</td><td>46,2 (1,0)</td><td>36,2 (1,0)</td><td>1,7 (0,0)</td><td>5,1 (0,1)</td></tr><tr><td>FT TAL-D</td><td>46,4 (1,0)</td><td>36,5 (1,0)</td><td>45,6 (1,0)</td><td>36,6 (1,0)</td></tr><tr><td>FT TAL-MR</td><td>46,0 (1,0)</td><td>36,8 (1,0)</td><td>45,3 (1,0)</td><td>36,8 (1,0)</td></tr></tbody></table>

# E Résultats avec TOWERINSTRUCT

TOWERINSTRUCT est développé pour les tâches concernant la TA, en affinant TOWERBASE avec instruction sur les jeux de données **TOWERBLOCKS**. **TOWERBLOCKS** contient une grande partie des données pour la traduction au niveau des phrases, la détection des erreurs, conversation et code. Il inclut également une petite portion des corpus parallèles pour la traduction en contexte (Alves et al., 2024, fig.3). Nous utilisons la version 7B de TOWERINSTRUCT, et l'amorce suivante 16 : « Translate the following text from French into English. \n English : SRC \n French : » en mode « zéro-exemple ».

Nous reportons pour tous les systèmes les scores BLEU dans le tableau 9, les corrélations de Spearman entre ds-BLEU et la longueur de source dans le tableau 10. Pour THE et rTAL, les traductions de TOWERINSTRUCT sont meilleures que TOWERBASE en terme des scores BLEU. La corrélation entre ds-BLEU et la longueur de la source montre la même tendance précédemment, même si elle est moins forte que pour les autres systèmes holistiques. Pour IWSLT, le score ds-BLEU de TOWERINSTRUCT est inférieur à celui de TOWERBASE. La corrélation positive (non significative) devient moins faible lorsque nous soustrayons le ds-BLEU de TOWERINSTRUCT avec celui de DEEPLPRO.

Le tableau 11 rassemble les évaluations des méthodes de traduction (a), (b) et (c) présentées dans §4.3 pour tous les systèmes, y compris TOWERINSTRUCT. Nous constatons que la différence entre les ds-BLEU des traductions par les méthodes (b) et (c) a diminué par rapport aux résultats de TOWERBASE. Ce phénomène est aussi illustré dans la figure 3. Il montre que la performance de TOWERINSTRUCT est plus stable pour traduire des textes situant aux différentes positions dans notre scénario, avec des séquences d'entrée *d'* ou *dd'* moins longues que 1024.

<footnote n="16">16. https://huggingface.co/Unbabel/TowerInstruct-7B-v0.1#prompt-format</footnote>
<table><caption>TABLE 9 – Variantes du score BLEU (et pénalité de longueur), calculés sur les résumés de THE, de rTAL et les transcriptions de IWSLT. * indique qu’un réalignement est nécessaire pour l’évaluation.</caption><thead><tr><th></th><th>Scores</th><th>MBART50(1-M)</th><th>FT SCIPAR</th><th>FT TAL-S</th><th>FT TAL-D</th><th>FT TAL-MR</th><th>TOWERBASE</th><th>TOWERINSTRUCT</th><th>DEEPLPRO</th></tr></thead><tbody><tr><td rowspan="3">THE</td><td>BLEU*</td><td>29,0 (0,82)</td><td>1,1 (0,03)</td><td>1,7 (0,05)</td><td>43,3 (1,00)</td><td>43,0 (1,00)</td><td>39,9 (1,00)</td><td>41,0 (1,00)</td><td>44,5 (1,00)</td></tr><tr><td>d-BLEU</td><td>32,0 (0,81)</td><td>0,9 (0,02)</td><td>1,7 (0,03)</td><td>45,6 (1,00)</td><td>45,3 (1,00)</td><td>42,2 (1,00)</td><td>43,3 (1,00)</td><td>46,8 (1,00)</td></tr><tr><td>ds-BLEU</td><td>29,2 (0,77)</td><td>3,4 (0,07)</td><td>3,9 (0,08)</td><td>43,3 (0,98)</td><td>43,4 (0,98)</td><td>39,9 (0,97)</td><td>41,6 (0,98)</td><td>45,0 (0,98)</td></tr><tr><td rowspan="3">rTAL</td><td>BLEU*</td><td>21,1 (0,75)</td><td>3,9 (0,12)</td><td>4,7 (0,14)</td><td>34,9 (0,99)</td><td>35,0 (1,00)</td><td>31,9 (0,99)</td><td>33,3 (1,00)</td><td>36,0 (1,00)</td></tr><tr><td>d-BLEU</td><td>23,2 (0,74)</td><td>4,1 (0,11)</td><td>5,0 (0,13)</td><td>36,5 (0,99)</td><td>36,7 (0,99)</td><td>33,5 (0,99)</td><td>35,0 (1,00)</td><td>37,7 (1,00)</td></tr><tr><td>ds-BLEU</td><td>21,5 (0,73)</td><td>6,7 (0,19)</td><td>7,4 (0,21)</td><td>33,9 (0,95)</td><td>34,0 (0,96)</td><td>30,9 (0,95)</td><td>32,3 (0,96)</td><td>34,9 (0,96)</td></tr><tr><td rowspan="3">IWSLT</td><td>BLEU*</td><td>31,8 (0,79)</td><td>nan (nan)</td><td>nan (nan)</td><td>48,1 (0,97)</td><td>49,4 (0,98)</td><td>48,3 (0,98)</td><td>48,5 (0,98)</td><td>52,9 (1,00)</td></tr><tr><td>d-BLEU</td><td>33,7 (0,78)</td><td>0,8 (0,02)</td><td>1,1 (0,02)</td><td>50,2 (0,96)</td><td>51,3 (0,98)</td><td>50,1 (0,98)</td><td>50,1 (0,98)</td><td>54,2 (1,00)</td></tr><tr><td>ds-BLEU</td><td>32,8 (0,71)</td><td>3,4 (0,07)</td><td>4,0 (0,08)</td><td>49,9 (0,96)</td><td>50,8 (0,97)</td><td>50,6 (0,94)</td><td>48,5 (0,97)</td><td>52,6 (0,99)</td></tr></tbody></table>

<table><caption>TABLE 10 – Corrélation de Spearman (et *p*-values) entre ds-BLEU et la longueur des sources ($L_s$) (haut); corrélation de Spearman entre $L_s$ et la différence des scores ds-BLEU entre chaque système et DEEPLPRO (bas).</caption><thead><tr><th></th><th>DEEPLPRO</th><th>MBART50(1-M)</th><th>FT SCIPAR</th><th>FT TAL-S</th><th>FT TAL-D</th><th>FT TAL-MR</th><th>TOWERBASE</th><th>TOWERINSTRUCT</th></tr></thead><tbody><tr><td>THE</td><td>0,100 (0,323)</td><td>0,139 (0,169)</td><td><strong>-0,416</strong> (0,000)</td><td><strong>-0,309</strong> (0,002)</td><td>0,100 (0,322)</td><td>0,078 (0,442)</td><td>0,080 (0,431)</td><td>0,066 (0,512)</td></tr><tr><td>rTAL</td><td><strong>0,214</strong> (0,001)</td><td><strong>0,136</strong> (0,032)</td><td><strong>-0,469</strong> (0,000)</td><td><strong>-0,417</strong> (0,000)</td><td><strong>0,237</strong> (0,000)</td><td><strong>0,220</strong> (0,001)</td><td><strong>0,249</strong> (0,000)</td><td><strong>0,231</strong> (0,000)</td></tr><tr><td>IWSLT</td><td>0,099 (0,480)</td><td>0,010 (0,943)</td><td><strong>-0,532</strong> (0,000)</td><td><strong>-0,500</strong> (0,000)</td><td>0,002 (0,987)</td><td>-0,055 (0,694)</td><td>-0,151 (0,279)</td><td>0,234 (0,092)</td></tr><tr><td>THE diff</td><td>-</td><td>0,080 (0,429)</td><td><strong>-0,234</strong> (0,019)</td><td><strong>-0,233</strong> (0,020)</td><td>-0,094 (0,353)</td><td>-0,123 (0,221)</td><td>-0,162 (0,107)</td><td>-0,069 (0,494)</td></tr><tr><td>rTAL diff</td><td>-</td><td><strong>-0,136</strong> (0,033)</td><td><strong>-0,471</strong> (0,000)</td><td><strong>-0,467</strong> (0,000)</td><td>-0,009 (0,885)</td><td>-0,031 (0,625)</td><td>-0,021 (0,740)</td><td>-0,025 (0,697)</td></tr><tr><td>IWSLT diff</td><td>-</td><td>-0,059 (0,673)</td><td>-0,164 (0,241)</td><td>-0,199 (0,154)</td><td>-0,093 (0,509)</td><td>-0,105 (0,453)</td><td>-0,252 (0,069)</td><td>0,023 (0,869)</td></tr></tbody></table>

<table><caption>TABLE 11 – Variantes de BLEU calculées sur les documents *d* en position initiale (i.e. *dd'*), ou finale (i.e. *d'*), ou tout seul (i.e. *d*) et moyennés sur 6 répétitions avec des documents *d'* différents.</caption><thead><tr><th></th><th></th><th>BLEU</th><th>s-BLEU</th><th>d-BLEU</th><th>ds-BLEU</th></tr></thead><tbody><tr><td rowspan="3">FT TAL-D</td><td>d</td><td>43,3 (1,00)</td><td>40,9 (0,94)</td><td>45,6 (1,00)</td><td>43,3 (0,98)</td></tr><tr><td>d'd</td><td>40,1 (0,98)</td><td>37,6 (0,92)</td><td>42,9 (0,98)</td><td>41,8 (0,97)</td></tr><tr><td>dd'</td><td>43,0 (1,00)</td><td>40,7 (0,94)</td><td>45,2 (1,00)</td><td>43,1 (0,98)</td></tr><tr><td rowspan="3">FT TAL-MR</td><td>d</td><td>43,0 (1,00)</td><td>41,0 (0,95)</td><td>45,3 (1,00)</td><td>43,4 (0,98)</td></tr><tr><td>d'd</td><td>40,6 (1,00)</td><td>38,1 (0,93)</td><td>43,3 (1,00)</td><td>41,9 (0,97)</td></tr><tr><td>dd'</td><td>42,8 (1,00)</td><td>40,6 (0,95)</td><td>45,1 (1,00)</td><td>43,3 (0,98)</td></tr><tr><td rowspan="3">TOWERBASE</td><td>d</td><td>39,9 (1,00)</td><td>37,2 (0,93)</td><td>42,2 (1,00)</td><td>39,9 (0,97)</td></tr><tr><td>d'd</td><td>38,4 (0,98)</td><td>35,9 (0,91)</td><td>40,6 (0,98)</td><td>37,9 (0,94)</td></tr><tr><td>dd'</td><td>37,8 (0,98)</td><td>35,0 (0,89)</td><td>40,2 (0,98)</td><td>38,5 (0,94)</td></tr><tr><td rowspan="3">TOWERINSTRUCT</td><td>d</td><td>41,0 (1,00)</td><td>39,0 (0,95)</td><td>43,3 (1,00)</td><td>41,6 (0,98)</td></tr><tr><td>d'd</td><td>39,8 (1,00)</td><td>37,5 (0,94)</td><td>42,2 (1,00)</td><td>40,1 (0,98)</td></tr><tr><td>dd'</td><td>39,7 (0,99)</td><td>37,3 (0,92)</td><td>42,1 (0,99)</td><td>40,3 (0,97)</td></tr></tbody></table>

<figure><img src="image_18.png" /><figcaption>FIGURE 3 – Densité (gauche) et boîtes à moustaches (droite) de la différence entre ds-BLEU des documents traduits par les méthodes (b) ou (c) et par la méthode (a) (voir §4.3) avec TOWERINSTRUCT.</figcaption></figure>
## F Analyse des performances selon la longueur moyenne des documents

Le tableau 12 présente des analyses de corrélation de la longueur moyenne des phrases au sein du document avec le score ds-BLEU et visent à confirmer l'intérêt de l'analyse de ces corrélations. On observe des corrélations négatives (pour THE et IWSLT) ou faiblement positives (pour TAL), les documents ayant des phrases moyennes plus longues recevant des scores ds-BLEU en moyenne plus faibles, que l'on peut interpréter comme étant causés par la complexité plus grande des phrases à traduire.

<table><caption>TABLE 12 – Corrélation de Spearman (et *p*-values) entre ds-BLEU et la longueur moyenne des phrases sources ($L_m$) (haut); corrélation de Spearman entre $L_m$ et la différence des scores ds-BLEU entre chaque système et DEEPLPRO (bas).</caption><thead><tr><th></th><th>DEEPLPRO</th><th>MBART50(1-M)</th><th>FT SCIPAR</th><th>FT TAL-S</th><th>FT TAL-D</th><th>FT TAL-MR</th><th>TOWERBASE</th><th>TOWERINSTRUCT</th></tr></thead><tbody><tr><td>THE</td><td>-0,149 (0,139)</td><td><strong>-0,211</strong> (0,035)</td><td>0,021 (0,834)</td><td>0,010 (0,920)</td><td>-0,165 (0,101)</td><td>-0,177 (0,078)</td><td>-0,159 (0,115)</td><td>-0,179 (0,074)</td></tr><tr><td>rTAL</td><td>0,044 (0,491)</td><td>0,043 (0,501)</td><td><strong>0,245</strong> (0,000)</td><td><strong>0,228</strong> (0,000)</td><td>0,016 (0,800)</td><td>0,019 (0,763)</td><td>0,001 (0,989)</td><td>0,014 (0,826)</td></tr><tr><td>IWSLT</td><td>0,051 (0,718)</td><td>-0,047 (0,737)</td><td>0,161 (0,250)</td><td>0,095 (0,497)</td><td>-0,006 (0,969)</td><td>-0,074 (0,601)</td><td>-0,169 (0,226)</td><td>-0,042 (0,767)</td></tr><tr><td>THE diff</td><td>-</td><td>0,006 (0,953)</td><td><strong>0,217</strong> (0,03)</td><td><strong>0,201</strong> (0,045)</td><td>-0,080 (0,432)</td><td>-0,079 (0,435)</td><td>-0,002 (0,981)</td><td>-0,036 (0,724)</td></tr><tr><td>rTAL diff</td><td>-</td><td>0,001 (0,986)</td><td>0,091 (0,157)</td><td>0,098 (0,124)</td><td>-0,062 (0,335)</td><td>-0,087 (0,174)</td><td>-0,102 (0,109)</td><td>-0,079 (0,216)</td></tr><tr><td>IWSLT diff</td><td>-</td><td>-0,051 (0,719)</td><td>0,162 (0,246)</td><td>0,129 (0,356)</td><td>-0,073 (0,605)</td><td>-0,120 (0,393)</td><td>-0,254 (0,066)</td><td>-0,134 (0,337)</td></tr></tbody></table>
# Approches cascade et de bout-en-bout pour la traduction automatique de la parole en pictogrammes

Cécile Macaire¹ Chloé Dion¹ Didier Schwab¹ Benjamin Lecouteux¹
Emmanuelle Esperança-Rodier¹

(1) Univ. Grenoble Alpes, CNRS, Grenoble INP*, LIG, 38000 Grenoble, France

prenom.nom@univ-grenoble-alpes.fr

## RÉSUMÉ

La traduction automatique de la parole en pictogrammes (Parole-à-Pictos) est une nouvelle tâche du Traitement Automatique des Langues (TAL) ayant pour but de proposer une séquence de pictogrammes à partir d'un énoncé oral. Cet article explore deux approches distinctes : (1) en cascade, qui combine un système de reconnaissance vocale avec un système de traduction, et (2) de bout-en-bout, qui adapte un système de traduction automatique de la parole. Nous comparons différentes architectures état de l'art entraînées sur nos propres données alignées parole-pictogrammes. Nous présentons une première évaluation automatique des systèmes et réalisons une évaluation humaine pour analyser leur comportement et leur impact sur la traduction en pictogrammes. Les résultats obtenus mettent en évidence la capacité d'une approche en cascade à générer des traductions acceptables à partir de la parole lue et dans des contextes de la vie quotidienne.

## ABSTRACT

### Cascade and End-to-End Approaches for Automatic Speech-to-Pictograms Translation

The automatic translation of speech into pictograms (Speech-to-Pictograms) is a new Natural Language Processing (NLP) task whose purpose is to generate a sequence of pictograms based on a speech utterance. This article explores two distinct approaches : (1) the cascade approach, which combines a speech recognition system with a machine translation system, and (2) the end-to-end approach, which adapts a speech translation system. We compare different state-of-the-art architectures trained on our own aligned speech-to-pictogram data. We present a first automatic evaluation of the systems and conduct a human evaluation to analyze their behavior and their impact on pictogram translation. The results highlight the ability of the cascade approach to generate acceptable translations from spoken language in everyday life situations.

**MOTS-CLÉS** : Pictogrammes, Parole, Traduction Automatique.

**KEYWORDS**: Pictograms, Speech, Machine Translation.

## 1 Introduction

La Communication Alternative et Augmentée (CAA) regroupe un ensemble d'outils et de stratégies conçus pour faciliter la communication des individus confrontés à des troubles du langage (Beukelman & Mirenda, 2017). Ces troubles impactent un ensemble de capacités langagières, allant de la production et la compréhension de la parole à l'écoute, la lecture et l'écriture. Ils peuvent avoir différentes origines, telles que certaines maladies génétiques, des troubles du spectre autistique, un déficit

<figure><img src="image_19.png" /></figure>
intellectuel, pour en citer quelques-uns. Nous retrouvons, dans la CAA, l'utilisation de pictogrammes, pour transmettre des messages dans des situations de la vie quotidienne. Un pictogramme est une représentation graphique associée à un concept (objet, personne, action, etc.) (Pereira et al., 2022b). Ceux-ci présentent plusieurs avantages, notamment, qu'ils permettent de visualiser la syntaxe, de manipuler des mots et de faciliter l'accès au langage (Cataix-Nègre, 2017). D'un point de vue social, une enquête menée par la Croix-Rouge (2021) a identifié une réduction du stress, une augmentation de l'autonomie et un impact positif du bien-être général des utilisateurs de CAA.

Pourtant, selon la même étude, la CAA est confrontée à différents freins environnementaux qui limitent son utilisation et sa diffusion. L'étude cite spécifiquement le manque de sensibilisation des accompagnants au potentiel de la CAA et la difficulté d'accéder aux outils (absence d'informations, de formation, de moyens financiers et de temps).

Nous pensons que la mise en place de systèmes de traduction de la parole en une séquence de pictogrammes, tâche que nous appellerons Parole-à-Pictos (PAP), pourrait permettre de relever ces défis. Un système PAP prédit une suite de termes, chacun associé à un pictogramme unique ARASAAC<fnref n="1" /> à partir d'un segment audio (cf. Figure 1). Notre objectif est de construire le premier système PAP pour le français.

<figure><img src="image_20.png" /><figcaption>FIGURE 1 – Illustration de la tâche PAP avec la traduction d'un segment audio en pictogrammes ARASAAC.</figcaption></figure>

Pour cela, nous proposons deux approches. La première s'appuie sur un système en cascade, qui imbrique un modèle de Reconnaissance Automatique de la Parole (RAP) avec un modèle de Traduction Automatique (TA). La deuxième approche adapte une architecture de bout-en-bout de Traduction de la Parole (TP) pour la tâche Parole-à-Pictos. Nous présentons une première évaluation automatique et humaine sur nos propres jeux de données. Nous résumons nos contributions ci-dessous :

- La présentation de deux approches pour traduire automatiquement la parole en une séquence de pictogrammes.

- La construction de trois corpus de données alignées parole-texte-pictogrammes pour cette tâche<fnref n="2" />.

- L'implémentation et la publication de plusieurs modèles de Reconnaissance de la Parole, de Traduction Automatique et de Traduction de la parole affinés sur ces jeux de données. Le code et les modèles sont disponibles en ligne<fnref n="3" /> et les expériences sont entièrement reproductibles.

- La présentation d'une première évaluation automatique et humaine des modèles pour la tâche Parole-à-Pictos.

<footnote n="1">1. https://arasaac.org/</footnote>

<footnote n="2">2. https://www.ortolang.fr/market/corpora/propicto</footnote>

<footnote n="3">3. https://github.com/macairececile/speech-to-pictograms</footnote>
## 2 État de l'art

Les précédents travaux se sont majoritairement focalisés sur la traduction du texte vers les pictogrammes, plutôt qu’à partir de la parole. Sevens et al. (2015) ont notamment proposé Text2Picto, un système de traduction texte-pictogrammes pour le néerlandais, ensuite étendu à l’anglais, à l’espagnol (Sevens, 2018) et au français (Norré et al., 2021). De récents travaux (Pereira et al., 2022a, 2023) se sont intéressés à la prédiction d’un pictogramme selon le contexte, en utilisant des modèles de type BERT (Devlin et al., 2019). Le but est de proposer un modèle prédictif pour compléter une phrase en construction dans les systèmes de CAA.

La traduction automatique de la parole en une séquence de pictogrammes du Français est étudiée pour la première fois dans Vaschalde et al. (2018). Leur méthodologie s’appuie sur l’adaptation du système Text2Picto (Vandeghinste et al., 2017) à la parole. Le modèle proposé imbrique quatre modules : un système de Reconnaissance Automatique de la Parole (RAP), un système de simplification, un modèle de désambiguïsation lexicale et un dernier module qui affiche la séquence de pictogrammes. L’évaluation est réalisée sur deux jeux de données. Le premier regroupe 15 histoires pour enfants manuellement traduites en pictogrammes. Le second est un ensemble de 20 phrases extraites du corpus ESLO (Baude & Dugua, 2017). Aucune évaluation automatique ou humaine ne sont rapportées. Récemment, les travaux de Macaire et al. (2022, 2023) ont exploré la traduction Parole-à-Pictos en proposant Voice2Picto. Bien que le système propose une approche novatrice, il ne compare pas différents systèmes de RAP. De plus, la traduction utilise un vocabulaire pictographique non adapté à la parole et aucune donnée spécifique à cette tâche n’est employée. Aucune évaluation, qu’elle soit automatique ou humaine, n’a été réalisée.

Pour la traduction de la parole en pictogrammes, nous nous appuyons sur les travaux précédents qui associent un système de Reconnaissance Automatique de la Parole et un système de Traduction Automatique.

**Reconnaissance Automatique de la Parole** Wav2Vec2.0 (Baevski et al., 2020) est un modèle basé sur l’apprentissage auto-supervisé. Celui-ci apprend des représentations robustes de la parole sur une collection importante de données non étiquetées pendant la phase dite de pré-entraînement. L’architecture est ensuite affinée sur un jeu de données étiqueté pour une tâche en aval. Plus récemment, deux modèles multimodaux et multilingues montrent des résultats compétitifs sans nécessiter une phase d’affinage. Whisper (Radford et al., 2023) utilise l’architecture encodeur-décodeur Transformer (Vaswani et al., 2017). Le modèle est appris sur 680 000 heures de données étiquetées multilingues (plus de 100 langues). SeamlessM4T (Barrault et al., 2023) est un modèle massif de traduction automatique multimodale (traduction parole-parole, parole-texte, texte-parole, texte-texte et transcription) et multilingue sur une centaine de langues. Contrairement à Whisper, SeamlessM4T préserve les éléments de la prosodie et du style vocal dans toutes les langues couvertes.

**Traduction Automatique** Ott et al. (2018) présente un modèle neuronal Transformer (Vaswani et al., 2017) séquence-à-séquence. L’architecture utilise un vocabulaire commun à chaque paire de langues. Les données sont tokenisées en sous-mots avec l’algorithme Byte-Pair Encoding. L’architecture est entraînée à partir de zéro. Les modèles suivants sont pré-entraînés sur des données multilingues. Liu et al. (2020) présente mBART, un modèle auto-encodeur séquence-à-séquence pré-entraîné sur une quantité importante de données monolingues dans plusieurs langues. L’architecture applique un objectif BART (Lewis et al., 2020), modèle de type Transformer. L’article souligne l’avantage de mBART sur des langues ne figurant pas dans les données de pré-entraînement. Raffel et al. (2020) propose T5, une approche basée sur l’apprentissage par transfert. Chaque donnée textuelle
est considérée, en entrée, comme un problème texte-à-texte, permettant ainsi de réaliser différentes tâches (résumé de documents, analyse de sentiments, traduction automatique, etc.) via un modèle unique. Le modèle utilise 20TB de données textuelles de langues anglaise, française, roumaine et allemande. Costa-jussà et al. (2022) propose NLLB, un modèle de type Transformer massivement multilingue capable de traduire automatiquement dans 200 langues. Cette couverture linguistique peut être bénéfique entre deux langues apparentées via un transfert interlinguistique (Conneau et al., 2020; Fan et al., 2021). Plusieurs travaux présentent des approches basées sur les représentations de phrases, notamment LASER(Artetxe & Schwenk, 2019), LabSE (Feng et al., 2022) et SONAR (Duquenne et al., 2023). Ce dernier obtient des résultats compétitifs en TA par rapport au modèle NLLB 1B.

# Traduction Automatique de la Parole
La traduction automatique de parole de bout-en-bout est explorée dans plusieurs travaux. Nous pouvons citer Fairseq S2T (Wang et al., 2020), qui combine un modèle RNN et Transformer. Ye et al. (2021) présentent XSTNET, un modèle transversal parole-texte avec Wav2Vec2.0 comme encodeur vocal, suivi d'un entraînement progressif multitâche (modèle de TA pré-entraîné et affinage multitâche). Plus récemment, les travaux de Ye et al. (2022) proposent ConST, un modèle fondé sur une approche d'apprentissage contrastive. Celui-ci cherche à encoder les représentations audio et textuelles similaires dans un espace proche. Composé de quatre modules, ConST intègre un encodeur vocal utilisant les représentations Wav2Vec2.0, une couche de plongement de mots et un encodeur-decodeur Transformer. Les scores BLEU rapportés sur MUST-C (Di Gangi et al., 2019) démontrent des performances état de l'art, notamment pour des paires de langues peu dotées.

# 3 Méthode proposée

Nous appliquons deux approches pour la tâche Parole-à-Pictos. La première est une approche cascade constituée d'un système de RAP et d'un système de TA. Ici, la transcription fournie par le système de RAP est le point d'entrée du système de TA, dont le but est de traduire la langue source (ici le français) dans la langue cible. Pour la tâche Parole-à-Pictos, la langue cible est ce que nous nommons "langage pictographique" qui correspond à la séquence de termes (mot unique, expression polylexicale, ou phrase entière), chacun associé à un pictogramme ARASAAC. Pour les systèmes de RAP, nous comparons Wav2Vec2.0, Whisper et SeamlessM4T. L'objectif est de confronter les performances d'un modèle ajusté à nos données à celles de modèles massivement multilingues, multitâches et du domaine général, mais non reproductibles. Nous considérons, pour la Traduction Automatique, les modèles état de l'art présentés Section 2. Notre objectif est de comparer une architecture à entraîner à partir de zéro (from scratch) avec des architectures pré-entraînées sur des données multilingues et à affiner sur ces propres données. La seconde approche adapte les systèmes de bout-en-bout de Traduction Automatique de la parole à notre tâche. Dans cet article, nous testons le modèle ConST.

# 4 Données

Nous construisons deux ensembles de données issus de deux corpus de parole préexistants pour entraîner nos systèmes. Ces deux corpus se différencient par le type de parole qu'ils contiennent
(parole lue et parole spontanée). L'objectif est d'évaluer la robustesse des modèles face à diverses situations acoustiques. Un jeu de données supplémentaire est également utilisé pour l'évaluation, qui se rapproche des interactions du public cible.

Les pictogrammes utilisés proviennent d'ARASAAC, une ressource riche de plus de 25 000 pictogrammes uniques, continuellement mise à jour. Distribués sous la licence Creative Commons CC-BY-NC-SA et téléchargeables gratuitement, ces pictogrammes sont très largement utilisés dans la communauté CAA.

**Propicto-orféo** Nous récupérons les données alignées parole/texte issues du Corpus d'Étude pour le Français Contemporain (CEFC) (Benzitoun et al., 2016), comprenant un ensemble de 12 corpus sources. Nous retrouvons des situations de parole diverses (dialogues, réunions, etc.) et dans des domaines variés. Propicto-orféo contient 290 036 segments audio pour un total de 233 h. Chaque segment audio est accompagné d'une transcription. À partir de celles-ci, nous appliquons la méthode présentée par Macaire et al. (2024) pour générer une traduction en pictogrammes, qui suit des règles et un lexique précis. Les données ont la forme suivante, avec *tokens* se référant à la liste des termes associés à chaque pictogramme présent dans *pictos* :

```
{
  "id": "cefc-tcof-Hen_sai_vin_reunion_08-190",
  "text": "ça fera trop rapproché",
  "pictos": [9829, 6906, 6190, 25708, 6879],
  "tokens": "prochain celle-là faire trop approcher"
}
```

**Propicto-commonvoice** Nous récupérons la partie française du corpus de parole lue CommonVoice version 15 (Ardila et al., 2020). Cette version comprend 967 heures d'enregistrements issues de 17 911 locuteurs uniques. Sur le même principe décrit précédemment, nous appliquons la méthode de Macaire et al. (2024) pour générer la traduction de chaque segment audio en pictogrammes.

**Propicto-eval** Nous utilisons un jeu de données test pour évaluer les différentes approches sur un domaine et un type de parole restreints. Propicto-eval est un corpus de parole lue multilocuteurs (62 au total). Les données textuelles proviennent d'histoires pour enfants, de situations de la vie quotidienne et de phrases du domaine médical. Ces contextes sont particulièrement pertinents, car ils reflètent les types d'interactions de notre public cible.

# 5 Expériences

**Données et pré-traitement** Nous répartissons les données Propicto-orféo et Propicto-commonvoice en trois ensembles entraînement, validation et test selon une répartition 90/5/5. Nous supprimons la ponctuation et convertissons les transcriptions en minuscules. Chaque segment audio représente une phrase de moins de 30 secondes, la taille maximale pouvant être encodée par les systèmes de RAP. Les segments ne comprenant pas de traductions en pictogrammes ne sont pas conservés dans notre ensemble. Ces segments contiennent des disfluences ou des termes non traduits en pictogramme, conséquence de la limite de la méthode de Macaire et al. (2024) et des limites d'ARASAAC (certains domaines sont sous-représentés en pictogrammes). Les données sont détaillées Table 1.
<table><caption>TABLE 1 – Répartition des données en trois ensembles (entraînement, validation, test) avec, pour chaque corpus, le nombre de phrases et le nombre d'heures.</caption><thead><tr><th rowspan="2"></th><th colspan="2">Propicto-commonvoice</th><th colspan="2">Propicto-orféo</th></tr><tr><th># phrases</th><th># heures</th><th># phrases</th><th># heures</th></tr></thead><tbody><tr><td>entraînement</td><td>527 554</td><td>756</td><td>231 374</td><td>147</td></tr><tr><td>validation</td><td>16 132</td><td>25</td><td>28 796</td><td>18</td></tr><tr><td>test</td><td>16 132</td><td>26</td><td>29 009</td><td>14</td></tr></tbody></table>

**Détails des entraînements** Nous utilisons la boîte à outils SpeechBrain (Ravanelli et al., 2021) et la recette fournie<fnref n="4" /> pour affiner le modèle *Wav2Vec2.0* de RAP, avec, comme modèle pré-entrainé, *LeBenchmark/wav2vec2-FR-7K-large* (Evain et al., 2021). Les segments audio de moins de 3 secondes et de plus de 10 secondes ont été écartés de l'entraînement pour éviter les segments audio trop courts ou vides.

Pour les différents systèmes de Traduction Automatique (TA), nous exploitons deux boîtes à outils : Fairseq (Ott et al., 2019) et HuggingFace (Wolf et al., 2020). Nous adaptons la recette proposée par Fairseq<fnref n="5" /> du modèle de traduction *from scratch* NMT. Une phase de tokenisation (BPE) segmente le texte en unités de sous-mots. Un vocabulaire de 10 000 jetons est généré. Fairseq est également utilisée pour affiner le modèle mBART, ici, mbart-large-cc25 appris sur 25 langues<fnref n="6" />. La même méthode de tokenisation décrite précédemment est appliquée. L'affinage des modèles T5-large et NLLB-200 (*facebook/nllb-200-1.3B*) est réalisée en adaptant la recette proposée par HuggingFace<fnref n="7" />. Les principaux paramètres des modèles sont décrits Table 2⁸.

<table><caption>TABLE 2 – Paramètres des modèles de Reconnaissance Automatique de la Parole, de Traduction Automatique et de Traduction Automatique de la Parole.</caption><thead><tr><th>Modèle ↓</th><th># paramètres</th><th>taux d'apprentissage</th><th>taille du lot</th><th># epoch</th></tr></thead><tbody><tr><td>Whisper large-v3 (Radford et al., 2023)</td><td>1550M</td><td>-</td><td>-</td><td>-</td></tr><tr><td>SeamlessM4T-Large v2 (Barrault et al., 2023)</td><td>2.3B</td><td>-</td><td>-</td><td>-</td></tr><tr><td>Wav2Vec2 (Baevski et al., 2020) + CTC greedy search</td><td>318,7M</td><td>1e-4</td><td>8</td><td>30</td></tr><tr><td>NMT (Ott et al., 2018)</td><td>51M</td><td>5e-4</td><td>8</td><td>40</td></tr><tr><td>mBART25 (Liu et al., 2020)</td><td>610M</td><td>3e-5</td><td>8</td><td>40</td></tr><tr><td>T5-large (Raffel et al., 2020)</td><td>220M</td><td>2e-5</td><td>32</td><td>40</td></tr><tr><td>NLLB-200 (Costa-jussà et al., 2022)</td><td>600M</td><td>2e-5</td><td>32</td><td>40</td></tr><tr><td>ConST (Ye et al., 2022)</td><td>150M</td><td>1e-4</td><td>8</td><td>40</td></tr></tbody></table>

Enfin, nous suivons le pipeline basé sur Fairseq<fnref n="9" /> pour entraîner le modèle ConST. Le modèle pré-entrainé *LeBenchmark/wav2vec2-FR-7K-base* est employé.

<footnote n="4">4. https://github.com/speechbrain/speechbrain/tree/develop/recipes/LibriSpeech/ASR/CTC</footnote>

<footnote n="5">5. https://github.com/facebookresearch/fairseq/blob/main/examples/translation/</footnote>

<footnote n="6">6. https://github.com/facebookresearch/fairseq/tree/main/examples/mbart</footnote>

<footnote n="7">7. https://huggingface.co/docs/transformers/tasks/translation#train</footnote>

<footnote n="8">8. Veuillez vous référer aux recettes citées pour les informations complètes sur les paramètres, ceux-ci n'ont pas été modifiés.</footnote>

<footnote n="9">9. https://github.com/ReneeYe/ConST/tree/main</footnote>
**Résultats** Nous présentons les résultats des trois approches de Reconnaissance Automatique de la Parole dans la Table 3. Notre évaluation rapporte le taux d’erreur au niveau des mots (Woodard & Nelson, 1982; Morris et al., 2004). Pour les deux corpus, l’approche Wav2Vec2.0 obtient les meilleures performances. Sur Propicto-commonvoice, la différence entre les trois modèles est minime (3 points d’écart), contrairement à Propicto-orféo avec 18,9 points séparant Wav2Vec2.0 et Whisper. Une hypothèse plausible pour expliquer ce phénomène pourrait résider dans le type de parole que renferment les corpus. Propicto-orféo est un corpus de parole spontanée contenant des chevauchements entre locuteurs et des disfluences (hésitations, répétitions, faux-départ). Nous supposons que Whisper et SeamlessM4T, ayant été entraînés sur une majorité de parole lue, se généralisent donc mal à des corpus plus complexes.

<table><caption>TABLE 3 – Taux d’erreur au niveau des mots (%) rapportés sur Propicto-commonvoice et Propicto-orféo entre les trois modèles de RAP.</caption><thead><tr><th rowspan="2">Modèle ↓</th><th colspan="2">validation</th><th colspan="2">test</th></tr><tr><th>Propicto-commonvoice</th><th>Propicto-orféo</th><th>Propicto-commonvoice</th><th>Propicto-orféo</th></tr></thead><tbody><tr><td>Whisper large-v3 (Radford et al., 2023)</td><td>-</td><td>-</td><td>14.34</td><td>37.69</td></tr><tr><td>SeamlessM4T-Large v2 (Barrault et al., 2023)</td><td>-</td><td>-</td><td>12.45</td><td>46.50</td></tr><tr><td>Wav2Vec2 + CTC greedy search (Baevski et al., 2020)</td><td>9.14</td><td>23.24</td><td><strong>11.21</strong></td><td><strong>27.56</strong></td></tr></tbody></table>

Les résultats des modèles de traduction texte-à-pictogrammes sont présentés Table 4. Nous rapportons le score BLEU<fnref n="10" /> par modèle et par corpus. Celui-ci est calculé en comparant la séquence de termes prédits par rapport à la séquence de termes "gold" (tgt: "prochain celle-là faire trop approcher", hyp: "celle-là faire non trop approcher"). Nous constatons des scores similaires entre les deux corpus. mBART présente un écart significatif avec les autres modèles (plus de 12 points en moins). De plus, le modèle NMT, approche entraînée à partir de zéro surpasse mBART. Les résultats ne démontrent pas un apport important des modèles pré-entraînés multilingues pour cette tâche de traduction. Nous n’excluons pas que la méthode de segmentation utilisée peut influencer les performances. D’autres techniques sont à explorer.

<table><caption>TABLE 4 – Scores BLEU des quatre modèles de Traduction Automatique par corpus. Les résultats sont présentés sur les données de validation et de test.</caption><thead><tr><th rowspan="2">Modèle ↓</th><th colspan="2">validation</th><th colspan="2">test</th></tr><tr><th>Propicto-commonvoice</th><th>Propicto-orféo</th><th>Propicto-commonvoice</th><th>Propicto-orféo</th></tr></thead><tbody><tr><td>Neural Machine Translation (NMT) (Ott et al., 2018)</td><td>86.06</td><td><strong>87.28</strong></td><td>82.60</td><td><strong>87.43</strong></td></tr><tr><td>mBART25 (Liu et al., 2020)</td><td>72.39</td><td>75.26</td><td>72.31</td><td>75.62</td></tr><tr><td>T5-large (Raffel et al., 2020)</td><td>86.36</td><td>85.21</td><td>86.58</td><td>85.88</td></tr><tr><td>NLLB-200 (Costa-jussà et al., 2022)</td><td><strong>87.41</strong></td><td>86.32</td><td><strong>87.66</strong></td><td>86.92</td></tr></tbody></table>

C’est lors de l’association des systèmes de Reconnaissance Automatique de la Parole et les systèmes de Traduction Automatique (notre approche cascade) que certains modèles se démarquent par rapport aux autres. La Table 5 présente les scores BLEU sur les données test en combinant chaque modèle. Pour Propicto-commonvoice, l’association de SeamlessM4T et NLLB-200 obtient le score BLEU le plus élevé. Quant aux deux autres modèles de RAP avec NLLB-200, leurs scores sont très étroitement alignés, avec une différence de seulement 0,75. Nous expliquons cette similarité dans les

<footnote n="10">10. Les modèles sont évalués avec sacreBLEU (Post, 2018).</footnote>
scores par le fait qu'il y a un écart non significatif entre les performances des systèmes de RAP. Les performances de Propicto-orféo subissent une baisse significative lorsque le système de traduction utilise les transcriptions prédites par le système de RAP en entrée. Précisément, nous observons une diminution de plus de 24 points du score BLEU, pour atteindre un score de 62,48 avec l'association de Wav2Vec2.0 et NLLB-200. Le système de RAP impacte fortement les performances de la traduction en pictogrammes. De plus, bien que le modèle NMT soit le plus performant en TA, c'est NLLB-200 et T5-large avec Wav2Vec2.0 qui obtiennent les meilleurs scores BLEU dans notre approche cascade. Nous supposons que les modèles pré-entraînés massivement multilingues sont plus robustes lorsqu'ils sont confrontés à des termes déformés par le système de RAP.

<table><caption>TABLE 5 – Scores BLEU sur les données test obtenus en combinant chaque modèle de RAP avec les modèles de TA.</caption><thead><tr><th rowspan="2">Modèle RAP ↓</th><th rowspan="2">Modèle TA ↓</th><th colspan="2">test</th></tr><tr><th>Propicto-commonvoice</th><th>Propicto-orféo</th></tr></thead><tbody><tr><td rowspan="4">Whisper large-v3</td><td>NMT</td><td>73.72</td><td>58.07</td></tr><tr><td>mBART25</td><td>67.02</td><td>52.05</td></tr><tr><td>T5-large</td><td>78.67</td><td>57.80</td></tr><tr><td>NLLB-200</td><td><strong>79.49</strong></td><td>58.82</td></tr><tr><td rowspan="4">SeamlessM4T-Large v2</td><td>NMT</td><td>73.72</td><td>52.38</td></tr><tr><td>mBART25</td><td>67.61</td><td>48.71</td></tr><tr><td>T5-large</td><td>79.45</td><td>53.96</td></tr><tr><td>NLLB-200</td><td><strong>80.15</strong></td><td>54.86</td></tr><tr><td rowspan="4">Wav2Vec2 + CTC greedy search</td><td>NMT</td><td>73.45</td><td>61.37</td></tr><tr><td>mBART25</td><td>67.02</td><td>55.49</td></tr><tr><td>T5-large</td><td>78.55</td><td><strong>61.66</strong></td></tr><tr><td>NLLB-200</td><td><strong>79.49</strong></td><td><strong>62.48</strong></td></tr></tbody></table>

Nous concluons nos expériences en présentant le score BLEU Table 6 du modèle de traduction de la parole de bout-en-bout ConST. Les résultats indiquent des performances inférieures à celles d'une approche en cascade. Cependant, nous observons des résultats compétitifs, voire meilleurs par rapport à certaines associations de modèles RAP et TA. D'autres architectures restent à explorer dans des travaux futurs.

<table><caption>TABLE 6 – Scores BLEU obtenus sur les données de validation et test par corpus du modèle de traduction de la parole de bout-en-bout ConST.</caption><thead><tr><th rowspan="2">Modèle ↓</th><th colspan="2">validation</th><th colspan="2">test</th></tr><tr><th>Propicto-commonvoice</th><th>Propicto-orféo</th><th>Propicto-commonvoice</th><th>Propicto-orféo</th></tr></thead><tbody><tr><td>ConST (Ye et al., 2022)</td><td>73.13</td><td>62.21</td><td>71.65</td><td>60.21</td></tr></tbody></table>

Le score BLEU n'offre pas d'informations précises sur les comportements spécifiques de chaque approche dans le contexte d'une traduction en pictogrammes. À cette fin, nous conduisons une évaluation humaine.
# 6 Évaluation humaine

Nous menons une évaluation humaine sur les deux modèles ayant obtenu le score BLEU le plus élevé pour chaque corpus. Nous adaptons un cadre analytique de conseils et de procédures pour mesurer la qualité d'une traduction, défini par Burchardt (2013), MQM<fnref n="11" />. Cette évaluation permet de déterminer si la traduction proposée répond aux spécifications convenues par les parties prenantes. L'évaluation analytique associe les erreurs à des mots et à des phrases spécifiques du texte (source et/ou cible). Le rôle de l'évaluateur est d'examiner le texte traduit par rapport au texte source et aux spécifications, puis d'annoter les erreurs conformément à la métrique (c'est-à-dire identifier, marquer et attribuer un type d'erreur et un niveau de gravité).

En analysant de façon globale les traductions proposées par les différents systèmes, nous sélectionnons 12 erreurs réparties en 4 catégories :

- **Précision** — ajout, omission, erreur de traduction, sur-traduction, sous-traduction,

- **Fluidité** — inintelligible, ambigu, cohésion, ordre des mots, offensif,

- **Vérité** — exhaustivité (le texte source est-il en adéquation avec le public cible ?),

- **Design** — longueur (écart important entre la longueur du texte source et celle du texte cible).

À chaque erreur est associé un niveau de gravité :

- *neutre*,

- *mineur* (aucune incidence sur la facilité d'utilisation ou la compréhensibilité du contenu),

- *majeur* (incidence sur la facilité d'utilisation sans pour autant rendre la traduction inutilisable),

- *critique* (traduction inutilisable, ce qui entraîne des dommages aux personnes, au matériel ou à la réputation d'une organisation si celles-ci ne sont pas corrigées).

Deux annotateurs experts du projet ont annoté 100 phrases sélectionnées aléatoirement parmi les données tests de Propicto-orféo et Propicto-commonvoice. Nous présentons Table 7 le Score de Qualité Globale par modèle. Celui-ci est calculé en multipliant la note de pénalité (qui résulte de l'association du nombre d'erreurs par catégorie et le niveau de gravité auquel est associé un poids - neutre : 0, mineur : 1, majeur : 5, critique : 25) par la valeur maximale (généralement 100). Le système de traduction ne peut être validé si le Score de Qualité Globale (SQG) est inférieur à la valeur de seuil. Le SQG est calculé en divisant le nombre total de pénalités (nombre d'erreurs multiplié par le poids du niveau de gravité associé à chacune) avec le nombre total de termes évalués. Par les différentes observations, les parties prenantes ont défini la limite de compréhension et d'utilisation d'une traduction à deux erreurs majeures et une erreur mineure, ce qui équivaut à une valeur de seuil de 89 (100 - ((2 * 5) + (1 * 1))).

<table><caption>TABLE 7 – Score de qualité globale calculé sur 100 phrases annotées pour les deux meilleurs modèles par corpus.</caption><thead><tr><th>Modèle ↓</th><th></th><th>Score de Qualité Globale</th></tr></thead><tbody><tr><td rowspan="2">Propicto-orféo</td><td>Wav2Vec2 + CTC / T5-large</td><td>45.78</td></tr><tr><td>Wav2Vec2 + CTC / NLLB-200</td><td>44.56</td></tr><tr><td rowspan="2">Propicto-commonvoice</td><td>Wav2Vec2 + CTC / NLLB-200</td><td>80.65</td></tr><tr><td>SeamlessM4T-Large v2 / NLLB-200</td><td>81.96</td></tr><tr><td rowspan="2">Propicto-eval</td><td>Whisper large-v3 / T5-large</td><td>87.78</td></tr><tr><td>Whisper large-v3 / NLLB-200</td><td><strong>90.01</strong></td></tr></tbody></table>

<footnote n="11">11. https://themqm.org/</footnote>
Les systèmes de traduction sur Propicto-orféo et Propicto-commonvoice n'ont pas atteint un score supérieur au seuil, rejetant ainsi leur utilisation auprès d'un public cible. Ce score s'explique par certains comportements observés par les annotateurs :

- la traduction des entités nommées est inexacte, par exemple une ville sera traduite par un pictogramme représentant une personne et inversement,

- les termes polylexicaux sont découpés en *n* pictogrammes au lieu d'un, par exemple "canne à pêche",

- certains homonymes sont incorrects ("avocat" pour le fruit au lieu du métier), ce problème découle des données utilisées,

- certains termes ne sont pas traduits, majoritairement dû aux erreurs générées par les systèmes de RAP,

- les chiffres sont découpés en plusieurs pictogrammes (800 traduit par 8 et 100).

<figure><img src="image_21.png" /></figure>

Nous réalisons une dernière évaluation sur l'ensemble test Propicto-eval. En appliquant les différentes approches, c'est l'association de Whisper avec T5-large (score BLEU de 77,23) et Whisper avec NLLB-200 (score BLEU de 74,97) qui obtiennent les meilleures performances. L'évaluation humaine conduite valide l'utilisabilité de notre approche avec Whisper et NLLB-200 sur un corpus de parole lue et représentant des situations de la vie quotidienne, car le Score de qualité globale est supérieur à 89. Notre approche reste donc restreinte à ce cadre particulier. Elle n'est pas robuste à des situations acoustiques dites difficiles et à des domaines spécifiques (ce qu'on retrouve dans Propicto-orféo et Propicto-commonvoice). Des pistes de recherche pourraient porter sur l'amélioration de la gestion des termes non traduits et mal traduits. Nous pourrions également tester de nouvelles approches de bout-en-bout et des méthodes pour faire émerger des pictogrammes générés par des systèmes génératifs. Enfin, comparer les sorties entre modèles permettrait d'identifier leurs avantages et inconvénients respectifs.

# 7 Conclusion

Dans cet article, nous introduisons deux approches pour traduire automatiquement la parole en pictogrammes. Nous présentons des données spécifiquement créées pour cette tâche, couvrant divers situations acoustiques et divers domaines. Bien que l'approche cascade présente des résultats légèrement supérieurs à l'approche de bout-en-bout sur chaque ensemble de données étudié, nous notons des résultats compétitifs avec cette dernière. Nous n'excluons donc pas cette approche pour des travaux futurs. L'évaluation humaine révèle plusieurs limitations, notamment l'impact significatif des systèmes de reconnaissance vocale sur la traduction, ainsi que la difficulté à traduire certains phénomènes linguistiques tels que les unités polylexicales et les entités nommées. Cette nouvelle tâche Parole-à-Pictos est proposée dans le cadre de la campagne d'évaluation ImageCLEF (Ionescu et al., 2024), intégrée à la conférence CLEF (Conference and Labs of the Evaluation Forum) 2024.
# Remerciements

Ce travail a bénéficié d'un financement de l'Agence Nationale de la Recherche, via le projet PRO-PICTO (ANR-20-CE93-0005). Ces travaux ont bénéficié d'un accès aux moyens de calcul de l'IDRIS au travers de l'allocation de ressources 2023-AD011013625R1 attribuée par GENCI. Ces travaux ont nécessité l'utilisation de 1 400 heures de GPUs V100, ce qui équivaut à 33 kg de CO₂. Les données utilisées sont libres de droit.

# Références

ARDILA R., BRANSON M., DAVIS K., KOHLER M., MEYER J., HENRETTY M., MORAIS R., SAUNDERS L., TYERS F. & WEBER G. (2020). Common voice : A massively-multilingual speech corpus. In N. CALZOLARI, F. BÉCHET, P. BLACHE, K. CHOUKRI, C. CIERI, T. DECLERCK, S. GOGGI, H. ISAHARA, B. MAEGAARD, J. MARIANI, H. MAZO, A. MORENO, J. ODIJK & S. PIPERIDIS, Éds., *Proceedings of the Twelfth Language Resources and Evaluation Conference*, p. 4218–4222, Marseille, France : European Language Resources Association.

ARTETXE M. & SCHWENK H. (2019). Massively multilingual sentence embeddings for zero-shot cross-lingual transfer and beyond. *Transactions of the Association for Computational Linguistics*, 7, 597–610. DOI: 10.1162/tacl_a_00288.

BAEVSKI A., ZHOU Y., MOHAMED A. & AULI M. (2020). wav2vec 2.0 : A framework for self-supervised learning of speech representations. *Advances in neural information processing systems*, 33, 12449–12460.

BARRAULT L., CHUNG Y.-A., MEGLIOLI M. C., DALE D., DONG N., DUPPENTHALER M., DUQUENNE P.-A., ELLIS B., ELSAHAR H., HAAHEIM J. et al. (2023). Seamless : Multilingual expressive and streaming speech translation. *arXiv preprint arXiv:2312.05187*.

BAUDE O. & DUGUA C. (2017). Les ESLO, du portrait sonore au paysage digital. *Corpus*. HAL : halshs-01679544.

BENZITOUN C., DEBAISIEUX J.-M. & DEULOFEU H.-J. (2016). Le projet orféo : un corpus d'étude pour le français contemporain. *Corpus*, (15).

BEUKELMAN D. R. & MIRENDA P. (2017). *Communication alternative et améliorée : Aider les enfants et les adultes avec des difficultés de communication*. De Boeck Superieur.

BURCHARDT A. (2013). Multidimensional quality metrics : a flexible system for assessing translation quality. In *Proceedings of Translating and the Computer 35*, London, UK : Aslib.

CATAIX-NÈGRE E. (2017). *Communiquer autrement : Accompagner les personnes avec des troubles de la parole ou du langage*. De Boeck Superieur.

CONNEAU A., KHANDELWAL K., GOYAL N., CHAUDHARY V., WENZEK G., GUZMÁN F., GRAVE E., OTT M., ZETTLEMOYER L. & STOYANOV V. (2020). Unsupervised cross-lingual representation learning at scale. In D. JURAFSKY, J. CHAI, N. SCHLUTER & J. TETREAULT, Éds., *Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics*, p. 8440–8451, Online : Association for Computational Linguistics. DOI: 10.18653/v1/2020.acl-main.747.

COSTA-JUSSÀ M. R., CROSS J., ÇELEBI O., ELBAYAD M., HEAFIELD K., HEFFERNAN K., KALBASSI E., LAM J., LICHT D., MAILLARD J. et al. (2022). No language left behind : Scaling human-centered machine translation. *arXiv preprint arXiv:2207.04672*.
CROIX-ROUGE (2021). Communiquons autrement : Déploiement de la communication alternative améliorée dans les établissements handicap de la croix-rouge française.

DEVLIN J., CHANG M.-W., LEE K. & TOUTANOVA K. (2019). BERT : Pre-training of deep bidirectional transformers for language understanding. In J. BURSTEIN, C. DORAN & T. SOLORIO, Éds., *Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics : Human Language Technologies, Volume 1 (Long and Short Papers)*, p. 4171–4186, Minneapolis, Minnesota : Association for Computational Linguistics. DOI : 10.18653/v1/N19-1423.

DI GANGI M. A., CATTONI R., BENTIVOGLI L., NEGRI M. & TURCHI M. (2019). MuST-C : a Multilingual Speech Translation Corpus. In J. BURSTEIN, C. DORAN & T. SOLORIO, Éds., *Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics : Human Language Technologies, Volume 1 (Long and Short Papers)*, p. 2012–2017, Minneapolis, Minnesota : Association for Computational Linguistics. DOI : 10.18653/v1/N19-1202.

DUQUENNE P.-A., SCHWENK H. & SAGOT B. (2023). Sonar : sentence-level multimodal and language-agnostic representations. *arXiv e-prints*.

EVAIN S., NGUYEN H., LE H., ZANON BOITO M., MDHAFFAR S., ALISAMIR S., TONG Z., TOMASHENKO N., DINARELLI M., PARCOLLET T., ALLAUZEN A., ESTÈVE Y., LECOUTEUX B., PORTET F., ROSSATO S., RINGEVAL F., SCHWAB D. & BESACIER L. (2021). LeBenchmark : A Reproducible Framework for Assessing Self-Supervised Representation Learning from Speech. In *INTERSPEECH 2021 : Conference of the International Speech Communication Association*, Brno, Czech Republic. HAL : hal-03317730.

FAN A., BHOSALE S., SCHWENK H., MA Z., EL-KISHKY A., GOYAL S., BAINES M., CELEBI O., WENZEK G., CHAUDHARY V. *et al.* (2021). Beyond english-centric multilingual machine translation. *Journal of Machine Learning Research*, **22**(107), 1–48.

FENG F., YANG Y., CER D., ARIVAZHAGAN N. & WANG W. (2022). Language-agnostic BERT sentence embedding. In S. MURESAN, P. NAKOV & A. VILLAVICENCIO, Éds., *Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers)*, p. 878–891, Dublin, Ireland : Association for Computational Linguistics. DOI : 10.18653/v1/2022.acl-long.62.

IONESCU B., MÜLLER H., DRĂGULINESCU A. M., IDRISSI-YAGHIR A., RADZHABOV A., HERRERA A. G. S. D., ANDREI A., STAN A., STORÅS A. M., ABACHA A. B., LECOUTEUX B., STEIN B., MACAIRE C., FRIEDRICH C. M., SCHMIDT C. S., SCHWAB D., ESPERANÇA-RODIER E., IOANNIDIS G., ADAMS G., SCHÄFER H., MANGUINHAS H., COMAN I., SCHÖLER J., KIESEL J., RÜCKERT J., BLOCH L., POTTHAST M., HEINRICH M., YETISGEN M., RIEGLER M. A., SNIDER N., HALVORSEN P., BRÜNGEL R., HICKS S. A., THAMBAWITA V., KOVALEV V., PROKOPCHUK Y. & YIM W.-W. (2024). Advancing multimedia retrieval in medical, social media and content recommendation applications with imageclef 2024. In N. GOHARIAN, N. TONELLOTTO, Y. HE, A. LIPANI, G. MCDONALD, C. MACDONALD & I. OUNIS, Éds., *Advances in Information Retrieval*, p. 44–52, Cham : Springer Nature Switzerland.

LEWIS M., LIU Y., GOYAL N., GHAZVININEJAD M., MOHAMED A., LEVY O., STOYANOV V. & ZETTLEMOYER L. (2020). BART : Denoising sequence-to-sequence pre-training for natural language generation, translation, and comprehension. In D. JURAFSKY, J. CHAI, N. SCHLUTER & J. TETREAULT, Éds., *Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics*, p. 7871–7880, Online : Association for Computational Linguistics. DOI : 10.18653/v1/2020.acl-main.703.
LIU Y., GU J., GOYAL N., LI X., EDUNOV S., GHAZVININEJAD M., LEWIS M. & ZETTLEMOYER L. (2020). Multilingual denoising pre-training for neural machine translation. *Transactions of the Association for Computational Linguistics*, **8**, 726-742. DOI: 10.1162/tacl_a_00343.

MACAIRE C., DION C., ARRIGO J., LEMAIRE C., ESPERANÇA-RODIER E., LECOUTEUX B. & SCHWAB D. (2024). A multimodal french corpus of aligned speech, text, and pictogram sequences for speech-to-pictogram machine translation. In *LREC*.

MACAIRE C., ESPERANÇA-RODIER E., LECOUTEUX B. & SCHWAB D. (2023). Voice2Picto : un système de traduction automatique de la parole vers des pictogrammes. In C. SERVAN & A. VILNAT, Éds., *Actes de CORIA-TALN 2023. Actes de la 30e Conférence sur le Traitement Automatique des Langues Naturelles (TALN)*, volume 5 : démonstrations, p. 10–13, Paris, France : ATALA.

MACAIRE C., ORMAECHEA-GRIJALBA L. & PUPIER A. (2022). Une chaîne de traitements pour la simplification automatique de la parole et sa traduction automatique vers des pictogrammes (simplification and automatic translation of speech into pictograms). In Y. ESTÈVE, T. JIMÉNEZ, T. PARCOLLET & M. ZANON BOITO, Éds., *Actes de la 29e Conférence sur le Traitement Automatique des Langues Naturelles. Volume 2 : 24e Rencontres Etudiants Chercheurs en Informatique pour le TAL (RECITAL)*, p. 111–123, Avignon, France : ATALA.

MORRIS A., MAIER V. & GREEN P. (2004). From wer and ril to mer and wil : improved evaluation measures for connected speech recognition.

NORRÉ M., VANDEGHINSTE V., BOUILLON P. & FRANÇOIS T. (2021). Extending a text-to-pictograph system to French and to arasaac. In *Proceedings of the International Conference on Recent Advances in Natural Language Processing (RANLP 2021)*, p. 1050–1059, Held Online : INCOMA Ltd.

OTT M., EDUNOV S., BAEVSKI A., FAN A., GROSS S., NG N., GRANGIER D. & AULI M. (2019). fairseq : A fast, extensible toolkit for sequence modeling. In *Proceedings of NAACL-HLT 2019 : Demonstrations*.

OTT M., EDUNOV S., GRANGIER D. & AULI M. (2018). Scaling neural machine translation. In O. BOJAR, R. CHATTERJEE, C. FEDERMANN, M. FISHEL, Y. GRAHAM, B. HADDOW, M. HUCK, A. J. YEPES, P. KOEHN, C. MONZ, M. NEGRI, A. NÉVÉOL, M. NEVES, M. POST, L. SPECIA, M. TURCHI & K. VERSPOOR, Éds., *Proceedings of the Third Conference on Machine Translation : Research Papers*, p. 1–9, Brussels, Belgium : Association for Computational Linguistics. DOI : 10.18653/v1/W18-6301.

PEREIRA J., NOGUEIRA R., ZANCHETTIN C. & FIDALGO R. (2023). Predictive authoring for brazilian portuguese augmentative and alternative communication. *arXiv preprint arXiv : 2308.09497*.

PEREIRA J. A., DE MEDEIROS S., ZANCHETTIN C. & FIDALGO R. D. N. (2022a). Pictogram prediction in alternative communication boards : a mapping study. In *Anais do XXXIII Simpósio Brasileiro de Informática na Educação*, p. 705–717 : SBC.

PEREIRA J. A., MACÊDO D., ZANCHETTIN C., DE OLIVEIRA A. L. I. & DO NASCIMENTO FIDALGO R. (2022b). Pictobert : Transformers for next pictogram prediction. *Expert Systems with Applications*, **202**, 117231.

POST M. (2018). A call for clarity in reporting BLEU scores. In *Proceedings of the Third Conference on Machine Translation : Research Papers*, p. 186–191, Belgium, Brussels : Association for Computational Linguistics.

RADFORD A., KIM J. W., XU T., BROCKMAN G., MCLEAVEY C. & SUTSKEVER I. (2023). Robust speech recognition via large-scale weak supervision. In *International Conference on Machine Learning*, p. 28492–28518 : PMLR.
RAFFEL C., SHAZEER N., ROBERTS A., LEE K., NARANG S., MATENA M., ZHOU Y., LI W. & LIU P. J. (2020). Exploring the limits of transfer learning with a unified text-to-text transformer. *Journal of Machine Learning Research*, **21**(140), 1–67.

RAVANELLI M., PARCOLLET T., PLANTINGA P., ROUHE A., CORNELL S., LUGOSCH L., SUBAKAN C., DAWALATABAD N., HEBA A., ZHONG J., CHOU J.-C., YEH S.-L., FU S.-W., LIAO C.-F., RASTORGUEVA E., GRONDIN F., ARIS W., NA H., GAO Y., MORI R. D. & BENGIO Y. (2021). SpeechBrain: A general-purpose speech toolkit. arXiv:2106.04624.

SEVENS L. (2018). *Words divide, pictographs unite: Pictograph communication technologies for people with an intellectual disability*. Netherlands Graduate School of Linguistics.

SEVENS L., VANDEGHINSTE V., SCHUURMAN I. & VAN EYNDE F. (2015). Extending a Dutch text-to-pictograph converter to English and Spanish. In J. ALEXANDERSSON, E. ALTINSOY, H. CHRISTENSEN, P. LJUNGLÖF, F. PORTET & F. RUDZICZ, Éds., *Proceedings of SLPAT 2015: 6th Workshop on Speech and Language Processing for Assistive Technologies*, p. 110–117, Dresden, Germany: Association for Computational Linguistics. DOI: 10.18653/v1/W15-5119.

VANDEGHINSTE V., SEVENS I. S. L. & VAN EYNDE F. (2017). Translating text into pictographs. *Natural Language Engineering*, **23**(2), 217–244.

VASCHALDE C., TRIAL P., ESPERANÇA-RODIER E., SCHWAB D. & LECOUTEUX B. (2018). Automatic pictogram generation from speech to help the implementation of a mediated communication. In *Conference on Barrier-free Communication*.

VASWANI A., SHAZEER N., PARMAR N., USZKOREIT J., JONES L., GOMEZ A. N., KAISER L. U. & POLOSKHIN I. (2017). Attention is all you need. In I. GUYON, U. V. LUXBURG, S. BENGIO, H. WALLACH, R. FERGUS, S. VISHWANATHAN & R. GARNETT, Éds., *Advances in Neural Information Processing Systems*, volume 30: Curran Associates, Inc.

WANG C., TANG Y., MA X., WU A., OKHONKO D. & PINO J. (2020). Fairseq S2T: Fast speech-to-text modeling with fairseq. In D. WONG & D. KIELA, Éds., *Proceedings of the 1st Conference of the Asia-Pacific Chapter of the Association for Computational Linguistics and the 10th International Joint Conference on Natural Language Processing: System Demonstrations*, p. 33–39, Suzhou, China: Association for Computational Linguistics.

WOLF T., DEBUT L., SANH V., CHAUMOND J., DELANGUE C., MOI A., CISTAC P., RAULT T., LOUF R., FUNTOWICZ M., DAVISON J., SHLEIFER S., VON PLATEN P., MA C., JERNITE Y., PLU J., XU C., LE SCAO T., GUGGER S., DRAME M., LHOEST Q. & RUSH A. (2020). Transformers: State-of-the-art natural language processing. In Q. LIU & D. SCHLANGEN, Éds., *Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing: System Demonstrations*, p. 38–45, Online: Association for Computational Linguistics. DOI: 10.18653/v1/2020.emnlp-demos.6.

WOODARD J. & NELSON J. (1982). An information theoretic measure of speech recognition performance.

YE R., WANG M. & LI L. (2021). End-to-End Speech Translation via Cross-Modal Progressive Training. In *Proc. Interspeech 2021*, p. 2267–2271. DOI: 10.21437/Interspeech.2021-1065.

YE R., WANG M. & LI L. (2022). Cross-modal contrastive learning for speech translation. In M. CARPUAT, M.-C. DE MARNEFFE & I. V. MEZA RUIZ, Éds., *Proceedings of the 2022 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies*, p. 5099–5113, Seattle, United States: Association for Computational Linguistics. DOI: 10.18653/v1/2022.nacl-main.376.
# Au-delà de la performance des modèles : la prédiction de liens peut-elle enrichir des graphes lexico-sémantiques du français ?

Hee-Soo Choi¹, ² Priyansh Trivedi⁴

Mathieu Constant¹ Karën Fort², ³ Bruno Guillaume²

(1) ATILF, CNRS, Université de Lorraine, 54000 Nancy, France

(2) LORIA, Université de Lorraine, 54506 Vandoeuvre-lès-Nancy, France

(3) Sorbonne Université, 75006 Paris, France, (4) Chercheur indépendant

hee-soo.choi@loria.fr, mail@priyansh.page,

mathieu Suitu@atilf.fr, karen.fort@loria.fr, bruno.guillaume@loria.fr

## RÉSUMÉ

Cet article présente une étude sur l'utilisation de modèles de prédiction de liens pour l'enrichissement de graphes lexico-sémantiques du français. Celle-ci porte sur deux graphes, RezoJDM16k et RL-fr et sept modèles de prédiction de liens. Nous avons étudié les prédictions du modèle le plus performant, afin d'extraire de potentiels nouveaux triplets en utilisant un score de confiance que nous avons évalué avec des annotations manuelles. Nos résultats mettent en évidence des avantages différents pour le graphe dense RezoJDM16k par rapport à RL-fr, plus clairsemé. Si l'ajout de nouveaux triplets à RezoJDM16k offre des avantages limités, RL-fr peut bénéficier substantiellement de notre approche.

## ABSTRACT

**Beyond Model Performance : Can Link Prediction Enrich French Lexical Graphs ?**

This paper presents a resource-centric study of link prediction approaches over French lexical-semantic graphs. Our study incorporates two graphs, RezoJDM16k and RL-fr and seven link prediction models. We studied the predictions of the best-performing model to extract potential new triples based on a confidence score that we evaluated with manual annotations. Our findings highlight different benefits for the dense graph RezoJDM16k compared to the sparser graph RL-fr. While the addition of new triples to RezoJDM16k offers limited advantages, RL-fr can benefit substantially from our approach.

**MOTS-CLÉS** : graphes lexicaux, ressources du français, prédiction de liens, complétion de graphes.

**KEYWORDS**: lexical graphs, French resources, link prediction, graph completion.

## 1 Introduction

Les ressources lexicales ont longtemps été essentielles pour le développement des systèmes de Traitement Automatique des Langues (TAL). Malgré les récentes avancées de l'apprentissage non supervisé et des modèles de langue, ces ressources et plus spécifiquement les graphes de connaissances ou lexico-sémantiques restent des sources de connaissances linguistiques permettant l'amélioration des systèmes dans la résolution de tâches de TAL (Hwang et al., 2021; d'Amato et al., 2023). En outre, ces objets décrivant la langue sont également importants dans des domaines tels que la linguistique

<figure><img src="image_22.png" /></figure>
ou l'enseignement des langues. Dans cet article, nous nous intéressons à l'utilisation de modèles de
prédiction de liens pour enrichir des graphes lexico-sémantiques du français. Plus précisément, nous
cherchons ici à améliorer la complétude du Réseau Lexical du français, RL-fr (Lux-Pogodalla &
Polguère, 2011), un graphe lexico-sémantique relativement peu dense créé manuellement par des
lexicographes. Pour mieux comparer l'efficacité de notre approche, nous avons également appliqué
nos expériences sur RezoJDM16k (Mirzapour et al., 2022), un graphe lexico-sémantique très dense.
Les principales contributions de l'article sont les suivantes : i) nous avons évalué les performances de
sept modèles de prédictions de liens sur deux graphes lexico-sémantiques du français, dont un modèle
présentant des résultats état-de-l'art, ii) nous avons ajouté un score de confiance sur les prédictions
générées par le modèle CompGCN-ConvE pour extraire de potentiels nouveaux triplets et iii) nous
avons analysé qualitativement ces prédictions à partir d'annotations manuelles. Notre expérience
produit des résultats encourageants et ouvre une voie nouvelle vers l'enrichissement semi-automatique
des ressources lexico-sémantiques.

## 2 Tâche de prédiction de liens

Les graphes de connaissances sont généralement incomplets en raison de l'impossibilité de décrire le monde ou la langue de manière exhaustive. La tâche de prédiction de liens consiste alors à prédire des triplets manquants dans un graphe. Il existe deux variantes principales de cette tâche : la prédiction transductive et la prédiction inductive. Dans la prédiction transductive, l'entraînement et l'inférence se font sur le même graphe. Inversement, dans la prédiction inductive, l'inférence peut avoir lieu sur un graphe différent et l'échantillon de test peut inclure des nœuds inconnus (Galkin et al., 2022). Dans cet article, nous nous concentrons uniquement sur la prédiction transductive. Les graphes de connaissances peuvent être décrits comme un ensemble de triplets, désignés par (h, r, t) pour *head* (tête), *relation* et *tail* (queue). Étant donné des triplets incomplets tels que (h, r, ?) ou (?, r, t), le modèle doit prédire l'entité manquante. Pour ce faire, les modèles neuronaux sont entraînés à donner un meilleur score aux triplets positifs qu'aux triplets négatifs créés *negative sampling* (Bordes et al., 2013), technique consistant à corrompre les triplets positifs en remplaçant l'entité de tête ou de queue par une autre entité choisie au hasard. Les scores sont calculés à l'aide d'une fonction score, qui dépend du type de modèle. Dans cette section, nous donnons un aperçu général de certains de ces types. Nous renvoyons les lecteurs intéressés à l'étude complète de Chen et al. (2020) pour une compréhension approfondie des approches neuronales de prédiction de liens.

**Modèles translationnels** Ces modèles utilisent la distance entre les plongements de nœuds et de relations comme fonction de score. TransE (Bordes et al., 2013) utilise la distance euclidienne, les modèles suivants comme TransH (Wang et al., 2014), TransR (Lin et al., 2015) et TransD (Ji et al., 2015) offrant diverses extensions. D'autres, comme RotatE (Sun et al., 2019), utilisent des espaces vectoriels complexes pour représenter les entités et définissent les relations comme des rotations entre elles. Cela permet de modéliser des modèles de relations plus complexes comme la symétrie/asymétrie, les inversions et les compositions.

**Modèles semantic-matching** Ces modèles utilisent une fonction de score dérivée de la similarité sémantique pour découvrir les connexions sémantiques potentielles entre les entités et les relations. Parmi les exemples notables, nous pouvons citer RESCAL (Nickel et al., 2011), qui capture les interactions par paire entre les entités, DistMult (Yang et al., 2015) qui réduit la charge de calcul mais est limité aux relations symétriques et ComplEx (Trouillon et al., 2016), qui introduit des plongements basés sur un espace vectoriel complexe pour une capacité de modélisation plus large.
**Architectures neuronales profondes** Les approches présentées ci-dessus se limitent à l'utilisation d'opérations mathématiques simples, telles que le produit scalaire ou les multiplications de matrices sur les plongements d'entités et de relations. Par conséquent, leur capacité de modélisation ne peut être augmentée qu'en modifiant les dimensions des plongements. L'application des réseaux neuronaux profonds à ces graphes peut être une alternative pour pallier ces limitations. Non triviale, elle a été sous-explorée jusqu'aux deux développements suivants. Premièrement, Dettmers et al. (2018) ont proposé ConVE qui applique des couches de convolution sur l'espace d'intégration latent pour modéliser les interactions entité-relation et utilise une couche dense pour calculer le score. Parallèlement, les réseaux de convolution de graphes (GCN), proposés dans Kipf & Welling (2017), ont permis de propager les informations de différents nœuds à travers les chemins du graphe, ce qui a conduit à des représentations d'entités et de relations tenant compte du voisinage. Des modèles comme R-GCN (Schlichtkrull et al., 2018) et CompGCN (Vashishth et al., 2020) proposent d'autres modifications pour gérer les graphes multi-relationnels. Toutefois, les GCN eux-mêmes ne résolvent pas la tâche de prédiction des liens, mais fournissent des moyens plus riches d'encoder le graphe.

**Métriques** Inspirées de la recherche d'information (RI), les métriques traditionnelles pour la tâche de prédiction de liens sont basées sur le classement des scores des prédictions correctes parmi toutes les prédictions générées :

- **Mean Rank (MR)** : étant donné un ensemble de triplets classés par leur score de prédiction, le MR calcule le rang moyen des triplets corrects. Un MR faible signifie une meilleure performance.

- **Mean Reciprocal Rank (MRR)** : MRR est la moyenne des inverses des rangs des triplets corrects. Un MRR élevé indique une meilleure performance.

- **Hits@k** : cette mesure calcule la proportion de triplets corrects apparaissant dans le top *k* de la liste classée des triplets prédits. Une valeur Hits@k plus élevée indique une précision de prédiction supérieure pour les triplets les plus importants.

# 3 État de l'art

Si la tâche de complétion des graphes lexico-sémantiques reste sous-explorée, il existe une vaste littérature sur l'enrichissement des graphes lexicaux. De manière générale, ces approches visent à accroître la couverture de la ressource, c'est-à-dire à ajouter de nouveaux nœuds au graphe, en s'appuyant sur des ressources externes. L'une des premières approches se base sur les co-occurrences statistiques pour amorcer les graphes lexico-sémantiques existants (Biemann et al., 2004). Ces approches, ainsi que d'autres antérieures (Riloff & Shepherd, 1997), nécessitaient toutefois une intervention manuelle importante en raison de la faible qualité des prédictions. L'une des avancées majeures dans ce domaine a été la création de la ressource multilingue BabelNet (Navigli & Ponzetto, 2012), qui a étendu WordNet (Miller, 1995) en croisant les sens des mots avec les articles de Wikipedia. Des modèles de traductions automatiques ainsi que d'autres approches (Oliver & Climent, 2012; Lam et al., 2014) ont également été utilisées à des degrés divers. Les progrès de la levée d'ambiguïté lexicales et l'existence de corpus ou de dictionnaires parallèles ont également permis d'enrichir les Wordnets d'autres langues à partir de l'anglais (Taghizadeh & Faili, 2016; Arcan et al., 2016). En outre, les approches visant à optimiser la compléture de ces graphes adoptent rarement une perspective centrée sur les ressources. En effet, bien qu'il existe de nombreux travaux utilisant des modèles transductifs de prédiction de liens sur ces graphes, très peu d'entre eux ont conduit à des ajouts concrets à ladite ressource, à l'exception des travaux de Fellbaum (1998) sur l'ajout de liens entre les nœuds de WordNet par extraction de motifs (pattern mining) à partir de corpus.
Il est également important de souligner que ce domaine a un biais important en faveur des ressources de l'anglais, comme le montre l'utilisation de jeux de données de référence tels que WN18RR (Dettmers et al., 2018) et FB15K-237 (Toutanova & Chen, 2015). Si la plupart des techniques sont en théorie transférables à n'importe quel graphe, très peu d'efforts empiriques ont été faits. Pour les ressources du français, Mirzapour et al. (2022) ont étudié l'efficacité des modèles de prédiction de liens sur un graphe lexico-sémantique, mais se concentrent davantage sur la création du jeu de données et l'évaluation des modèles plutôt que sur l'enrichissement de la ressource.

# 4 Graphes lexico-sémantiques du français

**RezoJDM et RezoJDM16k** RezoJDM (Lafourcade & Joubert, 2008; Lafourcade & Le Brun, 2020) est un réseau lexico-sémantique du français développé via des jeux ayant un but, des approches contributives et des mécanismes d'inférence. La plateforme JeuxDeMots<fnref n="1" /> propose des jeux permettant de développer le réseau en ajoutant de nouvelles entrées et de vérifier des informations du réseau. Le jeu principal invite les joueurs à saisir des termes dans un délai imparti selon un terme et un type de relation donnés. L'utilisation des jeux ayant un but a ainsi permis de créer un graphe dirigé très dense, puisqu'il comprend actuellement plus de 537 millions de relations et six millions de nœuds<fnref n="2" />. Dans RezoJDM, les nœuds représentent principalement des termes (type n_term) mais contiennent aussi des informations telles que des étiquettes de partie du discours (type n_pos) ou des formes fléchies (n_form). Les relations sont divisées en trois catégories : lexicales (synonymie, antonymie...), ontologiques (hyperonymie, méronymie...) et prédicatives (agent, conséquences...). Les nœuds et les relations ont la particularité de présenter des poids en fonction de la dynamique du jeu. Pour les relations, un poids positif code une relation vraie et un poids négatif code une relation fausse, attribut relativement rare dans les graphes de connaissances. La polysémie d'un terme est exprimée en distinguant un nœud générique de ses nœuds de raffinement. Cependant, comme le jeu demande au joueur d'entrer autant de termes que possible dans un temps limité, les joueurs ont tendance à ne pas affiner leurs réponses, ce qui conduit à une faible densité des nœuds de raffinement. Par exemple, le nœud générique accord a un degré de 10 549, tandis que les degrés des nœuds de raffinement accord>pacte et accord>acceptation sont respectivement de 194 et 123.

Mirzapour et al. (2022) ont créé le sous-graphe RezoJDM16k en appliquant divers filtres aux nœuds et relations de RezoJDM. Seuls les nœuds de type n_term et de poids supérieur à 50 ont été retenus. Le même filtre de poids a été appliqué aux relations et certains types ont également été supprimés. En outre, les types de relations apparaissant moins de 100 fois et les nœuds ayant un degré inférieur à 45 ont été exclus, afin d'améliorer l'efficacité des modèles. Le graphe final est composé de 15 746 nœuds et de 832 093 relations.

**RL-fr** Le Réseau Lexical du Français RL-fr est un réseau lexico-sémantique du français créé par des lexicographes, où les nœuds correspondent à des unités lexicales et les arêtes à des relations lexico-sémantiques ou combinatoires (Lux-Pogodalla & Polguère, 2011). Dans cette section, nous présentons des informations concernant la version 2.1 de RL-fr, utilisée pour nos expériences<fnref n="3" />.

Les unités lexicales dans RL-fr sont les entités fondamentales pour la description lexicographique et peuvent être soit un lexème, soit un idiome. Les lexèmes sont des unités lexicales monolexémiques

<footnote n="1">1. https://www.jeuxdemots.org</footnote>

<footnote n="2">2. En octobre 2023.</footnote>

<footnote n="3">3. https://www.ortolang.fr/market/lexicons/lexical-system-fr/v2.1</footnote>
et correspondent aux sens des mots. Par conséquent, un mot polysémique, appelé vocable, est représenté comme une collection d'unités lexicales interconnectées par une relation de copolysémie. La version 2.1 du RL-fr contient 29 220 unités lexicales et 18 625 vocables. Voici les lexèmes du vocable jambe, à titre d'exemple :

— Jambe I.1 : Marc attend patiemment, les **jambes** croisées.

— Jambe I.2a : Le cheval s'est blessé à la **jambe**.

— Jambe I.2b : Il y a de la **jambe** de porc au menu.

— Jambe II : La **jambe** droite du pantalon est déchirée.

— Jambe III : Une des **jambes** de suspension doit être changée.

Contrairement aux dictionnaires classiques, où les sens d'un mot sont généralement seulement listés, le RL-fr représente les types de relation entre les sens avec la notion de copolysémie, décrite comme la relation entre les différents sens d'un mot, opposée à la polysémie qui est la propriété des mots d'exprimer plusieurs sens (Polguère, 2018). Il existe donc plusieurs relations de copolysémie, telle que la métonymie ou la métaphore (cf. Annexe A).

La ressource est basée sur la théorie Sens-Texte qui permet d'encoder les relations paradigmatiques et syntagmatiques avec les fonctions lexicales (Mel'čuk, 1996). Quelques exemples de fonctions lexicales paradigmatiques sont donnés ci-dessous :

— Synonymie (Syn) : vélo → bicyclette

— Antonymie (Anti) : accord → désaccord

— Hyperonymie (Gener) : amour → sentiment

Les relations syntagmatiques comprennent, entre autres, les collocations et les verbes supports :

— Intensifier (Magn) : boire → comme un trou

— Verbe support (Oper) : danger → courir

Les fonctions lexicales peuvent être utilisées pour représenter des relations sémantiques simples ou complexes. Dans la version 2.1 du RL-fr, il existe 686 fonctions lexicales différentes. Pour nos expériences, nous avons utilisé les familles de relations pour réduire le nombre de types de relations, ce qui correspond à 95 types de fonctions lexicales et 11 types de relations de copolysémie. Au total, il existe 62 641 relations encodées par des fonctions lexicales et 9 413 relations de copolysémie.

## Deux graphes différents mais complémentaires

Malgré un format de réseau commun, RezoJDM16k et RL-fr présentent des différences significatives en termes de création, de portée et de représentation de la polysémie. Le tableau 1 illustre le contraste topologique entre ces deux graphes : RezoJDM16k est très dense, avec un degré moyen de nœuds de 105,7 et un nombre d'arêtes 10 fois supérieur à celui de RL-fr. Par ailleurs, RL-fr présente davantage de nœuds, en raison de la représentation des sens des mots dans des nœuds distincts. La figure 1 montre un aperçu du réseau RL-fr autour du vocable accord, représenté par deux nœuds accord 1 et accord 2⁴.

La méthode de création des ressources a un impact sur la structure du graphe, l'enrichissement manuel étant un processus chronophage. Cependant, elle garantit un contenu contrôlé et de qualité qui est vérifié par des experts du domaine. Concernant RezoJDM16k, la qualité de la ressource n'est pas nécessairement inférieure, car elle est fournie par des bénévoles motivés par leur intérêt pour la langue (Lafourcade & Le Brun, 2020), mais elle présente un certain bruit malgré les vérifications semi-automatiques.

<footnote n="4">4. https://spiderlex.atilf.fr/fr/q/*accord***</footnote>
<figure><img src="image_23.png" /><figcaption>FIGURE 1 – Vocable accord représenté dans le RL-fr.</figcaption></figure>

<table><caption>TABLE 1 – Statistiques sur RezoJDM16k et RL-fr.</caption><thead><tr><th></th><th>RezoJDM16k</th><th>RL-fr</th></tr></thead><tbody><tr><td># nœuds</td><td>15 746</td><td>29 220</td></tr><tr><td># arêtes</td><td>832 093</td><td>72 054</td></tr><tr><td># types d'arête</td><td>150</td><td>106</td></tr><tr><td>Degré moyen d'un nœud</td><td>105,7</td><td>5,2</td></tr><tr><td>Degré minimum</td><td>2</td><td>1</td></tr><tr><td>Degré maximum</td><td>10 403</td><td>187</td></tr></tbody></table>

# 5 Expériences

**Pré-traitement des jeux de données** La prédiction transductive des liens implique que tous les nœuds des échantillons de validation et de test soient présents dans l'échantillon d'entraînement. Nous avons décidé de diviser aléatoirement les triplets entre les échantillons d'entraînement, de validation et de test (80 %, 10 %, 10 %) et de vérifier si tous les nœuds de la validation et du test sont présents dans l'entraînement. Si ce n'est pas le cas, nous supprimons le triplet de l'ensemble. Pour un graphe très dense comme RezoJDM16k, aucun triplet n'a été perdu même après dix divisions aléatoires différentes. En revanche, un graphe peu dense tel que RL-fr implique des pertes d'arêtes et de nœuds (- 2 152 nœuds, - 1 037 arêtes). Nous obtenons un graphe final de 27 068 nœuds et 71 017 arêtes, que nous appelons RLF27k. Le tableau 2 présente RezoJDM16k et RLF27k et leurs échantillons d'entraînement, de validation et de test respectifs.

<table><caption>TABLE 2 – Statistiques sur les échantillons d'entraînement, validation et test de RezoJDM16k et RLF27k après une division en 80 %, 10 %, 10 %.</caption><thead><tr><th></th><th>RezoJDM16k</th><th>RLF27k</th></tr></thead><tbody><tr><td># nœuds</td><td>15 746</td><td>27 068</td></tr><tr><td># arêtes</td><td>832 093</td><td>71 017</td></tr><tr><td># triplets entraînement</td><td>665 674</td><td>57 643</td></tr><tr><td># triplets validation</td><td>83 209</td><td>6 674</td></tr><tr><td># triplets test</td><td>83 210</td><td>6 700</td></tr></tbody></table>

**Performances des modèles** Nous avons évalué les performances de modèles de prédiction de liens sur les deux ressources en utilisant les six mêmes modèles que ceux décrits dans Mirzapour et al. (2022). Nous avons reproduit leurs expériences sur RezoJDM16k et nous les avons menées sur RLF27k. De plus, nous avons utilisé un modèle ConvE avec l'encodeur CompGCN (Vashishth et al., 2020) (appelé CompGCN-ConvE), afin d'explorer l'efficacité d'un modèle GNN (Graph Neural Networks) sur des données en français. Les résultats pour RezoJDM16k sont présentés dans le tableau 3. Nous constatons que CompGCN-ConvE surpasse tous les autres modèles dans presque
<table><caption>TABLE 3 – Résultats des modèles de prédiction de liens sur RezoJDM16k.</caption><thead><tr><th>Modèle</th><th>MRR ↑</th><th>MR ↓</th><th>Hits@10 ↑</th><th>Hits@3 ↑</th><th>Hits@1 ↑</th></tr></thead><tbody><tr><td>TransE (Bordes et al., 2013)</td><td>0,180</td><td>200,78</td><td>0,437</td><td>0,242</td><td>0,040</td></tr><tr><td>TransH (Wang et al., 2014)</td><td>0,217</td><td>173,28</td><td>0,503</td><td>0,293</td><td>0,064</td></tr><tr><td>TransD (Ji et al., 2015)</td><td>0,216</td><td><strong>168,18</strong></td><td>0,500</td><td>0,290</td><td>0,065</td></tr><tr><td>DistMult (Yang et al., 2015)</td><td>0,219</td><td>194,16</td><td>0,446</td><td>0,252</td><td>0,109</td></tr><tr><td>ComplEx (Trouillon et al., 2016)</td><td>0,256</td><td>190,79</td><td>0,539</td><td>0,309</td><td>0,119</td></tr><tr><td>RotatE (Sun et al., 2019)</td><td>0,312</td><td>177,04</td><td>0,587</td><td>0,409</td><td>0,155</td></tr><tr><td><strong>CompGCN-ConvE</strong> (Vashishth et al., 2020)</td><td><strong>0,461</strong></td><td>171,26</td><td><strong>0,659</strong></td><td><strong>0,514</strong></td><td><strong>0,357</strong></td></tr></tbody></table>

<table><caption>TABLE 4 – Résultats des modèles de prédiction de liens sur RLF27k.</caption><thead><tr><th>Modèle</th><th>MRR ↑</th><th>MR ↓</th><th>Hits@10 ↑</th><th>Hits@3 ↑</th><th>Hits@1 ↑</th></tr></thead><tbody><tr><td>TransE (Bordes et al., 2013)</td><td>0,278</td><td><strong>2594,24</strong></td><td>0,624</td><td>0,497</td><td>0,033</td></tr><tr><td>TransH (Wang et al., 2014)</td><td>0,250</td><td>2957,59</td><td>0,581</td><td>0,465</td><td>0,011</td></tr><tr><td>TransD (Ji et al., 2015)</td><td>0,255</td><td>2752,03</td><td>0,587</td><td>0,472</td><td>0,016</td></tr><tr><td>DistMult (Yang et al., 2015)</td><td>0,373</td><td>2748,25</td><td>0,613</td><td>0,502</td><td>0,216</td></tr><tr><td>ComplEx (Trouillon et al., 2016)</td><td>0,413</td><td>3447,98</td><td>0,593</td><td>0,524</td><td>0,284</td></tr><tr><td>RotatE (Sun et al., 2019)</td><td>0,399</td><td>3650,92</td><td>0,490</td><td>0,454</td><td>0,336</td></tr><tr><td><strong>CompGCN-ConvE</strong> (Vashishth et al., 2020)</td><td><strong>0,515</strong></td><td>2808,68</td><td><strong>0,627</strong></td><td><strong>0,559</strong></td><td><strong>0,450</strong></td></tr></tbody></table>

toutes les métriques. Il atteint notamment un Hits@1 de 0,357, qui est plus de deux fois supérieur à celui de RotatE. Les scores Hits@3, Hits@10 et MRR sont également les plus élevés et le MR reste proche du meilleur score obtenu par TransD. Le tableau 4 présente les résultats pour RLF27k. Une fois de plus, CompGCN-ConvE se distingue avec un MRR de 0,515 et les meilleurs scores Hits@k. Cependant, il convient de noter que le MR élevé indique une disparité dans le classement des triplets corrects : 60 % d'entre eux se classent parmi les dix premiers, tandis que les 40 % restants sont nettement moins bien classés.

**Score de confiance** Nous avons effectué une analyse approfondie des prédictions du meilleur modèle, CompGCN-ConvE. Au-delà d'évaluer la performance du modèle dans la prédiction des triplets de test, nous avons observé toutes les prédictions du modèle pour une entité et une relation données en classant les prédictions selon leur score. La figure 2 montre les 20 meilleures prédictions pour la tête bonnet I et la relation synonymie de RLF27k. Le modèle prédit logiquement un triplet présent dans l'entraînement avec un score élevé (0,893), puis prédit deux triplets de test avec des scores d'environ 0,08. Nous supposons que les triplets restants, qui n'existent pas dans le graphe original, pourraient être des nouveaux potentiels triplets. Néanmoins, la fonction de score ne permet pas d'évaluer significativement la pertinence de ces triplets, dans la mesure où tous les scores sont très faibles (environ 0,01).

Nous avons donc décidé d'utiliser un meilleur algorithme d'inférence, à savoir la technique de Monte-Carlo (MC) Dropout (Gal & Ghahramani, 2016). Le dropout fonctionne en désactivant de manière aléatoire des neurones d'un réseau de neurones. Généralement, lors d'une inférence standard, nous désactivons le dropout pour obtenir des prédictions déterministes et moins bruitées. Pour l'inférence basée sur MC Dropout, nous générons plusieurs prédictions pour la même entrée, en échantillonnant un masque dropout différent à chaque fois. On obtient ainsi une distribution prédictive pour un modèle et des entrées donnés, qui produit un ensemble plus riche d'informations sur les prédictions du modèle, comme la possibilité de calculer des scores de confiance pour n'importe quelle prédiction (cf.
<figure><img src="image_24.png" /><figcaption>FIGURE 2 – Prédictions pour la tête bonnet I et la relation synonymie. Les triplets qui existent déjà dans RLF27k sont en rouge ([tr] pour training (entraînement) et [ts] pour test). L'axe des ordonnées est mis à l'échelle logarithme pour une meilleure lisibilité.</figcaption></figure>

Annexe B). Considérons par exemple le triplet incomplet (bonnet I, syn, ?). Étant donnée la distribution prédictive originale du modèle, nous appliquons le MC Dropout pour générer *n* = 100 nouvelles distributions pour le triplet. Ensuite, nous définissons un critère d'inclusion pour transformer les prédictions à valeur réelle en décisions binaires, ici nous vérifions si l'entité prédite figure parmi les 10 premières prédictions notées. Nous calculons enfin le score de confiance comme le rapport entre le nombre de fois où l'entité prédite apparaît dans le top-10 et le nombre de distributions prédictives *n*. Cela nous permet d'établir des scores de confiance pour les prédictions du modèle et de faire des affirmations telles que « Selon ce modèle, l'entité queue kepi est dans le top-10 des prédictions pour l'entité tête bonnet I et la relation synonymie avec 75 % de confiance ».

# 6 Analyse qualitative

Nous cherchons à déterminer si le score de confiance permet d'identifier des triplets pertinents susceptibles d'être ajoutés aux graphes. Pour cela, nous avons généré toutes les combinaisons possibles de nœuds et de relations pour chaque jeu de données et nous avons supprimé les triplets déjà présents dans les graphes. Au total, 533 551 triplets ont été générés pour RLF27k et 1 720 454 pour RezoJDM16k. Nous nous sommes concentrés sur les triplets dont les entités ne sont pas reliées par un chemin orienté. Pour RLF27k, nous avons obtenu 95 766 triplets finaux. Pour RezoJDM16k, en raison de la forte densité du graphe, le plus court chemin entre deux entités est au maximum de longueur 4. Pour appliquer une méthodologie similaire à celle utilisée pour RLF27k, nous avons conservé les triplets avec des chemins de longueurs 3 et 4, ce qui donne un total de 154 168 triplets.

Pour évaluer le score de confiance, 240 triplets par jeu de données ont été annotés par quatre annotateurs, chacun ayant annoté 120 triplets ce qui permet d'obtenir deux annotations pour chaque triplet et calculer un accord inter-annotateurs (AIA). Les scores de confiance sont représentés de manière homogène dans les échantillons de chaque annotateur, regroupés par intervalle de 0,1. La tâche d'annotation consiste à déterminer si un lien sémantique ou syntaxique existe entre deux entités.
Les annotateurs ne disposent d'aucune information en dehors du triplet et trois étiquettes d'annotation sont possibles : (1) il existe un lien entre les entités, (-1) il n'y a pas de lien, (0) le lien est ambigu ou discutable. L'AIA est calculé avec un kappa de Cohen et s'avère bien plus élevé pour le RLF27k avec l'accord le plus fort à 0,84 contre 0,61 pour RezoJDM16k (cf. Annexe C). L'accord minimum pour RezoJDM16k est particulièrement faible, à 0,1, contrairement à 0,49 pour le RLF27k. La différence de l'AIA entre RezoJDM16k et RLF27k peut être attribuée à la distribution inégale des étiquettes d'annotation, et notamment à la surreprésentation de l'étiquette -1 dans RezoJDM16k. Sur les 240 triplets et sur les 183 où les annotateurs sont en accord, 85 % (156 triplets) ont été annotés comme -1 et 15 % (27) comme 1. Cette proportion s'explique par la forte densité du graphe qui implique que des nœuds sémantiquement distants sont connectés par un chemin relativement court de 4.

La figure 3 présente la comparaison entre les annotations manuelles et les scores de confiance des triplets des échantillons de RezoJDM16k et RLF27k. Pour RezoJDM16k, les rares triplets annotés comme exacts ont tendance à présenter des scores de confiance élevés. Toutefois, en raison de la prévalence des annotations -1, il est difficile d'établir une corrélation solide. D'autre part, dans l'échantillon RLF27k, sur les 200 triplets où les deux annotateurs étaient d'accord, 56,5 % (113) ont été annotés comme -1, 39 % (78) comme 1 et 4,5 % (9) comme 0. Nous pouvons noter que les étiquettes d'annotation dans RLF27k présentent une distribution plus équilibrée par rapport à RezoJDM16k et qu'on observe une plus forte corrélation entre les étiquettes d'annotation et les scores de confiance sur les triplets de RLF27k. Les triplets annotés comme -1 ont un score de confiance faible, tandis que ceux annotés comme 1 ont un score de confiance plus élevé.

<figure><img src="image_25.png" /><figcaption>FIGURE 3 – Corrélation entre les valeurs d'annotation et les scores de confiance dans RLF27k et de RezoJDM16k. Les triplets considérés sont ceux pour lesquels les annotateurs sont d'accord.</figcaption></figure>

La figure 5 présente le ratio des triplets corrects, i.e. annotées par les annotateurs comme ayant un lien entre ses entités, en fonction du seuil de confiance. Nous remarquons qu'un seuil de confiance élevé conduit à une plus grande proportion de triplets corrects. Par exemple, poser un seuil de confiance de 0,95 permet de faire en sorte que tous les triplets prédits soient corrects. Sur le graphe RLF27k complet, il existe 95 766 triplets dont les entités ne sont pas connectées par un chemin orienté et 398 d'entre eux ont un score de confiance supérieur à 0,95, qui peuvent donc être considérés comme de nouveaux triplets potentiels.
<figure><img src="image_26.png" /><figcaption>FIGURE 4 – Ratio des prédictions correctes (annotées 1) du RLF27k selon le seuil de confiance.</figcaption></figure>

# 7 Discussion

Dans cette étude, nous avons cherché à identifier de nouveaux triplets potentiels pour deux graphes lexico-sémantiques, RezoJDM16k et RLF27k, en utilisant des modèles de prédiction de liens. Sur les sept modèles, le modèle CompGCN-ConvE a obtenu les meilleures performances sur les deux graphes, surpassant les modèles état-de-l'art pour RezoJDM16k. Nous avons également étudié l'utilisation de l'algorithme MC Dropout pour générer des prédictions basées sur un score de confiance que nous avons évalué avec des annotations manuelles.

L'analyse qualitative que nous avons menée montre que les triplets de RLF27k ayant un score de confiance élevé sont de potentiels candidats à l'intégration dans la ressource, sous réserve d'une validation par des experts. Pour RezoJDM16k, du fait de sa forte densité, l'ajout de nouveaux triplets n'apporte pas d'avantages significatifs dans la mesure où même les entités ayant une faible proximité sémantique sont connectées par des chemins courts. Cependant, notre approche peut s'avérer utile pour identifier des erreurs ou affiner des relations génériques. En effet, RezoJDM16k présente une forte proportion de la relation générique associated, constituant 31 % des arêtes, qui pourrait être affinée grâce aux prédictions du modèle.

Bien que les résultats de notre approche soient prometteurs, nous maintenons que la vérification manuelle est une étape importante car la représentation de la polysémie dans des nœuds distincts affecte directement les prédictions. Étant donné que le modèle ne s'appuie que sur la structure du graphe et les nœuds voisins pour appréhender la sémantique, il existe des limites inhérentes à la prédiction de l'entité précise parmi les différents sens d'un vocable. Dans des recherches ultérieures, au-delà des méthodologies d'évaluation intrinsèque, nous avons pour perspective d'évaluer de manière extrinsèque en utilisant des graphes lexico-sémantiques augmentés ou corrigés dans des tâches de TAL, telle que la levée d'ambiguïté lexicale. En outre, d'un point de vue ressource, nous souhaitons explorer les avantages mutuels et l'amélioration entre les deux réseaux lexico-sémantiques français. Le code associé à nos expériences et les graphiques qui en résultent sont disponibles librement sur le lien suivant : https://github.com/hschoi4/fr-link-prediction.
# Remerciements

Nous remercions les relecteurs pour leurs commentaires avisés qui ont permis l'amélioration de cet article. Nous remercions également Vincent Tourneur (LORIA, INRIA) pour son aide dans les manipulations techniques. Les expériences présentées dans cet article ont été réalisées sur le banc de tests Grid'5000, soutenu par un groupe inter-scientifique hébergé par l'Inria et comprenant le CNRS, le RENATER et plusieurs universités ainsi que d'autres organisations (https://www.grid5000.fr).

# Références

ARCAN M., MCCRAE J. P. & BUITELAAR P. (2016). Expanding wordnets to new languages with multilingual sense disambiguation. In *Proceedings of COLING 2016, the 26th International Conference on Computational Linguistics : Technical Papers*, p. 97–108, Osaka, Japon : The COLING 2016 Organizing Committee.

BIEMANN C., SHIN S.-I. & CHOI K.-S. (2004). Semiautomatic extension of CoreNet using a bootstrapping mechanism on corpus-based co-occurrences. In *COLING 2004 : Proceedings of the 20th International Conference on Computational Linguistics*, p. 1227–1232, Genève, Suisse : COLING.

BORDES A., USUNIER N., GARCIA-DURÁN A., WESTON J. & YAKHNENKO O. (2013). Translating embeddings for modeling multi-relational data. In *Proceedings of the 26th International Conference on Neural Information Processing Systems - Volume 2*, NIPS’13, p. 2787–2795, Red Hook, États-Unis : Curran Associates Inc.

CHEN Z., WANG Y., ZHAO B., CHENG J., ZHAO X. & DUAN Z. (2020). Knowledge graph completion : A review. *IEEE Access*, **8**, 192435–192456. DOI: 10.1109/ACCESS.2020.3030076.

D’AMATO C., MAHON L., MONNIN P. & STAMOU G. (2023). Machine Learning and Knowledge Graphs : Existing Gaps and Future Research Challenges. *Transactions on Graph Data and Knowledge, 1*(1), 1–35. DOI: 10.4230/TGDK.1.1.8, HAL: hal-04353543.

DETTMERS T., MINERVINI P., STENETORP P. & RIEDEL S. (2018). Convolutional 2d knowledge graph embeddings. In *Proceedings of the Thirty-Second AAAI Conference on Artificial Intelligence and Thirtieth Innovative Applications of Artificial Intelligence Conference and Eighth AAAI Symposium on Educational Advances in Artificial Intelligence*, AAAI’18/IAAI’18/EAAI’18 : AAAI Press.

FELLBAUM C. (1998). *WordNet : An Electronic Lexical Database*. The MIT Press. DOI: 10.7551/mitpress/7287.001.0001.

GAL Y. & GHAHRAMANI Z. (2016). Dropout as a bayesian approximation : Representing model uncertainty in deep learning. In M. F. BALCAN & K. Q. WEINBERGER, Éds., *Proceedings of The 33rd International Conference on Machine Learning*, volume 48 of *Proceedings of Machine Learning Research*, p. 1050–1059, New York, États-Unis : PMLR.

GALKIN M., BERRENDORF M. & HOYT C. T. (2022). An open challenge for inductive link prediction on knowledge graphs.

HWANG J. D., BHAGAVATULA C., LE BRAS R., DA J., SAKAGUCHI K., BOSSELUT A. & CHOI Y. (2021). Comet-atomic 2020 : On symbolic and neural commonsense knowledge graphs. In AAAI.
JI G., HE S., XU L., LIU K. & ZHAO J. (2015). Knowledge graph embedding via dynamic mapping matrix. In *Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing (Volume 1: Long Papers)*, p. 687–696, Pékin, China : Association for Computational Linguistics. DOI : 10.3115/v1/P15-1067.

KIPF T. N. & WELLING M. (2017). Semi-supervised classification with graph convolutional networks. In *5th International Conference on Learning Representations, ICLR 2017, Conference Track Proceedings*, Toulon, France : OpenReview.net.

LAFOURCADE M. & JOUBERT A. (2008). JeuxDeMots : un prototype ludique pour l’émergence de relations entre termes. In *JADT’08 : Journées internationales d’Analyse statistiques des Données Textuelles*, p. 657–666, France. HAL : lirmm-00358848.

LAFOURCADE M. & LE BRUN N. (2020). Jeuxdemots : Un réseau lexico-sémantique pour le français, issu de jeux et d’inférences. *Revue Lexique*, **27**, 47–86.

LAM K. N., AL TAROUTI F. & KALITA J. (2014). Automatically constructing Wordnet synsets. In *Proceedings of the 52nd Annual Meeting of the Association for Computational Linguistics (Volume 2 : Short Papers)*, p. 106–111, Baltimore, Maryland : Association for Computational Linguistics. DOI : 10.3115/v1/P14-2018.

LIN Y., LIU Z., SUN M., LIU Y. & ZHU X. (2015). Learning entity and relation embeddings for knowledge graph completion. *Proceedings of the AAAI Conference on Artificial Intelligence*, **29**(1). DOI : 10.1609/aaai.v29i1.9491.

LUX-POGODALLA V. & POLGUÈRE A. (2011). Construction of a French Lexical Network : Methodological Issues. In *First International Workshop on Lexical Resources, WoLeR 2011*, p. 54–61, Ljubljana, Slovénie. HAL : hal-00686467.

MEL'ČUK I. (1996). Lexical functions in lexicography and natural language processing. *Lexical Functions : A Tool for the Description of Lexical Relations in the Lexicon*, p. 37–102.

MILLER G. A. (1995). WordNet : A lexical database for English. *Communications of the ACM*, **38**(11), 39–41.

MIRZAPOUR M., RAGHEB W., SAEEDIZADE M. J., COUSOT K., JACQUENET H., CARBON L. & LAFOURCADE M. (2022). Introducing RezoJDM16k : a French KnowledgeGraph DataSet for link prediction. In *Proceedings of the Thirteenth Language Resources and Evaluation Conference*, p. 5163–5169, Marseille, France : European Language Resources Association.

NAVIGLI R. & PONZETTO S. P. (2012). Babelnet : The automatic construction, evaluation and application of a wide-coverage multilingual semantic network. *Artificial Intelligence*, **193**, 217–250. DOI : https://doi.org/10.1016/j.artint.2012.07.001.

NICKEL M., TRESP V. & KRIEGEL H.-P. (2011). A three-way model for collective learning on multi-relational data. In L. GETOOR & T. SCHEFFER, Éds., *Proceedings of the 28th International Conference on Machine Learning (ICML-11)*, ICML '11, New York, États-Unis : ACM.

OLIVER A. & CLIMENT S. (2012). Parallel corpora for wordnet construction : Machine translation vs. automatic sense tagging. In A. GELBUKH, Éd., *Computational Linguistics and Intelligent Text Processing*, p. 110–121, Berlin, Heidelberg : Springer Berlin Heidelberg.

POLGUÈRE A. (2018). A Lexicographic Approach to the Study of Copolysemy Relations *. *Russian Journal of Linguistics = Vestnik Rossijskogo universiteta družby narodov. Seriâ Lingvistika*, **22**(4), 788 – 820. DOI : 10.22363/2312-9182-2018-22-4-788-820, HAL : halshs-02089585.

RILOFF E. & SHEPHERD J. (1997). A corpus-based approach for building semantic lexicons. In *Second Conference on Empirical Methods in Natural Language Processing*.
SCHLICHTKRULL M., KIPF T. N., BLOEM P., VAN DEN BERG R., TITOV I. & WELLING M. (2018). Modeling relational data with graph convolutional networks. In A. GANGEMI, R. NAVIGLI, M.-E. VIDAL, P. HITZLER, R. TRONCY, L. HOLLINK, A. TORDAI & M. ALAM, Éds., *The Semantic Web*, p. 593–607, Cham : Springer International Publishing.

SUN Z., DENG Z., NIE J. & TANG J. (2019). Rotate : Knowledge graph embedding by relational rotation in complex space. In *7th International Conference on Learning Representations, ICLR 2019*, La Nouvelle-Orléans, États-Unis : OpenReview.net.

TAGHIZADEH N. & FAILI H. (2016). Automatic wordnet development for low-resource languages using cross-lingual wsd. *J. Artif. Int. Res.*, **56**(1), 61–87.

TOUTANOVA K. & CHEN D. (2015). Observed versus latent features for knowledge base and text inference. In *Proceedings of the 3rd Workshop on Continuous Vector Space Models and their Compositionality*, p. 57–66, Pékin, Chine : Association for Computational Linguistics. DOI : 10.18653/v1/W15-4007.

TROUILLON T., WELBL J., RIEDEL S., GAUSSIER E. & BOUCHARD G. (2016). Complex embeddings for simple link prediction. In M. F. BALCAN & K. Q. WEINBERGER, Éds., *Proceedings of The 33rd International Conference on Machine Learning*, volume 48 of *Proceedings of Machine Learning Research*, p. 2071–2080, New York, États-Unis : PMLR.

VASHISHTH S., SANYAL S., NITIN V. & TALUKDAR P. P. (2020). Composition-based multi-relational graph convolutional networks. In *8th International Conference on Learning Representations, ICLR 2020*, Addis-Abeba, Éthiopie : OpenReview.net.

WANG Z., ZHANG J., FENG J. & CHEN Z. (2014). Knowledge graph embedding by translating on hyperplanes. *Proceedings of the AAAI Conference on Artificial Intelligence*, **28**. DOI : 10.1609/aaai.v28i1.8870.

YANG B., YIH W., HE X., GAO J. & DENG L. (2015). Embedding entities and relations for learning and inference in knowledge bases. In Y. BENGIO & Y. LECUN, Éds., *3rd International Conference on Learning Representations, ICLR 2015, Conference Track Proceedings*, San Diego, États-Unis.

# Annexes

## A Exemple de relations de copolysémie

<figure><img src="image_27.png" /><figcaption>FIGURE 5 – Relation de copolysémie du vocable jambe.</figcaption></figure>
## B Monte Carlo Dropout

Notre objectif est d'obtenir une approximation de la distribution prédictive pour un point donné à partir de notre modèle paramétré. La distribution prédictive $p(y^*|x^*, X, Y)$ pour un nouveau point de données $x^*$ à partir d'un jeu de données $(X, Y)$ et un modèle paramétré par $\theta$ est :

$$p(y^*|x^*, X, Y) = \int p(y^*|x^*, \theta)p(\theta|X, Y) d\theta \quad (1)$$

Ici, le premier terme est la probabilité d'observer la sortie $y^*$ compte tenu de l'entrée $x^*$ et des paramètres du modèle $\theta$, et le second terme est la distribution a posteriori des paramètres compte tenu des données. Le calcul de cette dernière est difficile à réaliser pour les réseaux neuronaux profonds en raison de leur espace paramétrique de grande dimension. Monte-Carlo (MC) Dropout (Gal & Ghahramani, 2016) nous permet d'approximer cette intégrale. En effectuant $T$ passages stochastiques à travers le réseau avec le dropout activé, nous obtenons $T$ prédictions pour chaque entrée de test $x^*$. La distribution empirique de ces prédictions se rapproche de la distribution prédictive $p(y^*|x^*, X, Y)$. Mathématiquement, cela peut s'exprimer comme suit :

$$p(y^*|x^*, X, Y) \approx \frac{1}{T} \sum_{t=1}^{T} p(y^*|x^*, \theta_t) \quad (2)$$

## C Accords inter-annotateurs

<figure><img src="image_28.png" /><figcaption>FIGURE 6 – Kappa de Cohen sur RLF27k et RezoJDM16k.</figcaption></figure>
# CQuAE : Un nouveau corpus de question-réponse pour l'enseignement

Thomas Gerald¹* Louis Tamames²* Sofiane Ettayeb² Patrick Paroubek¹
Anne Vilnat¹

(1) Université Paris Saclay, CNRS, LISN

(2) Stellia

(1) prenom.nom@lisn.upsaclay.fr, (2) prenom.nom@stellia.ai

## RÉSUMÉ

Dans cet article nous présentons un nouveau corpus de question-réponse en français pour le domaine de l'éducation. Ce corpus a été construit dans le but de créer un système d'assistant virtuel pour répondre à des questions sur des documents ou du matériel de cours. Afin d'être utile autant aux enseignants qu'aux étudiants, il est important de considérer des questions complexes ainsi que d'être capable de justifier les réponses sur du matériel validé. Nous présentons donc le nouveau corpus CQuAE, un corpus de questions-réponses manuellement annoté dont nous discutons des propriétés. Nous présenterons aussi les différentes étapes de sa création avec aujourd'hui une phase d'amélioration des données. Enfin, nous présentons plusieurs expériences pour évaluer l'exploitation du corpus dans le cadre d'un système de questions-réponses automatique. Ces différentes analyses et expériences nous permettrons de valider l'adéquation des données collectées pour l'objectif visé.

## ABSTRACT

### CQuAE : A new question-answering corpus for teaching assistant

In this article we present a new French question-answering corpus for the education domain. This corpus has been built with the aim of creating a virtual assistant system for answering questions on documents or course material. In order to provide a useful tool for both teachers and students, it is important to consider complex questions and to be able to justify answers based on validated material. We therefore present the new CQuAE Corpus, a manually annotated question-answering corpus and discuss its properties. We will also present the different stages in its creation, with a recent focus on data enhancement. Finally, we present experiments to evaluate the exploitation of the corpus within the framework of an automatic question-answering system. These different analyses and experiments will enable us to validate the suitability of the data collected for the intended purpose.

## 1 Introduction

Ce travail s'inscrit dans le domaine de l'éducation, notamment dans le but d'aider les étudiants à apprendre et à réviser leurs cours en leur fournissant des questions sur les documents de cours choisis par l'enseignant, ainsi que les réponses associées. L'objectif est de dépasser les simples questions factuelles auxquelles il est facile de répondre et de pouvoir poser des questions complexes qui vont au-delà de la recherche d'une réponse par entité nommée. Par exemple, face à un cours sur les débuts de la Révolution française, nous ne voulons pas seulement demander quand a eu lieu la prise de la Bastille, mais aussi quelles sont les raisons qui ont conduit les manifestants à le faire, nous rapprochant ainsi des questions de cours qu'un enseignant pourrait poser. Pour aider les enseignants dans cette

<figure><img src="image_29.png" /></figure>
démarche chronophage, nous avons travaillé à la constitution d'un tel corpus afin d'automatiser la
tâche de création de questions et de réponses, en commençant par la construction manuelle d'un
premier corpus.

À l'heure actuelle, aucun corpus ne répond à l'ensemble de ces critères, à savoir des questions et des réponses qui peuvent être complexes, qui s'appuient sur des ensembles de documents validés mais courts (les cours de l'enseignant), et qui sont en langue française. Nous souhaitons travailler sur plusieurs disciplines, éventuellement à différents niveaux d'enseignement, nous avons commencé notre étude par l'histoire telle qu'elle est enseignée à la fin du collège et au début du lycée. Pour avoir une base de comparaison, nous avons également effectué quelques tests sur la géographie, les sciences de la vie et l'éducation civique. Nous avons ainsi constitué un corpus contenant :

— des questions créées à partir de documents de cours, non seulement des questions factuelles mais aussi des questions plus complexes

— des réponses qui sont soit extraites du cours, soit construites à partir de plusieurs éléments disséminés dans le document,

— le document source, qui valide à la fois l'intérêt de la question et la qualité de la réponse produite.

Aujourd'hui nous en sommes à la seconde phase de constitution du corpus, nous avons déjà collecté plus de 11000 annotations que nous présentons dans cet article. Par ailleurs, nous décrirons aussi une phase de correction du corpus afin d'améliorer les données déjà collectées.

Avec ces différents éléments, ce corpus pourrait être utilisé pour former les composants d'un cadre
de Génération Augmentée par Récupération (RAG). À cette fin, nous proposons dans ce travail de
mesurer l'adéquation de l'ensemble de données pour développer une telle application via l'adaptation
de modèles de langue.

Nous détaillerons d'abord comment nous avons collecté un nouveau corpus conçu pour cette tâche.
Ensuite, nous présenterons une analyse de ce corpus afin d'en présenter le contenu. Puis, nous
discuterons de la phase d'amélioration du corpus. Enfin, la partie suivante sera consacrée à la
présentation des expériences que nous avons menées afin de démontrer la valeur de cet ensemble
de données pour l'apprentissage d'un système de RAG, en comparant plusieurs grands modèles de
langue et les différentes versions de notre corpus.

## 2 Travaux connexes

**Les grands modèles de langue.** La génération de résumés automatiques, de questions ou bien de réponses sont aujourd'hui des sujets centraux de recherche pour la communautés du TAL. Ces différentes tâches ont bénéficié des évolutions des algorithmes d'apprentissage profond. En particulier les architectures neuronales comme le modèle "Transformer" (Vaswani et al., 2017) permettent aujourd'hui d'obtenir de bonnes performances pour ces différents objectifs.

Dans un premier temps les modèles de langues exploitant ces architectures ont été développés pour
la langue anglaise, aujourd'hui plusieurs variantes en langue française existent comme les modéles
CammemBERT ou FlauBERT (Martin et al., 2020; Le et al., 2020) pour la classification et le modèle
BARThez pour des tâches de génération (Eddine et al., 2021). Aujourd'hui la taille des modèles
de langues permet de prendre en compte conjointement différentes langues, dans des approches
multilingues (Scao et al., 2022).

**Adaptation des grands modèles de langue.** Ces modèles de langue sont en général appris sur
des tâches de reconstruction de l'entrée ou de prédiction du prochain mot (ou jeton). Dès lors, il est nécessaire d'adapter ces modèles à la tâche visée. Pour adapter le modèle à une tâche, comme la classification ou la génération, une première méthode consiste à adapter les poids du réseaux de neurones, cette approche est connue sous le nom de *fine-tuning* (ou adaptation fine).

Cette approche est néanmoins sujette à différents inconvénients ; d'une part l'optimisation de l'intégralité des paramètres peut être prohibitive en temps de calculs ; d'autre part l'optimisation de tous les poids du modèle peut mener à des problèmes de sur-apprentissage.

Les méthodes appelées *adapter* tentent aujourd'hui de palier ces problèmes (Pfeiffer et al., 2020) en introduisant dans les différents blocs de nouveaux sous-réseaux de neurones qui seront les seuls optimisés durant l'étape de *fine-tuning*. De plus ce type d'approche permet de conserver les poids du modèle original (appelé modèle pré-entraîné). Bien que le coût de l'adaptation soit diminué, le coût de l'inférence (l'étape de prédiction) est légèrement augmenté. Récemment une nouvelle approche connue sous le nom de “LOw Rank Adaption” (Hu et al., 2022) propose à la fois de diminuer le coût d'adaptation tout en préservant un coût d'inférence similaire à celui du modèle pré-entraîné.

**Les corpus de question-réponse.** Chacune de ces approches pour adapter le modèle nécessite néanmoins des collections de données importantes. Nous allons présenter les différents corpus de question-réponse existants et leur intérêt pour la communauté. Le corpus SQuAD (Rajpurkar et al., 2016) est l'un des premier corpus de grande taille pour l'apprentissage de modèle de question-réponse s'appuyant sur un contexte (la réponse devant s'y trouver) avec plus de 20.000 exemples. Plus récemment, Google a publié le corpus Natural Question (Kwiatkowski et al., 2019) qui est un corpus de questions en langage naturel, avec des paragraphes longs et courts pour les réponses (extraits de la version anglaise de Wikipédia). Pour les approches de question-réponse conversationnelle, les corpus CANARD et QUAC (Elgohary et al., 2019; Choi et al., 2018) sont disponibles. Pour les questions-réponses basées sur la recherche de documents ou de passages, le corpus MSMarco (Nguyen et al., 2016) est aujourd'hui une référence avec plus d'un million de questions. Si la plupart des corpus sont disponibles en anglais, la communauté française a également produit des corpus tels que FQuAD (d'Hoffschmidt et al., 2020), Piaf (Keraron et al., 2020) ou CALOR-QUEST (Bechet et al., 2019) toujours dans le but d'extraire la réponse du contexte. Cependant, ces corpus reposent principalement sur des réponses factuelles, correspondant à un texte court, comme une entité nommée, un événement, une date, une quantité ou un lieu. Récemment, un nouveau corpus Autogestion (Antoine et al., 2022) a été créé pour traiter les questions non factuelles, l'étude associée démontre l'incapacité des modèles standards à traiter les questions les plus complexes. Néanmoins à notre connaissance il n'existe aujourd'hui pas de corpus ouvert spécifique à l'enseignement secondaire pour des tâches de question-réponse complexes.

# 3 Le corpus

## 3.1 Récolte du corpus

Notre corpus se compose de paragraphes de cours, puis de questions et de réponses fondées sur ces textes. La première étape a donc été de recueillir un ensemble de textes en Français dans le domaine éducatif, en s'appuyant sur des livres scolaires (des cours) concernant les niveaux collège et lycée, principalement en Histoire mais aussi en Géographie, en Sciences de la Vie et de la Terre et Éducation Civique. Les premiers textes proviennent du site "le livre scolaire" <fnref n="1" />. Pour compléter

<footnote n="1">1. https://www.lelivrescolaire.fr/</footnote>