<figure><img src="image_1.png" /></figure>

HAL
open science

Actes de la 6e conférence conjointe Journées d’Études
sur la Parole (JEP, 33e édition), Traitement
Automatique des Langues Naturelles (TALN, 27e
édition), Rencontre des Étudiants Chercheurs en
Informatique pour le Traitement Automatique des
Langues (RÉCITAL, 22e édition). Volume 3: Rencontre
des Étudiants Chercheurs en Informatique pour le TAL

Christophe Benzitoun, Chloé Braud, Laurine Huber, David Langlois, Slim

Ouni, Sylvain Pogodalla, Stéphane Schneider

► To cite this version:

Christophe Benzitoun, Chloé Braud, Laurine Huber, David Langlois, Slim Ouni, et al. Actes de la 6e conférence conjointe Journées d’Études sur la Parole (JEP, 33e édition), Traitement Automatique des Langues Naturelles (TALN, 27e édition), Rencontre des Étudiants Chercheurs en Informatique pour le Traitement Automatique des Langues (RÉCITAL, 22e édition). Volume 3 : Rencontre des Étudiants Chercheurs en Informatique pour le TAL. 3 : Rencontre des Étudiants Chercheurs en Informatique pour le TAL, ATALA; AFCP, pp.1-230, 2020. hal-02786181v3

HAL Id: hal-02786181

https://hal.science/hal-02786181v3

Submitted on 22 Jun 2020

HAL is a multi-disciplinary open access
archive for the deposit and dissemination of sci-
entific research documents, whether they are pub-
lished or not. The documents may come from
teaching and research institutions in France or
abroad, or from public or private research centers.

L'archive ouverte pluridisciplinaire HAL, est
destinée au dépôt et à la diffusion de documents
scientifiques de niveau recherche, publiés ou non,
émanant des établissements d'enseignement et de
recherche français ou étrangers, des laboratoires
publics ou privés.

<figure><img src="image_2.png" /></figure>

Distributed under a Creative Commons CC BY 4.0 - Attribution - International License
<figure><img src="image_3.png" /></figure>

<figure><img src="image_4.png" /></figure>

6e conférence conjointe Journées d'Études sur la Parole (JEP, 33e édition), Traitement Automatique des Langues Naturelles (TALN, 27e édition), Rencontre des Étudiants Chercheurs en Informatique pour le Traitement Automatique des Langues (RÉCITAL, 22e édition) (JEP-TALN-RÉCITAL)¹

Actes de la 6e conférence conjointe Journées d'Études sur la Parole (JEP, 33e édition), Traitement Automatique des Langues Naturelles (TALN, 27e édition), Rencontre des Étudiants Chercheurs en Informatique pour le Traitement Automatique des Langues (RÉCITAL, 22e édition).

Volume 3 : Rencontre des Étudiants Chercheurs en Informatique pour le TAL

Christophe Benzitoun, Chloé Braud, Laurine Huber, David Langlois, Slim Ouni, Sylvain Pogodalla, Stéphane Schneider (Éds.)

Nancy, France, 08-19 juin 2020
Crédits : L'image utilisée en bannière est une photographie du vitrail « Roses et Mouettes », visible dans la maison Bergeret à Nancy. La photographie a été prise par Alexandre Prevot, diffusée sur flickr sous la licence CC-BY-SA 2.0.

Le logo de la conférence a été créé par Annabelle Arena.
Avec le soutien de

01101100
01101111
01101001
01101000
01101111
01101200
01101001
01100001
01100000
01100111
01100011
*00001011
*1100001111
*1100001011
*1100000111
*1100000011
*1100000001

Loria

Laboratoire lorrain de recherche
en informatique et ses applications

Inist

Institut de l'information
scientifique et technique

cnrs

atilf

ANALYSE ET TRAITEMENT
INFORMATIQUE
DE LA LANGUE FRANÇAISE

<figure><img src="image_5.png" /></figure>

UNIVERSITÉ
DE LORRAINE

<figure><img src="image_6.png" /></figure>

MINISTÈRE
DE LA CULTURE

Liberté
Égalité
Féodalité

<figure><img src="image_7.png" /></figure>

Inria

<figure><img src="image_8.png" /></figure>

IMPACT

OLKi

iD'IC

MASTER
TRAITEMENT AUTOMATIQUE
DES LANGUES

EUROPEAN
LANGUAGE
NATIONAL
EL
ORAS
RESOURCES

Synapse

yseop

orange™
Message des présidents de l'AFCP et de l'ATALA

En ce printemps 2020, et les circonstances exceptionnelles qui l'accompagnent, c'est avec une émotion toute particulière que nous vous convions à la 6e édition conjointe des Journées d'Études sur la Parole (JEP), de la Conférence sur le Traitement Automatique des Langues Naturelles (TALN) et des Rencontres des Étudiants Chercheurs en Informatique pour le Traitement Automatique des Langues (RECITAL). Après une première édition commune en 2002 (à Nancy, déjà !), et une expérience renouvelée avec succès en 2004, c'est désormais tous les quatre ans (Avignon 2008, Grenoble 2012) que se répète cet événement commun, attendu de pied ferme par les membres des deux communautés scientifiques voisines.

Cette édition 2020 est exceptionnelle, puisque dans le cadre des mesures sanitaires liées à la pandémie mondiale de COVID-19 (confinement strict, puis déconfinement progressif), la conférence ne peut avoir lieu à Nancy comme initialement prévu, mais se déroule à distance, sous forme virtuelle, soutenue par les technologies de l'information et de la communication. Nous remercions ici chaleureusement les organisateurs, Christophe Benzitoun, Chloé Braud, Laurine Huber, David Langlois, Slim Ouni et Sylvain Pogodalla, qui ont dû faire preuve de souplesse, d'inventivité, de détermination, de puissance de travail, et de tant d'autres qualités encore, afin de maintenir la conférence dans ces circonstances, en proposant un format inédit. Grâce aux différentes solutions mises en œuvre dans un délai court, la publication des communications scientifiques est assurée, structurée, et les échanges scientifiques sont favorisés, même à distance.

Bien entendu, nous regrettons tous que cette réunion JEP-TALN-RECITAL ne permette pas, comme ses prédécesseurs, de nouer ou renforcer les liens sociaux entre les différents membres de nos communautés respectives – chercheurs, jeunes et moins jeunes, académiques et industriels, professionnels et étudiants – autour d'une passionnante discussion scientifique ou d'un mémorable événement social... Notre conviction est qu'il est indispensable de maintenir à l'avenir de tels lieux d'échanges dans le domaine francophone, afin bien sûr de permettre aux jeunes diplômés de venir présenter leurs travaux et poser leurs questions sans la barrière de la langue, mais aussi de dynamiser nos communautés, de renforcer les échanges et les collaborations, et d'ouvrir la discussion autour des enjeux d'avenir, qui questionnent plus que jamais la place de la science et des scientifiques dans notre société.

Lors de la précédente édition, nous nous interrogeons sur les phénomènes et tendances liés à l'apprentissage profond et sur leurs impacts sur les domaines de la Parole et du TAL. Force est de constater que l'engouement pour ces approches dans nos domaines a permis un retour sur le devant de la scène des domaines liés à l'Intelligence Artificielle, animant parfois un débat tant philosophique que technique sur la place de la machine dans la société, notamment à travers le questionnement sur la vie privée de l'utilisateur. Ces questionnements impactent tant la Parole que le TAL, d'une part sur la place de la gestion des données, d'autre part sur les modèles eux-mêmes. Malgré ces questionnements, nous constatons que les acquis et les expertises perdurent, et les nouvelles approches liées à l'apprentissage profond ont permis un rapprochement des domaines de la Parole et du TAL, sans les dénaturer, à la manière des conférences JEP-TALN-RECITAL qui créent un espace plus grand d'échange et d'enrichissement réciproques.

Nous terminons ces quelques mots d'ouverture en remerciant l'ensemble des personnes qui ont rendu possible cet événement qui restera, nous l'espérons, riche et passionnant, malgré les circonstances. L'ATALA et l'AFCP tiennent tout d'abord à réitérer leurs remerciements aux organisateurs des JEP, de TALN et de RECITAL, qui sont parvenus à maintenir le cap à travers vents et marées. Nos remerciements vont également à l'ensemble des membres des comités de programme, dont le travail et l'implication ont permis de garantir la qualité et la cohérence du programme finalement retenu. Un grand merci aux relecteurs pour le temps et le soin qu'ils ont dédiés à ce travail anonyme et indispensable. Ils se reflètent dans la qualité des soumissions que chacun pourra découvrir sur le site de la conférence.

En conclusion, cette 6e édition conjointe JEP-TALN-RECITAL est exceptionnelle parce qu'elle se tient dans un contexte de crise généralisée — crise sanitaire, économique, voire sociale et politique. Mais nous
formons le vœu qu'elle reste également dans les annales pour la qualité des échanges scientifiques qu'elle aura suscités, et pour le message envoyé à nos communautés scientifiques et à la société dans son ensemble, un message de détermination et de confiance en l'avenir, où la science et les nouvelles technologies restent au service de l'humain.

Véronique Delvaux, présidente de l'Association Francophone de la Communication Parlée
Christophe Servan, président de l'Association pour le Traitement Automatique des LAngues
# Préface

En 2002, l'AFCP (Association Francophone pour la Communication Parlée) et l'ATALA (Association pour le Traitement Automatique des Langues) organisèrent conjointement leurs principales conférences afin de réunir en un seul lieu, à Nancy, les communautés du traitement automatique et de la description des langues écrites, parlées et signées.

En 2020, la sixième conférence commune revient à Nancy, après Fès (2004), Avignon (2008), Grenoble (2012) et Paris (2016). Elle est organisée par le LORIA (Laboratoire lorrain de recherche en informatique et ses applications, UMR 7503), l'ATILF (Analyse et traitement informatique de la langue française, UMR 7118) et l'INIST (Institut de l'information scientifique et technique) et regroupe :

— les 33es Journées d'Études sur la Parole (JEP),

— la 27e conférence sur le Traitement Automatique des Langues Naturelles (TALN),

— la 22e Rencontre des Étudiants Chercheurs en Informatique pour le Traitement Automatique des Langues (RÉCITAL).

Les circonstances particulières liées à l'épidémie de Covid-19 en France et dans le monde ont conduit à une virtualisation de la conférence. Ainsi, malgré un rassemblement physique qui n'a pu avoir lieu, diffusions, présentations (au gré des auteurs) et discussions des articles acceptés ont lieu sur le site internet de la conférence. Les tutoriels, certains ateliers, et le salon de l'innovation qui accompagnent la conférence ont cependant dû être annulés, mais les ateliers suivants sont maintenus :

— Défi Fouille de Textes (DEFT 2020),

— Éthique et TRaitemeNt Automatique des Langues (ÉTeRNAL).

La conférence accueille également des conférencières et conférenciers invités dont les exposés sont diffusés sur le site : Dirk Hovy (université de Bocconi, Milan, Italie, invité ÉTeRNAL) ainsi que Marie-Jean Meurs (Université du Québec à Montréal, UQAM, Canada) et Hugo Cyr (Faculté de science politique et droit à l'Université du Québec à Montréal UQAM, Canada). En raison des circonstance particulières, un exposé conjoint de Christine Meunier (Laboratoire Parole et Langage LPL, CNRS, Aix-en-Provence, France) et Christophe Stécoli (police technique et scientifique française) a dû être annulé et reporté à une journée spéciale en septembre 2020.

Ces actes regroupent les articles des conférences JEP (volume 1), TALN (volume 2), RÉCITAL (volume 3), les articles décrivant les démonstrations (volume 4), et les articles des ateliers DEFT (volume 5) et ÉTeRNAL (volume 6). Pour la première fois, un appel spécifique à résumés en français d'articles parus dans une sélection de conférences internationales en 2019 était également proposé (volume 4). Un appel spécifique apprenti·e·s chercheur·euse·s destiné aux étudiants de licence, de master, ou en première année de thèse a également été proposé, pour leur proposer des présentations courtes ou sous forme de poster de leurs projets.

Pour les JEP, 87 articles ont été soumis, parmi lesquels 74 ont été sélectionnés, soit un taux de sélection de 85%.

Pour TALN, 58 articles ont été soumis, parmi lesquels 37 ont été sélectionnés, soit un taux de sélection de 63%, dont 10 comme article longs (17% des soumissions) et 27 comme article courts dont 20 en présentation orale (34% des soumissions) et 7 en présentation poster (12% des soumissions).

Pour RÉCITAL, 22 articles ont été soumis, parmi lesquels 16 ont été sélectionnés, soit un taux de sélection de 73%.

Nous souhaitons vivement remercier toutes les personnes qui ont participé à ce travail de relecture et de sélection :

— l'ensemble des relecteurs (voir page xi),

— le comité de programme des JEP (voir page viii),

— le comité de programme de TALN (voir page ix),

— le comité de programme de RÉCITAL (voir page x).

Nous souhaitons également remercier nos sociétés savantes : l'AFCP, assurant la continuité des éditions successives des JEP, et l'ATALA, dont le CPerm (comité permanent) assure la continuité des éditions
successives de TALN.

Nous remercions le comité d'organisation et les nombreuses personnes qui ont assuré le soutien administratif et technique pour que cette conférence se déroule dans les meilleures conditions, et en particulier Yannick Parmentier pour son travail pour la diffusion de ces actes sur HAL et les différents sites d'archives ouvertes (anthologie ACL et talnarchives.atala.org/).

Nous remercions enfin tous les partenaires institutionnels et industriels qui nous ont fait confiance, en particulier l'université de Lorraine, le CNRS, l'Inria, le LORIA, l'ATILF, l'INIST, le master TAL de l'Institut des Sciences du Digital Management & Cognition (IDMC), le projet OLKI de l'initiative Lorraine Université d'Excellence (LUE), la Région Grand Est, *The Evaluations and Language resources Distribution Agency* (ELDA), le projet ANR PARSEME-FR, la délégation générale à la langue française et aux langues de France (DGLFLF), l'Association des Professionnels des Industries de la Langue (APIL) et les entreprises Synapse, Yseop et Orange.

Bonne conférence à toutes et à tous!

Les présidentes et présidents JEP : David Langlois et Slim Ouni

TALN : Chloé Braud et Sylvain Pogodalla

RÉCITAL : Christophe Benzitoun et Laurine Huber
# Comités

## Comité de programme des JEP

Martine Adda-Decker (Laboratoire de Phonétique et Phonologie, CNRS)

Jean-François Bonastre (LIA, Université d'Avignon)

Fethi Bougares (LIUM, Le Mans Université) Philippe Boula De Mareüil (LIMSI, CNRS)

Hervé Bredin (LIMSI, CNRS)

Olivier Crouzet (LLING, Université de Nantes)

Elisabeth Delais-Roussarie (LLING, Université de Nantes)

Véronique Delvaux (Laboratoire de Phonétique, IRSTL, Université de Mons)

Camille Fauth (LiLPa, Université de Strasbourg)

Emmanuel Ferragne (CLILLAC-ARP, Université de Paris)

Cecile Fougeron (Laboratoire de Phonétique et Phonologie, CNRS)

Corinne Fredouille (LIA, Université d'Avignon)

Alain Ghio (LPL, CNRS)

Camille Guinaudeau (LIMSI, Université Paris Sud)

Anne Guyot Talbot (CLILLAC-ARP, Université de Paris 7)

Bernard Harmegnies (Laboratoire de Phonétique, IRSTL, Université de Mons)

Nathalie Henrich Bernardoni (Gipsa-lab, CNRS)

Bassam Jabaian (LIA, Université d'Avignon)

David Langlois (LORIA, Université de Lorraine)

Yves Laprie (LORIA, CNRS)

Anthony Larcher (LIUM, Université du Maine)

Gwénolé Lecorvé (IRISA, Université de Rennes)

Benjamin Lecouteux (LIG, Université Grenoble Alpes)

Georges Linarès (LIA, Université d'Avignon)

Damien Lolive (IRISA, Université Rennes)

Julie Mauclair (IRIT)

Yohann Meynadier (LPL, Aix-Marseille Université)

Slim Ouni (LORIA, Université de Lorraine)

Thomas Pellegrini (IRIT, Université de Toulouse)

François Portet (LIG, Grenoble INP)

Fabian Santiago (Structures Formelles du Langage, Université de Paris 8)

Christophe Savariaux (Gipsa-lab, CNRS)

Nathalie Vallee (Gipsa-lab, Université Grenoble Alpes)

Ioana Vasilescu (LIMSI, CNRS)
Comités de programme TALN

Maxime Amblard (LORIA, Université de Lorraine)

Chloé Braud (IRIT, CNRS)

Caroline Brun (Naver Labs Europe)

Nathalie Camelin (LIUM, Université du Maine)

Marie Candito (Université Paris 7)

Vincent Claveau (IRISA, CNRS)

Chloé Clavel (Telecom-ParisTech)

Mathieu Constant (ATILF, CNRS, Université de Lorraine)

Pascal Denis (Inria)

Cécile Fabre (Université Toulouse 2)

Thomas François (Université catholique de Louvain)

Núria Gala (LPL, CNRS, Aix-Marseille Université)

Natalia Grabar (STL, CNRS, Université Lille 3)

Anne-Laure Ligozat (LIMSI, CNRS, ENSIIE, Université Paris-Saclay)

Emmanuel Morin (LINA, Université de Nantes)

Sylvain Pogodalla (LORIA, Inria)

Solen Quiniou (LINA, Université de Nantes)

Corentin Ribeyre (Etermind)

Tim van de Cruys (IRIT, CNRS)

Pierre Zweigenbaum (LIMSI, CNRS, Université Paris-Saclay)
Comité de programme RÉCITAL

Jean-Yves Antoine (Université François Rabelais de Tours)

Sonia Badene (Linagora, IRIT)

Frédéric Béchet (LIF, Aix Marseille Université)

Christophe Benzitoun (ATILF, Université de Lorraine)

Maria Boritchev (LORIA, Inria)

Léo Bouscarrat (EURA NOVA, Aix-Marseille Université)

Manon Cassier (INALCO, Paris)

Kevin Deturck (Viseo Technologies)

Emmanuelle Esperança-Rodier (GETALP, Université Grenoble Alpes)

Kim Gerdes (sorbonne nouvelle)

Nicolas Hernandez (LINA, UMR 6241, CNRS, Université de Nantes)

Lydia-Mai Ho-Dac (CLLE-ERSS, Université Toulouse Jean Jaurès)

Laurine Huber (LORIA, Université de Lorraine)

Sylvain Kahane (Modyco, Université Paris Ouest Nanterre)

Gwénolé Lecorvé (IRISA, Université de Rennes, CNRS)

Joël Legrand (LORIA, Inria, CNRS)

Anne-Laure Ligozat (LIMSI, CNRS, ENSIIE, Université Paris-Saclay)

Pierre Ludmann (LORIA, Université de Lorraine)

Yann Mathet (Université de Caen)

Anne-Lyse Minard (IRISA, CNRS)

Sandrine Ollinger (ATILF, UMR 7118, CNRS)

Yannick Parmentier (LORIA, Université de Lorraine)

Justine Reynaud (LORIA, Université de Lorraine)

Stella Zevio (LIPN, Université de Paris 13)
## Relectrices et relecteurs

Gilles Adda (LIMSI, CNRS) Salah Ait-Mokhtar (Naver Labs Europe)

Charlotte Alazard (Université Toulouse 2 Jean Jaurès)

Alexandre Allauzen (LIMSI-CNRS, Université Paris-Sud)

Pascal Amsili (Université Paris Diderot)

Pierre André Hallé (Laboratoire de Phonétique et Phonologie, CNRS-Université Paris 3)

Régine André-Obrecht (Université Paul Sabatier Toulouse III)

Jean-Yves Antoine (Université François Rabelais de Tours)

Nicolas Audibert (Laboratoire de Phonétique et Phonologie, CNRS-Université Paris 3)

Nelly Barbot (IRISA, Université de Rennes 1)

Claude Barras (LIMSI, CNRS)

Loïc Barrault (University of Sheffield)

Katarina Bartkova (ATILF, Université de Lorraine)

Frédéric Béchet (LIF, Aix Marseille Université)

Nathalie Bedoin (DDL, Université Lyon 2)

Patrice Bellot (LSIS, CNRS, Aix-Marseille Université)

Asma Ben Abacha (National Library of Medicine, National Institutes of Health)

Delphine Bernhard (LiLPa, Université de Strasbourg)

Roxane Bertrand (LPL, CNRS, Aix-Marseille Université)

Laurent Besacier (Laboratoire d'Informatique de Grenoble)

Yves Bestgen (F.R.S-FNRS et Université Catholique de Louvain)

Frédéric Bimbot (IRISA, CNRS)

Caroline Bogliotti (MODYCO, UMR 7114, CNRS, Université Paris Nanterre)

Anne Bonneau (LORIA, CNRS)

Stéphanie Borel (Université de Tours)

Féthi Bougarès (LIUM, Le Mans Université)

Leila Boutora (Laboratoire Parole et Langage, Aix Marseille Université)

Paul Caillon (LORIA, Université de Lorraine)

Mélanie Canault (DDL, Université Lyon 2)

Thierry Charnois (LIPN, CNRS, Université de Paris 13)

Chloé Clavel (Telecom-ParisTech)

Maximin Coavoux (Université Grenoble Alpes, CNRS)

Vincent Colotte (LORIA, Université de Lorraine)

Juan Manuel Coria (LIMSI, Université Paris-Saclay Paris 13)

Benoît Crabbé (Université Paris 7)

Lise Crevier Buchman (Laboratoire de Phonétique et Phonologie, CNRS, Hôpital Foch)

Béatrice Daille (LINA, Université de Nantes)

Géraldine Damnati (Orange Labs)

Dan Dediu (Dynamique du Langage, UMR5596, Université Lumière Lyon 2)

Joseph Di Martino (LORIA, Université de Lorraine)

Gaël Dias (Université Caen Normandie)

Amazouz Djegdjiga (LPP, Université Sorbonne Nouvelle – Paris 3)

Benjamin Elie (IMSIA, ENSTA ParisTech)

Iris Eshkol-Taravella (Université d'Orléans)

Emmanuelle Esperança-Rodier (GETALP, Université Grenoble Alpes)

Yannick Estève (LIA, Université d'Avignon)

Dominique Estival (Western Sydney University)

Olivier Ferret (CEA LIST)

Lionel Fontan (Archean Labs)

Karën Fort (Sorbonne Université)

Claire Gardent (LORIA, CNRS)

Eric Gaussier (LIG, Université Grenoble Alpes)

Cédric Gendrot (LPP, Université Sorbonne Nouvelle – Paris 3)

James German (Laboratoire Parole et Langage, Aix Marseille Université)

Cyril Goutte (National Research Council Canada)

Cyril Grouin (LIMSI, CNRS, Université Paris-Saclay)

Pierre André Hallé (LPP, Université Sorbonne Nouvelle – Paris 3)

Olivier Hamon (Syllabs)

Thierry Hamon (LIMSI, Université Paris-Saclay, CNRS, Université Sorbonne Paris Nord)

Bernard Harmegnies (Institut de Recherche en Sciences et Technologies du Langage, Université de Mons)

Nabil Hathout (CLLE, CNRS)

Amir Hazem (LS2N, Université de Nantes)

Nicolas Hernandez (LS2N, Université de Nantes)

Fabrice Hirsch (Praxiling, Université Paul Valéry Montpellier 3)

Thomas Hueber (GIPSA-lab, CNRS)

Kathy Huet (Institut de Recherche en Sciences et Technologies du Langage, Université de Mons)
Stéphane Huet (LIA, Université d'Avignon)

Mathilde Hutin (LIMSI, Université Paris-Saclay, CNRS, Université Sorbonne Paris Nord)

Irina Illina (LORIA, Université de Lorraine)

Christine Jacquin (LS2N Université de Nantes)

Adèle Jatteau (STL, UMR 8163, Université de Lille, CNRS)

Denis Jouvet (LORIA, Inria)

Sylvain Kahane (Modyco, Université Paris Ouest Nanterre)

Takeki Kamiyama (LPP, Université Paris 8 Vincennes-Saint-Denis)

Hannah King (CLILLAC-ARP, Université Paris Diderot)

Olivier Kraif (Université Grenoble Alpes)

Matthieu Labeau (Telecom Paris)

Mathieu Lafourcade (LIRMM, Université de Montpellier)

Mohamed Lahrouchi (SFL, UMR 7023, CNRS Université Paris 8)

Muriel Lalain (LPL, CNRS, Aix-Marseille Université)

Joseph Lark (Dictanova)

Thomas Lavergne (LIMSI, CNRS, Univ. Paris Sud, Université Paris Saclay)

Guillaume Le Berre (LORIA, Université de Lorraine)

Gwénolé Lecorvé (IRISA, Université de Rennes, CNRS)

Benjamin Lecouteux (Laboratoire Informatique de Grenoble)

Claire Lemaire (Université Grenoble Alpes)

Yves Lepage (Waseda University)

Joseph Le Roux (LIPN, Université de Paris 13)

Veronika Lux (ATILF, CNRS)

Paolo Mairano (STL, UMR 8163, Université de Lille)

Anna Marczyk (LPL, CNRS, Aix-Marseille Université)

Denis Maurel (Université François Rabelais de Tours)

Christine Meunier (LPL, CNRS, Aix-Marseille Université)

Alexis Michaud (LACITO, CNRS)

Richard Moot (LIRMM, CNRS)

Véronique Moriceau (LIMSI, CNRS)

Philippe Muller (IRIT, Université de Toulouse)

Alexis Nasr (LIF, Université de la Méditerranée)

Sylvain Navarro (CLLE-ERSS, CNRS)

Luka Nerima (Université de Genève)

Aurélie Névéol (LIMSI, CNRS, Université Paris-Saclay)

Jian-Yun Nie (Université de Montreal)

Damien Nouvel (INaLCO)

Nicolas Obin (IRCAM)

Yannick Parmentier (LORIA, Université de Lorraine)

Sebastian Peña Saldarriaga (Dictanova)

Marie Philippart de Foy (Université de Mons)

Myriam Piccaluga (Institut de Recherche en Sciences et Technologies du Langage, Université de Mons)

Claire Pillot-Loiseau (LPP, UMR 7018, CNRS, Université Sorbonne Nouvelle – Paris 3)

Serge Pinto (LPL, CNRS, Aix-Marseille Université)

Agnès Piquard (LORIA, CNRS, Université de Lorraine)

Thierry Poibeau (LaTTiCe, CNRS)

Alain Polguère (ATILF Université de Lorraine)

Laurent Prévot (LPL, CNRS, Aix-Marseille Université)

Jean-Philippe Prost (LIRMM, Université de Montpellier)

Christian Raymond (IRISA, INSA de Rennes)

Christian Retoré (LIRMM, Université de Montpellier)

Albert Rilliard (LIMSI, CNRS, Université Paris-Saclay)

Virginie Roland (Institut de Recherche en Sciences et Technologies du Langage, Université de Mons)

Sophie Rosset (LIMSI, CNRS, Université Paris-Saclay)

Véronique Sabadell (LPC, Aix Marseille Université)

Stéphane Schneider (INIST, CNRS)

Didier Schwab (Université Grenoble Alpes)

Pascale Sébillot (IRISA, INSA de Rennes)

Djamé Seddah (Almanach, Université Paris la Sorbonne)

Gilles Serasset (LIG, Université Grenoble Alpes)

Romain Serizel (LORIA, Université de Lorraine)

Kamel Smaïli (LORIA, Université de Lorraine)

Rudolph Sock (LiLPa, Université de Strasbourg)

Ludovic Tanguy (CLLE, CNRS)

Xavier Tannier (LIMICS, Sorbonne Université, IN-SERM)

Andon Tchechmedjiev (IMR, Mines Alès)

Juan-Manuel Torres-Moreno (LIA, Université d'Avignon)

Nicolas Turenne (LISIS, INRA)

Béatrice Vaxelaire (LiLPa, Université de Strasbourg)
Anne Vilain (GIPSA-lab, Université de Grenoble Alpes)

Coriandre Vilain (GIPSA-lab, Université de Grenoble Alpes)

Guillaume Wisniewski (LLF, Université de Paris)

Jane Wottawa (LIUM, Le Mans Université)

Yaru Wu (LPP, MoDyCo, Université Paris Nanterre)

Kossi Seto Yibokou (LiLPa, Université de Strasbourg)

François Yvon (LIMSI, CNRS, Université Paris-Sud)
Table des matières

<table><tr><td>Segmentation de texte non-supervisée pour la détection de thématiques à l'aide de plongements lexicaux<br/>Alexandra Benamar</td><td>1</td></tr><tr><td>Spécificités des erreurs d'orthographe des personnes dyslexiques : analyse d'un corpus de productions écrites<br/>Johana Bodard</td><td>15</td></tr><tr><td>Ré-entraîner ou entraîner soi-même ? Stratégies de pré-entraînement de BERT en domaine médical<br/>Hicham El Boukkouri</td><td>29</td></tr><tr><td>Évaluation systématique d'une méthode commune de génération<br/>Hugo Boulanger</td><td>43</td></tr><tr><td>Analyse de la régulation de la longueur dans un système neuronal de compression de phrase : une étude du modèle LenInit<br/>François Buet</td><td>57</td></tr><tr><td>Exploitation de modèles distributionnels pour l'étude de la nomination dans un corpus d'interviews politiques<br/>Manon Cassier</td><td>71</td></tr><tr><td>L'adaptabilité comme compétence pour les systèmes de dialogue orientés tâche<br/>Oralie Cattan</td><td>85</td></tr><tr><td>Simplification de textes : un état de l'art<br/>Sofiane Elguendouze</td><td>96</td></tr><tr><td>Évolution phonologique des langues et réseaux de neurones : travaux préliminaires<br/>Clémentine Fourrier</td><td>110</td></tr><tr><td>Comparing PTB and UD information for PDTB discourseconnective identification<br/>Kelvin Han, Phyllicia Leavitt, Srilakshmi Balard</td><td>123</td></tr><tr><td>Transformations syntaxiques entre niveaux de simplification dans le corpus Newsela<br/>Rita Hijazi</td><td>137</td></tr><tr><td>La désambiguisation des abréviations du domaine médical<br/>Anaïs Koptient</td><td>151</td></tr><tr><td>Apprentissage de plongements de mots sur des corpus en langue de spécialité : une étude d'impact<br/>Valentin Pelloin, Thibault Prouteau</td><td>164</td></tr><tr><td>Représentation vectorielle de paires de verbes pour la prédiction de relations lexicales<br/>Etienne Rigaud</td><td>179</td></tr><tr><td>TTS voice corpus reduction for audio-book generation<br/>Meysam Shamsi</td><td>193</td></tr></table>
# Segmentation de texte non-supervisée pour la détection de thématiques à l'aide de plongements lexicaux

Alexandra Benamar¹, ²

(1) Université Paris-Saclay, CNRS, LIMSI, 91405 Orsay

(2) EDF R&D, 7 Boulevard Gaspard Monge, 91120 Palaiseau
alexandra.benamar@{limsi.fr, edf.fr}

## RÉSUMÉ

Cet article présente les principales méthodes de segmentation automatique de documents textuels spécifiques. La tâche de segmentation thématique de texte consiste à analyser un document pour en extraire des sections cohérentes. Les méthodes de segmentation non supervisées cherchent à optimiser une fonction de probabilité de segmentation ou une fonction de similarité qui peut être calculée entre les blocs ou au sein des blocs. Elles sont réparties en trois catégories : les méthodes statistiques, les méthodes à base de graphes et les approches neuronales. Parmi les approches neuronales utilisées, nous nous intéressons tout particulièrement à celles qui utilisent des plongements lexicaux pour représenter des phrases et définir des segments thématiques. Tout d'abord, nous montrons que les plongements lexicaux permettent une amélioration nette des performances par rapport à des méthodes statistiques. Ensuite, nous évaluons l'impact du choix de la représentation vectorielle des phrases pour cette tâche de segmentation non supervisée.

## ABSTRACT

Unsupervised text segmentation for topic detection using embeddings

This paper presents the state of the art of automatic segmentation of domain-specific documents. The task of topic segmentation consists in analyzing a document in order to extract coherent sections. The aim of unsupervised segmentation methods is either to maximize a probabilistic function or to use a similarity function that can be maximize between or within segmented blocks. They are divided into three categories : statistical methods, graph-based methods and neural approaches. Among the last ones, we are particularly interested in those which use latent representations of words to define segments. First, we show that embeddings allow a significant improvement in performance compared to statistical methods. Next, we assess the impact of sentence representation on unsupervised text segmentation methods.

**MOTS-CLÉS** : segmentation de texte ; méthodes non-supervisées ; plongements lexicaux.

**KEYWORDS**: text segmentation ; unsupervised methods ; embeddings.

# 1 Introduction

La segmentation de texte en thématiques cohérentes est une tâche fondamentale en traitement automatique des langues (TAL), à différentes granularités. Un ensemble d'approches appelées segmentation thématique (*topic segmentation* en anglais) s'emploie à diviser un document en segments thématiquement cohérents. Ces approches sont souvent considérées comme un pré-requis pour d'autres

<figure><img src="image_9.png" /></figure>
tâches telles que l'analyse du discours (Polanyi et al., 2004) et l'analyse de sentiments (Mu et al., 2012). La segmentation en thèmes permet de répondre à des problématiques variées comme le résumé automatique (Chuang & Yang, 2000; Angheluta et al., 2002), la recherche d'information (Huang et al., 2003; Prince & Labadié, 2007) et l'analyse de dialogues (Song et al., 2016). À un niveau plus fin, la segmentation de texte consiste à segmenter des phrases en unités élémentaires du discours (EDU pour Elementary Discourse Units) (Marcu, 2000) définies comme des unités similaires à des clauses servant de blocs élémentaires pour la segmentation du discours.

Afin de répondre à ces problématiques de segmentation de texte, des méthodes supervisées et non su-
pervisées de fouille de texte sont généralement mises en œuvre. Les méthodes supervisées nécessitent
un grand volume de données d'apprentissage spécifiques à un domaine d'application très structurées
 documents juridiques, rapports médicaux, ...) et sont sensibles au bruit. Dans cet article, nous nous
 intéressons à la segmentation de texte non supervisée, où la spécificité de la méthode réside dans le
choix de la fonction objectif et dans la représentation des phrases du corpus (dense ou latente). Depuis
de nombreuses années, différentes approches ont été explorées pour segmenter des textes comme la
détection de cooccurences de mots entre des segments, la détection de thématiques, l'utilisation de
représentations de phrases ou de mots sous forme de graphes et l'utilisation d'architectures neuronales.
Ici, nous nous intéressons à l'utilisation de plongements lexicaux pour la segmentation automatique
de texte en sections thématiques pertinentes dans des corpus de données spécifiques. Les plongements
lexicaux ont connu un grand succès ces dernières années sur plusieurs tâches d'apprentissage non
supervisé, en permettant une représentation syntaxique et sémantique des mots dans un corpus. Les
évaluations seront réalisées sur le corpus construit lors de la compétition Défi fouilles de texte (DEFT)
de l'édition 2006 (Heitz et al., 2006) composé de discours politiques et de textes juridiques. Les
méthodes testées dans cet article ont été retenues pour cette tâche spécifique à partir d'un état de
l'art assez large des méthodes neuronales de segmentation de texte et comparées à des méthodes
statistiques fréquemment utilisées. Après avoir présenté un état de l'art des méthodes de segmentation
thématique de documents et de représentations du langage (section 2), nous décrivons le corpus DEFT
utilisé (section 3), puis nous présentons les expériences réalisées pour cette tâche (section 4) avant de
conclure et de définir nos perspectives de recherche (section 5).

2 État de l'art

Dans cette section, nous présentons tout d'abord les grandes familles de méthodes non supervisées de segmentation de texte. Ensuite, nous nous intéressons aux évolutions récentes qui permettent d'améliorer les représentations de texte : les plongements lexicaux. Puis, nous détaillons deux méthodes proposées ces dernières années pour utiliser des plongements de mots pour la segmentation automatique de texte. Enfin, nous nous intéressons aux méthodes courantes d'évaluation des modèles de segmentation.

## 2.1 Méthodes de segmentation non supervisée

Parmi les approches répandues de segmentation linéaire de texte, les méthodes non supervisées constituent un champ de recherche majoritaire. Ces méthodes englobent la cohésion lexicale, la modélisation statistique, des méthodes par propagation d'affinité et des approches de topic modeling.
### 2.1.1 Objectif des méthodes

On distingue deux stratégies d'optimisation de la segmentation de texte : des méthodes probabilistes et des approches basées sur la similarité de contenu. La première approche définit un modèle de langue à travers l'étude de la distribution de probabilités des mots d'un corpus en vue d'affecter chaque mot à une thématique. En 2001, une approche probabiliste (Utiyama & Isahara, 2001) consiste à maximiser la probabilité de segmentation d'un texte. Formellement, si on considère une séquence de mots $W = w_1w_2...w_n$ et une segmentation $S = s_1s_2...s_m$ de W, l'objectif est de maximiser :

$$P(S|W) = \frac{P(S)P(W|S)}{P(W)} \qquad (1)$$

Cela revient à trouver la séquence de segments $S = \text{argmax}_s P(W|S)P(S)$, $P(W)$ étant un terme constant. Afin d'évaluer cet objectif, les auteurs émettent deux hypothèses :

1. Les segments sont statistiquement indépendants les uns des autres.

2. Étant donné un segment, les mots au sein d'un segment sont statistiquement indépendants les uns des autres.

Cette méthode est la première a avoir été proposée pour traiter la segmentation comme un problème d'optimisation probabiliste. Elle a permis d'obtenir des résultats à l'état de l'art dans des applications de résumés automatiques. Cependant, cette approche ne semble pas adaptée à une application de recherche d'information. En effet, l'algorithme découpe les gros documents en peu de segments, ce qui est intéressant pour le résumé automatique (où on veut détecter le moins de thématiques pertinentes possibles), mais ce qui n'est pas pertinent pour l'extraction de petits segments de texte.

La deuxième approche consiste à étudier la similarité lexicale entre différentes unités de texte. Les unités de texte peuvent être des mots, des phrases, des séquences de mots ou des paragraphes. Le plus souvent, la similarité est mesurée entre des blocs de textes, sous forme de similarité cosinus $S(s_i, s_j)$ entre deux segments $s_i = w_1w_2...w_n$ :

$$S(s_i, s_j) = \frac{s_i \cdot s_j}{||s_i||||s_j||} \qquad (2)$$

Dans l'équation, $s_i \cdot s_j$ est le produit vectoriel des deux vecteurs et $||s_i||$ est la norme L2 du vecteur $s_i$. La plupart des algorithmes de segmentation supposent que des fragments de texte ayant des distributions de mots similaires appartiendront à la même thématique. Dans les approches de similarité, on distingue des blocs similaires et homogènes en utilisant la similarité des éléments au sein d'un même bloc. Deux approches sont étudiées pour évaluer l'homogénéité des blocs : la maximisation de la similarité au sein des blocs (Reynar, 1998; Choi, 2000) et la maximisation de la dissimilarité entre des blocs (Reynar, 1998). Idéalement, les deux stratégies seraient combinées pour trouver des frontières de segmentations optimales.

### 2.1.2 Familles de méthodes

Les grandes familles de méthodes de segmentation de texte non supervisées sont :

1. Les méthodes statistiques : elles formulent l'hypothèse que des segments différents contiennent des mots différents. Elles caractérisent les mots par des méthodes statistiques (ie. TF, IDF, ...).
2. Les modèles à base de graphes : les nœuds représentent les phrases, et les arêtes peuvent représenter le nombre de mots qu'elles partagent (Pourvali & Abadeh, 2012) ou encore des liens de similarité vectorielle entre leurs mots communs (Glavaš et al., 2016).

3. Les méthodes basées sur des réseaux de neurones.

Dans la suite de cet article, nous détaillerons les méthodes statistiques, servant de base à notre étude, et les méthodes neuronales au cœur de celle-ci.

**Modèles statistiques** Un document est souvent constitué de sections cohérentes, contenant elles-mêmes plusieurs unités textuelles (paragraphes, phrases, segments, etc.) (Salton et al., 1996). Une hypothèse sous-jacente à la plupart des algorithmes de segmentation de documents consiste à dire que les répétitions lexicales signifient la continuité d'une thématique, alors que le changement de distribution lexicale indique une transition vers une autre thématique. Ce principe a été formalisé par Halliday & Hasan (1976) dans la théorie de la cohésion. Généralement, si deux thématiques sont suffisamment différentes, le vocabulaire significatif associé à chacun d'entre-eux sera également différent. De plus, si des mots apparaissent dans des contextes similaires, ils seront probablement liés sémantiquement, ce qui permet l'utilisation de modèles basés sur la cooccurrences de mots. Reynar (1998) observe que les anaphores pronominales ont tendance à survenir plus fréquemment au sein de segments qu'entre différents segments et montre ainsi que la segmentation en thématiques pourrait être une étape cruciale pour la résolution d'anaphores pronominales. Les premières méthodes de segmentation de textes consistaient à représenter la cohésion lexicale dans un espace vectoriel, en explorant des modèles basés sur la cooccurrences de mots. Parmi elles, TextTiling (Hearst, 1997) est une technique de segmentation de texte basée sur la similitude entre des blocs de mots adjacents, en se basant uniquement sur la cooccurence des mots et leur distribution. Cette approche sous-entend qu'une baisse de la similarité entre blocs adjacents correspond à un changement de thématique. L'inconvénient majeur de cette méthode est qu'elle considère la similarité entre des blocs adjacents, sans considérer des dépendances à long terme. Choi (2000) améliore TextTiling avec l'algorithme C99 et calcule un score de cohérence entre toutes les paires d'unités (phrases ou segments) d'un texte au lieu de seulement étudier la cohérence entre les unités voisines. L'algorithme recherche les frontières qui optimisent une fonction objectif basée sur le score de cohérence, en effectuant des coupures successives du texte, similaire à du *clustering* hiérarchique descendant. Plus récemment, des méthodes de segmentation basées sur des modèles de *topic modeling* ont vu le jour. Parmi elles, la méthode PLDA (Purver et al., 2006) calcule des frontières de segmentation et un modèle d'allocation de Dirichlet latente.

**Réseaux de neurones** Les réseaux de neurones profonds (Deep Neural Networks) ont connu un grand succès en TAL, notamment avec l'utilisation de méthodes de *transfer learning* et de modèles de langues. Ces architectures ont permis des gains de performances impressionnants, notamment en classification supervisée, en reconnaissance d'entités nommées ou encore en *Question Answering*. Depuis, les réseaux de neurones ont été introduits pour des tâches de segmentation de données textuelles. Par exemple, les réseaux de neurones récurrents LSTM ont été utilisés pour la segmentation de textes (Koshorek et al., 2018) en considérant ce problème comme une tâche d'apprentissage supervisé, où chaque phrase de fin de segment est étiquetée par un marqueur spécifique. Les auteurs ont utilisé un premier LSTM bidirectionnel pour construire des représentations de phrases à partir de mots et un deuxième LSTM pour attribuer une probabilité d'appartenance de chaque phrase aux labels. Au vu du récent succès des plongements lexicaux, un champ de recherche s'intéresse à leur incorporation à la tâche de segmentation automatique de textes.
## 2.2 Représentation du langage

Les représentations vectorielles de mots, qui ont permis des gains de performance importants sur plusieurs tâches comme la classification, consistent à associer un mot à un vecteur de taille fixe. Parmi les modèles les plus connus figurent Word2Vec (Mikolov et al., 2013), fondé sur un modèle de prédiction d'un mot à partir du contexte de mots environnants, et GloVe (Pennington et al., 2014) basé sur la prédiction des cooccurences de mots dans un document. Ces approches permettent d'appréhender des représentations figées des mots à partir de leur contexte environnant. Toutefois, les résultats obtenus ne rendent pas compte de la richesse syntaxique et sémantique de la langue. Les mots polysémiques seront représentés par un seul vecteur, indépendamment de leur sens réel dans la phrase. De plus, les mots n'appartenant pas au vocabulaire de l'ensemble d'apprentissage (Out Of Vocabulary en anglais ou OOV) ne seront pas reconnus par le modèle ce qui oblige l'utilisateur à construire de nouveaux modèles pour le traitement de domaines spécifiques.

Plusieurs méthodes tirent parti des réseaux de neurones récurrents pour construire des représentations plus riches basées sur des modèles de langues statistiques. Ceux-ci consistent à calculer à partir d'un enchaînement de mots la probabilité d'apparition du mot suivant. ELMo (Embeddings from Language Models) (Peters et al., 2018) construit des plongements de mots contextuels qui utilisent la richesse syntaxique et sémantique des mots. Ce modèle combine des réseaux de neurones récurrents pour l'analyse des mots et des réseaux de neurones convolutifs pour l'analyse des chaînes de caractères. Chaque caractère est ainsi représenté par un vecteur de petite taille et chaque mot est représenté par la concaténation des vecteurs des caractères le composant. Cela permet de représenter tous les mots qui n'ont jamais été vus par le système (OOV). De plus, l'utilisation de réseaux récurrents bidirectionnels permet l'ajout d'informations syntaxiques et sémantiques à travers l'enrichissement du contexte pour chaque mot. En utilisant des méthodes de combinaison linéaire et de concaténation vectorielle des couches cachées pour obtenir de nouvelles caractéristiques, ELMo permet une amélioration significative des résultats sur des tâches de Question Answering (QA), de détection d'informations sémantiques « qui a fait quoi à qui ? », de résolution de corréférence, etc.

**Méthode sémantique** Alemi & Ginsparg (2015) démontrent l'utilité des plongements lexicaux sémantiques pour la segmentation de texte, à la fois dans les algorithmes existants et dans de nouveaux algorithmes de segmentation. Les auteurs ont incorporé à l'algorithme C99 (présenté en section 2.1) des plongements de mots GloVe. Cela a permis d'améliorer de quelques pourcents les résultats obtenus avec l'algorithme natif. Le corpus est tout d'abord nettoyé en supprimant la ponctuation et les mots vides. Puis, chaque mot est représenté par son vecteur GloVe associé et pondéré par l'Inverse Document Frequency (IDF) du mot dans l'ensemble du corpus. Enfin, chaque phrase est représentée par le vecteur moyen de l'ensemble des mots la composant. La segmentation est une forme de clustering donc un choix naturel pour la fonction de score est la somme des écarts carrés par rapport à la moyenne du segment, comme utilisée dans l'algorithme k-means. En général, la similitude cosinus est utilisée pour le vecteur de mots, mais les auteurs ont choisi de normaliser les vecteurs afin d'utiliser la métrique euclidienne, ce qui se rapproche plus de l'algorithme k-means par défaut. Enfin, les auteurs présentent différentes stratégies d'optimisation de la fonction objectif : une méthode d'optimisation dite « gourmande » (greedy en anglais) et une méthode d'optimisation dynamique. La méthode gourmande consiste à diviser le texte itérativement à l'endroit où le gain est le plus grand, jusqu'à ce que ce gain soit inférieur à un seuil de pénalité donné. Le gain est défini comme la somme des normes des segments gauche et droit moins la norme du segment à diviser. La méthode gourmande consiste à construire de manière itérative une structure de données qui stocke les
résultat d'un fractionnement optimal. Il en résulte une matrice stockant un score pour un segment de
la position i à j, étant donné une segmentation optimale jusqu'à i. La méthode dynamique a permis
une amélioration des résultats de l'algorithme C99 couplé à des plongements lexicaux.

Plus récemment, les architectures neuronales transformer (Vaswani et al., 2017) se sont imposées comme une alternative performante aux réseaux de neurones récurrents (Cho et al., 2014), grâce à l'efficacité de leur apprentissage et à leurs performances supérieures en termes de capture des dépendances longue distance. Les modèles Universal Sentence Encoder (USE) sont des modèles pré-entrainés d'embeddings à différents niveaux : mots, phrases et paragraphes et ont été testés sur des tâches supervisées telles que la classification de sentiments ainsi que sur des tâches de similarité entre les documents (Cer et al., 2018). Parmi les nombreux modèles proposés par USE, le plus performant est le modèle transformer qui utilise les mécanismes d'attention pour calculer des représentations vectorielles sensibles au contexte des mots. En 2018, Devlin et al. (2018) proposent BERT, un modèle transformer bi-directionnel à l'état de l'art sur 11 tâches de TAL, dont le QA où il dépasse même l'annotation humaine. BERT contient deux nouvelles tâches de pré-entraînement : l'une à l'échelle des mots et l'autre à l'échelle des phrases.

## 2.3 Plongements lexicaux pour la segmentation de texte

**Méthode séquentielle** D'autres travaux (Karus, 2019) présentent un modèle de segmentation séquentiel qui utilise une fenêtre glissante sur les phrases d'un corpus pour détecter les frontières de segmentation (Figure 1). Tout d'abord, l'auteur représente chaque phrase du corpus par un plongement de phrase, calculé avec Word2Vec, en calculant la moyenne des vecteurs de mots la composant. Ensuite, l'algorithme observe les plongements des *n* premières phrases (*n* correspond à la taille de la fenêtre) et calcule la plus grande distance cosinus entre les segments de phrases puis divise le texte au niveau de cet indice. Puis, il traite ensuite les *n* phrases après la scission décidée et répète le processus jusqu'à ce qu'il atteigne la fin du texte. L'auteur a également essayé de réduire la dimension des algorithmes avec une analyse en composantes principales, ce qui lui a permis de gagner en performance.

<figure><img src="image_10.png" /><figcaption>FIGURE 1 – Segmentation séquentielle de textes</figcaption></figure>
## 2.4 Méthodes d'évaluation

L'évaluation en segmentation de texte est une tâche difficile qui peut prendre en compte différents paramètres. Parmi eux, certains permettent de détecter des erreurs de labels (précision, rappel et f-mesure), d'autres calculent des erreurs de labels et de frontières ($P_k$, WindowDiff, ...) et les dernières calculent des erreurs de frontières et de types (SER). En segmentation automatique, des étiquettes 0-1 sont associées aux phrases du corpus. L'étiquette 1 signifie que la phrase est la première d'un segment et l'étiquette 0 signifie que la phrase se trouve au sein d'un segment.

Habituellement utilisées en recherche d'information (Van Rijsbergen, 1979), les méthodes de précision et de rappel ont été appliquées à l'évaluation d'algorithmes de segmentation de textes. Le rappel est défini comme le pourcentage de frontières correctement détectées par l'algorithmme et la précision est le pourcentage de frontières identifiées par l'algorithmme qui correspondent à des coupures réelles du corpus. Formellement :

$$ \text{Précision} = \frac{\text{Nombre de segments correctement étiquetés}}{\text{Nombre de segments fournis}} \qquad (3) $$

$$ \text{Rappel} = \frac{\text{Nombre de segments correctement étiquetés}}{\text{Nombre de segments étiquetés dans la référence}} \qquad (4) $$

Néanmoins, la relation entre la précision et le rappel tendent à rendre cette tâche difficile. En effet, l'ajout de frontières tendra à améliorer le rappel et à diminuer la précision. En plus du rappel et de la précision, la f-mesure a également été utilisée par Baeza-Yates et al. (1999) afin de combiner la précision et le rappel mais l'inconvénient de cette approche est que les résultats sont difficiles à interpréter (Baeza-Yates et al., 1999). De plus, le rappel et la précision ne tiennent pas compte des pénalités liées à la distance à la segmentation réelle obtenue par les algorithmes. Par exemple, soit une segmentation réelle $S = 10101010$ et deux algorithmes de segmentation $Seg_1 = 11000110$ et $Seg_2 = 11110000$, on devrait considérer que l'algorithmme $Seg_1$ est meilleur que $Seg_2$ parce qu'il construit des séquences plus similaires aux segments réels que $Seg_2$, ce que ces méthodes ne permettent pas de déterminer. De plus, les segments produits par $Seg_1$ sont plus similaires à $S$ en termes de taille que ceux produits par $Seg_2$.

En 1997, une nouvelle méthode d'évaluation $P_k$ est proposée par Beeferman et al. (1997) afin de pallier ces problèmes et inclure un système de pénalités plus juste. Elle est calculée en fixant $k$ comme étant la moitié de la moyenne de la taille des segments réels, et en déplaçant une fenêtre de taille $k$ sur le jeu de données. A chaque endroit, l'algorithmme détermine si les segments en début et fin de fenêtre appartiennent au même segment ou non, et incrémente un compteur si la réponse est fausse. Le nombre résultant est mis à l'échelle entre 0 et 1 en divisant par le nombre de mesures prises. Un algorithme qui attribue correctement toutes les frontières reçoit un score de 0. Pour justifier cette méthode, Beeferman et al. (1999) insistent sur leur volonté d'empêcher les algorithmes de s'adapter aux méthodes d'évaluation. Pour cela, les algorithmes dégénérés qui placent des frontières à chaque position ou ne placent aucune frontière obtiennent approximativement le même score. De plus, les auteurs définissent un faux négatif (également appelé un « raté ») comme un cas où une frontière est présente dans la segmentation de référence mais manquante dans la segmentation hypothétique de l'algorithmme, et une assignation faussement positive d'une frontière qui n'existe pas dans la segmentation de référence. L'interprétation de $P_k$ est la suivante : plus il est petit, plus le résultat obtenu se rapproche du résultat de référence.
Plus récemment, Pevzner & Hearst (2002) ont mis en avant des problèmes liés à la méthode $P_k$: les faux-négatifs sont plus pénalisés que les faux-positifs, le nombre de frontières n'est pas considéré, la méthode est difficilement interprétable lorsqu'elle est supérieure à 0, etc. Ils proposent alors WindowDiff, inspiré de $P_k$ et modifient la mesure d'erreur de l'algorithme tout en conservant la caractéristique souhaitable de pénaliser les presque-accidents moins que les faux positifs-purs et les faux-négatifs purs. Le correctif fonctionne comme suit: pour chaque position de la fenêtre, il suffit de comparer le nombre de frontières de segmentation de référence tombées dans cet intervalle ($r_i$) par rapport au nombre de frontières attribuées par l'algorithme ($a_i$). L'algorithme est pénalisé si $r_i = a_i$ (qui est calculé comme $|r_i - a_i| > 0$). Formellement :

$$ \text{WindowDiff(ref, hyp)} = \frac{1}{N-k} \sum_{i=1}^{N-k} (|b(ref_i, ref_{i+k}) - b(hyp_i, hyp_{i+k})| > 0) \quad (5) $$

où $b(i, j)$ représente le nombre de frontières entre les positions i et j dans le texte et N représente les fausses pénalités négatives observées dans la méthode $P_k$. Il capture également les faux positifs et les faux négatifs dans des segments de longueur inférieure à k. Comme pour $P_k$, WindowDiff est une erreur, donc plus sa valeur est petite, meilleur est le résultat.

Enfin, le Slot Error Rate (SER) (Makhoul et al., 1999), fréquemment utilisé en détection d'entités nommées, combine et pondère différents types d'erreurs : insertions (I), délétions (D), erreurs de frontière (F), erreurs de type (T) et erreurs de type et de frontière (TF) et est calculé comme ceci :

$$ SER = \frac{I + D + TF + 0,5 * (T + F)}{\text{Nombre de segments étiquetés de la référence}} \quad (6) $$

Cette méthode permet une évaluation rigoureuse de blocs de segments. Cependant, la particularité de la segmentation est qu'il ne s'agit pas de faire de distinction de labels entre deux segments A et B, toutes les phrases d'un segment sont représentées par des 0 et les frontières sont représentées par des 1. En conclusion, cette méthode, bien que complète et interprétable, ne semble pas pertinente pour une tâche de segmentation de texte.

# 3 Corpus

Le corpus de données utilisé dans cet article a été construit dans le cadre de l'édition DEFT 2006 (Heitz et al., 2006) pour effectuer de la reconnaissance automatique de segments thématiques dans des textes rédigés en français. Nous avons choisi d'utiliser des corpus de domaines spécifiques pour effectuer de la segmentation thématique ce qui nous a conduit à sélectionner les genres suivants : discours politiques et textes juridiques.

Le premier corpus est composé de transcriptions manuelles de discours politiques prononcés par différents Présidents de la République française (Valéry Giscard d'Estaing, François Mitterrand et Jacques Chirac). Les en-têtes des discours comprenant le titre, la date et l'orateur ont été supprimés. Les auteurs ont capitalisé sur les discours de Valéry Giscard d'Estaing, quasiment tous présents dans le corpus, contrairement aux autres Présidents. Cet ensemble de données contient également des entretiens politiques avec des journalistes ou d'autres hommes politiques, tant que l'un des interlocuteurs est l'un des Présidents listés précédemment. La spécificité de ce jeu de données est
qu'il est entièrement en majuscules. La segmentation de référence consiste dans les paragraphes des textes originaux (volumétrie : environ 70 Mo).

Le deuxième corpus est composé d'articles de lois de l'Union Européenne. Les références aux images, les en-têtes, l'article final de signature et les lois de moins de 10 phrases ont été supprimés par les auteurs. Les références sont écrites sous la forme [REFERENCE], comme par exemple [EMPLACEMENT TABLE]. Les numéros des articles, chapitres, titres et annexes ont été remplacés par la lettre « X », comme par exemple « Article X ». Les segments thématiques de référence sont les lois qui peuvent être composées de plusieurs articles (volumétrie : environ 110 Mo).

La Table 1 présente des statistiques descriptives du corpus effectuées par les auteurs (Hurault-Plantet et al., 2006). Les corpus sont très différents en terme de contenu des segments thématiques à retrouver. Les discours politiques contiennent beaucoup de segments courts alors que les textes juridiques contiennent deux fois moins de segments de plus grande taille (1). Malgré une volumétrie nettement plus grande pour les textes juridiques en termes de nombre total de phrases (1) et de mots (1), on note que le vocabulaire est moins riche que dans les discours politiques (1), ce qui signifie que la richesse lexicale est faible dans les articles de lois.

<table><caption>TABLE 1 – Statistiques descriptives sur les mots du corpus d'apprentissage. seg(s). : segment(s); vocab. : vocabulaire.</caption><thead><tr><th></th><th>#phrases</th><th>#segs</th><th>#phrases/seg.</th><th>vocab.</th><th>#mots</th><th>#mots/phrase</th><th>#mots/seg.</th></tr></thead><tbody><tr><td>Discours</td><td>303 373</td><td>18 929</td><td>16</td><td>62 465</td><td>8 186 044</td><td>27</td><td>432</td></tr><tr><td>Lois</td><td>433 456</td><td>9 934</td><td>44</td><td>57 763</td><td>11 555 852</td><td>27</td><td>1 163</td></tr></tbody></table>

# 4 Expériences

Afin d'évaluer l'impact des plongements lexicaux sur une tâche de segmentation de texte, nous implémentons les méthodes sémantiques et séquentielles présentées en section (2.3). Cette approche sera comparée à des méthodes statistiques usuelles avec les algorithmes TextTiling et C99 présentés précédemment. Le deuxième objectif de l'article est de comparer des représentations vectorielles pour la segmentation. Pour cela, nous utiliserons la méthode séquentielle et nous comparerons la représentation non contextuelle Word2Vec (utilisée dans le papier d'origine) avec les représentations contextuelles ELMo et Universal Sentence Encoder.

## 4.1 Pré-traitements

Pour toutes les méthodes, la ponctuation a été supprimée. Les méthodes statistiques testées dans cet article (TextTiling et C99) sont appliquées dans la littérature après une phase de *stemming* de données. En français, cette méthode n'est pas toujours pertinente. Pour cette raison, nous avons remplacé l'étape de *stemming* par une lemmatisation du corpus avec l'outil TreeTagger<fnref n="1" />. De plus, ces documents sont rédigés en majuscules. Dans cet article, nous avons fait le choix de transformer les textes en minuscules. L'étape de lemmatisation a été réalisée avec l'outil sur les textes après transformation en minuscules de ceux-ci.

<footnote n="1">1. https://www.cis.uni-muenchen.de/~schmid/tools/TreeTagger/</footnote>
## 4.2 Vectorisation

Les modèles vectoriels utilisés dans cet article sont Word2Vec, ELMo et Universal Sentence Encoder. Le modèle Word2vec choisi a été réalisé par Fauconnier (2015) et a été appris sur une sortie Wikipédia contenant 600 millions de mots. Il s'agit d'un modèle skip-gram contenant des vecteurs de taille 1000 et un vocabulaire de mots apparaissant au moins 200 fois dans le corpus. Le modèle ELMo utilisé (Che et al., 2018) a été pré-entraîné sur 20 millions de mots en français sur un corpus Wikipédia et sur le corpus Common Crawl.

## 4.3 Paramètres

Les méthodes de segmentation ont été lancées sur l'ensemble de données d'apprentissage afin de trouver les paramètres permettant d'optimiser les résultats obtenus. Ces paramètres de calcul ont ensuite été appliqués au jeu de données de test pour l'évaluation des performances des méthodes. Les méthodes TextTiling et C99 ont été utilisées avec des fenêtres de calcul des frontières de taille 10 pour les discours politiques et 35 pour les textes juridiques. La taille optimale des segments utilisée pour la méthode de plongements sémantiques a été fixée à 16 pour les discours politiques et 40 pour les textes juridiques. Enfin, pour la méthode séquentielle, la fenêtre glissante est de taille 35 pour les discours politiques et elle est de taille 20 pour les textes juridiques. La réduction de dimension a été réalisée sur 100 composantes principales pour tous les jeux de données et pour toutes les méthodes de représentation. La variance expliquée par ces axes est comprise entre 69,8% et 89,3%, en fonction des représentations utilisées.

# 5 Résultats

**Etape 1 : Comparaison de méthodes neuronales et de méthodes statistiques usuelles.** La Table 2 présente les résultats obtenus pour la segmentation de texte sur le corpus (discours politiques et textes juridiques). Les plongements lexicaux permettent une amélioration nette des performances par rapport à des méthodes statistiques usuelles. En comparant la segmentation de référence dans les corpus de discours politiques (cf. Figures 2a et 2b) et de textes juridiques (cf. Figures 3a et 3b), on s'aperçoit que les segmentations sont très différentes. En effet, les coupures permettent d'obtenir des blocs plus homogènes dans les discours politiques que dans les textes juridiques. Etant donné que la méthode séquentielle divise les documents en blocs assez homogènes (cf. Figures 2c, 2d, 3c et 3d), cette méthode est la plus performante pour les discours politiques. La réduction de dimension a permis une légère amélioration des résultats. Ce résultat est intéressant car cela signifie que l'on peut gagner en temps de calcul et en puissance de calcul sur cette méthode en utilisant de plus petits vecteurs, sans dégrader les résultats obtenus. Contrairement à la méthode séquentielle, la méthode sémantique génère des segments moins homogènes, surtout avec l'optimisation gourmande (cf. Figures 2e, 2f, 3e et 3f). Sur les textes de lois, cette méthode permet d'obtenir les meilleures performances de segmentation. Enfin, les indicateurs $P_k$ et WindowDiff (WD) sont concordants, contrairement à la F-Mesure qui, décrite en section (2.4), ne rend pas compte des similarités de segments obtenus mais uniquement des frontières brutes.
<table><caption>TABLE 2 – Résultats de segmentation obtenus sur les corpus de discours et les textes juridiques. Les méthodes ont été évaluées sur des fenêtres de taille 3-5 pour calculer $P_k$ et WindowDiff et la plus petite erreur a été récupérée. OG : Optimisation Gourmande; OD : Optimisation Dynamique</caption><thead><tr><th rowspan="2"></th><th colspan="3">Discours</th><th colspan="3">Lois</th></tr><tr><th>P<sub>k</sub></th><th>WD</th><th>F-Mesure</th><th>P<sub>k</sub></th><th>WD</th><th>F-Mesure</th></tr></thead><tbody><tr><td>Text Tiling</td><td>0,431</td><td>0,431</td><td>0,101</td><td>0,404</td><td>0,404</td><td>0,052</td></tr><tr><td>C99</td><td>0,325</td><td>0,614</td><td><strong>0,229</strong></td><td>0,565</td><td>0,565</td><td>0,083</td></tr><tr><td>Sémantique + OG</td><td>0,274</td><td>0,282</td><td>0,187</td><td><strong>0,095</strong></td><td><strong>0,095</strong></td><td>0,116</td></tr><tr><td>Sémantique + OD</td><td>0,328</td><td>0,282</td><td>0,183</td><td>0,122</td><td>0,097</td><td><strong>0,128</strong></td></tr><tr><td>Séquentiel</td><td>0,272</td><td>0,277</td><td>0,101</td><td>0,192</td><td>0,194</td><td>0,074</td></tr><tr><td>Séquentiel + ACP</td><td><strong>0,269</strong></td><td><strong>0,270</strong></td><td>0,103</td><td>0,268</td><td>0,188</td><td>0,096</td></tr></tbody></table>

<figure><img src="image_11.png" /><figcaption>FIGURE 2 – Résultats obtenus sur les discours politiques</figcaption></figure>

**Etape 2 : Représentations contextuelles et non contextuelles.** Ici, nous comparons l'utilisation de plongements lexicaux non contextuels (Word2Vec) et des plongements lexicaux contextuels (ELMo et USE) pour la segmentation de textes. L'utilisation de représentations vectorielles complexes n'a pas permis d'améliorer les résultats obtenus avec la méthode sémantique sur les textes juridiques (cf. Table 4). Quelle que soit la représentation utilisée, l'optimisation gourmande est plus performante que l'optimisation dynamique. A contrario, l'architecture transformer du modèle USE améliore les résultats obtenus avec la méthode séquentielle sur les discours politiques (cf. Table 3).

## 6 Conclusion

Dans cet article, nous nous sommes intéressés à la segmentation non supervisée de texte pour la détection de thématiques. Nous avons présenté un état de l'art des différentes méthodes utilisées pour
<figure><img src="image_12.png" /><figcaption>(a) Segments de référence</figcaption></figure>

<figure><img src="image_13.png" /><figcaption>(c) Segments obtenus avec la méthode séquentielle</figcaption></figure>

<figure><img src="image_14.png" /><figcaption>(e) Segments obtenus avec la méthode sémantique</figcaption></figure>

<figure><img src="image_15.png" /><figcaption>(b) Taille des segments de référence</figcaption></figure>

<figure><img src="image_16.png" /><figcaption>(d) Taille des segments avec la méthode séquentielle</figcaption></figure>

<figure><img src="image_17.png" /><figcaption>(f) Taille des segments avec la méthode sémantique</figcaption></figure>

<table><caption>FIGURE 3 – Résultats obtenus sur les textes juridiques</caption><thead><tr><th></th><th>P<sub>k</sub></th><th>WD</th><th>F-Mesure</th></tr></thead><tbody><tr><td>w2v</td><td>0,272</td><td>0,277</td><td>0,101</td></tr><tr><td>w2v + ACP</td><td>0,269</td><td>0,270</td><td><strong>0,103</strong></td></tr><tr><td>ELMo</td><td>0,273</td><td>0,276</td><td>0,098</td></tr><tr><td>ELMo + ACP</td><td>0,273</td><td>0,271</td><td>0,097</td></tr><tr><td>USE</td><td><strong>0,239</strong></td><td><strong>0,239</strong></td><td>0,067</td></tr><tr><td>USE + ACP</td><td>0,273</td><td>0,274</td><td>0,093</td></tr></tbody></table>

<table><caption>TABLE 3 – Résultats obtenus avec la méthode séquentielle sur les discours politiques.</caption><thead><tr><th></th><th>P<sub>k</sub></th><th>WD</th><th>F-Mesure</th></tr></thead><tbody><tr><td>OG + w2v</td><td><strong>0,095</strong></td><td><strong>0,095</strong></td><td>0,116</td></tr><tr><td>OD + w2v</td><td>0,122</td><td>0,097</td><td><strong>0,128</strong></td></tr><tr><td>OG + ELMo</td><td>0,113</td><td>0,113</td><td>0,076</td></tr><tr><td>OD + ELMo</td><td>0,148</td><td>0,117</td><td>0,067</td></tr><tr><td>OG + USE</td><td>0,101</td><td>0,101</td><td>0,109</td></tr><tr><td>OD + USE</td><td>0,135</td><td>0,106</td><td>0,088</td></tr></tbody></table>

<caption>TABLE 4 – Résultats obtenus avec la méthode sémantique sur les textes juridiques.</caption>

cette tâche, en particulier pour leur application à des données spécifiques. Plus particulièrement, nous avons évalué l'impact des plongements lexicaux sur la performance des méthodes de segmentation. Nous avons vu que ces méthodes permettent une amélioration nette des résultats en comparaison avec des méthodes statistiques usuelles en segmentation automatique. Ensuite, nous nous sommes intéressés à la performance de deux algorithmes en fonction de la représentation des mots dans le corpus, contextuelle et non contextuelle. La méthode de calcul de plongements lexicaux n'a pas eu d'impact important sur le calcul des frontières de segmentation et semble dépendre de la méthode elle-même. Dans la suite de ce premier travail, nous allons nous intéresser à la mise au point d'une méthode basée sur des plongements de mots en essayant de contourner l'utilisation d'une fenêtre de calcul. Cela est un défaut de la méthode car fixer une fenêtre nous force à calculer un certain nombre de segments figé. Une fois les plongements lexicaux calculés, notre objectif serait de formuler une fonction objectif qui permettrait de maximiser la similarité au sein des phrases d'un segment et entre les segments. Enfin, nous souhaiterions appliquer la méthode de segmentation à des tâches de QA, et d'évaluer l'impact de notre méthode en recherche d'information.
Références

ALEMI A. A. & GINSPARG P. (2015). Text segmentation based on semantic word embeddings.
arXiv preprint arXiv:1503.05543.

ANGHELUTA R., DE BUSSER R. & MOENS M.-F. (2002). The use of topic segmentation for automatic summarization. In *Proceedings of the ACL-2002 Workshop on Automatic Summarization*, p. 11–12.

BAEZA-YATES R., RIBEIRO-NETO B. et al. (1999). *Modern information retrieval*, volume 463. ACM press New York.

BEEFERMAN D., BERGER A. & LAFFERTY J. (1997). Text segmentation using exponential models. *arXiv preprint cmp-lg/9706016*.

BEEFERMAN D., BERGER A. & LAFFERTY J. (1999). Statistical models for text segmentation. *Machine learning, 34*(1-3), 177–210.

CER D., YANG Y., KONG S.-Y., HUA N., LIMTIACO N., JOHN R. S., CONSTANT N., GUAJARDO-CESPEDES M., YUAN S., TAR C. et al. (2018). Universal sentence encoder. *arXiv preprint arXiv:1803.11175*.

CHE W., LIU Y., WANG Y., ZHENG B. & LIU T. (2018). Towards better UD parsing : Deep contextualized word embeddings, ensemble, and treebank concatenation. In *Proceedings of the CoNLL 2018 Shared Task : Multilingual Parsing from Raw Text to Universal Dependencies*, p. 55–64, Brussels, Belgium : Association for Computational Linguistics.

CHO K., VAN MERRIËNBOER B., GULCEHRE C., BAHDANAU D., BOUGARES F., SCHWENK H. & BENGIO Y. (2014). Learning phrase representations using rnn encoder-decoder for statistical machine translation. *arXiv preprint arXiv:1406.1078*.

CHOI F. Y. (2000). Advances in domain independent linear text segmentation. *arXiv preprint cs/0003083*.

CHUANG W. T. & YANG J. (2000). Extracting sentence segments for text summarization : a machine learning approach. In *Proceedings of the 23rd annual international ACM SIGIR conference on Research and development in information retrieval*, p. 152–159.

DEVLIN J., CHANG M.-W., LEE K. & TOUTANOVA K. (2018). Bert : Pre-training of deep bidirectional transformers for language understanding. *arXiv preprint arXiv:1810.04805*.

FAUCONNIER J.-P. (2015). French word embeddings.

GLAVAŠ G., NANNI F. & PONZETTO S. P. (2016). : Association for Computational Linguistics.

HALLIDAY M. & HASAN R. (1976). 1976 : Cohesion in english. london : Longman.

HEARST M. A. (1997). Texttiling : Segmenting text into multi-paragraph subtopic passages. *Computational linguistics, 23*(1), 33–64.

HEITZ T., AZÉ J., ROCHE M., MELA A., PEINL P. & MEZAOUR A.-D. (2006). Présentation de deft 06 (dÉfi fouille de textes).

HUANG X., PENG F., SCHUURMANS D., CERCONE N. & ROBERTSON S. E. (2003). Applying machine learning to text segmentation for information retrieval. *Information Retrieval, 6*(3-4), 333–362.

HURAULT-PLANTET M., JARDINO M. & BERTHELIN J.-B. (2006). Ajustement des frontières de segments thématiques détectés automatiquement. *Actes du 2ème dé fouilles de textes (DEFT)*, Fribourg, Suisse.
KARUS K. (2019). Using embeddings to improve text segmentation.

KOSHOREK O., COHEN A., MOR N., ROTMAN M. & BERANT J. (2018). Text segmentation as a supervised learning task. *arXiv preprint arXiv:1803.09337*.

MAKHOUL J., KUBALA F., SCHWARTZ R., WEISCHEDEL R. et al. (1999). Performance measures for information extraction. In *Proceedings of DARPA broadcast news workshop*, p. 249–252 : Herndon, VA.

MARCU D. (2000). *The theory and practice of discourse parsing and summarization*. MIT press.

MIKOLOV T., CHEN K., CORRADO G. & DEAN J. (2013). Efficient estimation of word representations in vector space. *arXiv preprint arXiv:1301.3781*.

MU J., STEGMANN K., MAYFIELD E., ROSÉ C. & FISCHER F. (2012). The acodea framework : Developing segmentation and classification schemes for fully automatic analysis of online discussions. *International journal of computer-supported collaborative learning*, **7**(2), 285–305.

PENNINGTON J., SOCHER R. & MANNING C. (2014). Glove : Global vectors for word representation. In *Proceedings of the 2014 conference on empirical methods in natural language processing (EMNLP)*, p. 1532–1543.

PETERS M. E., NEUMANN M., IYYER M., GARDNER M., CLARK C., LEE K. & ZETTLEMOYER L. (2018). Deep contextualized word representations. *arXiv preprint arXiv:1802.05365*.

PEVZNER L. & HEARST M. A. (2002). A critique and improvement of an evaluation metric for text segmentation. *Computational Linguistics*, **28**(1), 19–36.

POLANYI L., CULY C., VAN DEN BERG M., THIONE G. L. & AHN D. (2004). Sentential structure and discourse parsing. In *Proceedings of the Workshop on Discourse Annotation*, p. 80–87.

POURVALI M. & ABADEH P. D. M. S. (2012). A new graph based text segmentation using wikipedia for automatic text summarization. *International Journal of Advanced Computer Science and Applications (IJACSA)*, **3**(1).

PRINCE V. & LABADIÉ A. (2007). Text segmentation based on document understanding for information retrieval. In *International Conference on Application of Natural Language to Information Systems*, p. 295–304 : Springer.

PURVER M., GRIFFITHS T. L., KÖRDING K. P. & TENENBAUM J. B. (2006). Unsupervised topic modelling for multi-party spoken discourse. In *Proceedings of the 21st International Conference on Computational Linguistics and the 44th annual meeting of the Association for Computational Linguistics*, p. 17–24 : Association for Computational Linguistics.

REYNAR J. C. (1998). Topic segmentation : Algorithms and applications.

SALTON G., SINGHAL A., BUCKLEY C. & MITRA M. (1996). Automatic text decomposition using text segments and text themes. In *Proceedings of the seventh ACM conference on Hypertext*, p. 53–65.

SONG Y., MOU L., YAN R., YI L., ZHU Z., HU X. & ZHANG M. (2016). Dialogue session segmentation by embedding-enhanced texttiling. *arXiv preprint arXiv:1610.03955*.

UTIYAMA M. & ISAHARA H. (2001). A statistical model for domain-independent text segmentation. In *Proceedings of the 39th Annual Meeting of the Association for Computational Linguistics*, p. 499–506.

VAN RIJSBERGEN C. J. (1979). Information retrieval.

VASWANI A., SHAZEER N., PARMAR N., USZKOREIT J., JONES L., GOMEZ A. N., KAISER Ł. & POLOSUKHIN I. (2017). Attention is all you need. In *Advances in neural information processing systems*, p. 5998–6008.
# Spécificités des erreurs d'orthographe des personnes dyslexiques : analyse d'un corpus de productions écrites

## Johana Bodard

Laboratoire CHArt, 2 rue de la Liberté, Saint-Denis, France

johana.bodard@etud.univ-paris8.fr

## RÉSUMÉ

Cet article présente un travail d'analyse des erreurs d'orthographe de personnes dyslexiques à partir de corpus écrits en langue française. L'objectif de cette analyse est d'étudier la fréquence et les caractéristiques des erreurs afin de guider le développement de modules de correction orthographique spécifiques. Les résultats de cette analyse sont comparés aux travaux déjà réalisés en français, anglais et espagnol.

## ABSTRACT

### What are the characteristics of spelling errors made by dyslexics: an analysis of errors based on written corpora

In this paper, we present an analysis of spelling errors made by French dyslexics based on written corpora. The objective of this analysis is to investigate the frequency and characteristics of the spelling errors in order to guide the development of specific spell checking modules. The results of this analysis are compared with similar works in French, English and Spanish.

**MOTS-CLÉS** : dyslexie, analyse de corpus, correction orthographique.

**KEYWORDS**: dyslexia, corpus analysis, spell checking.

## 1 Introduction

La dyslexie est un trouble spécifique des apprentissages affectant le langage écrit dont la prévalence en France est estimée entre 6 et 8 % (Barrouillet et al., 2007). Ce trouble entraine notamment des difficultés importantes dans l'acquisition de l'orthographe (dysorthographie), difficultés qui persistent souvent à l'âge adulte (Mazur-Palandre, 2018). Le correcteur orthographique apparaît comme un outil particulièrement adapté pour pallier les difficultés orthographiques des personnes dyslexiques. Cependant, les correcteurs orthographiques classiques s'avèrent peu performants sur les écrits des dyslexiques (Bacquelé, 2015; Antoine et al., 2019). Parmi les hypothèses avancées pour expliquer les faibles performances des correcteurs classiques sur ce type d'écrits, on peut citer : l'impossibilité de certains dyslexiques d'écrire correctement les initiales des mots (Bacquelé, 2015), le nombre important d'erreurs produisant des mots présents dans le dictionnaire (Antoine et al., 2019), le nombre élevé d'erreurs par mot (Antoine et al., 2019), la présence de mots mal découpés (fusionnés ou fragmentés) (Antoine et al., 2019; Sitbon et al., 2007), une écriture fortement phonétique (Sitbon et al., 2007).

Afin de mettre en place des algorithmes de correction orthographique adaptés aux écrits des personnes

<figure><img src="image_18.png" /></figure>
dyslexiques, nous avons réalisé un travail préalable d'analyse des erreurs d'orthographe à partir de
corpus écrits. Nous avons extrait et annoté les erreurs d'orthographe afin de vérifier les hypothèses
citées dans le paragraphe précédent et de comparer les résultats obtenus à ceux des quelques travaux
existant sur le sujet. Notre objectif est de guider les choix algorithmiques que nous opérerons lors du
développement des modules de correction orthographique.

Il y a peu d'études s'intéressant aux troubles orthographiques des dyslexiques par rapport aux études
s'intéressant à leurs difficultés en lecture, même si l'on constate un accroissement du nombre de
recherches sur l'orthographe des dyslexiques depuis quelques années (Cidrim & Madeiro, 2017).
Pourtant les difficultés en orthographe des personnes dyslexiques persistent davantage que leurs
difficultés en lecture. Dans une étude comparant les performances en orthographe d'étudiants franco-
phones dyslexiques et non dyslexiques de même âge et de même niveau scolaire, (Mazur-Palandre,
2018) constate des profils d'erreurs similaires entre les deux groupes d'étudiants : les dyslexiques font
les mêmes types d'erreurs que les non dyslexiques dans les mêmes proportions relatives. Cependant,
les étudiants dyslexiques font significativement plus d'erreurs que les étudiants non dyslexiques.
De plus, une analyse qualitative des erreurs révèle que les étudiants dyslexiques font des erreurs
atypiques qui ne sont jamais retrouvées dans les écrits des étudiants non dyslexiques, notamment en
ce qui concerne les accords et la conjugaison (ex : *les personnes proviennes, j'ai préférez*).

Les travaux sur la constitution et l'analyse de corpus écrits ont surtout pour objectif d'étudier
l'apprentissage d'une langue étrangère (Granger, 2009) ou l'apprentissage de l'écrit dans la langue
maternelle (Wolfarth et al., 2016). L'exploration de corpus de productions écrites de dyslexiques pour
le développement de correcteurs orthographiques concernent peu de travaux : (Pedler, 2007) pour
l'anglais, (Rello et al., 2012, 2014) pour l'espagnol, et (Antoine et al., 2019) pour le français.

Dans un premier temps, nous présenterons un état de l'art de l'analyse des erreurs à partir de corpus
écrits pour la correction orthographique. Puis nous décrirons les corpus de textes à notre disposition
et la méthodologie utilisée pour leur analyse. Nous décrirons ensuite les résultats de l'analyse et les
comparerons aux travaux déjà réalisés. Enfin, nous concluerons sur les implications des résultats sur
le développement de modules de correction orthographique.

2 État de l'art

(Damerau, 1964) propose quatre type d'erreurs simples pour la correction orthographique de mots
isolés (c'est-à-dire, sans prise en compte du contexte) : l'insertion d'un caractère, l'omission d'un
caractère, la substitution d'un caractère par un autre, la transposition de deux caractères adjacents.
Il trouve que plus de 80 % des mots qui ne sont pas dans un dictionnaire diffèrent du mot attendu
d'une seule erreur de l'un de ces quatre types. Ces travaux ont abouti au développement de la
distance d'édition de Damerau-Levenshtein permettant de calculer le nombre minimum d'opérations
nécessaires pour transformer une chaine de caractères en une autre chaine et sont utilisés pour la
correction orthographique de mots isolés.

Ce taux de 80 % d'erreurs à une distance d'édition de 1 de leur forme correcte n'est pas retrouvé par
(Mitton, 1987) sur un corpus de productions d'élèves faibles en orthographe. Seulement 69 % des
erreurs issues de ce corpus entrent dans les quatre catégories d'erreurs définies par Damerau. Les
autres erreurs sont en majorité des erreurs non lexicales (real-word error), c'est-à-dire des erreurs
qui aboutissent à un mot qui existe dans le dictionnaire et qui ne peuvent donc pas être détectées
et corrigées sans prise en compte du contexte environnant. Concernant les écrits des personnes dyslexiques, on peut s'attendre à ce que le taux d'erreurs à une distance d'édition supérieure à 1 de leur forme correcte et le taux d'erreurs non lexicales soient encore plus importants.

Quelques travaux se sont intéressés à l'analyse des erreurs produites par les personnes dyslexiques pour la correction orthographique.

(Pedler, 2007) a constitué un corpus de productions écrites de personnes dyslexiques en langue anglaise. Un premier échantillon de 3134 mots dont 636 sont erronés (20 % du corpus) a été analysé avec la typologie suivante :

- erreur simple : une seule opération d'édition est nécessaire (parmi les 4 opérations définies par Damerau) pour passer du mot erroné au mot attendu

- erreur multiple : plus d'une opération d'édition sont nécessaires pour passer du mot erroné au mot attendu

- erreur de segmentation : fusion (omission d'un espace) ou segmentation (insertion d'un espace)

Cet échantillon contient 53 % d'erreurs simples, 39 % d'erreurs multiples et 8 % d'erreurs de segmentation. Les erreurs non lexicales représentent 17 % des erreurs du corpus. Cette première analyse montre que les personnes dyslexiques anglophones font beaucoup d'erreurs multiples et que le nombre d'erreurs non lexicales qu'ils produisent n'est pas négligeable.

Par la suite, (Pedler, 2007) s'est intéressée en particulier aux erreurs non lexicales. Elle a constitué un second corpus rassemblant des documents d'origines diverses (devoirs à la maison d'élèves, rédactions d'étudiants, expérimentation de saisie de texte en ligne, forums de discussion et listes de diffusion sur Internet, etc.) pour développer et évaluer un correcteur orthographique dédié à la correction de ce type d'erreurs. Ce corpus contient 21 524 mots dont 2654 sont erronés. Les erreurs non lexicales représentent près d'un tiers des erreurs de ce second corpus. Pour détecter et corriger ce type d'erreurs, elle propose de construire une liste de plusieurs milliers d'ensembles de confusion (ensembles de mots souvent confondus comme *loose* et *lose*) combinée à une analyse syntaxique et sémantique pour déterminer quel mot dans l'ensemble de confusion est le plus probable dans le contexte. Cependant, elle exclut les erreurs d'accord et de conjugaison des ensembles de confusion et ne peut donc pas corriger toutes les erreurs non lexicales avec cette approche (plus d'un tiers des erreurs non détectées sont des erreurs d'accord et de conjugaison).

(Rello et al., 2012) ont constitué le premier corpus de productions écrites de personnes dyslexiques en langue espagnole (castillan), DysCorpus. Ce corpus comprend 16 textes manuscrits écrits par des enfants dyslexiques de 6 à 15 ans. Il contient 1057 mots dont 157 sont erronés (15 % du corpus). En reprenant la méthodologie utilisée par (Pedler, 2007), ils trouvent 67 % d'erreurs simples, 23 % d'erreurs multiples et 10 % d'erreurs de segmentation. Les erreurs non lexicales représentent 21 % des erreurs du corpus. Les auteurs expliquent le plus faible taux d'erreurs multiples en espagnol par rapport à l'anglais par le fait que l'orthographe de l'espagnol est plus transparente que celle de l'anglais. Cependant, le taux d'erreurs non lexicales est similaire dans les deux langues. Cela confirme que ce type d'erreurs constitue un véritable problème pour la correction orthographique des écrits des personnes dyslexiques.

(Rello et al., 2014) ont étendu ce corpus avec de nouveaux textes pour atteindre un corpus de 83 textes manuscrits également rédigés par des enfants dyslexiques de 6 à 15 ans. Ils ont extrait de ce nouveau corpus 887 mots erronés et 1171 erreurs dans une liste, DysList, qu'ils ont enrichi de nombreuses informations linguistiques : distance d'édition, fréquence, longueur, position de l'erreur, nombre de syllabes et structure syllabique, type d'erreur reprenant la typologie de Damerau, erreur lexicales
ou non lexicale, informations visuelles (ex : lettres miroirs), informations phonétiques (comme le
voisement ou le point d'articulation des phonèmes), transfert linguistique chez les enfants bilingues
(catalan/castillan). Les travaux réalisés sur ce corpus sont utilisés pour la création d'un correcteur
orthographique (Rello et al., 2015) pour les dys en langue espagnole. Appliqué à la détection et à la
correction des erreurs non lexicales, ce correcteur détecte et corrige plus d'erreurs non lexicales que
les correcteurs classiques, mais au prix d'une précision moindre (plus de faux positifs).

En langue française, (Antoine et al., 2019) ont constitué un corpus de textes rédigés par 5 enfants dyslexiques et 5 enfants paralysés cérébraux pour un système d'aide à la communication combinant prédiction et correction orthographique. Ce corpus rassemble 521 erreurs orthographiques qui ont été annotées en suivant un schéma d'annotation répondant aux besoins des chercheurs en TAL et à ceux des orthophonistes. Pour la recherche en TAL, ils notent si le mot comporte une ou plusieurs erreurs distinctes, le type d'erreur (lexicale, syntaxique ou sémantique) et la morphologie en distinguant les erreurs de segmentation (fragmentation ou fusion) des autres erreurs pour lesquelles ils calculent la distance d'édition de Damerau-Levenshtein entre la forme erronée et la forme attendue. Pour les besoins des orthophonistes, ils établissent une typologie des erreurs en distinguant les erreurs phonologiquement plausibles (erreurs qui ne modifient pas la prononciation du mot, par exemple : *insi (ainsi)*) et les erreurs phonologiquement non plausibles (erreurs qui modifient la prononciation du mot, par exemple : *cantre (centre)*).

Leurs travaux, les premiers s'intéressant à la langue française, montrent un taux d'erreurs multiples de 54 % similaire à celui retrouvé par (Pedler, 2007) en anglais. Cependant, les taux d'erreurs non lexicales (29 %) et d'erreurs de segmentation (15 %) sont supérieurs à ceux retrouvés en anglais et en espagnol. Cela suggère que les problèmes rencontrés chez les dyslexiques anglais et espagnols sont également retrouvés, dans des proportions plus importantes, chez les dyslexiques français.

# 3 Méthodologie d'analyse des corpus

## 3.1 Description des corpus

Pour cette étude, nous avons utilisé deux corpus de productions écrites de personnes dyslexiques. Le premier corpus nous a été fourni par la FFDys<fnref n="1" />, le second par une orthophoniste qui travaille avec des personnes dyslexiques en lien avec la FFDys.

Le premier corpus contient 9 textes scolaires (contrôles, exercices, dictées) écrits par des élèves dyslexiques de collèges et lycées (de la 5e à la terminale). Sept textes ont été écrits au clavier, les deux autres sont des textes manuscrits. Ils ont été écartés de la présente étude. En effet, le mode d'entrée du texte peut avoir un impact sur le type d'erreurs produites. (Sitbon et al., 2007) constatent que certaines erreurs rencontrées dans les textes manuscrits d'enfants dyslexiques, telles que les substitutions de lettres miroirs (p/q ou b/d par exemple), ne sont pas observées sur des textes écrits au clavier. De plus, l'utilisation du clavier entraine des erreurs de frappe qu'on ne retrouvera pas dans les textes manuscrits. Les 7 textes écrits au clavier totalisent 3357 mots<fnref n="2" />. Ce sont des textes relativement longs (475 mots en moyenne par texte). Ce premier corpus contient 1240 formes erronées<fnref n="3" /> dont 771 formes

<footnote n="1">1. Fédération Française des Dys</footnote>

<footnote n="2">2. Nous entendons par mot toute séquence de caractères séparée par des espaces ou de la ponctuation.</footnote>

<footnote n="3">3. Nous préférons parler de formes erronées plutôt que de mots erronés. Une forme erronée peut correspondre à un ou plusieurs mots. Ex : *plus par (plupart)*</footnote>
distinctes.

Le second corpus contient 71 textes courts (53 mots en moyenne par texte) écrits au clavier par des personnes dyslexiques âgées de 16 à 45 ans (âge moyen = 22,5 ans, écart-type = 4,7 ans). Ce corpus est lui-même composé de :

— 6 dictées

— 33 expressions écrites dirigées

— 32 expressions écrites libres

Il totalise 3913 mots et 879 formes erronées dont 594 formes distinctes.

L'ensemble des deux corpus totalisent 7270 mots et 2119 formes erronées dont 1303 distinctes.

## 3.2 Annotation des erreurs

Pour chaque texte, nous avons extrait manuellement les formes erronées dans un tableau, puis pour chaque forme erronée, nous avons noté :

— la forme erronée

— la forme attendue

— le lemme<fnref n="4" /> de la forme attendue

— la phrase contenant la forme erronée

— le nombre d'erreurs et leurs types

— la distance d'édition de Damerau-Levenshtein entre la forme erronée et la forme attendue

— la similarité entre les transcriptions phonétiques des formes erronée et attendue

— si l'erreur est lexicale ou non-lexicale

— le nombre de mots erronés dans le contexte (les 2 mots précédents et les 2 mots suivants)

## 3.3 Les différents types d'erreurs

Au lieu de distinguer comme (Pedler, 2007) et (Rello et al., 2012) les erreurs simples et les erreurs multiples, nous calculons, d'une part, la distance d'édition entre la forme erronée et la forme attendue et, d'autre part, nous comptons le nombre d'erreurs de la forme erronée comme (Antoine et al., 2019).

Pour les types d'erreurs, nous utilisons la typologie présentée dans la table 1. Cette typologie s'inspire de celle définie par (Plisson & Daigle, 2013) pour décrire les erreurs d'enfants dyslexiques francophones. Par rapport à cette typologie, nous ne distinguons pas les erreurs phonologiquement plausibles des erreurs non phonologiquement plausibles. Nous regroupons dans une même catégorie les erreurs de phonétisation concernant les mauvais choix de graphèmes<fnref n="5" />, les lettres muettes et les morphogrammes lexicaux<fnref n="6" />. L'idée étant que ces différents types d'erreurs peuvent être corrigés avec la même approche. De même, nous comptabilisons les erreurs concernant les traits d'union dans les erreurs de segmentation plutôt qu'avec les erreurs sur les majuscules.

<footnote n="4">4. Le lemme d'un mot est sa forme canonique telle qu'on la trouve dans un lexique. Préciser le lemme permet de distinguer les homographes tels que *est* forme conjuguée du lemme *être* et *est* point cardinal).</footnote>

<footnote n="5">5. (Catach, 1986) définit le graphème comme la plus petite unité distinctive de la chaine écrite et le phonème comme la plus petite unité distinctive de la chaine orale. Par exemple, le mot *châteaux* se décompose en 5 graphèmes : <ch>, <â>, <t>, <eau> et <x> et en 4 phonèmes : /ʃ/, /ɑ/, /t/ et /o/.</footnote>

<footnote n="6">6. (Catach, 1986) définit le morphogramme lexical comme un graphème non chargé de transcrire un phonème et permettant d'établir un lien avec les dérivés. Par exemple, le <t> final dans petit.</footnote>
En fonction de son type, une erreur peut concerner l'ensemble d'un mot (ex : confusion entre les homophones *ces* et *c'est*), un graphème (ex : substitution du graphème <ss> par le graphème 
 dans *réusite*) ou un caractère (ex : omission de l'apostrophe dans *lafrique*).

<table><caption>TABLE 1: Types d'erreurs</caption><thead><tr><td>Type d'erreurs</td><td>Exemples</td></tr></thead><tbody><tr><td>Phonétisation : mauvais choix de graphème et lettre muette</td><td>comerse (commerce), toujour (toujours)</td></tr><tr><td>Substitution d'un graphème par un autre phonétiquement proche</td><td>réusite (réussite)</td></tr><tr><td>Confusion entre homophones</td><td>ces (c'est)</td></tr><tr><td>Érreur d'accord en genre et nombre et de conjugaison</td><td>autre (autres), rajouterai (rajouterait)</td></tr><tr><td>Érreur de segmentation : fragmentation ou fusion (incluant les erreurs concernant les apostrophes et les traits d'union)</td><td>quel que (quelque), ducou (du coup), la-frique (l'Afrique), rendévous (rendez-vous)</td></tr><tr><td>Liaison erronée</td><td>on na (on a)</td></tr><tr><td>Majuscule</td><td>japon (Japon)</td></tr><tr><td>Ajout d'un caractère</td><td>situiation (situation)</td></tr><tr><td>Omission d'un caractère</td><td>Quistion (Question)</td></tr><tr><td>Substitution d'un caractère par un autre caractère</td><td>dont (sont)</td></tr><tr><td>Transposition de deux caractères ad-jcents</td><td>apré (parle)</td></tr><tr><td>Déplacement d'un caractère</td><td>disgetif (digestif)</td></tr><tr><td>Omission ou répétition de mot</td><td>il trouve pas (il ne trouve pas)</td></tr><tr><td>Mauvais choix lexical</td><td>famille (familiale)</td></tr><tr><td>Mot non reconnu</td><td>sanéte</td></tr></tbody></table>

# 4 Résultats

## 4.1 Distance de Damerau-Levenshtein

La table 2 présente les pourcentages de formes erronées à une distance de 1, 2 ou plus de leur forme correcte pour chaque corpus et pour les deux corpus. En moyenne sur les deux corpus, une large proportion de formes erronées (41 %) sont à une distance de 2 ou plus de leur forme correcte. On note cependant une différence importante entre les deux corpus : sur le premier corpus, un peu moins de la moitié des formes sont concernées, un tiers des formes sur le second corpus.

Dans le premier corpus, la distance maximum est de 7 et concerne deux formes erronées : *oré* (*auraient*) et *nalé* (*n’allaient*). Dans le deuxième corpus, la distance maximum est de 5 et concerne trois formes erronées : *fesé* (*faisais*), *noyer* (*nettoyé*) et *setoufle* (*s’étouffent*).
<table><caption>TABLE 2: Distance de Damerau-Levenshtein</caption><thead><tr><td>Corpus</td><td>Distance = 1</td><td>Distance = 2</td><td>Distance > 2</td></tr></thead><tbody><tr><td>1</td><td>53 %</td><td>24,7 %</td><td>22,3 %</td></tr><tr><td>2</td><td>67,1 %</td><td>21,8 %</td><td>11,1 %</td></tr><tr><td>1 et 2</td><td>58,8 %</td><td>23,5 %</td><td>17,7 %</td></tr></tbody></table>

## 4.2 Similarité phonétique

Dans un premier temps, nous avons comparé la transcription phonétique des formes erronées et attendues. Ces transcriptions ont été obtenues grâce au transcripteur LIA Phon (Béchet, 2001). Puis, nous avons comparé les phonétiques après simplification de la phonétique des voyelles. Nous avons réduit le nombre de voyelles prises en compte par LIA Phon de 15 à 10 : nous ne distinguons plus les voyelles /e/ et /ɛ/ (dans *thé* et *cette*), /o/ et /ɔ/ (dans *tôt* et *botte*), /ø/, /œ/ et /ɔ/ (dans *peu*, *peur* et *le*), et /ɛ/ et /œ/ (dans *brin* et *brun*). En effet, suivant la personne ou la région, la prononciation des voyelles peut varier (par exemple, *très* est prononcé [tɛrɛ] ou [tɔrɛ]) et certaines oppositions peuvent disparaître (pas de distinction entre *brin* et *brun* par exemple).

La table 3 présente les pourcentages de formes erronées ayant la même phonétique que leur forme correcte (c'est-à-dire, les erreurs phonologiquement plausibles) pour chaque corpus et pour les deux corpus. Dans les deux corpus, plus de la moitié des formes erronées ont une phonétique identique à celle de leur forme correcte. Si on utilise la phonétique simplifiée, deux tiers des formes erronées ont une phonétique proche de celle de leur forme correcte.

<table><caption>TABLE 3: Similarité phonétique</caption><thead><tr><td>Corpus</td><td>Phonétique</td><td>Phonétique simplifiée</td></tr></thead><tbody><tr><td>1</td><td>58,9 %</td><td>69,7 %</td></tr><tr><td>2</td><td>58,5 %</td><td>63,4 %</td></tr><tr><td>1 et 2</td><td>58,7 %</td><td>67,1 %</td></tr></tbody></table>

## 4.3 Erreurs non lexicales

Une erreur non lexicales est une erreur qui produit un mot présent dans le lexique. Il s'agit essentiellement d'erreurs syntaxiques (ex : *les région* au lieu de *les régions*) et sémantiques (ex : *famille* au lieu de *familial*). Plus rarement, les erreurs de segmentation peuvent produire des erreurs non lexicales (ex : *plus par* au lieu de *plupart*, *lest* au lieu de *l'est*).

Le choix du lexique qui sert à la correction orthographique est important. Plus celui-ci est large plus il va contenir des formes rares, peu usitées et plus le risque qu'une forme erronée se retrouve dans le lexique augmente. Par exemple : Les formes erronées *oré* (*auraient*), *mayeur* (*meilleur*) et *este* (*Est*) sont dans le lexique Morphalou 3. Pour détecter l'erreur, il faut alors utiliser une analyse syntaxique voire sémantique.

Nous avons comparé 3 lexiques :

- Morphalou (version 3.1) (ATILF, 2019) : un lexique à large couverture qui aggrège plusieurs lexiques pour atteindre 954 690 formes fléchies
— Dicollecte (version 6.4.1)<fnref n="7" /> : un lexique de plus de 500 000 formes fléchies utilisé par le correcteur orthographique Hunspell en français

— Lexique (version 3.83) (New et al., 2004) : un lexique de plus de 140 000 formes fléchies

La table 4 présentent les pourcentages d'erreurs non lexicales relevées dans les corpus en fonction du lexique choisi. Quel que soit le lexique utilisé, sur l'ensemble des deux corpus, un peu plus de la moitié des formes erronées sont des erreurs non lexicales. Même si le deuxième corpus contient une proportion plus faibles d'erreurs que le premier corpus, le pourcentage d'erreurs non lexicales y est plus élevé.

<table><caption>TABLE 4: Erreurs non lexicales</caption><thead><tr><td>Corpus</td><td>Morphalou 3</td><td>Dicollecte</td><td>Lexique 3</td></tr></thead><tbody><tr><td>1</td><td>607 (49 %)</td><td>595 (48 %)</td><td>587 (48 %)</td></tr><tr><td>2</td><td>531 (60 %)</td><td>523 (59 %)</td><td>523 (59 %)</td></tr><tr><td>1 et 2</td><td>1138 (54 %)</td><td>1118 (53 %)</td><td>1110 (53 %)</td></tr></tbody></table>

## 4.4 Formes correctes les plus souvent erronées

Les 10 formes correctes les plus fréquemment erronées sont des mots courts (1 à 5 lettres), le plus souvent monosyllabiques (à l'exception de *après* qui est constitué de 2 syllabes, ils possèdent tous 1 seule syllabe) et fréquents. La table 5 présente les 10 formes correctes les plus fréquemment erronées, le nombre d'occurrences erronées, le pourcentage de formes erronées et les différentes formes erronées.

<table><caption>TABLE 5: Formes les plus fréquemment erronées</caption><thead><tr><td>Forme correcte</td><td>Nombre d'occurrences erronées</td><td>Pourcentage d'occurrences erronées</td><td>Formes erronées</td></tr></thead><tbody><tr><td>très</td><td>21</td><td>87,5 %</td><td>tré, tres</td></tr><tr><td>peut</td><td>13</td><td>86,7 %</td><td>pue, peu, pela</td></tr><tr><td>à</td><td>115</td><td>81,6 %</td><td>a, d, Ø</td></tr><tr><td>après</td><td>12</td><td>80 %</td><td>apres, apré, apra, apre, a prais, apret</td></tr><tr><td>ils</td><td>12</td><td>73,3 %</td><td>il</td></tr><tr><td>ont</td><td>13</td><td>72,2 %</td><td>on</td></tr><tr><td>c'est</td><td>21</td><td>58,3 %</td><td>ses, sé, ces, s'est, cces</td></tr><tr><td>ce</td><td>18</td><td>42,9 %</td><td>se, si</td></tr><tr><td>au</td><td>15</td><td>29,4 %</td><td>o, a</td></tr><tr><td>est</td><td>23</td><td>28,4 %</td><td>et, é, n'ait, ai, soi, Ø</td></tr></tbody></table>

## 4.5 Erreurs sur la première lettre

D'après (Yannakoudakis & Fawthrop, 1983), la première lettre d'un mot erroné est correcte dans la majorité des cas en anglais (moins de 2 % des erreurs sont retrouvées à l'initiale des mots).

<footnote n="7">7. Ce lexique est téléchargeable à l'adresse https://grammalecte.net/download.php?prj=fr</footnote>
Dans l'ensemble de nos corpus, nous avons 16,5 % de formes dont la première lettre est erronée (10,9 % si on exclut les mots d'une seule lettre). On ne prend pas en compte les erreurs de majuscule.

Si l'on regarde la phonétique, moins de 4 % des formes erronées sont phonétiquement incorrectes à l'initiale.

## 4.6 Variabilité des formes erronées

Dans l'ensemble du corpus, 200 formes correctes ont au moins deux formes erronées (18,3 % des 1092 formes correctes distinctes).

On compte jusqu'à 6 formes erronées différentes dans l'ensemble du corpus pour la forme *après*.

## 4.7 Contexte autour du mot

La correction orthographique nécessite souvent une analyse contextuelle :

- pour les erreurs lexicales : pour sélectionner la meilleure correction parmi une liste de corrections potentielles

- pour les erreurs non lexicales : pour les détecter et les corriger

Cependant, si le contexte autour du mot est erroné, l'analyse contextuelle peut donner des résultats erronés.

Pour chaque mot erroné nous avons regardé, si le contexte local (2 mots avant et 2 mots après) était correct ou erroné. La table 6 présente les proportions de formes erronées avec aucun, un ou plusieurs mots erronés dans leur contexte. 72,3 % des formes erronées ont au moins un mot de contexte erroné.

<table><caption>TABLE 6: Nombre de mots de contexte erroné</caption><thead><tr><td>Nombre de mots erronés</td><td>Pourcentage de formes erronées concernées</td></tr></thead><tbody><tr><td>0</td><td>27,7 %</td></tr><tr><td>1</td><td>39,5 %</td></tr><tr><td>2</td><td>24,4 %</td></tr><tr><td>3</td><td>7,4 %</td></tr><tr><td>4</td><td>1,0 %</td></tr></tbody></table>

## 4.8 Répartitions des erreurs dans les différentes catégories

Le nombre moyen d'erreurs par mot est de 1,4 sur l'ensemble des corpus. Le premier corpus a en moyenne 1,48 erreurs par mot (écart-type = 0,13), le second corpus a en moyenne 1,24 erreurs par mot (écart-type = 0,19). Le nombre maximum d'erreurs par mot est de 5 pour le premier corpus et de 4 pour le second corpus. Une forme erronée peut combiner plusieurs erreurs de types différents. Par exemple, la forme erronée *meiu* (*mieux*) combine une transposition de caractères adjacents et une omission de lettre muette.

La répartition des erreurs en fonction de leur type est présentée dans la table 7. Les erreurs les plus fréquentes sont les erreurs de phonétisation et les erreurs d'accord en genre et nombre et de conjugaison. Ces deux catégories d'erreurs représentent plus de la moitié des erreurs.
<table><caption>TABLE 7: Répartition des erreurs</caption><thead><tr><td>Type d'erreurs</td><td>Exemples</td><td>Pourcentage d'erreurs</td></tr></thead><tbody><tr><td>Phonétisation : mauvais choix de graphème et lettre muette</td><td>comerse (commerce), toujours (toujours)</td><td>27,25 %</td></tr><tr><td>Érreur d'accord en genre et nombre et de conjugaison</td><td>autre (autres), rajouterai (rajouterait)</td><td>26,81 %</td></tr><tr><td>Substitution d'un graphème par un autre phonétiquement proche</td><td>réusite (réussite)</td><td>15,98 %</td></tr><tr><td>Confusion entre homophones</td><td>ces (c'est)</td><td>11,28 %</td></tr><tr><td>Érreur de segmentation : fragmentation ou fusion (incluant les erreurs concernant les apostrophes et les traits d'union)</td><td>quel que (quelque), douc (du coup), lafrique (l'Afrique), rendévous (rendez-vous)</td><td>6,35 %</td></tr><tr><td>Majuscule</td><td>japon (Japon)</td><td>3,14 %</td></tr><tr><td>Omission d'un caractère</td><td>Quistion (Question)</td><td>3,04 %</td></tr><tr><td>Substitution d'un caractère par un autre caractère</td><td>dont (sont)</td><td>1,59 %</td></tr><tr><td>Omission ou ajout de mot</td><td>il trouve pas (il ne trouve pas)</td><td>1,28 %</td></tr><tr><td>Ajout d'un caractère</td><td>situiation (situation)</td><td>1,25 %</td></tr><tr><td>Transposition de deux caractères adjacents</td><td>apré (parle)</td><td>1,01 %</td></tr><tr><td>Mauvais choix lexical</td><td>famille (familiale)</td><td>0,54 %</td></tr><tr><td>Mot non reconnu</td><td>sanéte</td><td>0,17 %</td></tr><tr><td>Liaison erronée</td><td>on na (on a)</td><td>0,20 %</td></tr><tr><td>Déplacement d'un caractère</td><td>disgetif (digestif)</td><td>0,07 %</td></tr></tbody></table>

# 5 Discussion des résultats

Les corpus que nous avons analysés contiennent environ un tiers de mots erronés. Ce taux est plus important que ceux trouvés dans les travaux de (Pedler, 2007) en anglais (20 % de mots erronés) et de (Rello et al., 2012) en espagnol (15 % de mots erronés). Il est cependant plus faible que celui trouvé par (Antoine et al., 2019) en français (55 % de mots erronés). Nous observons également un nombre moyen d'erreurs par mot inférieur à celui observé par (Antoine et al., 2019) : 1,4 contre 1,8 erreurs par mot.

Concernant la distance d'édition, nous avons un taux d'erreurs multiples de 41,2 %, supérieur aux 23 % de (Rello et al., 2012), mais proche des 39 % de (Pedler, 2007). De nouveau, (Antoine et al., 2019) trouve un taux supérieur (54 %).

Nous avons également un taux d'erreurs de segmentation proche de celui observé par (Pedler, 2007) (respectivement 6 % et 8 %). (Rello et al., 2012) et (Antoine et al., 2019) trouvent des taux légèrement plus élevés (respectivement 10 % et 15 %). Même si le taux d'erreurs de segmentation que nous relevons est relativement faible, ces erreurs ne doivent pas être négligées car elles peuvent être particulièrement difficiles à corriger quand elles produisent des erreurs non lexicales (laide au lieu de
l'aide) ou qu'elles sont cumulées à d'autres erreurs (apeures au lieu de à peu près).

Les taux plus faibles que nous observons par rapport aux résultats de (Antoine et al., 2019) peuvent s'expliquer par le fait que nous avons des textes rédigés par des adultes ou des élèves de collège et lycée alors que l'âge moyen des enfants dyslexiques de l'étude de (Antoine et al., 2019) est de 10 ans. Nous observons également une différence entre notre premier corpus constitué d'écrits de collégiens et de lycéens et notre second corpus constitués d'écrits rédigés par des personnes plus âgées : les textes du premier corpus contiennent en moyenne plus de formes erronées, plus d'erreurs par mot et plus d'erreurs multiples. Cela pose la question de savoir quelles sont les compétences en orthographe qui peuvent être améliorées par l'apprentissage chez les personnes dyslexiques.

Nous observons un taux d'erreurs non lexicales nettement supérieur aux autres langues : plus de la moitié des formes erronées de nos corpus sont présentes dans les trois lexiques que nous avons testés, contre 17 % pour (Pedler, 2007) en anglais et 9 % pour (Rello et al., 2014) en espagnol. Une analyse plus fine des erreurs non lexicales de nos corpus est nécessaire pour comprendre cette différence avec les autres langues, notamment pour connaitre la proportion d'erreurs syntaxiques et d'erreurs sémantiques parmi ces erreurs non lexicales. À titre d'exemple, (Antoine et al., 2019) trouvent 29 % d'erreurs non lexicales dans leur corpus en français.

Étant donné le nombre très élevé d'erreurs non lexicales, une analyse contextuelle est indispensable. L'analyse de notre corpus montre que le contexte contient souvent des mots erronés ce qui peut perturber l'analyse contextuelle. Nous nous sommes pour l'instant contenter de regarder si le contexte local (les 2 mots précédents et les 2 mots suivants) était erroné. L'analyse du contexte peut être poussée plus loin en regardant la proportion d'erreurs pouvant être corrigées dans un contexte local et celles nécessitant une analyse plus globale comme la phrase, en examinant les performances des étiqueteurs morpho-syntaxiques sur des phrases issues de nos corpus ou encore en regardant si le contexte est phonétiquement correct.

Nous trouvons un taux d'erreurs sur la première lettre de 16 % similaire à celui retrouvé par (Antoine et al., 2019) (14 %) et légèrement supérieur à ceux observés par (Rello et al., 2012) et (Pedler, 2007) (respectivement 10 % et 5 %). Ce taux reste assez faible. Cela ne confirme donc pas l'hypothèse avancée par (Bacquelé, 2015) selon laquelle les dyslexiques auraient des difficultés pour écrire correctement les initiales des mots. De plus, il est possible de s'appuyer sur la phonétique qui est correcte sur la première lettre dans plus de 96 % des cas.

Le taux de formes erronées phonétiquement similaires à leur forme correcte est de 59 %. Ce résultat est conforme aux observations de (Antoine et al., 2019) qui trouvent 62 % d'erreurs phonologiquement plausibles. Cela suggère que le passage à la phonétique peut être intéressant pour corriger certaines erreurs comme le proposent (Sitbon et al., 2007). En simplifiant les règles de transcription en phonétique des voyelles, nous trouvons deux tiers d'erreurs phonétiquement similaires à leur forme erronée. Il faut cependant trouver un juste milieu : plus on simplifie les règles de transcription en phonétique, plus on augmente le nombre de mots du lexique phonétiquement similaires aux mots erronés.

Concernant la variabilité des formes erronées, notre analyse montre une variabilité inter-individuelle parfois importante. Cependant, nous n'avons pas pu analyser la variabilité intra-individuelle car nous ne disposons pas d'assez de textes écrits par une même personne. Cette question est toutefois intéressante : si une même personne dyslexique reproduit souvent le même type d'erreurs, il est peut-être possible de modéliser son profil d'erreurs.

Enfin, il serait également intéressant d'analyser plus précisément les difficultés communes à toutes
les personnes dyslexiques quelle que soit la langue et celles qui sont spécifiques à chaque langue. Par exemple, le français est une langue à l'orthographe plutôt opaque : les relations entres phonèmes et graphèmes sont irrégulières. En particulier, dans le sens de l'écriture, le français est proche de l'anglais, langue à l'orthographe très opaque. Une étude comparant les erreurs produites par des dyslexiques grecs et des dyslexiques américains suggère que les différentes caractéristiques d'une langue entrainent différents types et proportions d'erreurs : les dyslexiques grecs (dont la langue est considérée comme transparente) font en proportion significativement moins d'erreurs phonologiquement non plausibles que les dyslexiques américains, mais plus d'erreurs phonologiquement plausibles et plus d'erreurs grammaticales (Giannouli & Pavlidis, 2014). Une autre particularité du français est le décalage important entre la morphologie de l'oral et celle de l'écrit (Jaffré, 2005) : les marques de genre et de nombre, les terminaisons verbales sont très présentes à l'écrit, mais quasiment absentes à l'oral. Ce n'est pas le cas de l'anglais ou de l'espagnol et cela peut constituer une difficulté supplémentaire pour les dyslexiques francophones.

# 6 Conclusion et travaux futurs

Dans cet article, nous avons présenté une analyse des erreurs produites par des personnes dyslexiques françaises (collégiens, lycéens et adultes) à partir de corpus écrits. Comme (Antoine et al., 2019), nous retrouvons des taux de mots erronés, d'erreurs multiples et d'erreurs non lexicales supérieurs à ceux observés dans des corpus de personnes dyslexiques anglaises ou espagnoles.

Cette étude soulève plusieurs points importants :

- le nombre très élevé d'erreurs non lexicales : une analyse contextuelle est indispensable pour détecter et corriger efficacement ces erreurs

- le nombre d'erreurs phonétiquement similaires ou proches de leur forme correcte étant important, dans quelle mesure peut-on s'appuyer sur la phonétique pour corriger les erreurs ?

- le contexte pouvant lui-même contenir des erreurs, dans quelle mesure peut-on s'appuyer sur le contexte pour détecter et corriger les erreurs ?

La prochaine étape consistera à évaluer les performances des correcteurs orthographiques actuels sur ce corpus pour identifier les erreurs qu'ils parviennent à corriger et celles qu'ils ne parviennent pas à détecter ou corriger. Nous disposons actuellement d'un premier module de correction basique fondé sur la phonétique et nous comparerons les résultats obtenus par notre module avec ceux des correcteurs.

# Références

ANTOINE J.-Y., CROCHETET M., ARBIZU C., LOPEZ E., POUPLIN S., BESNIER A. & THEBAUD M. (2019). Ma copie adore le vélo : analyse des besoins réels en correction orthographique sur un corpus de dictées d'enfants. In *TALN 2019*, Toulouse, France. HAL : hal-02375246.

ATILF (2019). Morphalou. ORTOLANG (Open Resources and TOols for LANGuage) -www.ortolang.fr.

BACQUELÉ V. (2015). L'usage de l'informatique par les élèves dyslexiques : un outil de compensation à l'épreuve de l'inclusion scolaire. *Terminal. Technologie de l'information, culture & société*, (116). DOI : 10.4000/terminal.661.
BARROUILLET P., BILLARD C., AGOSTINI M. D., DÉMONET J.-F., FAYOL M., GOMBERT J.-E., HABIB M., NORMAND M.-T. L., RAMUS F., SPRENGER-CHAROLLES L. & VALDOIS S. (2007). *Dyslexie, dysorthographie, dyscalculie : bilan des données scientifiques*. Rapport de recherche, INSERM. HAL : hal-01570674.

BÉCHET F. (2001). *LIA_phon : un système complet de phonétisation de textes*. *Traitement Automatique des Langues, 42*(1), 47-67.

CATACH N. (1986). *L'orthographe française : traité théorique et pratique : avec des travaux d'application et leurs corrigés* (avec la collab. de Claude Gruaz et Daniel Duprez). Paris, nathan édition.

CIDRIM L. & MADEIRO F. (2017). Studies on spelling in the context of dyslexia : a literature review. *Revista CEFAC, 19*(6), 842-854. DOI: 10.1590/1982-0216201719610317.

DAMERAU F. J. (1964). A technique for computer detection and correction of spelling errors. *Communications of the ACM, 7*(3), 171-176. DOI: 10.1145/363958.363994.

GIANNOULI V. & PAVLIDIS G. T. (2014). What can spelling errors tell us about the causes and treatment of dyslexia? : What can Spelling Errors Tell Us about the Causes and Treatment of Dyslexia? *Support for Learning, 29*(3), 244-260. DOI: 10.1111/1467-9604.12065.

GRANGER S. (2009). The contribution of learner corpora to second language acquisition and foreign language teaching. *Corpora and language teaching, 33*, 13-32. DOI: 10.1075/scl.33.04gra.

JAFFRÉ J.-P. (2005). L'orthographe du français, une exception ? *Le français aujourd'hui, n° 148*(1), 23-31. DOI: 10.3917/lfa.148.0023.

MAZUR-PALANDRE A. (2018). La dyslexie à l'âge adulte : la persistance des difficultés orthographiques. *SHS Web of Conferences, 46*, 10003. DOI: 10.1051/shsconf/20184610003.

MITTON R. (1987). Spelling checkers, spelling correctors and the misspellings of poor spellers. *Information Processing & Management, 23*(5), 495-505. DOI: 10.1016/0306-4573(87)90116-6.

NEW B., PALLIER C., BRYSBAERT M. & FERRAND L. (2004). Lexique 2 : A new French lexical database. *Behavior Research Methods, Instruments, & Computers, 36*(3), 516-524. DOI: 10.3758/BF03195598.

PEDLER J. (2007). *Computer Correction of Real-word Spelling Errors in Dyslexic Text*. Thèse de doctorat, University of London.

PLISSON A. & DAIGLE, DANIEL ANDYA MONTESINOS-GELET I. (2013). The Spelling Skills of French-Speaking Dyslexic Children. *Dyslexia, 19*(2), 76-91. DOI: 10.1002/dys.1454.

RELLO L., BAEZA-YATES R. & LLISTERRI J. (2014). DysList : An Annotated Resource of Dyslexic Errors. In *Proceedings of the Ninth International Conference on Language Resources and Evaluation*, p. 1289-1296, Reykjavik, Iceland : European Language Resources Association (ELRA). DOI: 10.13140/2.1.2542.7205.

RELLO L., BAEZA-YATES R., SAGGION H. & PEDLER J. (2012). A First Approach to the Creation of a Spanish Corpus of Dyslexic Texts. In *LREC Workshop Natural Language Processing for Improving Textual Accessibility (NLP4ITA)*, p. 22-27, Turkey.

RELLO L., BALLESTEROS M. & BIGHAM J. P. (2015). A Spellchecker for Dyslexia. p. 39-47 : ACM. DOI: 10.1145/2700648.2809850.

SITBON L., BELLOT P. & BLACHE P. (2007). Traitements phrastiques phonétiques pour la réécriture de phrases dysorthographiées. In *TALN 2007*, Toulouse, France. HAL : hal-01321119.
WOLFARTH C., PONTON C. & BRISSAUD C. (2016). Du TAL dans les écrits scolaires : premières approches. In *Actes de la conférence conjointe JEP-TALN-RECITAL 2016*, volume 09, p. 30–37, Paris. HAL: hal-01878718.

YANNAKOUDAKIS E. J. & FAWTHROP D. (1983). The rules of spelling errors. *Information Processing & Management*, **19**(2), 87–99. DOI: 10.1016/0306-4573(83)90045-6.
# Ré-entraîner ou entraîner soi-même ?
Stratégies de pré-entraînement de BERT en domaine médical

Hicham El Boukkouri

Université Paris-Saclay, CNRS, LIMSI, 91400, Orsay, France

hicham.elboukkouri@limsi.fr

## RÉSUMÉ

Les modèles BERT employés en domaine spécialisé semblent tous découler d'une stratégie assez simple : utiliser le modèle BERT originel comme initialisation puis poursuivre l'entraînement de celui-ci sur un corpus spécialisé. Il est clair que cette approche aboutit à des modèles plutôt performants (e.g. BioBERT (Lee et al., 2020), SciBERT (Beltagy et al., 2019), BlueBERT (Peng et al., 2019)). Cependant, il paraît raisonnable de penser qu'entraîner un modèle directement sur un corpus spécialisé, en employant un vocabulaire spécialisé, puisse aboutir à des plongements mieux adaptés au domaine et donc faire progresser les performances. Afin de tester cette hypothèse, nous entraînons des modèles BERT à partir de zéro en testant différentes configurations mêlant corpus généraux et corpus médicaux et biomédicaux. Sur la base d'évaluations menées sur quatre tâches différentes, nous constatons que le corpus de départ influence peu la performance d'un modèle BERT lorsque celui-ci est ré-entraîné sur un corpus médical.

## ABSTRACT

**Re-train or train from scratch? Pre-training strategies for BERT in the medical domain**

BERT models used in specialized domains all seem to be the result of a simple strategy : initializing with the original BERT then resuming pre-training on a specialized corpus. This method yields rather good performance (e.g. BioBERT (Lee et al., 2020), SciBERT (Beltagy et al., 2019), BlueBERT (Peng et al., 2019)). However, it seems reasonable to think that training directly on a specialized corpus, using a specialized vocabulary, could result in more tailored embeddings and thus help performance. To test this hypothesis, we train BERT models from scratch using many configurations involving general and medical corpora. Based on evaluations using four different tasks, we find that the initial corpus only has a weak influence on the performance of BERT models when these are further pre-trained on a medical corpus.

**MOTS-CLÉS** : plongements de mots, plongements contextualisés, BERT, domaine médical, biomédical, domaine spécialisé, adaptation au domaine.

**KEYWORDS:** word embeddings, contextualized embeddings, BERT, medical domain, biomedical, specialized domain, domain adaptation.

# 1 Introduction

Les dernières années ont été témoins de l'apparition de nombreuses approches d'apprentissage par transfert en traitement automatique des langues (TAL). Ayant initialement connu un grand succès en traitement de la parole (Wang & Zheng, 2015) et en vision par ordinateur (He et al., 2017), ces

<figure><img src="image_19.png" /></figure>
approches ont rapidement trouvé leur application en TAL avec notamment ULMFiT (Howard & Ruder, 2018) qui a pu montrer l'efficacité des modèles de langue pré-entraînés une fois adaptés pour des tâches de classification de texte. Peu de temps après, Radford et al. (2018) ont étendu ces résultats à d'autres tâches classiques du TAL (implicature textuelle, compréhension de texte...).

Suite à l'engouement autour de l'apprentissage par transfert, les modèles de plongement de mots ont eux aussi connu une importante rupture, avec l'apparition de modèles dits « contextualisés » (ELMo (Peters et al., 2018), BERT (Devlin et al., 2018)) capables de produire des représentations de mots qui dépendent du contexte. Malgré les gains en performance apportés par ces modèles (cf. classement GLUE), la complexité de leurs architectures implique un coût d'entraînement nettement plus important¹² que pour des approches plus classiques (Word2vec (Mikolov et al., 2013), Glove (Pennington et al., 2014), fastText (Bojanowski et al., 2017)). Ainsi, la tendance générale est d'utiliser les versions pré-entraînées plutôt qu'entraîner soi-même ces modèles.

Aujourd'hui, le choix le plus populaire en matière de plongements contextualisés semble être celui du modèle BERT, pour lequel on trouve aussi bien des versions pré-entraînées pour le domaine dit « général » que pour des domaines spécialisés (e.g. BioBERT (Lee et al., 2020) et BlueBERT (Peng et al., 2019) pour le domaine médical, SciBERT (Beltagy et al., 2019) pour le domaine scientifique). Contrairement aux versions générales qui sont intégralement entraînées sur des corpus généraux, ces versions spécialisées semblent toutes être issues d'une procédure standard : partir du modèle BERT entraîné pour le domaine général puis poursuivre l'entraînement de celui-ci sur des textes spécialisés. Cette stratégie apporte des gains en performance incontestables par rapport à l'usage direct d'un modèle général (Alsentzer et al., 2019; Si et al., 2019) mais il semble néanmoins légitime de vouloir comparer ces modèles à des versions entraînées directement sur des textes spécialisés, sans passer par un entraînement en domaine général.

Dans le cadre de ce travail, nous nous concentrons sur le domaine médical pour lequel nous étudions l'impact de trois paramètres sur la performance finale du modèle BERT : le domaine du vocabulaire utilisé (général vs. médical), le corpus d'entraînement initial (général vs. médical vs. mélange des deux) et le corpus de spécialisation (aucun vs. médical). Pour une comparaison plus équitable, nous entraînons nous-mêmes tous les modèles en utilisant exactement les mêmes hyper-paramètres, puis nous évaluons ces modèles sur un ensemble varié de tâches classiques du domaine biomédical : détection de concepts médicaux (i2b2/VA 2010 (Uzuner et al., 2011)), implicature textuelle (MEDNLI (Romanov & Shivade, 2018)) et extraction de relations (ChemProt (Krallinger et al., 2017), DDI (Herrero-Zazo et al., 2013)). Toutes les expériences sont effectuées en langue anglaise.

Nos contributions sont les suivantes :

- nous effectuons une analyse préliminaire sur l'impact du vocabulaire choisi sur la gestion des mots hors vocabulaire par BERT. Nous constatons ainsi une différence notable entre un vocabulaire général et médical pour traiter des termes techniques du domaine médical;

- nous effectuons une comparaison équitable de plusieurs modèles BERT ayant des degrés de spécialisation différents. Nous observons alors que la stratégie standard consistant à ré-entraîner un modèle général obtient des performances similaires aux modèles entraînés directement sur des corpus médicaux;

- nous partageons notre code afin de permettre la reproduction de nos résultats, et partageons nos modèles pré-entraînés pour le domaine médical.

Nous commencerons par introduire les principes de BERT (section 2), notamment ceux qui sous-

<footnote n="1">1. Entraîner un modèle BERT nécessite plusieurs cartes GPU sur une période pouvant atteindre plusieurs semaines.</footnote>

<footnote n="2">2. Plusieurs benchmarks ont été effectués par Nvidia et sont consultables ici.</footnote>
tendent les hypothèses que nous voulons tester (section 3), puis nous présenterons nos expériences (section 4) et leurs résultats (section 5) avant de conclure (section 6).

# 2 BERT

BERT (Devlin et al., 2018) est un modèle neuronal de plongements lexicaux utilisant une succession de couches Transformer<fnref n="3" /> (Vaswani et al., 2017) afin de produire des représentations contextualisées. Ce modèle est entraîné sur deux tâches : une tâche de Modélisation du Langage Masquée (Masked Language Modelling - MLM) et une tâche de Prévision de la Phrase Suivante (Next Sentence Prediction - NSP). Cette section décrit l'architecture de BERT ainsi que la procédure employée pour l'entraîner. Dans tout ce qui suit, nous ferons la distinction entre deux phases :

- la phase de pré-entraînement, qui permet au modèle d'apprendre à produire des plongements contextualisés via les deux tâches MLM et NSP;

- la phase d'adaptation à une tâche, où BERT est utilisé comme générateur de plongements au sein d'un modèle plus large qui est intégralement entraîné sur une tâche cible.

## 2.1 Description du modèle

### 2.1.1 Segmentation et représentation de l'entrée

Contrairement aux approches classiques à base de mots, BERT utilise un vocabulaire comprenant un mélange de mots et de sous-mots appelés *wordpieces* (Wu et al., 2016). Cela lui permet de remédier au problème des mots hors vocabulaire en découpant chaque mot inconnu en une séquence de sous-mots faisant partie du vocabulaire<fnref n="4" />.

<figure><img src="image_20.png" /><figcaption>FIGURE 1 – Représentation d'une entrée dans BERT. Les plongements en entrée sont la somme de plongements de *wordpiece* (mot / sous-mot), de plongements de segment (phrase A / phrase B) et de plongements de position (Devlin et al., 2018)</figcaption></figure>

Lors de la phase de pré-entraînement, BERT prend systématiquement un couple de phrases en entrée. Ces phrases sont alors segmentées soit en mots, soit en sous-mots, avec un symbole spé-

<footnote n="3">3. En particulier, il s'agit de la partie « encodeur » de l'architecture du Transformer.</footnote>

<footnote n="4">4. Si nécessaire BERT peut descendre jusqu'au niveau du caractère pour décomposer n'importe quel mot en entrée.</footnote>
cial [CLS] en début de séquence et des symboles spéciaux [SEP] à la suite de chaque phrase. Chaque élément de l'entrée est alors représenté par un vecteur (*token embedding*) issu d'une matrice de plongement. Puis, afin d'injecter une notion de position et de distinguer plus facilement les éléments issus de chacune des phrases en entrée, on ajoute à ce vecteur initial un plongement de position (*position embedding*) ainsi qu'un plongement de segment (*segment embedding*). La vue complète de ces entrées est représentée en figure 1.

### 2.1.2 Contextualisation et couches Transformer

BERT transforme chaque paire de phrases en entrée en une séquence de vecteurs selon la procédure décrite précédemment. À ce niveau, la représentation de chaque élément est complètement indépendante de celle des autres. La prochaine étape est alors d'utiliser une série de *L* couches Transformer appliquant la même transformation <fnref n="5" /> (cf. figure 2) afin de produire itérativement des représentations de plus en plus contextualisées.

<figure><img src="image_21.png" /><figcaption>FIGURE 2 – Schéma d'une couche Transformer dans BERT. (a) Au sein du mécanisme d'attention multi-tête, les clés *K*, valeurs *V* et requêtes *Q* sont projetées pour chacune des têtes et servent au calcul d'un produit scalaire d'attention. L'ensemble des produits est ensuite concatené pour enfin subir une projection linéaire. (b) Au sein de la couche Transformer, la sortie de la couche précédente sert de clé, valeur et requête pour le calcul de l'attention multi-tête</figcaption></figure>

**Attention Multi-tête** Afin de prendre en compte le contexte global, la couche d'attention multi-tête pondère chaque représentation vis-à-vis du reste des représentations en entrée. Cette pondération dépend de paramètres propres à chaque couche d'attention qui sont ajustés à la tâche au moment de l'entraînement du modèle. De plus, afin de capter des signaux différents, la couche d'attention multi-tête se repose sur plusieurs « têtes » qui calculent à chaque fois une pondération différente des entrées. Enfin, l'ensemble des pondérations est concatené puis projeté pour produire les représentations en sortie de la couche d'attention.

<footnote n="5">5. La transformation appliquée par chaque couche est identique mais dépend de paramètres entraînables différents.</footnote>
## 2.2 Procédure d'entraînement

Afin d'entraîner BERT à produire des représentations contextualisées utiles pour une large gamme de tâches de TAL, on entraîne celui-ci sur deux tâches : une tâche de modélisation du langage masquée (MLM) et une tâche de prévision de la phrase suivante (NSP).

### 2.2.1 Modélisation du langage masquée (MLM)

Contrairement aux tâches de modélisation du langage classiques, où l'on cherche à prédire le mot suivant étant donné les mots observés précédemment, BERT est entraîné sur une tâche où l'on masque aléatoirement un mot du texte en entrée, l'objectif étant alors de prédire le mot masqué. Ainsi, grâce à la capacité de l'architecture Transformer à prendre en compte simultanément les contextes droit et gauche du mot cible, cette tâche permet a priori au modèle d'apprendre des représentations encore plus contextualisées que les modèles unidirectionnels tels qu'ELMo<fnref n="6" />.

En pratique, les mots cible sont parfois remplacés par un symbole spécial [MASK], parfois remplacés par un autre mot aléatoire et parfois conservés tels quels (cf. figure 3).

<figure><img src="image_22.png" /><figcaption>FIGURE 3 – MLM : dans un premier temps, le texte originel est perturbé en modifiant des mots choisis au hasard. Chaque mot est soit remplacé par un symbole spécial [MASK], soit remplacé par un autre mot du vocabulaire ou bien conservé intact</figcaption></figure>

### 2.2.2 Prévision de la phrase suivante (NSP)

BERT est également entraîné sur une tâche de prévision de la phrase suivante pour laquelle il faut décider si deux phrases en entrée sont consécutives. La justification de cette tâche est d'améliorer

<footnote n="6">6. Dans ELMo, les plongements sont issus d'une concaténation de représentations unidirectionnelles alors que dans BERT, celles-ci sont naturellement bidirectionnelles.</footnote>
la performance du modèle sur des tâches où l'objectif est de qualifier la relation entre un couple de phrases (e.g. implicature textuelle). En pratique, la représentation du symbole spécial [CLS] est utilisée pour classifier chaque couple de phrases en entrée ainsi que pour toute autre tâche de classification une fois le modèle entraîné.

# 3 Importance du vocabulaire dans BERT

La segmentation appliquée par BERT se fait en deux étapes : d'abord une segmentation « classique » en mots, puis un découpage en sous-mots (wordpieces). Lors de cette seconde étape, BERT découpe autant de fois que nécessaire les mots hors vocabulaire jusqu'à retrouver des wordpieces connus. Ainsi, le choix du vocabulaire devrait directement influencer la qualité de cette décomposition, en particulier en domaine médical où le vocabulaire technique est très utilisé.

Pour nous en assurer, nous analysons le résultat de la segmentation d'un corpus médical<sup>7</sup> par deux vocabulaires : l'un du domaine général et l'autre du domaine médical (cf. figure 4). Nous observons alors que le vocabulaire médical a tendance à nettement moins découper les mots que le vocabulaire général, que l'on compte les occurrences dans le texte ou les types de mots distincts.

<figure><img src="image_23.png" /><figcaption>FIGURE 4 – Segmentation de textes médicaux par des vocabulaires de domaines différents</figcaption></figure>

De plus, lorsque nous observons plus qualitativement cette segmentation pour des termes médicaux plus ou moins techniques, nous constatons que la qualité de la segmentation est elle aussi meilleure pour le vocabulaire médical (cf. table 1). En effet, le terme « paracetamol » est directement reconnu par le vocabulaire médical alors qu'il est divisé en wordpieces peu porteurs de sens en domaine général. Dans le second cas, « choledocholithiasis » est divisé en deux sous-mots par le vocabulaire médical (« choledoch » et « olithiasis »), tout deux correspondant à des notions médicales alors que le vocabulaire général divise le terme originel en un ensemble de sous-mots là encore peu porteurs de sens. Nous notons cependant que pour des termes plus rares, tels que « borborygmi », le vocabulaire médical semble également être inapte à segmenter le mot en unités porteuses de sens.

<footnote n="7">7. Il s'agit plus exactement d'un extrait du corpus médical présenté en section 4.1 de l'article.</footnote>
<table><caption>TABLE 1 – Segmentations en *wordpieces* issues de vocabulaires de domaines différents</caption><thead><tr><td>Terme de référence</td><td>Vocabulaire médical</td><td>Vocabulaire général</td></tr></thead><tbody><tr><td>paracetamol</td><td>[paracetamol]</td><td>[para, ##ce, ##tam, ##ol]</td></tr><tr><td>choledocholithiasis</td><td>[choledoch, ##olithiasis]</td><td>[cho, ##led, ##och, ##oli, ##thi, ##asi, ##s]</td></tr><tr><td>borborygmi</td><td>[bor, ##bor, ##yg, ##mi]</td><td>[bo, ##rb, ##ory, ##gm, ##i]</td></tr></tbody></table>

# 4 Expériences

L'approche généralement adoptée est d'entraîner les versions spécialisées de BERT à partir du modèle originel (domaine général) en poursuivant simplement la procédure de pré-entraînement sur des textes spécialisés. Pour évaluer la pertinence de cette stratégie, nous entraînons plusieurs modèles en faisant varier les paramètres suivants : domaine du vocabulaire (général vs. médical), corpus initial (général vs. médical vs. mélange des deux) et corpus de spécialisation (aucun vs. médical).

Dans ce qui suit, nous utilisons l'architecture BERT (base, uncased) qui consiste en $L = 12$ couches Transformer avec pour chacune, $H = 12$ têtes. Nos modèles sont tous appris à partir de textes anglais en minuscule et produisent des plongements contextualisés de dimension 768.

## 4.1 Différentes configurations de BERT

<table><caption>TABLE 2 – Détail des corpus utilisés pour le pré-entraînement de BERT</caption><thead><tr><th>Corpus</th><th>Composition</th><th>Nombre de documents</th><th>Nombre de mots</th></tr></thead><tbody><tr><td rowspan="2">Général</td><td>Wikipedia (EN)</td><td>11 979 758</td><td>2 138 764 476</td></tr><tr><td>OpenWebText</td><td>3 150 000</td><td>1 284 308 223</td></tr><tr><td rowspan="2">Médical</td><td>MIMIC-III</td><td>4 166 225</td><td>504 856 155</td></tr><tr><td>PubMed</td><td>4 653 528</td><td>521 637 990</td></tr></tbody></table>

Nous notons chaque configuration par un triplet correspondant aux différentes valeurs des paramètres :
($V$ = domaine du vocabulaire, $C_1$ = corpus initial, $C_2$ = corpus de spécialisation).

($V$ = **général**, $C_1$ = **général**, $C_2$ = ∅) Pour une comparaison équitable, nous entraînons notre propre modèle pour le domaine général. Malgré la redondance que cela représente avec les modèles distribués par (Devlin et al., 2018), entraîner ce modèle nous-même garantit une uniformité des conditions d'entraînement pour tous les modèles comparés. Cependant, nous utilisons le même vocabulaire que le modèle BERT originel : un vocabulaire construit à partir des corpus Wikipédia anglais et BookCorpus (Zhu et al., 2015).

Lors du pré-entraînement, nous utilisons un corpus général (cf. table 2) constitué à partir de Wikipédia anglais ainsi qu'une partie du corpus OpenWebText (Gokaslan & Cohen, 2019)<fnref n="8" />. La portion de ce dernier est choisie de façon à aboutir à une taille de corpus comparable à celle utilisée originellement dans (Devlin et al., 2018).

<footnote n="8">8. Étant donné que le corpus BookCorpus n'est plus disponible, nous avons remplacé celui-ci par le corpus OpenWebText qui cherche à reproduire WebText, un corpus utilisé pour entraîner le modèle GPT-2 (Radford et al., 2019).</footnote>
(V = **général**, C₁ = **général**, C₂ = **médical)) Nous cherchons ici à reproduire l'approche clas-
sique consistant à poursuivre l'entraînement d'un modèle du domaine général sur des textes
spécialisés. Plus précisément, tout en gardant le vocabulaire général, nous poursuivons l'en-
traînement du modèle précédent sur un corpus médical constitué à partir de notes cliniques
issues de MIMIC-III (Johnson et al., 2016) et de résumés d'articles scientifiques médicaux
issus de PubMed (Fiorini et al., 2018).

(V = **médical**, C₁ = **médical**, C₂ = ∅) Contrairement aux modèles précédents, cette version est directement entraînée sur des textes médicaux. De plus, nous utilisons ici un vocabulaire médical que nous construisons à partir du corpus médical (cf. table 2) en passant par la bibliothèque SentencePiece, qui implémente l'algorithme BPE (Sennrich et al., 2015)<fnref n="9" />.

(V = **médical**, C₁ = **médical**, C₂ = **médical)) À partir du modèle entraîné directement sur le corpus médical, nous effectuons un second entraînement complet sur ce même corpus afin d'aboutir à une version comparable en terme de durée d'entraînement du modèle (V = général, C₁ = général, C₂ = médical).

(V = **médical**, C₁ = **combinaison**, C₂ = ∅) Il est possible de s'interroger quant à l'intérêt de fusionner deux corpus, l'un général et l'autre médical, afin de pré-entraîner un modèle tel que BERT. En effet, s'il est raisonnable d'entraîner successivement sur les deux corpus, alors il peut être intéressant de considérer le cas où l'on entraîne simultanément sur ceux-ci. Nous complétons alors notre analyse en entraînant un modèle sur la somme des deux corpus. Afin de garder l'accent sur le domaine médical, nous utilisons ici aussi un vocabulaire médical.

(V = **médical**, C₁ = **combinaison**, C₂ = **médical)) Afin d'étudier l'intérêt de partir non pas d'un modèle du domaine général mais d'une version hybride qui aurait vu les deux types de textes, nous poursuivons aussi l'entraînement du modèle précédent sur notre corpus médical.

4.2 Tâches d'évaluation

Nous évaluons nos modèles sur un ensemble varié de tâches biomédicales et cliniques comprenant :
détection de concepts médicaux (détection d'entités), implicature textuelle et extraction de relations.

**Détection de concepts médicaux** Nos modèles sont évalués sur la tâche de détection de concepts médicaux d'i2b2/VA 2010 (Uzuner et al., 2011). Cette tâche consiste en l'extraction de trois types de concepts médicaux : problème (PROBLEM, e.g. « migraine »), traitement (TREATMENT, e.g. « doliprane ») et test médical (TEST, « endoscopie »). Un exemple de note clinique annotée est donné en figure 5.

<figure><img src="image_24.png" /><figcaption>FIGURE 5 – Exemple issu de i2b2/VA 2010. Les entités sont annotées selon le format BIO.</figcaption></figure>

<footnote n="9">9. Il faut noter que l’algorithme utilisé pour construire le vocabulaire du BERT original n’est pas disponible. Ainsi, pour construire son propre vocabulaire de wordpiece, il faut passer par des algorithmes similaires, tels que le BPE.</footnote>
**Implicature textuelle** Nous évaluons également nos modèles sur la tâche d'implicature textuelle MEDNLI (Romanov & Shivade, 2018). Cette tâche consiste à classifier des couples d'extraits de notes cliniques selon 3 catégories : contradiction (CONTRADICTION), implicature (ENTAILMENT) et neutre (NEUTRAL). Des exemples sont donnés en figure 6.

<figure><img src="image_25.png" /><figcaption>FIGURE 6 – Exemples issus de MEDNLI</figcaption></figure>

**Extraction de relations** Afin de diversifier nos tâches d'évaluation, nous évaluons nos modèles sur deux tâches d'extraction de relations : ChemProt (Krallinger et al., 2017), issue de la compétition BioCreative VI et DDI (Herrero-Zazo et al., 2013), issue de SemEval 2013 - Tâche 9.2. Pour ChemProt, il s'agit de détecter la présence d'interactions entre composés chimiques et protéines en précisant le type de cette interaction : active (CPR:3), inhibe (CPR:4), agoniste (CPR:5), antagoniste (CPR:6) et substrat (CPR:9). Pour DDI, il s'agit de classifier des extraits de textes selon le type d'interaction entre médicaments qui s'y trouve : conseil (DDI-advise), effet (DDI-effect), mécanisme (DDI-mechanism) et interaction (DDI-int). Un exemple est donné pour chaque tâche en figure 7.

<figure><img src="image_26.png" /><figcaption>FIGURE 7 – Exemples issus de ChemProt et DDI</figcaption></figure>

Le nombre d'exemples est rapporté pour chaque tâche dans la table 3.

<table><caption>TABLE 3 – Distribution du nombre d'exemples des différentes tâches d'évaluation</caption><thead><tr><th></th><th>i2b2/VA 2010</th><th>MEDNLI</th><th>ChemProt</th><th>DDI</th></tr></thead><tbody><tr><td>Entraînement</td><td>24 757</td><td>11 232</td><td>19 460</td><td>18 779</td></tr><tr><td>Validation</td><td>6 189</td><td>1 395</td><td>11 820</td><td>7 244</td></tr><tr><td>Test</td><td>45 404</td><td>1 422</td><td>16 943</td><td>5 761</td></tr></tbody></table>
## 4.3 Paramètres des modèles

Afin de faciliter la reproduction de nos résultats, nous partagerons les paramètres utilisés lors du pré-entraînement de nos modèles BERT ainsi que lors de leur évaluation sur nos tâches médicales. De plus, nous mettrons à disposition l'ensemble de nos modèles BERT pré-entraînés ainsi que les codes ayant servi à l'entraînement et à l'évaluation<fnref n="10" />.

### 4.3.1 Paramètres de pré-entraînement

Nous entraînons nos modèles BERT en utilisant 16 cartes graphiques de type Tesla V100-SXM2-16GB. L'implémentation et les paramètres choisis sont ceux fournis dans la base de code de NVIDIA<fnref n="11" />. Chaque entraînement consiste en deux phases :

- **Phase 1** Une série de 3 519 mises à jour (*updates*) sur des paquets (*batch size*) de 8 192 observations de taille 128 avec un taux d'apprentissage (*learning rate*) de $6.10^{-3}$. Cette phase dure environ 17 heures.

- **Phase 2** Une série de 782 mises à jour (*updates*) sur des paquets (*batch size*) de 4096 observations de taille 512 avec un taux d'apprentissage (*learning rate*) plus faible valant $4.10^{-3}$. Cette phase dure environ 9,5 heures.

L'optimisation a été effectuée via l'algorithme LAMB (You et al., 2019) en employant un taux d'échauffement (*warmup rate*) de 0,01 et un taux de dégradation (*weight decay*) de 0,01.

### 4.3.2 Paramètres d'évaluation

Nous évaluons chaque modèle en effectuant 15 itérations (*epoch*) sur nos données d'entraînement par paquets (*batch size*) de 32 observations. À la suite de chaque itération, nous évaluons le modèle sur un jeu de validation propre à la tâche. Au bout de la dernière itération, le modèle ayant obtenu la meilleure performance sur le jeu de validation parmi les 15 itérations effectuées est retenu.

# 5 Résultats

Afin de prendre en compte les effets dus aux aspects aléatoires tels que l'initialisation des modèles ou l'échantillonnage des jeux de validation, nous effectuons systématiquement 10 évaluations avec à chaque fois une graine aléatoire (*random seed*) différente. Ainsi, la performance de chaque modèle est calculée en (moyenne± écart-type). Les résultats sont présentés en table 4.

## 5.1 Analyse

Étant donné la complexité de la procédure de pré-entraînement de BERT, il est utile de comparer notre modèle du domaine général au modèle originel : BERT (base). Nous constatons alors que ces deux modèles ont des performances similaires, avec néanmoins un avantage pour BERT (base). Cependant,

<footnote n="10">10. https://github.com/helboukkouri/recital_2020</footnote>

<footnote n="11">11. Plus exactement, nous adaptons ces scripts à nos besoins.</footnote>
<table><thead><tr><th colspan="3">Modèle</th><th colspan="4">Tâche d'évaluation</th></tr><tr><th>V</th><th>C<sub>1</sub></th><th>C<sub>2</sub></th><th>i2b2/VA 2010</th><th>MEDNLI</th><th>ChemProt</th><th>DDI</th></tr></thead><tbody><tr><td>général</td><td>général</td><td>Ø</td><td>85,66 ± 0,18</td><td>77,31 ± 0,71</td><td>67,47 ± 0,99</td><td>75,81 ± 1,02</td></tr><tr><td>général</td><td>général</td><td>médical</td><td>89,00 ± 0,17</td><td><strong>84,91</strong> ± 0,46</td><td>72,29 ± 0,58</td><td>78,82 ± 1,11</td></tr><tr><td>médical</td><td>médical</td><td>Ø</td><td>88,80 ± 0,10</td><td>83,54 ± 0,43</td><td>71,30 ± 0,51</td><td>79,40 ± 1,15</td></tr><tr><td>médical</td><td>médical</td><td>médical</td><td><u>89,20</u> ± 0,20</td><td>84,32 ± 0,73</td><td><strong>72,97</strong> ± 0,46</td><td><strong>80,11</strong> ± 0,79</td></tr><tr><td>médical combinaison</td><td>Ø</td><td></td><td>88,32 ± 0,17</td><td>82,20 ± 0,79</td><td>69,80 ± 0,51</td><td>78,90 ± 1,09</td></tr><tr><td>médical combinaison</td><td>médical</td><td></td><td><strong>89,30</strong> ± 0,11</td><td>84,35 ± 0,74</td><td><u>72,80</u> ± 0,87</td><td><u>80,04</u> ± 0,78</td></tr><tr><td><strong>BERT (base) (Devlin et al., 2018)</strong></td><td></td><td></td><td>86,42 ± 0,31</td><td>77,85 ± 0,63</td><td>69,22 ± 0,56</td><td>77,89 ± 0,92</td></tr><tr><td><strong>BlueBERT (base) (Peng et al., 2019)<sup>a</sup></strong></td><td></td><td></td><td>88,70 ± 0,21</td><td><u>84,53</u> ± 0,76</td><td>68,35 ± 0,61</td><td>77,89 ± 0,65</td></tr></tbody></table>

<caption>TABLE 4 – Résultat de l'évaluation des modèles. La performance de i2b2/VA 2010 est calculée en terme de F1 stricte sur les entités à détecter, celle de MEDNLI est calculée en terme de taux d'exemples corrects (accuracy) et enfin celles de ChemProt et DDI sont calculées en terme de micro-F1 mesure. La meilleure performance est affichée en gras, la deuxième meilleure est soulignée.</caption>

cette différence peut être due aux différences de corpus (Wikipédia et BookCorpus pour BERT (base) et Wikipédia et OpenWebText pour notre version) ou bien aux différences de paramètres de pré-entraînement. Ainsi, étant donné la proximité des performances des deux modèles, nous pouvons considérer notre procédure d'entraînement comme correcte et interpréter le reste des résultats.

Nous nous concentrons dans un premier temps sur les modèles entraînés sur un unique corpus ($C_2 = Ø$). Nous vérifions alors une idée intuitive : un modèle BERT entraîné sur un corpus médical avec un vocabulaire médical ($V = médical$, $C_1 = médical$, $C_2 = Ø$) obtient systématiquement de meilleurs résultats que son équivalent du domaine général. Par ailleurs, nous constatons que la combinaison de corpus ($V = médical$, $C_1 = combinaison$, $C_2 = Ø$) aboutit à une performance meilleure que celle du modèle général mais moins bonne que celle du modèle médical.

Pour ce qui est des modèles entraînés sur un second corpus, le constat principal est que globalement les performances sont très proches les unes des autres et qu'en tout état de cause, aucune configuration n'est systématiquement meilleure pour toutes les tâches, même celle maximisant le rattachement au domaine médical ($V = médical$, $C_1 = médical$, $C_2 = médical$). Cependant, nous pouvons remarquer de légères différences en faveur des modèles à vocabulaire médical qui semblent être favorisés dans le cas des tâches biomédicales (ChemProt et DDI). En effet, sur les quatre tâches évaluées, i2b2 et MEDNLI font partie du domaine/genre dit « clinique » (textes issus de MIMIC-III) alors que ChemProt et DDI sont du domaine/genre dit « biomédical » (textes issus de PubMed). Étant donné cette catégorisation, nous pouvons observer que l'espace entre le modèle général ré-entraîné sur du médical et le modèle entraîné deux fois sur notre corpus médical est légèrement plus marqué pour les tâches biomédicales, avec notamment une différence moyenne de 1,29 points de F1 sur DDI. Cependant, il nous est impossible de savoir si cet écart est dû aux paramètres étudiés (vocabulaire, corpus) ou bien au type de tâche (les deux tâches biomédicales sont aussi des tâches d'extraction de relations). Par ailleurs, nous notons que la combinaison de corpus n'aboutit jamais à une amélioration importante par rapport au modèle purement médical.

<footnote>a. Il s'agit ici de la version de BlueBERT entraînée sur PubMed et MIMIC-III.</footnote>
Enfin, nous observons que notre modèle entraîné d'abord sur un corpus général puis sur un corpus médical obtient de meilleures performances que BlueBERT sur les tâches biomédicales, bien que ce dernier soit entraîné dans des conditions similaires.

## 5.2 Discussion

Étant donné la proximité des performances de certains modèles, il est important de prendre en compte les valeurs moyennes des performances au regard des écarts-types associés. Ainsi, le résultat principal reste tout de même que l'ensemble des modèles atteignent des performances similaires au moment du second entraînement sur le corpus de spécialisation. Par ailleurs, les résultats impliquant notre corpus médical pourraient être amenés à varier en fonction de la taille de celui-ci. En effet, le corpus général est approximativement trois fois plus grand que le corpus médical. Ainsi, lorsque l'on compare des modèles ayant vu l'un ou l'autre, une partie de l'effet observé est sans doute due à la différence de domaine, mais une autre partie pourrait découler de la différence de taille des deux corpus. En particulier, compte tenu de la proximité des performances moyennes des modèles ($V$ = général, $C_1$ = général, $C_2$ = médical) et ($V$ = médical, $C_1$ = médical, $C_2$ = ∅), il est possible que ce dernier surpasse l'approche classique en utilisant un corpus médical plus conséquent. Enfin, il est utile de préciser que nous avons fait attention à ce que les modèles utilisant une combinaison de corpus soient entraînés aussi longtemps que ceux utilisant un unique corpus. Ainsi, il est possible que ces versions ne soient pas entraînées suffisamment longtemps pour pouvoir observer leur réel potentiel.

## 6 Conclusion

Dans un contexte où les modèles de plongements « à la BERT » gagnent de plus en plus de terrain, nous avons voulu évaluer le mode d'utilisation standard de ces modèles en domaine spécialisé : ré-entraîner le modèle BERT d'origine sur un corpus spécialisé avant de l'adapter à la tâche d'intérêt. En nous concentrant sur le cas particulier du domaine médical, nous avons comparé plusieurs approches où le modèle initial est entraîné sur un corpus différent (général, médical, général + médical) avant d'être finalement ré-entraîné sur un corpus médical. Nous arrivons alors à la conclusion que, malgré les différences initiales des modèles suite au premier entraînement (médical > médical + général > général), toutes les configurations aboutissent à des performances sensiblement similaires. Nous pouvons alors en déduire, après factorisation des ressources et du temps nécessaires pour l'entraînement de chacun des modèles, que l'approche préférable demeure celle employée par défaut.

## Remerciements

Ce travail a été financé par l'Agence Nationale de la Recherche (ANR) dans le cadre du projet ADDICTE (ANR-17-CE23-0001). Nous remercions également Junichi Tsujii ainsi le centre japonais de recherche en intelligence artificielle AIRC <fnref n="12" /> pour nous avoir permis d'utiliser le cluster ABCI <fnref n="13" /> afin d'effectuer l'ensemble de nos expériences.

<footnote n="12">12. https://www.airc.aist.go.jp/en/intro/</footnote>

<footnote n="13">13. https://abci.ai/</footnote>
Références

ALSENTZER E., MURPHY J. R., BOAG W., WENG W.-H., JIN D., NAUMANN T. & MCDERMOTT M. (2019). Publicly available clinical bert embeddings. *arXiv preprint arXiv:1904.03323*.

BELTAGY I., LO K. & COHAN A. (2019). SciBERT: A pretrained language model for scientific text. In *Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP)*, p. 3606–3611.

BOJANOWSKI P., GRAVE E., JOULIN A. & MIKOLOV T. (2017). Enriching word vectors with subword information. *Transactions of the Association for Computational Linguistics*, **5**, 135–146.

DEVLIN J., CHANG M.-W., LEE K. & TOUTANOVA K. (2018). BERT: Pre-training of deep bidirectional transformers for language understanding. *arXiv preprint arXiv:1810.04805*.

FIORINI N., LEAMAN R., LIPMAN D. J. & LU Z. (2018). How user intelligence is improving PubMed. *Nature biotechnology*, **36**(10), 937–945.

GOKASLAN A. & COHEN V. (2019). OpenWebText corpus. http://Skylion007.github.io/OpenWebTextCorpus.

HE K., GKIOXARI G., DOLLÁR P. & GIRSHICK R. B. (2017). Mask R-CNN. *CoRR*, **abs/1703.06870**.

HERRERO-ZAZO M., SEGURA-BEDMAR I., MARTÍNEZ P. & DECLERCK T. (2013). The DDI corpus: An annotated corpus with pharmacological substances and drug–drug interactions. *Journal of biomedical informatics*, **46**(5), 914–920.

HOWARD J. & RUDER S. (2018). Universal language model fine-tuning for text classification. *arXiv preprint arXiv:1801.06146*.

JOHNSON A. E., POLLARD T. J., SHEN L., LI-WEI H. L., FENG M., GHASSEMI M., MOODY B., SZOLOVITS P., CELI L. A. & MARK R. G. (2016). MIMIC-III, a freely accessible critical care database. *Scientific data*, **3**, 160035.

KRALLINGER M., RABAL O., AKHONDI S. A. et al. (2017). Overview of the BioCreative VI chemical-protein interaction track. In *Proceedings of the sixth BioCreative challenge evaluation workshop*, volume 1, p. 141–146.

LEE J., YOON W., KIM S., KIM D., KIM S., SO C. H. & KANG J. (2020). BioBERT: a pretrained biomedical language representation model for biomedical text mining. *Bioinformatics*, **36**(4), 1234–1240.

MIKOLOV T., CHEN K., CORRADO G. & DEAN J. (2013). Efficient estimation of word representations in vector space. *arXiv preprint arXiv:1301.3781*.

PENG Y., YAN S. & LU Z. (2019). Transfer learning in biomedical natural language processing: An evaluation of bert and elmo on ten benchmarking datasets. In *Proceedings of the 2019 Workshop on Biomedical Natural Language Processing (BioNLP 2019)*, p. 58–65.

PENNINGTON J., SOCHER R. & MANNING C. D. (2014). GloVe: Global vectors for word representation. In *Empirical Methods in Natural Language Processing (EMNLP)*, p. 1532–1543.

PETERS M. E., NEUMANN M., IYYER M., GARDNER M., CLARK C., LEE K. & ZETTLEMOYER L. (2018). Deep contextualized word representations. *arXiv preprint arXiv:1802.05365*.

RADFORD A., NARASIMHAN K., SALIMANS T. & SUTSKEVER I. (2018). Improving language understanding by generative pre-training. URL https://s3-us-west-2.amazonaws.com/openai-assets/researchcovers/languageunsupervised/language understanding paper.pdf.
RADFORD A., WU J., CHILD R., LUAN D., AMODEI D. & SUTSKEVER I. (2019). Language models are unsupervised multitask learners. *OpenAI Blog*, 1(8), 9.

ROMANOV A. & SHIVADE C. (2018). Lessons from natural language inference in the clinical domain. *arXiv preprint arXiv:1808.06752*.

SENNRICH R., HADDOW B. & BIRCH A. (2015). Neural machine translation of rare words with subword units. *arXiv preprint arXiv:1508.07909*.

SI Y., WANG J., XU H. & ROBERTS K. (2019). Enhancing clinical concept extraction with contextual embeddings. *Journal of the American Medical Informatics Association*, 26(11), 1297-1304.

UZUNER Ö., SOUTH B. R., SHEN S. & DUVALL S. L. (2011). 2010 i2b2/VA challenge on concepts, assertions, and relations in clinical text. *Journal of the American Medical Informatics Association*, 18(5), 552-556.

VASWANI A., SHAZEER N., PARMAR N., USZKOREIT J., JONES L., GOMEZ A. N., KAISER Ł. & POLOSUKHIN I. (2017). Attention is all you need. In *Advances in neural information processing systems*, p. 5998-6008.

WANG D. & ZHENG T. F. (2015). Transfer learning for speech and language processing. In *2015 Asia-Pacific Signal and Information Processing Association Annual Summit and Conference (APSIPA)*, p. 1225-1237 : IEEE.

WU Y., SCHUSTER M., CHEN Z., LE Q. V., NOROUZI M., MACHEREY W., KRIKUN M., CAO Y., GAO Q., MACHEREY K. et al. (2016). Google's neural machine translation system : Bridging the gap between human and machine translation. *arXiv preprint arXiv:1609.08144*.

YOU Y., LI J., REDDI S., HSEU J., KUMAR S., BHOJANAPALLI S., SONG X., DEMMEL J., KEUTZER K. & HSIEH C.-J. (2019). Large batch optimization for deep learning : Training BERT in 76 minutes. In *International Conference on Learning Representations*.

ZHU Y., KIROS R., ZEMEL R., SALAKHUTDINOV R., URTASUN R., TORRALBA A. & FIDLER S. (2015). Aligning books and movies : Towards story-like visual explanations by watching movies and reading books. In *Proceedings of the IEEE international conference on computer vision*, p. 19-27.
# Évaluation systématique d'une méthode commune de génération

Hugo Boulanger¹

(1) Université Paris-Saclay, LIMSI, Campus Universitaire bâtiment 507, Rue du Belvédère, 91400 Orsay, France
prénom.nom@limsi.fr

## RÉSUMÉ

Avec l'augmentation de l'utilisation du traitement automatique des langues arrivent plusieurs problèmes dont l'absence de données dans les nouveaux domaines. Certaines approches d'apprentissage tel que l'apprentissage zero-shot ou par transfert tentent de résoudre ces problèmes. Une solution idéale serait de générer des données annotées à partir de bases de connaissances des domaines d'intérêt. Le but de notre travail est d'évaluer une méthode de génération simple et de trouver les critères permettant de la mettre en oeuvre correctement. Pour cela, nous comparons les performances d'un modèle obtenu sur des tâches d'annotation quand il est entraîné sur des données réelles ou sur des données générées. Grâce aux résultats obtenus et à des analyses effectuées sur les données, nous avons pu déterminer des bonnes pratiques d'utilisation de cette méthode de génération sur la tâche d'annotation.

## ABSTRACT

**Systematic evaluation of a common generation method.**

As natural language understanding expands, new domains aim to use this tool. This expansion causes many problems, such as the scarcity of data for these domains. Machine learning approaches such as transfer or zero-shot learning deal with the lack of data, but such methods require labeled data. An ideal solution to this problem would be to generate labeled data from in-domain, highly available data such as ontologies. The goal of our work is to evaluate a simple generation method and to find out criterion to make the method best applicable. Systematic evaluation of the generation method is done by generating and augmenting datasets for sequence labelling benchmarks and comparing the performances obtained from those datasets to real datasets. This paper presents the results of such method and analysis of the original datasets to flesh out guidelines on how to properly use generation to obtain good performances on the associated task.

**MOTS-CLÉS** : TAL, augmentation de données, génération de données synthétiques.

**KEYWORDS:** NLP, data augmentation, data generation.

# 1 Introduction

Le traitement automatique de la langue (TAL) est utilisé dans de plus en plus de domaines et se sert de systèmes d'apprentissage pour résoudre les diverses tâches le composant. Cette recrudescence des systèmes d'apprentissage est accompagnée d'une hausse de la demande de données annotées pour différentes tâches et différents domaines. En revanche, la prise de conscience récente sur l'utilisation des données rend le procédé de récolte de données plus difficile. Dans ce contexte, il devient nécessaire de travailler sur des méthodes permettant d'utiliser des données existantes pour résoudre de nouvelles

<figure><img src="image_27.png" /></figure>
tâches ou travailler sur de nouveaux domaines. Les exemples les plus communs sont l'utilisation d'apprentissage par transfert (Pan & Yang, 2010; Ruder, 2019) ou d'augmentation (Kafle et al., 2017). Ces techniques ont cependant besoin de données annotées du domaine. Il serait intéressant de pouvoir s'affranchir d'une telle contrainte en générant des données à partir de données plus facilement accessible tel que des bases de connaissances ou des ontologies.

Dans cet article, nous faisons une analyse systématique d'une méthode commune de génération de données annotées. Cette méthode est la méthode de remplissage de patrons. Le principe de cette méthode est d'utiliser des énoncés à trou, les patrons, pour créer de nouveaux exemples en remplissant les trous par des mentions ayant les mêmes concepts que les trous. Cette méthode est illustrée Figure 1. Nous évaluons la performance de la méthode de génération à travers la performance d'un modèle entraîné sur les données générées. C'est ce qui sera appelé performance, sauf indication contraire. Nous comparons les performances entre les modèles entraînés sur les données de référence et les modèles entraînés sur les données générées à partir des mêmes données de références. A notre connaissance, aucune autre étude n'a effectué d'examen systématique de ce type de méthode de génération pour une tâche d'étiquetage. Notre contribution n'est pas la méthode de génération en elle-même, car elle est déjà largement utilisée, mais c'est la connaissance de l'impact des données générées par ces méthodes sur les performances des modèles d'apprentissage, et c'est aussi la connaissance de la meilleure façon d'utiliser cette méthode de génération.

## 2 État de l'art

Au sein du TAL, des méthodes de génération ont déjà été utilisées pour créer de nouvelles tâches, comme les tâches bAbI (Weston et al., 2016) dans le contexte des systèmes de dialogue qui visaient à fournir des données pour former des modèles de dialogue de bout en bout. Un examen de la qualité de certaines des tâches bAbI a été effectué dans l'article présentant les hybrid code network (Williams et al., 2017). Il s'avère que la méthode de génération utilisée était trop systématique et que de simples systèmes tels que des systèmes à base de règles ont facilement atteint une performance maximale.

Une approche similaire a été étudiée afin de construire un ensemble de données pour entraîner un modèle de compréhension dans le contexte d'un assistant médical (Neuraz et al., 2018). Dans ce travail, la méthode de génération basée sur le remplissage de patrons et une méthode basée sur la paraphrase ont été comparées. Cette étude montre qu'il est possible d'utiliser des méthodes de génération naïves dans le contexte de l'absence de données. Elle souligne également que l'utilisation de la méthode de paraphrase afin d'augmenter les données n'améliore pas de manière significative les performances dans cette tâche.

Des méthodes plus complexes de génération et d'augmentation existent, comme l'utilisation d'auto-encodeurs variationnels (Kingma & Welling, 2014; Yoo et al., 2019) mais elles nécessitent des données étiquetées, ce qui n'est pas conforme à ce que nous visons. Un autre aspect de notre recherche vise à expliquer les résultats que nous obtenons. À cette fin, les jeux de données de références sont analysées dans le but de trouver des indicateurs qui pourraient être liés aux performances des modèles. Liés à ces analyses sont les analyses effectuées dans (Béchet & Raymond, 2019) décrivant la façon dont les modèles réagissent à chacun des benchmarks et établissant un classement de difficulté des dits benchmarks.
# 3 Tâche de Compréhension

<table><tr><td>Enoncé</td><td>Is</td><td>there</td><td>a</td><td>flight</td><td>to</td><td>Atlanta</td></tr><tr><td>Etiquettes</td><td>O</td><td>O</td><td>O</td><td>O</td><td>O</td><td>B-city</td></tr></table>

TABLE 1 – Exemple d’un énoncé et de ses étiquettes. Le but de l’étiquetage est de classer chaque token. Les étiquettes ont deux variantes basées sur leur position suivant le format BIO : B pour le début de la mention, I pour l’intérieur de la mention et O pour extérieur à la mention.

Avant d’expliquer la méthode de génération, il est important de comprendre la tâche que nous voulons résoudre. La tâche abordée dans cet article est la tâche d’étiquetage pour la compréhension du langage naturel. Cette tâche vise à classer chaque token d’un énoncé comme expliqué dans le tableau 1. La classification des énoncés ne fera pas partie de notre analyse.

## 3.1 Etiquetage

L’étiquetage est une tâche de segmentation et de classification. C’est une tâche pour laquelle des méthodes de génération naïves, telles que le remplissage de patrons, sont déjà largement utilisées. Nous avons utilisé cinq ensembles de données connues pour évaluer le potentiel de cette méthode de génération naïve.

## 3.2 Benchmarks

Les tâches sur lesquelles la génération est évaluée sont les mêmes que celles utilisés par Béchet et Raymond dans leur article Béchet & Raymond (2019) :

a ATIS (Dahl et al., 1994) ou Air Travel Information System est une tâche de réservation de trajet en avion en Anglais. Exemple : "what airlines go to pittsburgh"

b M2M (Shah et al., 2018) ou Machine Talking To Machines est une tâche de réservation de restaurant et de place de cinéma en Anglais. Exemple : "I would like movie tickets to watch avatar."

c SNIPS (Coucke et al., 2018) est une tâche d’assistant vocal en Anglais. Example : "Look up Applied Linguistics"

d SNIPS70 est l’ensemble des énoncés utilisés pour l’expérience contenant 70 énoncés par classe d’énoncé dans (Coucke et al., 2018).<fnref n="1" />

e MEDIA (Bonneau-Maynard et al., 2005) est une tâche de réservation de chambre d’hôtel en Français. Ce corpus fût construit à partir de transcriptions orales. Exemple : "euh réserver dans cet hôtel". Dans cet article nous utilisons une version légèrement différente de celle utilisée dans (Béchet & Raymond, 2019) car nous utilisons les tours de parole mixés (plusieurs locuteur parlent dans le même énoncé) et les tours de parole vide (aucun élément n’est étiqueté).<fnref n="2" />

<footnote n="1">1. SNIPS est composé des énoncés des fichiers "train_class_full.json" et SNIPS70 est composé des énoncés des fichier "train_class.json" de https://github.com/snipsco/nlu-benchmark.</footnote>

<footnote n="2">2. Nous nous sommes rendu compte de la différence après les expériences.</footnote>
<table><caption>TABLE 2 – Description des corpus.</caption><thead><tr><th>Corpus</th><th>ATIS</th><th>M2M</th><th>SNIPS</th><th>SNIPS70</th><th>MEDIA</th></tr></thead><tbody><tr><td># tokens du jeu d'entraînement</td><td>50497</td><td>45965</td><td>121547</td><td>15172</td><td>94708</td></tr><tr><td>Vocabulaire du jeu d'entraînement</td><td>867</td><td>688</td><td>13582</td><td>3222</td><td>2100</td></tr><tr><td># énoncés du jeu d'entraînement</td><td>4478</td><td>8148</td><td>13284</td><td>1600</td><td>12916</td></tr><tr><td># énoncés du jeu de développement</td><td>500</td><td>2116</td><td>500</td><td>500</td><td>1259</td></tr><tr><td># énoncés du jeu de test</td><td>893</td><td>4800</td><td>700</td><td>700</td><td>3518</td></tr><tr><td># concepts</td><td>79</td><td>12</td><td>39</td><td>39</td><td>73</td></tr></tbody></table>

Tous les jeux de données n'ont pas été construits de la même manière, et certains n'ont pas inclus de jeu de développement. Nous avons construit des jeux de développement pour les jeux de données qui n'en avaient pas. MEDIA et M2M ont fourni des jeux de développement. Pour ATIS, nous avons constitué le jeu de développement avec les 500 derniers énoncés du jeu d'entraînement originel car les énoncés ne sont pas rangés par intention. Pour SNIPS et SNIPS70, les jeux de développement que nous avons constitués sont composés des 500 derniers énoncés de leurs jeux d'entraînement respectifs après mélange (les énoncés étaient rangés).

# 4 Génération

Le but de cet article est de faire une analyse systématique d'une méthode de génération. Pour cela il nous faut une méthode de génération à analyser.

<figure><img src="image_28.png" /><figcaption>FIGURE 1 – Processus d'extraction et de génération. En rouge, l'extraction effectuée à partir des énoncés de référence afin de constituer nos données brutes pour la génération. En bleu, le processus de génération combine les données brutes afin de créer de nouveaux énoncés. Notre objectif est d'étudier les performances du modèle obtenu à partir des énoncés générés à partir des données brutes extraites des énoncés du benchmark réel.</figcaption></figure>

## 4.1 Méthode de Génération

La méthode de génération évaluée est une méthode simple de remplissage de patrons, comme le montrent la figure 1 et le tableau 3. Les patrons sont des énoncés dont les mentions ont été remplacées
par leurs classes ou concepts. La méthode de remplissage de patrons consiste à remplir les concepts trouvés dans un patron, $C_{pattern}$, avec les mentions des concepts respectifs, $m_c$. Cela donne une quantité d'énoncés possibles, $p$, qui explose très rapidement :

$$p_{pattern} = \prod_{c \in C_{pattern}} Card(m_c)$$

Comme il n'est pas possible de générer tous les exemples pour toutes les quantités de données, le nombre d'énoncés générés a été choisi pour être de $n = 20.000$ pour toutes les différentes quantités de données. Chaque modèle est utilisé pour générer des énoncés $q = n/\#pattern$ par échantillonnage sans remplacement. Cette étape est simplifiée en faisant un échantillonnage des indices se trouvant dans $[0, p_{pattern}]$ et en faisant l'extraction des indices des mentions dans leur liste grâce à une série de divisions euclidiennes. Si le modèle ne peut pas générer suffisamment d'énoncés, les énoncés générés sont répétés jusqu'à ce que la quantité requise soit atteinte.

<table><caption>TABLE 3 – Exemple du procédé d'extraction et de génération. Le patron (3ème ligne) est extrait d'un énoncé étiqueté (1ère et 2ème lignes). Ce patron est rempli par des mentions ayant le même concept ($city$ est remplacé par Paris) pour former un nouvel énoncé (4ème ligne). Dans cet exemple, la longueur de la mention est la même, mais en pratique elle peut changer (par exemple : $city$ peut être rempli par New York).</caption><tr><td>Énoncé</td><td>Is</td><td>there</td><td>a</td><td>flight</td><td>to</td><td>Atlanta</td></tr><tr><td>Étiquette</td><td>O</td><td>O</td><td>O</td><td>O</td><td>O</td><td>B-city</td></tr><tr><td>Patron</td><td>Is</td><td>there</td><td>a</td><td>flight</td><td>to</td><td>$city</td></tr><tr><td>Énoncé généré</td><td>Is</td><td>there</td><td>a</td><td>flight</td><td>to</td><td>Paris</td></tr></table>

## 4.2 Evaluation de la méthode de génération

L'évaluation de la méthode de génération se fait à travers les performances d'un modèle appris sur les données générées, puis validé sur les données de développement et testé sur les données de test. La comparaison entre les performances de ces modèles et celles des modèles entraînés sur les données réelles donne une indication des performances de la génération. Pour que cette comparaison soit pertinente, les modèles et les mentions utilisés pour la génération sont extraits des données réelles, comme le montre la figure 1.

# 5 Expériences et résultats

Dans cette section, nous décrivons les expériences et les conclusions qui peuvent être tirés des résultats.

## 5.1 Préparation des données

Nous voulons tester les performances d'un modèle sur plusieurs quantités de données pour connaître l'intérêt de la méthode de génération en fonction des données disponibles. Pour cela nous préparons
les données réelles servant de données brutes. Nous effectuons un découpage en parties de taille croissante contenant les parties plus petites. Cela nous garantit qu'il y a de plus en plus d'information dans les jeux de données. Les données brute servent ensuite à construire les jeux d'entraînement comme décrit Figure 2. Les modèles sont entraînés sur ces données et produisent les résultats obtenus sur les figures 3 et 4 sur les données de test. Nous avons testé différentes manières de distribuer les données au cours de leur génération. Les changements dans les distributions ont été effectués en modifiant la manière dont les patrons et les mentions étaient distribués dans leurs listes respectives, comme le montre la figure 1, puisque notre méthode de génération distribue uniformément les mentions trouvées dans les listes au sein des patrons.

Les multiples distributions testées sont :

**Uniforme** Les patrons et mentions sont distribué uniformément (c'est à dire qu'il n'y a qu'une apparition dans une liste d'un patron ou d'une mention).

**Distribution réelle des mentions** Les mentions sont distribuées avec leur fréquences réelle d'apparition (c'est à dire que les listes de mentions contiennent le nombre d'apparition d'une mention). Les patrons sont distribués uniformément.

**Distribution réelle de patrons** Les patrons sont distribués avec leur fréquences réelle d'apparition et les mentions sont distribuée uniformément.

**Distributions réelles** Les patrons et les mentions sont distribuées avec leurs fréquences réelles.

<figure><img src="image_29.png" /><figcaption>FIGURE 2 – Préparation des données. Les briques oranges symbolisent les données réelles dans leur taille d'origine. Les briques vertes symbolisent les 20.000 générés. Sur la première ligne est représentée la façon dont les données réelles ont été préparées pour l'entraînement. L'échantillonnage est effectué à chaque époque afin de ne pas perturber la distribution sur la totalité de l'entraînement. Sur les deuxième et troisième lignes sont représentées les façons dont les données générées et augmentées ont été préparées.</figcaption></figure>

Pour pouvoir comparer les ensembles générés avec les données réelles utilisées pour les générer, les ensembles de données réels ont été multipliés en longueur afin d'atteindre des énoncés de 20.000, comme le montre la figure 2.

L'augmentation a également été évalué après la génération. Dans ce contexte, la méthode de génération *Distribution réelle des mentions* et la méthode de génération *Distributions réelles* ont été utilisées pour l'augmentation car elles ont donné de meilleurs résultats que les autres méthodes (voir figure 3).
<table><caption>TABLE 4 – Performances du modèle obtenu sur les datasets complets. Le BiLSTM est notre modèle. Le modèle référence est le BiGRU + CRF de (Béchet & Raymond, 2019).</caption><thead><tr><th>Modèle</th><th>ATIS</th><th>M2M</th><th>SNIPS</th><th>SNIPS70</th><th>MEDIA</th></tr></thead><tbody><tr><td>BiLSTM</td><td>95.3</td><td>91.3</td><td>91.8</td><td>76.8</td><td>84.6</td></tr><tr><td>Référence</td><td>93.9</td><td>92.5</td><td>91.8</td><td>74.1</td><td>85.6</td></tr></tbody></table>

## 5.2 Système

Le modèle entraîné est un BiLSTM à deux couches<fnref n="3" /> (Hochreiter & Schmidhuber, 1997; Greff et al., 2016) de taille caché 128 est ensuite entraîné sur les données. La couche de plongement lexicaux est initialisée avec des vecteurs provenant de Word2Vec (Mikolov et al., 2013) entraîné sur les données d'entraînement. L'ensemble de développement réel est utilisé pour chaque entraînement. La sélection du modèle a été faite en prenant le score de F-mesure le plus élevé obtenu sur l'ensemble de développement. Le score de F-mesure est ensuite calculé sur l'ensemble de test. Le tableau 4 présente l'état de l'art pour les tâches évaluées et les résultats obtenus par notre modèle entraîné sur les données d'entraînement réelles. D'une manière générale, les résultats sont comparables, ce qui rendra nos analyses applicables à tout type de systèmes similaires.

## 6 Résultats

<figure><img src="image_30.png" /><figcaption>FIGURE 3 – Score de F-mesure obtenus avec conllevel, en mode génération seule. Les scores sont obtenus sur le jeu de test à partir de modèles entraînés sur les données préparées à partir du nombre d'énoncés réels trouvés en abscisse.</figcaption></figure>

Le score F-mesure a été mesuré sur l'ensemble des tests de chaque corpus. En mode génération seule, d'après les résultats présentés dans la figure 3, la génération améliore les performances du modèle pour de petites quantités de données, qu'importe la méthode de distribution utilisée. À mesure que les données initiales sont de plus en plus grandes, l'écart entre les modèles entraînés sur les données générées uniformément et les données réelles est réduit, à l'exception de la tâche MEDIA où les modèles entraînés sur les données générées uniformément perdent en performance. Pour la tâche

<footnote n="3">3. Hyperparamètres : optimiseur Adam avec un taux d'apprentissage initial de 0,001, plongement lexicaux initialisé avec Word2Vec de taille 300 sur les données d'entraînement, CrossEntropy loss.</footnote>
SNIPS70, il n'y a pas assez de données disponibles pour atteindre le point où l'écart se referme mais la même tendance peut être observée. En ce qui concerne le mode *augmentation de données* (voir Table 4), on constate que dans l'ensemble les résultats obtenus sont légèrement meilleurs que les résultats dans le mode *génération de données*, notamment sur une grande quantité de données.

Les données générées suivant la distribution *Distribution réelle des patrons* ont tendance à être moins efficaces que les autres jeux de données générés suivant une distribution réelle, en particulier sur la tâche MEDIA où les performances sur de grandes quantités de données sont les pires. En général, les sytèmes appris sur les données générées suivant les *Distribution réelle de mentions* et les *Distributions réelles* tendent à donner de meilleurs résultats mais ont toujours des résultats inférieurs pour SNIPS et MEDIA sur les données générées à partir de beaucoup de données brutes.

<figure><img src="image_31.png" /><figcaption>FIGURE 4 – Score de F-mesure des données augmentées calculés avec conllevel, en mode *augmentation de données*. Les scores sont obtenus sur le jeu de test à partir de modèles entraînés sur les données préparées à partir du nombre d'énoncés réels trouvés en abscisse.</figcaption></figure>

# 7 Analyse des données

Les résultats obtenus à partir des ensembles générés sont bons pour la plupart des tâches. Ce n’est pas le cas pour la tâche MEDIA. Le but de cette section est de trouver les explications de ces performances inférieures à partir d’une série d’analyse de données. Ces analyses visent à découvrir comment le processus de génération perturbe la manière dont les données sont distribuées et comment les distributions initiales des données de certaines tâches peuvent induire leur niveau de difficulté. Un deuxième objectif est de conclure sur de bonnes pratiques concernant la manière dont les données devraient être distribuées pour obtenir de meilleures performances, avec et sans génération.

Comme le montre la figure 3, la modification de la distribution uniforme des mentions en faveur de la distribution réelle a réglé une grande partie des problèmes de performance sur MEDIA. Une analyse plus approfondie est nécessaire pour comprendre la véritable nature de ce changement et pour savoir s’il est possible ou non de trouver des règles générales qui pourraient s’appliquer aux distributions de mentions.
## 7.1 Distribution des mentions

La distribution des mentions semble avoir une grande importance d'après la figure 3. Ne pas suivre la vraie distribution peut créer des problèmes de performance comme les résultats de MEDIA le montrent. Y a-t-il des indicateurs dans les données de la différence entre les jeux de données avec des mentions uniformément distribuées et les autres jeux de données ? Le premier et le plus simple des indicateurs est la longueur de la mention en nombre de tokens.

<figure><img src="image_32.png" /><figcaption>FIGURE 5 – Longueur des mentions en nombre de tokens.</figcaption></figure>

La distribution des mentions basée sur la longueur des mentions, comme le montre la figure 5, montre une tendance commune entre les jeux de données à avoir leurs mentions distribuées de manière similaire à une distribution Zipfienne en fonction de leur nombre de tokens. Pour la plupart des ensembles de données, cette distribution n'est que faiblement influencée par l'échantillonnage uniforme des mentions. Cependant, pour MEDIA, la distribution est complètement faussée comme le montre la figure 5. Cela montre que dans les données réelles de MEDIA, les mentions avec un nombre de tokens inférieur apparaissent avec une plus grande multiplicité que les mentions avec un nombre de tokens supérieur. Ce problème peut être facilement résolu lorsque les mentions sont extraites avec leur multiplicité, mais dans un cas d'une utilisation où il n'y a pas d'énoncés à partir desquels extraire des informations de distribution, cela pourrait constituer un obstacle.

## 7.2 Impact des patrons

La distribution des patrons ne semble pas avoir d'impact positif sur les performances d'après les résultats Figure 3. Toutefois, cela ne signifie pas que la quantité de patrons n'est pas pertinente pour les performances. L'expérience conçue pour étudier l'impact de la quantité de modèles consiste à étudier l'évolution du score de F-mesure en fonction de la quantité de patrons utilisés. Les listes de mentions
ont été réduites de moitié afin d'avoir un nombre suffisant de mentions pour que le modèle puisse
apprendre avec de la variabilité mais leur donner un impact plus faible sur le score. Le pourcentage de
mentions de l'ensemble de test trouvé dans l'ensemble d'entraînement, ou recouvrement, a également
été calculé afin d'avoir une idée de l'impact des patrons sur les représentations des mentions et de
leurs classes.

Les résultats de cette expérience ont montré Figure 6 que le recouvrement des mentions tend à atteindre son plateau final à environ 100 patrons. Cependant, l'augmentation des performances des modèles a tendance à ralentir après 250 à 500 patrons. Cela montre qu'il faut une certaine variété dans le contexte des mentions pour atteindre de meilleures performances.

<figure><img src="image_33.png" /><figcaption>FIGURE 6 – F-mesure dépendant du nombre de patrons. Le recouvrement est le pourcentage de mentions du jeu de test trouvé dans le jeu d'entraînement généré. Cette expérience a été réalisée avec la moitiée des mentions. Les cinq premiers patrons tirés de M2M se trouvent être des patrons vides(ne contienne pas de mentions), ce qui explique les résultats nuls.</figcaption></figure>

## 7.3 Ambiguïté

Un problème courant dans le traitement du langage naturel est l'ambiguïté. Nous avons choisi de mesurer l'ambiguïté parce qu'elle peut influencer la difficulté d'un jeu de données. Nous mesurons l'ambiguïté en comptant le nombre de concepts dont un token fait partie. Les extérieurs (étiquette O) ne sont pas considérés comme des concepts. L'ambiguïté est faible pour M2M car près de 75% des tokens n'ont pas de concept. SNIPS est peu ambigu, mais sur un nombre élevé de tokens, près de 80% d'entre eux ont un concept, mais peuvent également être extérieurs. ATIS et MEDIA sont ambigus sur une plus petite proportion de leurs tokens, mais avec un nombre plus élevé de concepts par token dans l'ensemble. L'ambiguïté telle que nous la mesurons ne semble pas avoir un rôle significatif dans l'évaluation de la difficulté de la tâche car elle est difficilement comparable pour tous les ensembles de données.

# 8 Analyses des résultats

Dans cette section, nous compilons et tirons des conclusions sur les résultats et les analyses effectuées. Ces conclusions prennent la forme de lignes directrices sur la manière d'utiliser la méthode de
<figure><img src="image_34.png" /></figure>

FIGURE 7 – L’ambiguité mesuré comme le nombre de concepts auquel peut appartenir un token. O est quand un token ne peut être qu’extérieur. n est quand un token fait partie de n concepts, mais peut aussi être un extérieur. L’ambiguité montré est l’ambiguité du jeu de données réelle de chaque corpus, car l’ambiguité ne varie quasiment pas avec la génération.

génération. Ces lignes directrices sont valables lorsque le modèle d’étiquetage utilisé est un BiLSTM, des recherches supplémentaires sont nécessaires pour pouvoir affirmer que ces lignes directrices réagissent de manière similaire avec d’autres types de modèles (par exemple les CRF).

## 8.1 Génération

L’utilisation la plus élémentaire d’une méthode de génération est de l’utiliser uniquement pour la génération. Dans cette configuration, nous avons vu qu’il y a quelques points qui doivent être respectés pour générer efficacement. Tout d’abord, nous avons vu que la diversité des patrons est très importante jusqu’à un certain point, après quoi la diminution du rendement peut rendre prohibitif la recherche de nouveaux patrons. Ce point se situe entre 250 et 500 patrons. Le deuxième point principal qui semble ressortir de l’analyse des données est que les mentions doivent être distribuées avec une distribution de type Zipfienne basée sur la longueur des mentions. Le respect de ces points devrait permettre d’obtenir un système aux performances correctes.

## 8.2 Augmentation

L’utilisation la plus courante de la méthode de génération indiquée ci-dessus est très probablement l’augmentation. Pour de faibles quantités de données, d’après nos observations, l’augmentation et la génération ont tendance à avoir des performances similaires. Il s’agit probablement d’un biais dans la façon dont les données générées et les données réelles sont distribuées dans les ensembles de données augmentées. Si on dispose de données réelles, il est possible d’utiliser les distributions des données réelles pour la génération ou l’augmentation. Cela améliore globalement les résultats. La meilleure utilisation de l’augmentation se situe au niveau des grandes quantités de données où elle tend à donner de meilleurs résultats que les données réelles ou générées, ce qui remet en question la répartition des données notre augmentation.
## 8.3 Classement des Corpus

Les analyses effectuées sont complémentaires à ce qui est décrit dans l'article (Béchet & Raymond, 2019). Leur travail est davantage axé sur les modèles et les performances, contrairement à notre approche, qui est davantage axée sur le contenu des corpus. Les critères que nous utilisons pour classer les tâches sont : la performance de base de la méthode de génération, la longueur des mentions et le taux d'ambiguïté. Dans l'ensemble, le classement reste le même que celui présenté dans (Béchet & Raymond, 2019) : M2M > ATIS > SNIPS > SNIPS70 > MEDIA.

# 9 Conclusions et travaux futurs

Nous avons constaté et validé au cours de ce travail que la méthode de génération par remplissage de patrons est utile pour de faibles quantités de données. Cependant, il n'y a que peu d'amélioration significative des performances pour des quantités plus importantes de données si cette méthode est utilisée sans aucune information sur la distribution. Les performances peuvent même se dégrader comme le montre MEDIA.

Ces problèmes nous ont poussés à tester d'autres façons d'utiliser la méthode de génération, comme le test avec les distributions de mention réelle ou l'augmentation des données. Cela nous a également poussés à faire une analyse des corpus afin d'essayer de comprendre pourquoi de tels problèmes pouvaient survenir. Nous avons pu constater que les mentions et la manière dont elles sont distribuées dans un ensemble de données est un facteur clé dans les performances obtenues à partir de cet ensemble de données. C'était le principal facteur expliquant pourquoi les performances de MEDIA étaient aussi dégradées qu'elles l'étaient, et en réglant ce problème avec la distribution réelle, nous avons montré que nous pouvons obtenir des performances proches de la réalité avec les données générées. L'analyse que nous avons effectuée confirme également la classification présentée (Béchet & Raymond, 2019).

Nous ne pouvons pas conclure sur une méthode d'utilisation de la génération, mais nous pouvons mettre en évidence les meilleures pratiques. Nos résultats dépendent des modèles que nous avons utilisés pour l'évaluation des performances (ici, un BiLSTM), et les expériences nécessiteraient d'être réalisées avec d'autres types de modèles (par exemple des CRF). Ces meilleures pratiques consistent à mettre l'accent sur la distribution de mentions plus courtes et à disposer d'un nombre raisonnable de patrons pour avoir un contexte varié.

Dans les travaux futurs, nous aborderons les points non résolus tels que la recherche et l'évaluation de méthodes d'estimation des distributions de mentions. Avec les résultats sur l'impact de la variété des patrons, nous travaillerons également sur la conception et l'essai de méthodes de génération ou d'augmentation des patrons. L'augmentation doit également être étudiée plus en détail, en particulier pour les faibles quantités de données pour lesquelles notre préparation actuelle des données pourrait limiter les performances de l'augmentation aux performances du dispositif de génération. En voyant comment la singularité de MEDIA nous a donné des indices pour trouver de meilleures méthodes de génération, les travaux futurs porteront sur d'autres corpus connus d'étiquetage de phrases. Enfin, notre travail ne concernait que la génération des données d'entraînement, mais pour qu'une méthode de génération puisse être utilisée, il est nécessaire d'étudier comment générer au mieux les données d'entraînement et de validation.
Références

BÉCHET F. & RAYMOND C. (2019). Benchmarking Benchmarks : Introducing New Automatic
Indicators for Benchmarking Spoken Language Understanding Corpora. In G. KUBIN & Z.
KACIC, Éds., *Interspeech 2019, 20th Annual Conference of the International Speech Communication
Association, Graz, Austria, 15-19 September 2019*, p. 4145–4149 : ISCA.

BONNEAU-MAYNARD H., ROSSET S., AYACHE C., KUHN A. & MOSTEFA D. (2005). Semantic annotation of the french media dialog corpus. In *Ninth European Conference on Speech Communication and Technology*.

COUCKE A., SAADE A., BALL A., BLUCHE T., CAULIER A., LEROY D., DOUMOURO C., GISSELBRECHT T., CALTAGIRONE F., LAVRIL T. *et al.* (2018). Snips voice platform : an embedded spoken language understanding system for private-by-design voice interfaces. *arXiv preprint arXiv:1805.10190*.

DAHL D. A., BATES M., BROWN M., FISHER W., HUNICKE-SMITH K., PALLETT D., PAO C., RUDNICKY A. & SHRIBERG E. (1994). Expanding the scope of the ATIS task : The ATIS-3 corpus. In *Proceedings of the workshop on Human Language Technology*, p. 43–48 : Association for Computational Linguistics.

GREFF K., SRIVASTAVA R. K., KOUTNÍK J., STEUNEBRINK B. R. & SCHMIDHUBER J. (2016).
LSTM : A search space odyssey. *IEEE transactions on neural networks and learning systems*,
**28**(10), 2222–2232.

HOCHREITER S. & SCHMIDHUBER J. (1997). Long short-term memory. *Neural computation*, **9**(8), 1735–1780.

KAFLE K., YOUSEFUSSIEN M. & KANAN C. (2017). Data augmentation for visual question answering. In *Proceedings of the 10th International Conference on Natural Language Generation*, p. 198–202.

KINGMA D. P. & WELLING M. (2014). Auto-Encoding Variational Bayes.

MIKOLOV T., SUTSKEVER I., CHEN K., CORRADO G. S. & DEAN J. (2013). Distributed representations of words and phrases and their compositionality. In *Advances in neural information processing systems*, p. 3111–3119.

NEURAZ A., LLANOS L. C., BURGUN A. & ROSSET S. (2018). Natural language understanding for task oriented dialog in the biomedical domain in a low resources context. *arXiv preprint arXiv:1811.09417*.

PAN S. J. & YANG Q. (2010). A survey on transfer learning. *IEEE Transactions on knowledge and data engineering*, **22**(10), 1345–1359.

RUDER S. (2019). *Neural Transfer Learning for Natural Language Processing*. Thèse de doctorat, National University of Ireland, Galway.

SHAH P., HAKKANI-TÜR D., TÜR G., RASTOGI A., BAPNA A., NAYAK N. & HECK L. (2018). Building a conversational agent overnight with dialogue self-play. *arXiv preprint arXiv:1801.04871*.

WESTON J., Bordes A., Chopra S. & MIKOLOV T. (2016). Towards ai-complete question answering : A set of prerequisite toy tasks. In Y. BENGIO & Y. LECUN, Éds., *4th International Conference on Learning Representations, ICLR 2016, San Juan, Puerto Rico, May 2-4, 2016, Conference Track Proceedings*.
WILLIAMS J. D., ASADI K. & ZWEIG G. (2017). Hybrid code networks : practical and efficient end-to-end dialog control with supervised and reinforcement learning. In *Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1 : Long Papers)*, p. 665–677, Vancouver, Canada : Association for Computational Linguistics. DOI : 10.18653/v1/P17-1062.

YOO K. M., SHIN Y. & LEE S.-G. (2019). Data augmentation for spoken language understanding via joint variational generation. In *Proceedings of the AAAI Conference on Artificial Intelligence*, volume 33, p. 7402–7409.
# Analyse de la régulation de la longueur
dans un système neuronal de compression de phrase :
une étude du modèle LenInit

François Buet

Université Paris-Saclay, CNRS, LIMSI,
Campus universitaire bât 508, Rue John von Neumann, F - 91405 Orsay cedex
buet@limsi.fr

## RÉSUMÉ

La simplification de phrase vise à réduire la complexité d'une phrase tout en retenant son sens initial et sa grammaticalité. En pratique, il est souvent attendu que la phrase produite soit plus courte que la phrase d'origine, et les modèles qui intègrent un contrôle explicite de la longueur de sortie revêtent un intérêt particulier. Dans la continuité de la littérature dédiée à la compréhension du comportement des systèmes neuronaux, nous examinons dans cet article les mécanismes de régulation de longueur d'un encodeur-décodeur RNN appliqué à la compression de phrase, en étudiant spécifiquement le cas du modèle LenInit. Notre analyse met en évidence la coexistence de deux influences distinctes au cours du décodage : celle du contrôle explicite de la longueur, et celle du modèle de langue du décodeur.

## ABSTRACT

Investigating Length Regulation in a Sentence Compression Neural System :
a Study on the LenInit Model

Sentence simplification aims to reduce the complexity of a sentence, while retaining its original meaning and fluency. In practice, the target sentence is expected to be shorter than the source, and methods that incorporate an explicit control over output length are particularly relevant. In the wake of litterature which seeks to understand the internal behavior of neural systems, we investigate in this article the length regulation mechanisms for a RNN encoder-decoder applied to sentence compression, specifically studying the case of the LenInit model. Our analysis highlights the coexistence of two distinct influences during the decoding, from the explicit control and from the decoder language model.

MOTS-CLÉS : compression de phrase, seq2seq, longueur, contrôle explicite, probing.

KEYWORDS: sentence compression, seq2seq, length, explicit control, probing.

# 1 Introduction

La *simplification de phrase* peut être définie comme la tâche qui consiste à réduire la complexité d'une phrase, tout en préservant sa grammaticalité et son sens initial. La notion de complexité peut ici faire référence à plusieurs caractéristiques de la phrase (par exemple le vocabulaire, la syntaxe, les connaissances extérieures pré-supposées), et doit être considérée relativement à l'objectif de l'application. La littérature sur la simplification a développé de nombreuses approches, qui se

<figure><img src="image_35.png" /></figure>
distinguent notamment par le type d'opérations autorisées pour la transformation de la phrase : la simplification *extractive* repose sur la suppression de mot (Knight & Marcu, 2002) ; d'autres méthodes utilisent la paraphrase, en accentuant les simplifications lexicales (Horn et al., 2014) ou syntaxiques (Cohn & Lapata, 2008; Specia, 2010; Rush et al., 2015; Takase & Okazaki, 2019).

Souvent, il est attendu que la phrase simplifiée soit plus courte que l'entrée - la tâche devient alors la *compression de phrase*. Dans bien des cas, il est intéressant que le système soit capable de contrôler la réduction de la longueur. En effet, si le but final est d'améliorer la lisibilité d'un texte pour un groupe d'utilisateurs, un contrôle lâche de la longueur est un moyen simple d'adapter le niveau de lecture. Dans le cadre du sous-titrage automatique, un contrôle plus strict est nécessaire pour respecter les contraintes de temps de lecture et de largeur du moniteur (Aziz et al., 2012).

Kikuchi et al. (2016) ont proposé *LenInit*<fnref n="1" />, une approche pour la compression à base d'encodeur-décodeur, qui contrôle la longueur de la phrase engendrée en introduisant dans l'état initial du décodeur un vecteur qui encode la valeur visée. Afin d'avoir une meilleure compréhension des mécanismes possibles pour la compression de phrase, et dans la continuité des travaux de sondage (probing) des modèles neuronaux (Shi et al., 2016; Adi et al., 2016; Conneau et al., 2018), nous avons décidé d'analyser la méthode LenInit, en tentant d'estimer ses limites, et en essayant de comprendre les changements qu'elle implique par rapport au fonctionnement interne d'un RNN encodeur-décodeur classique.

Pour cette étude, nous avons créé un corpus artificiel de compression de phrase, et l'avons utilisé pour entraîner une ré-implémentation au niveau caractère de LenInit. Puis nous avons mené trois groupes d'expériences. Premièrement, nous avons effectué des mesures sur la précision du contrôle de longueur par LenInit, et sur la qualité des phrases produites. Deuxièmement, nous avons entraîné un classificateur pour prédire la longueur future (i.e. le nombre de caractères à engendrer avant fin-de-phrase) à partir d'un état caché du décodeur, de manière à suivre l'évolution de la représentation de la longueur au cours du décodage. Troisièmement, nous avons tracé l'évolution de la probabilité associée par le modèle aux caractères associés à la fin de phrase. Notre analyse montre que LenInit exerce un contrôle probabiliste sur la longueur, et suggère la coexistence de deux influences distinctes au cours du décodage : celle de l'objectif explicite, et celle du modèle de langue du décodeur.

# 2 Contexte

Nous décrivons ici le modèle et les données que nous avons utilisés pour nos expériences de compression de phrase au niveau des caractères.

## 2.1 Réimplementation de LenInit

Le cadre des systèmes *encodeur-décodeur* avec *réseaux de neurones récurrents (RNN)* présente un processus en deux phases pour la *transduction* de phrases. D'abord, le côté encodeur reçoit une *phrase d'entrée x* (de longueur $l_x$) et produit une séquence d'états cachés ($h_1, ..., h_{l_x}$). Puis, le côté décodeur reçoit les états cachés de l'encodeur et engendre une *phrase de sortie ŷ* (de longueur $l_ŷ$). À chaque étape *j* de cette seconde phase, le décodeur calcule un *vecteur de contexte c_j* comme une

<footnote n="1">1. Code disponible à l'adresse https://github.com/kiyukuta/lencon.</footnote>