Actes de la 6e conférence conjointe Journées d’Études
sur la Parole (JEP, 33e édition), Traitement
Automatique des Langues Naturelles (TALN, 27e
édition), Rencontre des Étudiants Chercheurs en
Informatique pour le Traitement Automatique des
Langues (RÉCITAL, 22e édition). Volume 2:
Traitement Automatique des Langues Naturelles

Christophe Benzitoun, Chloé Braud, Laurine Huber, David Langlois, Slim Ouni, Sylvain Pogodalla, Stéphane Schneider

► To cite this version:

Christophe Benzitoun, Chloé Braud, Laurine Huber, David Langlois, Slim Ouni, et al. Actes de la 6e conférence conjointe Journées d’Études sur la Parole (JEP, 33e édition), Traitement Automatique des Langues Naturelles (TALN, 27e édition), Rencontre des Étudiants Chercheurs en Informatique pour le Traitement Automatique des Langues (RÉCITAL, 22e édition). Volume 2 : Traitement Automatique des Langues Naturelles. 2 : Traitement Automatique des Langues Naturelles, ATALA; AFCP, pp.1-395, 2020. hal-02784750v2

HAL Id: hal-02784750

https://hal.science/hal-02784750v2

Submitted on 22 Jun 2020

HAL is a multi-disciplinary open access
archive for the deposit and dissemination of sci-
entific research documents, whether they are pub-
lished or not. The documents may come from
teaching and research institutions in France or
abroad, or from public or private research centers.

L'archive ouverte pluridisciplinaire HAL, est
destinée au dépôt et à la diffusion de documents
scientifiques de niveau recherche, publiés ou non,
émanant des établissements d'enseignement et de
recherche français ou étrangers, des laboratoires
publics ou privés.

<figure><img src="image_1.png" /></figure>
<figure><img src="image_2.png" /></figure>

<figure><img src="image_3.png" /></figure>

6e conférence conjointe Journées d'Études sur la Parole (JEP, 33e édition), Traitement Automatique des Langues Naturelles (TALN, 27e édition), Rencontre des Étudiants Chercheurs en Informatique pour le Traitement Automatique des Langues (RÉCITAL, 22e édition) (JEP-TALN-RÉCITAL)¹

Actes de la 6e conférence conjointe Journées d'Études sur la Parole (JEP, 33e édition), Traitement Automatique des Langues Naturelles (TALN, 27e édition), Rencontre des Étudiants Chercheurs en Informatique pour le Traitement Automatique des Langues (RÉCITAL, 22e édition).

Volume 2 : Traitement Automatique des Langues Naturelles

Christophe Benzitoun, Chloé Braud, Laurine Huber, David Langlois, Slim Ouni, Sylvain Pogodalla, Stéphane Schneider (Éds.)

Nancy, France, 08-19 juin 2020
Crédits : L'image utilisée en bannière est une photographie du vitrail « Roses et Mouettes », visible dans la maison Bergeret à Nancy. La photographie a été prise par Alexandre Prevot, diffusée sur flickr sous la licence CC-BY-SA 2.0.

Le logo de la conférence a été créé par Annabelle Arena.
Avec le soutien de

01101100
01101111
01101001
01101000
01101111
01101200
01101001
01100001
01100000
*00001011
*11000001*

Loria

Laboratoire lorrain de recherche
en informatique et ses applications

Inist

Institut de l'information
scientifique et technique

cnrs

atilf

ANALYSE ET TRAITEMENT
INFORMATIQUE
DE LA LANGUE FRANÇAISE

<figure><img src="image_4.png" /></figure>

UNIVERSITÉ
DE LORRAINE

<figure><img src="image_5.png" /></figure>

MINISTÈRE
DE LA CULTURE

Liberté
Égalité
Diversité

<figure><img src="image_6.png" /></figure>

Inria

<figure><img src="image_7.png" /></figure>

IMPACT

OLKi

iD'IC

MASTER
TRAITEMENT AUTOMATIQUE
DES LANGUES

EUROPEAN
LANGUAGE
NATIONAL
EL
ORAS
RESOURCES

Synapse

yseop

<figure><img src="image_8.png" /></figure>

orange™
Message des présidents de l'AFCP et de l'ATALA

En ce printemps 2020, et les circonstances exceptionnelles qui l'accompagnent, c'est avec une émotion toute particulière que nous vous convions à la 6e édition conjointe des Journées d'Études sur la Parole (JEP), de la Conférence sur le Traitement Automatique des Langues Naturelles (TALN) et des Rencontres des Étudiants Chercheurs en Informatique pour le Traitement Automatique des Langues (RECITAL). Après une première édition commune en 2002 (à Nancy, déjà !), et une expérience renouvelée avec succès en 2004, c'est désormais tous les quatre ans (Avignon 2008, Grenoble 2012) que se répète cet événement commun, attendu de pied ferme par les membres des deux communautés scientifiques voisines.

Cette édition 2020 est exceptionnelle, puisque dans le cadre des mesures sanitaires liées à la pandémie mondiale de COVID-19 (confinement strict, puis déconfinement progressif), la conférence ne peut avoir lieu à Nancy comme initialement prévu, mais se déroule à distance, sous forme virtuelle, soutenue par les technologies de l'information et de la communication. Nous remercions ici chaleureusement les organisateurs, Christophe Benzitoun, Chloé Braud, Laurine Huber, David Langlois, Slim Ouni et Sylvain Pogodalla, qui ont dû faire preuve de souplesse, d'inventivité, de détermination, de puissance de travail, et de tant d'autres qualités encore, afin de maintenir la conférence dans ces circonstances, en proposant un format inédit. Grâce aux différentes solutions mises en œuvre dans un délai court, la publication des communications scientifiques est assurée, structurée, et les échanges scientifiques sont favorisés, même à distance.

Bien entendu, nous regrettons tous que cette réunion JEP-TALN-RECITAL ne permette pas, comme ses prédécesseurs, de nouer ou renforcer les liens sociaux entre les différents membres de nos communautés respectives – chercheurs, jeunes et moins jeunes, académiques et industriels, professionnels et étudiants – autour d'une passionnante discussion scientifique ou d'un mémorable événement social... Notre conviction est qu'il est indispensable de maintenir à l'avenir de tels lieux d'échanges dans le domaine francophone, afin bien sûr de permettre aux jeunes diplômés de venir présenter leurs travaux et poser leurs questions sans la barrière de la langue, mais aussi de dynamiser nos communautés, de renforcer les échanges et les collaborations, et d'ouvrir la discussion autour des enjeux d'avenir, qui questionnent plus que jamais la place de la science et des scientifiques dans notre société.

Lors de la précédente édition, nous nous interrogeons sur les phénomènes et tendances liés à l'apprentissage profond et sur leurs impacts sur les domaines de la Parole et du TAL. Force est de constater que l'engouement pour ces approches dans nos domaines a permis un retour sur le devant de la scène des domaines liés à l'Intelligence Artificielle, animant parfois un débat tant philosophique que technique sur la place de la machine dans la société, notamment à travers le questionnement sur la vie privée de l'utilisateur. Ces questionnements impactent tant la Parole que le TAL, d'une part sur la place de la gestion des données, d'autre part sur les modèles eux-mêmes. Malgré ces questionnements, nous constatons que les acquis et les expertises perdurent, et les nouvelles approches liées à l'apprentissage profond ont permis un rapprochement des domaines de la Parole et du TAL, sans les dénaturer, à la manière des conférences JEP-TALN-RECITAL qui créent un espace plus grand d'échange et d'enrichissement réciproques.

Nous terminons ces quelques mots d'ouverture en remerciant l'ensemble des personnes qui ont rendu possible cet événement qui restera, nous l'espérons, riche et passionnant, malgré les circonstances. L'ATALA et l'AFCP tiennent tout d'abord à réitérer leurs remerciements aux organisateurs des JEP, de TALN et de RECITAL, qui sont parvenus à maintenir le cap à travers vents et marées. Nos remerciements vont également à l'ensemble des membres des comités de programme, dont le travail et l'implication ont permis de garantir la qualité et la cohérence du programme finalement retenu. Un grand merci aux relecteurs pour le temps et le soin qu'ils ont dédiés à ce travail anonyme et indispensable. Ils se reflètent dans la qualité des soumissions que chacun pourra découvrir sur le site de la conférence.

En conclusion, cette 6e édition conjointe JEP-TALN-RECITAL est exceptionnelle parce qu'elle se tient dans un contexte de crise généralisée — crise sanitaire, économique, voire sociale et politique. Mais nous
formons le vœu qu'elle reste également dans les annales pour la qualité des échanges scientifiques qu'elle aura suscités, et pour le message envoyé à nos communautés scientifiques et à la société dans son ensemble, un message de détermination et de confiance en l'avenir, où la science et les nouvelles technologies restent au service de l'humain.

Véronique Delvaux, présidente de l'Association Francophone de la Communication Parlée
Christophe Servan, président de l'Association pour le Traitement Automatique des LAngues
# Préface

En 2002, l'AFCP (Association Francophone pour la Communication Parlée) et l'ATALA (Association pour le Traitement Automatique des Langues) organisèrent conjointement leurs principales conférences afin de réunir en un seul lieu, à Nancy, les communautés du traitement automatique et de la description des langues écrites, parlées et signées.

En 2020, la sixième conférence commune revient à Nancy, après Fès (2004), Avignon (2008), Grenoble (2012) et Paris (2016). Elle est organisée par le LORIA (Laboratoire lorrain de recherche en informatique et ses applications, UMR 7503), l'ATILF (Analyse et traitement informatique de la langue française, UMR 7118) et l'INIST (Institut de l'information scientifique et technique) et regroupe :

— les 33es Journées d'Études sur la Parole (JEP),

— la 27e conférence sur le Traitement Automatique des Langues Naturelles (TALN),

— la 22e Rencontre des Étudiants Chercheurs en Informatique pour le Traitement Automatique des Langues (RÉCITAL).

Les circonstances particulières liées à l'épidémie de Covid-19 en France et dans le monde ont conduit à une virtualisation de la conférence. Ainsi, malgré un rassemblement physique qui n'a pu avoir lieu, diffusions, présentations (au gré des auteurs) et discussions des articles acceptés ont lieu sur le site internet de la conférence. Les tutoriels, certains ateliers, et le salon de l'innovation qui accompagnent la conférence ont cependant dû être annulés, mais les ateliers suivants sont maintenus :

— Défi Fouille de Textes (DEFT 2020),

— Éthique et TRaitemeNt Automatique des Langues (ÉTeRNAL).

La conférence accueille également des conférencières et conférenciers invités dont les exposés sont diffusés sur le site : Dirk Hovy (université de Bocconi, Milan, Italie, invité ÉTeRNAL) ainsi que Marie-Jean Meurs (Université du Québec à Montréal, UQAM, Canada) et Hugo Cyr (Faculté de science politique et droit à l'Université du Québec à Montréal UQAM, Canada). En raison des circonstance particulières, un exposé conjoint de Christine Meunier (Laboratoire Parole et Langage LPL, CNRS, Aix-en-Provence, France) et Christophe Stécoli (police technique et scientifique française) a dû être annulé et reporté à une journée spéciale en septembre 2020.

Ces actes regroupent les articles des conférences JEP (volume 1), TALN (volume 2), RÉCITAL (volume 3), les articles décrivant les démonstrations (volume 4), et les articles des ateliers DEFT (volume 5) et ÉTeRNAL (volume 6). Pour la première fois, un appel spécifique à résumés en français d'articles parus dans une sélection de conférences internationales en 2019 était également proposé (volume 4). Un appel spécifique apprenti·e·s chercheur·euse·s destiné aux étudiants de licence, de master, ou en première année de thèse a également été proposé, pour leur proposer des présentations courtes ou sous forme de poster de leurs projets.

Pour les JEP, 87 articles ont été soumis, parmi lesquels 74 ont été sélectionnés, soit un taux de sélection de 85%.

Pour TALN, 58 articles ont été soumis, parmi lesquels 37 ont été sélectionnés, soit un taux de sélection de 63%, dont 10 comme article longs (17% des soumissions) et 27 comme article courts dont 20 en présentation orale (34% des soumissions) et 7 en présentation poster (12% des soumissions).

Pour RÉCITAL, 22 articles ont été soumis, parmi lesquels 16 ont été sélectionnés, soit un taux de sélection de 73%.

Nous souhaitons vivement remercier toutes les personnes qui ont participé à ce travail de relecture et de sélection :

— l'ensemble des relecteurs (voir page xi),

— le comité de programme des JEP (voir page viii),

— le comité de programme de TALN (voir page ix),

— le comité de programme de RÉCITAL (voir page x).

Nous souhaitons également remercier nos sociétés savantes : l'AFCP, assurant la continuité des éditions successives des JEP, et l'ATALA, dont le CPerm (comité permanent) assure la continuité des éditions
successives de TALN.

Nous remercions le comité d'organisation et les nombreuses personnes qui ont assuré le soutien administratif et technique pour que cette conférence se déroule dans les meilleures conditions, et en particulier Yannick Parmentier pour son travail pour la diffusion de ces actes sur HAL et les différents sites d'archives ouvertes (anthologie ACL et talnarchives.atala.org/).

Nous remercions enfin tous les partenaires institutionnels et industriels qui nous ont fait confiance, en particulier l'université de Lorraine, le CNRS, l'Inria, le LORIA, l'ATILF, l'INIST, le master TAL de l'Institut des Sciences du Digital Management & Cognition (IDMC), le projet OLKI de l'initiative Lorraine Université d'Excellence (LUE), la Région Grand Est, *The Evaluations and Language resources Distribution Agency* (ELDA), le projet ANR PARSEME-FR, la délégation générale à la langue française et aux langues de France (DGLFLF), l'Association des Professionnels des Industries de la Langue (APIL) et les entreprises Synapse, Yseop et Orange.

Bonne conférence à toutes et à tous!

Les présidentes et présidents JEP : David Langlois et Slim Ouni

TALN : Chloé Braud et Sylvain Pogodalla

RÉCITAL : Christophe Benzitoun et Laurine Huber
# Comités

## Comité de programme des JEP

Martine Adda-Decker (Laboratoire de Phonétique et Phonologie, CNRS)

Jean-François Bonastre (LIA, Université d'Avignon)

Fethi Bougares (LIUM, Le Mans Université) Philippe Boula De Mareüil (LIMSI, CNRS)

Hervé Bredin (LIMSI, CNRS)

Olivier Crouzet (LLING, Université de Nantes)

Elisabeth Delais-Roussarie (LLING, Université de Nantes)

Véronique Delvaux (Laboratoire de Phonétique, IRSTL, Université de Mons)

Camille Fauth (LiLPa, Université de Strasbourg)

Emmanuel Ferragne (CLILLAC-ARP, Université de Paris)

Cecile Fougeron (Laboratoire de Phonétique et Phonologie, CNRS)

Corinne Fredouille (LIA, Université d'Avignon)

Alain Ghio (LPL, CNRS)

Camille Guinaudeau (LIMSI, Université Paris Sud)

Anne Guyot Talbot (CLILLAC-ARP, Université de Paris 7)

Bernard Harmegnies (Laboratoire de Phonétique, IRSTL, Université de Mons)

Nathalie Henrich Bernardoni (Gipsa-lab, CNRS)

Bassam Jabaian (LIA, Université d'Avignon)

David Langlois (LORIA, Université de Lorraine)

Yves Laprie (LORIA, CNRS)

Anthony Larcher (LIUM, Université du Maine)

Gwénolé Lecorvé (IRISA, Université de Rennes)

Benjamin Lecouteux (LIG, Université Grenoble Alpes)

Georges Linarès (LIA, Université d'Avignon)

Damien Lolive (IRISA, Université Rennes)

Julie Mauclair (IRIT)

Yohann Meynadier (LPL, Aix-Marseille Université)

Slim Ouni (LORIA, Université de Lorraine)

Thomas Pellegrini (IRIT, Université de Toulouse)

François Portet (LIG, Grenoble INP)

Fabian Santiago (Structures Formelles du Langage, Université de Paris 8)

Christophe Savariaux (Gipsa-lab, CNRS)

Nathalie Vallee (Gipsa-lab, Université Grenoble Alpes)

Ioana Vasilescu (LIMSI, CNRS)
Comités de programme TALN

Maxime Amblard (LORIA, Université de Lorraine)

Chloé Braud (IRIT, CNRS)

Caroline Brun (Naver Labs Europe)

Nathalie Camelin (LIUM, Université du Maine)

Marie Candito (Université Paris 7)

Vincent Claveau (IRISA, CNRS)

Chloé Clavel (Telecom-ParisTech)

Mathieu Constant (ATILF, CNRS, Université de Lorraine)

Pascal Denis (Inria)

Cécile Fabre (Université Toulouse 2)

Thomas François (Université catholique de Louvain)

Núria Gala (LPL, CNRS, Aix-Marseille Université)

Natalia Grabar (STL, CNRS, Université Lille 3)

Anne-Laure Ligozat (LIMSI, CNRS, ENSIIE, Université Paris-Saclay)

Emmanuel Morin (LINA, Université de Nantes)

Sylvain Pogodalla (LORIA, Inria)

Solen Quiniou (LINA, Université de Nantes)

Corentin Ribeyre (Etermind)

Tim van de Cruys (IRIT, CNRS)

Pierre Zweigenbaum (LIMSI, CNRS, Université Paris-Saclay)
Comité de programme RÉCITAL

Jean-Yves Antoine (Université François Rabelais de Tours)

Sonia Badene (Linagora, IRIT)

Frédéric Béchet (LIF, Aix Marseille Université)

Christophe Benzitoun (ATILF, Université de Lorraine)

Maria Boritchev (LORIA, Inria)

Léo Bouscarrat (EURA NOVA, Aix-Marseille Université)

Manon Cassier (INALCO, Paris)

Kevin Deturck (Viseo Technologies)

Emmanuelle Esperança-Rodier (GETALP, Université Grenoble Alpes)

Kim Gerdes (sorbonne nouvelle)

Nicolas Hernandez (LINA, UMR 6241, CNRS, Université de Nantes)

Lydia-Mai Ho-Dac (CLLE-ERSS, Université Toulouse Jean Jaurès)

Laurine Huber (LORIA, Université de Lorraine)

Sylvain Kahane (Modyco, Université Paris Ouest Nanterre)

Gwénolé Lecorvé (IRISA, Université de Rennes, CNRS)

Joël Legrand (LORIA, Inria, CNRS)

Anne-Laure Ligozat (LIMSI, CNRS, ENSIIE, Université Paris-Saclay)

Pierre Ludmann (LORIA, Université de Lorraine)

Yann Mathet (Université de Caen)

Anne-Lyse Minard (IRISA, CNRS)

Sandrine Ollinger (ATILF, UMR 7118, CNRS)

Yannick Parmentier (LORIA, Université de Lorraine)

Justine Reynaud (LORIA, Université de Lorraine)

Stella Zevio (LIPN, Université de Paris 13)
## Relectrices et relecteurs

Gilles Adda (LIMSI, CNRS) Salah Ait-Mokhtar (Naver Labs Europe)

Charlotte Alazard (Université Toulouse 2 Jean Jaurès)

Alexandre Allauzen (LIMSI-CNRS, Université Paris-Sud)

Pascal Amsili (Université Paris Diderot)

Pierre André Hallé (Laboratoire de Phonétique et Phonologie, CNRS-Université Paris 3)

Régine André-Obrecht (Université Paul Sabatier Toulouse III)

Jean-Yves Antoine (Université François Rabelais de Tours)

Nicolas Audibert (Laboratoire de Phonétique et Phonologie, CNRS-Université Paris 3)

Nelly Barbot (IRISA, Université de Rennes 1)

Claude Barras (LIMSI, CNRS)

Loïc Barrault (University of Sheffield)

Katarina Bartkova (ATILF, Université de Lorraine)

Frédéric Béchet (LIF, Aix Marseille Université)

Nathalie Bedoin (DDL, Université Lyon 2)

Patrice Bellot (LSIS, CNRS, Aix-Marseille Université)

Asma Ben Abacha (National Library of Medicine, National Institutes of Health)

Delphine Bernhard (LiLPa, Université de Strasbourg)

Roxane Bertrand (LPL, CNRS, Aix-Marseille Université)

Laurent Besacier (Laboratoire d'Informatique de Grenoble)

Yves Bestgen (F.R.S-FNRS et Université Catholique de Louvain)

Frédéric Bimbot (IRISA, CNRS)

Caroline Bogliotti (MODYCO, UMR 7114, CNRS, Université Paris Nanterre)

Anne Bonneau (LORIA, CNRS)

Stéphanie Borel (Université de Tours)

Féthi Bougarès (LIUM, Le Mans Université)

Leila Boutora (Laboratoire Parole et Langage, Aix Marseille Université)

Paul Caillon (LORIA, Université de Lorraine)

Mélanie Canault (DDL, Université Lyon 2)

Thierry Charnois (LIPN, CNRS, Université de Paris 13)

Chloé Clavel (Telecom-ParisTech)

Maximin Coavoux (Université Grenoble Alpes, CNRS)

Vincent Colotte (LORIA, Université de Lorraine)

Juan Manuel Coria (LIMSI, Université Paris-Saclay Paris 13)

Benoît Crabbé (Université Paris 7)

Lise Crevier Buchman (Laboratoire de Phonétique et Phonologie, CNRS, Hôpital Foch)

Béatrice Daille (LINA, Université de Nantes)

Géraldine Damnati (Orange Labs)

Dan Dediu (Dynamique du Langage, UMR5596, Université Lumière Lyon 2)

Joseph Di Martino (LORIA, Université de Lorraine)

Gaël Dias (Université Caen Normandie)

Amazouz Djegdjiga (LPP, Université Sorbonne Nouvelle – Paris 3)

Benjamin Elie (IMSIA, ENSTA ParisTech)

Iris Eshkol-Taravella (Université d'Orléans)

Emmanuelle Esperança-Rodier (GETALP, Université Grenoble Alpes)

Yannick Estève (LIA, Université d'Avignon)

Dominique Estival (Western Sydney University)

Olivier Ferret (CEA LIST)

Lionel Fontan (Archean Labs)

Karën Fort (Sorbonne Université)

Claire Gardent (LORIA, CNRS)

Eric Gaussier (LIG, Université Grenoble Alpes)

Cédric Gendrot (LPP, Université Sorbonne Nouvelle – Paris 3)

James German (Laboratoire Parole et Langage, Aix Marseille Université)

Cyril Goutte (National Research Council Canada)

Cyril Grouin (LIMSI, CNRS, Université Paris-Saclay)

Pierre André Hallé (LPP, Université Sorbonne Nouvelle – Paris 3)

Olivier Hamon (Syllabs)

Thierry Hamon (LIMSI, Université Paris-Saclay, CNRS, Université Sorbonne Paris Nord)

Bernard Harmegnies (Institut de Recherche en Sciences et Technologies du Langage, Université de Mons)

Nabil Hathout (CLLE, CNRS)

Amir Hazem (LS2N, Université de Nantes)

Nicolas Hernandez (LS2N, Université de Nantes)

Fabrice Hirsch (Praxiling, Université Paul Valéry Montpellier 3)

Thomas Hueber (GIPSA-lab, CNRS)

Kathy Huet (Institut de Recherche en Sciences et Technologies du Langage, Université de Mons)
Stéphane Huet (LIA, Université d'Avignon)

Mathilde Hutin (LIMSI, Université Paris-Saclay, CNRS, Université Sorbonne Paris Nord)

Irina Illina (LORIA, Université de Lorraine)

Christine Jacquin (LS2N Université de Nantes)

Adèle Jatteau (STL, UMR 8163, Université de Lille, CNRS)

Denis Jouvet (LORIA, Inria)

Sylvain Kahane (Modyco, Université Paris Ouest Nanterre)

Takeki Kamiyama (LPP, Université Paris 8 Vincennes-Saint-Denis)

Hannah King (CLILLAC-ARP, Université Paris Diderot)

Olivier Kraif (Université Grenoble Alpes)

Matthieu Labeau (Telecom Paris)

Mathieu Lafourcade (LIRMM, Université de Montpellier)

Mohamed Lahrouchi (SFL, UMR 7023, CNRS Université Paris 8)

Muriel Lalain (LPL, CNRS, Aix-Marseille Université)

Joseph Lark (Dictanova)

Thomas Lavergne (LIMSI, CNRS, Univ. Paris Sud, Université Paris Saclay)

Guillaume Le Berre (LORIA, Université de Lorraine)

Gwénolé Lecorvé (IRISA, Université de Rennes, CNRS)

Benjamin Lecouteux (Laboratoire Informatique de Grenoble)

Claire Lemaire (Université Grenoble Alpes)

Yves Lepage (Waseda University)

Joseph Le Roux (LIPN, Université de Paris 13)

Veronika Lux (ATILF, CNRS)

Paolo Mairano (STL, UMR 8163, Université de Lille)

Anna Marczyk (LPL, CNRS, Aix-Marseille Université)

Denis Maurel (Université François Rabelais de Tours)

Christine Meunier (LPL, CNRS, Aix-Marseille Université)

Alexis Michaud (LACITO, CNRS)

Richard Moot (LIRMM, CNRS)

Véronique Moriceau (LIMSI, CNRS)

Philippe Muller (IRIT, Université de Toulouse)

Alexis Nasr (LIF, Université de la Méditerranée)

Sylvain Navarro (CLLE-ERSS, CNRS)

Luka Nerima (Université de Genève)

Aurélie Névéol (LIMSI, CNRS, Université Paris-Saclay)

Jian-Yun Nie (Université de Montreal)

Damien Nouvel (INaLCO)

Nicolas Obin (IRCAM)

Yannick Parmentier (LORIA, Université de Lorraine)

Sebastian Peña Saldarriaga (Dictanova)

Marie Philippart de Foy (Université de Mons)

Myriam Piccaluga (Institut de Recherche en Sciences et Technologies du Langage, Université de Mons)

Claire Pillot-Loiseau (LPP, UMR 7018, CNRS, Université Sorbonne Nouvelle – Paris 3)

Serge Pinto (LPL, CNRS, Aix-Marseille Université)

Agnès Piquard (LORIA, CNRS, Université de Lorraine)

Thierry Poibeau (LaTTiCe, CNRS)

Alain Polguère (ATILF Université de Lorraine)

Laurent Prévot (LPL, CNRS, Aix-Marseille Université)

Jean-Philippe Prost (LIRMM, Université de Montpellier)

Christian Raymond (IRISA, INSA de Rennes)

Christian Retoré (LIRMM, Université de Montpellier)

Albert Rilliard (LIMSI, CNRS, Université Paris-Saclay)

Virginie Roland (Institut de Recherche en Sciences et Technologies du Langage, Université de Mons)

Sophie Rosset (LIMSI, CNRS, Université Paris-Saclay)

Véronique Sabadell (LPC, Aix Marseille Université)

Stéphane Schneider (INIST, CNRS)

Didier Schwab (Université Grenoble Alpes)

Pascale Sébillot (IRISA, INSA de Rennes)

Djamé Seddah (Almanach, Université Paris la Sorbonne)

Gilles Serasset (LIG, Université Grenoble Alpes)

Romain Serizel (LORIA, Université de Lorraine)

Kamel Smaïli (LORIA, Université de Lorraine)

Rudolph Sock (LiLPa, Université de Strasbourg)

Ludovic Tanguy (CLLE, CNRS)

Xavier Tannier (LIMICS, Sorbonne Université, IN-SERM)

Andon Tchechmedjiev (IMR, Mines Alès)

Juan-Manuel Torres-Moreno (LIA, Université d'Avignon)

Nicolas Turenne (LISIS, INRA)

Béatrice Vaxelaire (LiLPa, Université de Strasbourg)
Anne Vilain (GIPSA-lab, Université de Grenoble Alpes)

Coriandre Vilain (GIPSA-lab, Université de Grenoble Alpes)

Guillaume Wisniewski (LLF, Université de Paris)

Jane Wottawa (LIUM, Le Mans Université)

Yaru Wu (LPP, MoDyCo, Université Paris Nanterre)

Kossi Seto Yibokou (LiLPa, Université de Strasbourg)

François Yvon (LIMSI, CNRS, Université Paris-Sud)
Table des matières

<table><tbody><tr><td>I</td><td>Articles longs</td><td>1</td></tr><tr><td></td><td>Approche de génération de réponse à base de transformers<br>Imen Akermi, Johannes Heinecke, Frédéric Herledan</td><td>2</td></tr><tr><td></td><td>Investigation par méthodes d'apprentissage des spécificités langagières propres aux personnes avec schizophrénie<br>Maxime Amblard, Chloé Braud, Chuyuan Li, Caroline Demily, Nicolas Franck, Michel Musiol</td><td>12</td></tr><tr><td></td><td>Classification de relations pour l'intelligence économique et concurrentielle<br>Hadjer Khaldi, Amine Abdaoui, Farah Benamara, Grégoire Sigel, Nathalie Aussenac-Gilles</td><td>27</td></tr><tr><td></td><td>Représentation dynamique et spécifique du contexte textuel pour l'extraction d'événements<br>Dorian Kodelja, Romaric Besançon, Olivier Ferret</td><td>40</td></tr><tr><td></td><td>Les modèles de langue contextuels Camembert pour le français : impact de la taille et de l'hétérogénéité des données d'entrainement<br>Louis Martin, Benjamin Muller, Pedro Javier Ortiz Suárez, Yoann Dupont, Laurent Romary, Éric Villemonte de la Clergerie, Benoît Sagot, Djamé Seddah</td><td>54</td></tr><tr><td></td><td>Génération automatique de définitions pour le français<br>Timothee Mickus, Mathieu Constant, Denis Paperno</td><td>66</td></tr><tr><td></td><td>Du bon usage d'ingrédients linguistiques spéciaux pour classer des recettes exceptionnelles<br>Elham Mohammadi, Louis Marceau, Eric Charton, Leila Kosseim, Luka Nerima, Marie-Jean Meurs</td><td>81</td></tr><tr><td></td><td>Étude sur le résumé comparatif grâce aux plongements de mots<br>Valentin Nyzam, Aurélien Bossard</td><td>95</td></tr><tr><td></td><td>Réseaux de neurones pour la résolution d'analogies entre phrases en traduction automatique par l'exemple<br>Valentin Taillandier, Liyan Wang, Yves Lepage</td><td>108</td></tr><tr><td></td><td>Impact de la structure logique des documents sur les modèles distributionnels : expéri-mentations sur le corpus TALN<br>Ludovic Tanguy, Cécile Fabre, Yoann Bard</td><td>122</td></tr><tr><td>II</td><td>Articles courts</td><td>136</td></tr><tr><td></td><td>Prédire automatiquement les intentions du locuteur dans des questions issues du discours oral spontané<br>Angèle Barbedette, Iris Eshkol-Taravella</td><td>137</td></tr><tr><td></td><td>Réduire l'effort humain d'amélioration des ressources lexicales grâce aux inférences<br>Nadia Bebeshina, Mathieu Lafourcade</td><td>146</td></tr><tr><td></td><td>Extraction de thèmes d'un corpus de demandes de support pour un logiciel de relation citoyen</td><td>155</td></tr></tbody></table>
Recommandation d'âge pour des textes 164

Alexis Blandin, Gwénolé Lecorvé, Delphine Battistelli, Aline Étienne

Traduire des corpus pour construire des modèles de traduction neuronaux : une solution pour toutes les langues peu dotées ? 172

Raoul Blin

Construction de plongements de concepts médicaux sans textes 181

Vincent Claveau

Qu'apporte BERT à l'analyse syntaxique en constituants discontinus ? Une suite de tests pour évaluer les prédictions de structures syntaxiques discontinues en anglais 189

Maximin Coavoux

Sur l'impact des contraintes structurelles pour l'analyse en dépendances profondes fondée sur les graphes 197

Caio Corro

L'expression des émotions dans les textes pour enfants : constitution d'un corpus annoté 205

Aline Étienne, Delphine Battistelli, Gwénolé Lecorvé

Traduction automatique pour la normalisation du français du XVIIe siècle 213

Simon Gabay, Loïc Barrault

Prédire le niveau de langue d'apprenants d'anglais 223

Natalia Grabar, Thierry Hamon, Bert Cappelle, Cyril Grandin, Benoît Leclercq, Ilse Depraetere

TArC. Un corpus d'arabish tunisien 232

Elisa Gugliotta, Marco Dinarelli

Segmentation automatique en périodes pour le français parlé 241

Natalia Kalashnikova, Iris Eshkol-Taravella, Loïc Grobol, François Delafontaine

Les avis sur les restaurants à l'épreuve de l'apprentissage automatique 249

Hyun Jung Kang, Iris Eshkol-Taravella

Recherche de similarité thématique en temps réel au sein d'un débat en ligne 258

Mathieu Lafourcade, Noémie-Fleur Sandillon-Rezer

FlaubERT : des modèles de langue contextualisés pré-entraînés pour le français 268

Hang Le, Loïc Vial, Jibril Frej, Vincent Segonne, Maximin Coavoux, Benjamin Lecouteux, Alexandre Allauzen, Benoît Crabbé, Laurent Besacier, Didier Schwab

Relation, es-tu là ? Détection de relations par LSTM pour améliorer l'extraction de relations 279

Cyrielle Mallart, Michel Le Nouy, Guillaume Gravier, Pascale Sébillot

Analyse automatique en cadres sémantiques pour l'apprentissage de modèles de compréhension de texte 288

Gabriel Marzinotto, Delphine Charlet, Géraldine Damnati, Frédéric Béchet

Analyse de sentiments des vidéos en dialecte algérien 296
VerNom : une base de paires morphologiques acquise sur très gros corpus 305
Alice Missud, Pascal Amsili, Florence Villoing

Étude des variations sémantiques à travers plusieurs dimensions 314
Syrielle Montariol, Alexandre Allauzen

Identification des problèmes d'annotation pour l'extraction de relations 323
Tsanta Randriatsitohaina, Thierry Hamon

Simplification automatique de texte dans un contexte de faibles ressources 332
Sadaf Abdul Rauf, Anne-Laure Ligozat, Francois Yvon, Gabriel Illouz, Thierry Hamon

Représentation sémantique des familles dérivationnelles au moyen de frames morphosé-
mantiques 342
Daniele Sanacore, Nabil Hathout, Fiammetta Namer

Modèle neuronal pour la résolution de la coréférence dans les dossiers médicaux électro-
niques 351
Julien Tourille, Olivier Ferret, Aurélie Névéol, Xavier Tannier

Un corpus d'évaluation pour un système de simplification discursive 361
Rodrigo Wilkens, Amalia Todirascu

La réécriture monolingue ou bilingue facilite-t-elle la compréhension ? 370
Yuming Zhai, Gabriel Illouz, Anne Vilnat
Première partie

Articles longs
# Approche de génération de réponse à base de transformers

Imen Akermi Johannes Heinecke Frédéric Herledan

Orange / DATA-AI, Lannion, France

{imen.elakermi,johannes.heinecke,frederic.herledan}@orange.com

## RÉSUMÉ

Cet article présente une approche non-supervisée basée sur les modèles Transformer pour la génération du langage naturel dans le cadre des systèmes de question-réponse. Cette approche permettrait de remédier à la problématique de génération de réponse trop courte ou trop longue sans avoir recours à des données annotées. Cette approche montre des résultats prometteurs pour l'anglais et le français.

## ABSTRACT

**Transformer based approach for answer generation**

This paper presents an unsupervised approach for Natural Language Generation within the framework of question-answering task. This approach aims at solving the too-short or too-long answer generation problem without requiring annotated data. The proposed approach shows promising results for both English and French.

**MOTS-CLÉS** : systèmes de question-réponse, génération du langage naturel, analyse de dépendance.

**KEYWORDS:** question answering systems, natural language generation, dependency analysis.

# 1 Introduction

La popularité récente des assistants intelligents a accru l'intérêt pour les systèmes de question-réponse (SQR) qui sont devenus un élément central des échanges « Humain-Machine » puisqu'ils permettent aux utilisateurs d'avoir directement des réponses à leurs questions en langage naturel en utilisant leur propre terminologie sans avoir à parcourir une longue liste de documents pour trouver les réponses appropriées.

La plupart des travaux de recherche existants focalisent sur la complexité majeure de ces systèmes résidant dans le traitement et l'interprétation de la question qui exprime le besoin en information de l'utilisateur, sans pour autant donner de l'importance à la représentation de la réponse donnée en sortie. Généralement, la réponse est soit représentée par un ensemble de termes court répondant exactement à la question (cas des SQR qui extraient les réponses à partir de données structurées), soit par un passage d'un document qui indique la réponse exacte et qui peut intégrer d'autres informations inutiles ne relevant pas du contexte de la question posée.

La figure 1 présente un exemple de réponses données par deux systèmes différents.

Compte-tenu de la particularité des SQR qui extraient les réponses à partir de données structurées, les utilisateurs ne reçoivent, généralement, qu'une réponse courte et limitée à leurs questions comme c'est illustré par l'exemple de la figure 1. De plus, dans le cas où la question est posée oralement, ce type de représentation de réponse peut ne pas convenir aux attentes de l'utilisateur.

<figure><img src="image_9.png" /></figure>
<figure><img src="image_10.png" /></figure>

<figure><img src="image_11.png" /></figure>

FIGURE 1 – Réponses affichées par deux assistants intelligents, GOOGLE ASSISTANT et ALEXA pour la question « *Qui est le directeur de thèse d'Albert Einstein ?* »

En effet, le type de réponse donné par le premier système peut être perçu comme trop bref ne rappelant pas le contexte de la question et pour le deuxième type de réponse, on a tendance à renvoyer un passage qui contient la réponse mais qui inclut également des informations qui peuvent être hors du contexte de la question et jugées par l'utilisateur comme inutile.

C'est dans ce contexte que nous présentons dans cet article une approche qui permet de générer une réponse concise en langage naturel pour le français et l'anglais. Cette approche fait partie d'un SQR que nous avons proposé dans Rojas Barahona et al. (2019) et que nous présenterons brièvement dans cet article.

## 2 État de l'art

Malgré l'abondance des travaux dans le domaine des SQR, la problématique de formulation des réponses a reçu très peu d'attention. Une première approche traitant indirectement cette tâche a été proposée dans Brill et al. (2001, 2002). En effet, les auteurs avaient pour but de diversifier les motifs possibles de réponses en permutant les termes de la question en vue de maximiser le nombre de documents extraits qui peuvent contenir la réponse. Une autre approche de représentation de réponse basée sur des règles de reformulation a été également proposée dans Agichtein & Gravano (2000) et Lawrence & Giles (1998) dans le contexte d'expansion de requêtes pour la recherche de documents et non pour l'extraction de la réponse exacte.

Le peu de travaux qui se sont intéressés à cette tâche dans le cadre des SQR l'ont adressée sous l'angle de la génération de résumé de texte (Ishida et al., 2018; Iida et al., 2019; Rush et al., 2015; Chopra et al., 2016; Nallapati et al., 2016; Miao & Blunsom, 2016; See et al., 2017; Oh et al., 2016; Sharp et al., 2016; Tan et al., 2016; dos Santos et al., 2016). La majorité de ces travaux n'ont considéré que les questions de causalité de type « *pourquoi* » où les réponses sont des paragraphes. Pour rendre ces réponses plus concises, ils procèdent à un compactage des paragraphes extraits.

D'autres approches (Kruengkrai et al., 2017; Girju, 2003; Verberne et al., 2011; Oh et al., 2013) ont exploré cette tâche comme un problème de classification où il s'agit de prédire si un passage de texte pourra constituer une réponse à une question donnée.

Il faut noter que ces approches ont pour seul but de diversifier au maximum les formules de réponses possibles à des questions pour augmenter la probabilité d'extraire la bonne réponse et non pour générer une réponse qui soit conviviale pour l'utilisateur. Il faut également souligner que ces approches ne sont valables que pour les SQR qui génèrent les réponses sous forme d'extrait de texte et ne pourront pas être appliquées aux réponses courtes.
Notre approche de génération de réponse diffère de ces travaux dans le sens qu'elle est non supervisée, peut s'adapter à n'importe quel type de questions factuelles (à l'exception des questions de type *Pourquoi et Comment*) et qu'elle s'appuie que sur des données facilement accessibles et non annotées. En effet, nous partons de l'hypothèse intuitive qu'une réponse concise et facilement prononçable par un assistant intelligent n'est en fait qu'une reformulation de la question posée. Cette approche est intégrée à un système (Rojas Barahona et al., 2019) qui permet d'extraire la réponse à une question à partir de données structurées.

Dans ce qui suit, nous détaillerons dans la section 3 l'approche que nous avons proposé pour la génération de réponse en Langage Naturel et nous évoquerons brièvement le SQR développé. Nous présenterons dans la section 4 les expérimentations que nous avons conduit pour évaluer cette approche. Nous conclurons dans la section 5 avec les limites relevées et les perspectives envisagées.

# 3 Approche de génération de réponse en langage naturel

L'approche de génération de réponse que nous décrivons dans cet article est un composant d'un SQR qui a été développé dans Rojas Barahona et al. (2019) et qui consiste à traduire une question en langue naturelle (français ou anglais) dans une représentation formelle pour ensuite transformer cette représentation formelle en une requête Sparql<fnref n="1" />. Grâce à la requête Sparql nous cherchons la réponse dans une base de connaissance RDF, dans notre cas Wikidata<fnref n="2" />. La réponse est toujours une liste d'URI ou de valeurs.

Bien que nous arrivons à trouver la réponse exacte à une question, sa représentation n'est pas conviviale pour l'utilisateur. De ce fait, nous proposons une approche non-supervisée qui intègre l'utilisation des modèles Transformers tels que BERT (Devlin et al., 2019) et GPT (Radford et al., 2018). Le choix d'une approche non supervisée émane du fait qu'il n'existe pas un corpus d'apprentissage associant une question à une réponse compacte, exhaustive et qui permettrait d'appliquer en mode supervisé une architecture neuronale End-to-End apprenant à générer une phrase répondant à une question.

Cette approche part du fait que nous avons déjà extrait la réponse exacte à une question posée. Nous supposons qu'une réponse bien formulée n'est que la reformulation de la question même associée à la réponse exacte. Cette approche est constituée de deux étapes fondamentales. La première étape consiste à effectuer une analyse de dépendance de la question en entrée et nous procédons dans une deuxième étape à la génération de la réponse.

## 3.1 Analyse en dépendance

Pour l'analyse en dépendance, nous utilisons une version améliorée de UdpipeFuture (Straka, 2018) qui était le système gagnant (3e avec les métriques Labelled Attachment Score (LAS) et Content Word LAS (CLAS) et 1er en utilisant la métrique Morphology-Aware LAS (MLAS)) de la tâche de l'analyse en dépendance (Zeman et al., 2018). UdpipeFuture est un analyseur, qui fait l'étiquetage en partie de discours et la lemmatisation avec un LSTM. L'analyse en dépendance est faite avec un parser à base de graphes, inspiré de Dozat et al. (2017).

Notre modification consiste à intégrer les plongements contextuels à UdpipeFuture lors de l'apprentissage. Pour cela, nous nous sommes orientés vers BERT multilingue (Devlin et al., 2019), XLM-R

<footnote n="1">1. https://www.w3.org/TR/sparql11-overview/</footnote>

<footnote n="2">2. https://www.wikidata.org/</footnote>
(Conneau et al., 2019) (pour l'anglais et français), RoBERTA (Liu et al., 2019) (pour l'anglais) FlauBERT (Le et al., 2020) et CamemBERT (Martin et al., 2019) (pour le français) lors de l'apprentissage des treebanks French-GSD et English-EWT<fnref n="3" />, issues du projet Universal Dependencies (UD) (Nivre et al., 2016)<fnref n="4" />. L'ajout des plongements contextuels a significativement augmenté les résultats pour les trois métriques, LAS, CLAS et MLAS (cf. table 1).

<table><thead><tr><th colspan="4">français (Fr-GSD)</th><th colspan="4">anglais (En-EWT)</th></tr><tr><th>embeddings</th><th>MLAS</th><th>CLAS</th><th>LAS</th><th>embeddings</th><th>MLAS</th><th>CLAS</th><th>LAS</th></tr></thead><tbody><tr><td><b>Straka</b> (2018)</td><td>77,29</td><td>82,49</td><td>85,74</td><td><b>Straka</b> (2018)</td><td>74,71</td><td>79,14</td><td>82,51</td></tr><tr><td>FlauBERT</td><td>79,53</td><td>84,16</td><td>87,98</td><td>BERT</td><td>81,16</td><td>85,89</td><td>88,63</td></tr><tr><td>BERT</td><td>81,64</td><td>86,21</td><td>89,68</td><td>RoBERTA</td><td>82,38</td><td>86,89</td><td>89,40</td></tr><tr><td>CamemBERT</td><td>82,17</td><td>86,45</td><td>89,67</td><td><b>XLM-R</b></td><td><b>82,91</b></td><td><b>87,24</b></td><td><b>89,54</b></td></tr><tr><td><b>XLM-R</b></td><td><b>82,62</b></td><td><b>86,94</b></td><td><b>89,82</b></td><td></td><td></td><td></td><td></td></tr></tbody></table>

TABLE 1 – Analyse en dépendance du français et l'anglais (UD v2.2), les meilleurs résultats en gras

Néanmoins, pour l'analyse en dépendances des questions simples de type quiz, les deux treebanks UD (En-EWT et Fr-GSD) ne sont pas adaptés, car leurs corpus d'apprentissage ne contiennent pas ou très peu de questions<fnref n="5" />. Les résultats de l'analyse des questions avec des modèles appris sur les données standard de UD sont montrés en table 2.

<table><thead><tr><th colspan="4">français (Fr-GSD)</th><th colspan="4">anglais (En-EWT)</th></tr><tr><th>embeddings</th><th>MLAS</th><th>CLAS</th><th>LAS</th><th>embeddings</th><th>MLAS</th><th>CLAS</th><th>LAS</th></tr></thead><tbody><tr><td>BERT</td><td>60,52</td><td>73,04</td><td>79,27</td><td><b>BERT</b></td><td><b>80,45</b></td><td><b>88,02</b></td><td><b>90,58</b></td></tr><tr><td><b>CamemBERT</b></td><td><b>61,32</b></td><td><b>75,26</b></td><td><b>80,49</b></td><td>RoBERTa</td><td>80,68</td><td>89,17</td><td>91,49</td></tr><tr><td>FlauBERT</td><td>58,09</td><td>70,96</td><td>78,40</td><td>XLM-R</td><td>80,68</td><td>89,42</td><td>91,88</td></tr><tr><td>Word2Vec</td><td>59,83</td><td>74,43</td><td>80,14</td><td></td><td></td><td></td><td></td></tr><tr><td>XLM-R</td><td>59,23</td><td>73,52</td><td>79,27</td><td></td><td></td><td></td><td></td></tr></tbody></table>

TABLE 2 – Analyse des questions avec des modèles appris sur UD sans modifications

Afin d'améliorer l'analyse, nous avons enrichi les treebanks d'apprentissage Fr-GSD et En-EWT en annotant 309 questions anglaises des challenges QALD7 (Usbeck et al., 2017) et QALD8⁶ (ainsi 91 questions pour le test) en supprimant les doublons. Pour le français, nous avons traduit des questions issues de QALD7, et formulé des questions nous-mêmes (66 test, 267 apprentissage). Les annotations ont été effectuées par deux linguistes avec le guide d'annotation du project Universal Dependencies<fnref n="7" /> et la documentation des treebanks Fr-GSD (pour les questions françaises) et En-EWT (pour l'anglais).

Comme la table 3 le montre, la qualité de l'analyse augmente considérablement, les embeddings CamemBERT (pour le français) et BERT (anglais) ont de nouveau le meilleurs impact.

Nous nous appuyons sur la version UdpipeFuture que nous avons améliorée avec BERT/CamemBERT et qui donne les meilleurs résultats en terme d'analyse en dépendance pour procéder au découpage de la question en fragments textuels (appelés également *chunks*) : $Q = \{c_1, c_2, ..., c_n\}$.

<footnote n="3">3. Comme la campagne d'évaluation Conll2018, nous utilisons la version 2.2 des treebanks UD pour la comparaison</footnote>

<footnote n="4">4. https://universaldependencies.org/</footnote>

<footnote n="5">5. Il existe également un treebank de questions, French-FQB (Seddah & Candito, 2016), mais la plupart des questions de ce treebank sont plutôt des questions longues, et peu similaires aux questions « typiques » du quiz.</footnote>

<footnote n="6">6. https://github.com/ag-sc/QALD</footnote>

<footnote n="7">7. https://universaldependencies.org/guidelines.html</footnote>
<table><caption>TABLE 3 – Analyse des questions avec des corpus d’apprentissage UD de base enrichis de questions</caption><thead><tr><th colspan="4">français (Fr-GSD)</th><th colspan="4">anglais (En-EWT)</th></tr><tr><th>embeddings</th><th>MLAS</th><th>CLAS</th><th>LAS</th><th>embeddings</th><th>MLAS</th><th>CLAS</th><th>LAS</th></tr></thead><tbody><tr><td><strong>BERT</strong></td><td>91,20</td><td>96,10</td><td>97,55</td><td><strong>BERT</strong></td><td><strong>84,85</strong></td><td><strong>91,92</strong></td><td><strong>94,24</strong></td></tr><tr><td><strong>CamemBERT</strong></td><td><strong>92,12</strong></td><td><strong>97,37</strong></td><td><strong>98,26</strong></td><td>RoBERTa</td><td>83,08</td><td>91,67</td><td>93,85</td></tr><tr><td>FlauBERT</td><td>90,53</td><td>94,74</td><td>96,86</td><td>XLM-R</td><td>83,08</td><td>90,66</td><td>93,59</td></tr><tr><td>Word2Vec</td><td>90,88</td><td>95,79</td><td>97,21</td><td></td><td></td><td></td><td></td></tr><tr><td>XLM-R</td><td>91,23</td><td>96,14</td><td>97,56</td><td></td><td></td><td></td><td></td></tr></tbody></table>

Si on prend l’exemple de la question *Quel est le parti politique du maire de Paris ?*, l’ensemble des fragments textuels serait $Q = \{Quel, est, le parti politique du maire de Paris\}$.

## 3.2 Génération de la réponse

Lors de cette phase, nous procédons d’abord à un premier test de l’ensemble $Q$ pour vérifier si le fragment textuel qui contient un marqueur de question (exp : quel, quand, qui etc.) représente le sujet nsubj dans la question analysée. Si c’est le cas, nous remplaçons tout simplement ce fragment textuel par la réponse que nous avons identifié précédemment. Reprenons l’exemple de la question *Quel est le parti politique du maire de Paris ?*, le système détecte automatiquement que le fragment textuel contenant le marqueur de question *Quel* représente bien le sujet et sera donc remplacé directement par la réponse exacte *Le Parti Socialiste*. Par suite, la réponse compacte générée sera *Le Parti Socialiste est le parti politique du maire de Paris*.

Dans le cas contraire, nous procédons à la suppression du fragment textuel contenant le marqueur de question que nous avons détecté et nous ajoutons la réponse $R$ à l’ensemble $Q$ : $Q = \{c_1, c_2, \dots, c_{n-1}, R\}$

À partir de l’ensemble de fragments textuels $Q$, nous générons par permutation toutes les structures de réponses possibles qui peuvent former la phrase répondant à la question traitée :

$$S = \{s_1(R, c_1, c_2, \dots, c_{n-1}), s_2(c_1, R, c_2, \dots, c_{n-1}), \dots, s_m(c_1, c_2, \dots, c_{n-1}, R)\}$$

Ces structures seront évaluées par un Modèle de Langue (LM) basé sur des modèles Transformers qui permettra d’extraire la séquence de fragments textuels la plus probable qui servira de réponse :

$$structure^* = s \in S; p(s) = \underset{s_i \in S}{\operatorname{argmax}} p(s_i)$$

Une fois la structure, qui représentera la réponse à la question traitée, est identifiée, l’étape de génération du terme manquant est initiée. En effet, nous supposons qu’il pourrait y avoir un terme qui ne figure pas nécessairement dans la question ou dans la réponse mais qui est par contre nécessaire à la génération d’une bonne structure grammaticale de la réponse.

Par suite, pour prédire ce terme manquant nous faisons appel à BERT en tant que modèle de langue « masqué » . Dans le cas où BERT renvoie une séquence de caractère non alphabétique, nous concluons que la structure optimale, telle qu’elle était prédite par le LM, ne nécessite pas d’être complétée par un terme supplémentaire.
L'exemple suivant illustre les différentes étapes de l'approche proposée :

Question : *Dans quel pays se trouve le Lac de Garde ?*

1. Découpage de la question en fragments textuels (à partir de l'analyse en dépendance obtenu avec UDPipe) → { *Dans quel pays, se trouve, le Lac de Garde* }

2. Suppression des marqueurs de question (*Dans quel pays*) → { se trouve, le Lac de Garde }

3. Ajout de la réponse brute → { se trouve, le Lac de Garde, Italie }

4. Génération des structures de réponses possibles
→ — *se trouve, le Lac de Garde, Italie*
— *Italie, se trouve, le Lac de Garde*
— ...

5. Évaluation des structures par un modèle de langage → structure* = {le Lac de Garde, se trouve, Italie}

6. Génération des termes manquants à structure* (avec BERT pour l'anglais ou CamemBERT pour le français)
→ le Lac de Garde se trouve [terme manquant] Italie : « en »

Réponse : *le Lac de Garde se trouve en Italie.*

# 4 Évaluation

Les corpus de tests existants pour l'évaluation des SQR, sont plus adaptés aux systèmes qui génèrent la réponse exacte à la question et donc une réponse courte ou sont plus axés vers la tâche de *Machine Reading Comprehension* où la réponse consiste en un passage de texte contenant la réponse exacte. Nous avons créé un jeu de données qui consiste à associer des questions extraites du corpus QALD-7 challenge (Usbeck et al., 2017) avec des réponses en langage naturel qui ont été définies manuellement par un linguiste et que nous avons revues individuellement. Ce corpus appelé QueReo consiste en 150 questions avec les réponses exactes extraites par le SQR que nous avons décrit précédemment. On note en moyenne trois réponses possibles en langage naturel pour chaque question. Ce corpus existe en versions française et anglaise.

<figure><img src="image_12.png" /><figcaption>FIGURE 2 – Cadre d’expérimentation</figcaption></figure>

Comme illustré dans la figure 2, deux architectures possibles de l'approche que nous proposons pour la génération de réponse ont été évaluées. La première architecture A1 consiste à générer toutes les structures possibles de réponses pour les faire évaluer après par un LM qui permettrait la sélection de
la réponse optimale puis de générer le terme manquant à cette structure. L'architecture A2 commence à générer le terme manquant pour chaque structure dans Q qui seront ensuite évaluer par le LM. Pour le moment, nous supposons qu'il y a seulement 1 terme manquant par structure.

Pour évaluer l'approche proposée, nous avons opté pour trois métriques N-gram (BLEU, METEOR et ROUGE) utilisées dans la littérature pour évaluer ce type de tâche et la métrique BERTScore qui exploite les plongements lexicaux pré-entraînés de BERT pour calculer la similarité entre la réponse générée et la réponse de référence. Pour pouvoir comparer les différentes variantes de l'approche, nous nous sommes référés au test de Friedman (Milton, 1939) qui permet de détecter les écarts de performances entre plusieurs modèles évalués par plusieurs métriques en se basant sur les rangs moyens.

La table 4 (corpus français) et la table 5 (corpus anglais) ne présentent que les résultats obtenus pour les cinq meilleurs modèles selon le classement du test de Friedman. Les modèles de langue utilisés sont adaptés selon la langue du corpus mis en test. Vanté par ses mérites en tant que modèle génératif très puissant entraîné sur un très large corpus de données, le modèle GPT a été également testé avec le corpus français pour voir s'il arrive à détecter la meilleure structure à choisir pour une question. Les valeurs mises entre parenthèses représentent le rang d'un modèle selon la métrique utilisée.

<table><caption>TABLE 4 – Classement des modèles selon le test de Friedman - Corpus français</caption><thead><tr><th>rang moyen</th><th>arch.</th><th>LM</th><th>modèle de génération</th><th>%BleuS score rang</th><th>%MeteorS score rang</th><th>%RougeS score rang</th><th>%BertS score rang</th></tr></thead><tbody><tr><td>8,5</td><td>A1</td><td>BERT</td><td>CamemBERT</td><td>68,21 14</td><td>95,90 2</td><td>84,48 11</td><td>94,45 7</td></tr><tr><td>12</td><td>A1</td><td>GPT</td><td>CamemBERT</td><td>68,63 13</td><td>96,04 1</td><td>84,04 15</td><td>93,85 19</td></tr><tr><td>13,5</td><td>A1</td><td>GPT</td><td>BERT</td><td>70,39 6</td><td>94,90 38</td><td>85,70 4</td><td>94,61 6</td></tr><tr><td>13,5</td><td>A1</td><td>BERT</td><td>BERT</td><td>69,68 9</td><td>95,03 35</td><td>85,26 6</td><td>94,79 4</td></tr><tr><td>13,75</td><td>A2</td><td>BERT</td><td>BERT</td><td>75,08 1</td><td>94,78 48</td><td>85,91 3</td><td>94,98 3</td></tr><tr><td>16</td><td>A2</td><td>GPT</td><td>CamemBERT</td><td>69,37 10</td><td>95,73 13</td><td>83,59 21</td><td>93,82 20</td></tr><tr><td>18,5</td><td>A1</td><td>XLM</td><td>BERT</td><td>67,02 19</td><td>95,04 34</td><td>84,89 7</td><td>94,12 14</td></tr><tr><td>21,75</td><td>A2</td><td>XLM</td><td>BERT</td><td>68,67 12</td><td>94,44 59</td><td>84,67 8</td><td>94,42 8</td></tr><tr><td>25,25</td><td>A2</td><td>BERT</td><td>CamemBERT</td><td>63,82 52</td><td>95,82 7</td><td>83,13 26</td><td>93,98 16</td></tr><tr><td>26</td><td>A2</td><td>XLNET</td><td>BERT</td><td>70,87 4</td><td>94,05 74</td><td>84,65 9</td><td>93,98 17</td></tr></tbody></table>

Selon la table 4, c'est CamemBERT en tant que modèle de génération du terme manquant à la réponse, associé à BERT et GPT en tant que modèles de langue, qui se classe en premières places selon la moyenne des rangs des quatre métriques d'évaluation, pour traiter les questions du corpus français. Comme attendu, le modèle GPT, malgré le fait qu'il est principalement entraîné sur un corpus de texte écrit en anglais, arrive quand même à prédire la meilleure structure de réponse pour du texte écrit en français. Ce modèle, dans sa deuxième version améliorée GPT2, arrive également à se hisser aux premiers rangs pour le corpus de questions anglais, associé à BERT comme modèle génératif du terme manquant.

La différence de performance selon l'architecture adoptée varie aussi selon la langue dans laquelle la question est écrite. En effet, nous remarquons que par rapport aux cinq premiers rangs, c'est l'architecture A1 faisant évaluer les structures par le modèle de langue avant de générer le terme manquant, qui donne les meilleurs résultats pour le corpus français, alors que c'est la deuxième architecture A2 qui est la plus pertinente pour les questions en anglais.
<table><caption>TABLE 5 – Classement des modèles selon le test de Friedman - Corpus anglais</caption><thead><tr><th>rang moyen</th><th>arch.</th><th>LM</th><th>modèle de génér.</th><th>%BleuS score rang</th><th>%MeteorS score rang</th><th>%RougeS score rang</th><th>%BertS score rang</th></tr></thead><tbody><tr><td>1,25</td><td>A2</td><td>GPT2</td><td>BERT</td><td>77,82 1</td><td>94,41 1</td><td>93,48 1</td><td>97,30 2</td></tr><tr><td>2</td><td>A1</td><td>GPT</td><td>BERT</td><td>77,56 2</td><td>94,02 3</td><td>93,22 2</td><td>97,51 1</td></tr><tr><td>5</td><td>A2</td><td>XLM</td><td>BERT</td><td>76,90 5</td><td>94,14 2</td><td>92,17 7</td><td>97,16 6</td></tr><tr><td>8</td><td>A2</td><td>GPT</td><td>BERT</td><td>75,26 14</td><td>93,72 10</td><td>92,68 3</td><td>97,19 5</td></tr><tr><td>9,5</td><td>A1</td><td>XLM</td><td>BERT</td><td>76,71 7</td><td>93,92 4</td><td>91,63 12</td><td>96,79 15</td></tr><tr><td>12,75</td><td>A1</td><td>XLNET</td><td>BERT</td><td>74,96 15</td><td>93,77 7</td><td>91,3 17</td><td>96,8 12</td></tr><tr><td>16,5</td><td>A1</td><td>GPT2</td><td>BERT</td><td>75,75 10</td><td>93,49 21</td><td>91,11 24</td><td>96,87 11</td></tr><tr><td>17</td><td>A2</td><td>XLNET</td><td>BERT</td><td>74,19 17</td><td>93,57 15</td><td>91,2 19</td><td>96,78 17</td></tr><tr><td>20,5</td><td>A2</td><td>BERT</td><td>BERT</td><td>74,56 16</td><td>93,75 8</td><td>90,51 35</td><td>96,67 23</td></tr><tr><td>22</td><td>A1</td><td>BERT</td><td>BERT</td><td>75,37 12</td><td>93,41 25</td><td>91,12 22</td><td>96,59 29</td></tr></tbody></table>

Il faut noter que dû à la spécificité de l'approche que nous proposons et qui fait usage des termes de la question pour générer une réponse en langage naturel, nous avons obtenu des scores relativement élevés. Nous pensons que la mesure de corrélation avec une évaluation humaine permettrait de déterminer la métrique d'évaluation la plus appropriée.

# 5 Conclusion

Nous avons présenté dans cet article une approche non-supervisée qui se base sur des modèles Transformer pour la génération de réponse en langage naturel dans le cadre des systèmes de question-réponse. L'évaluation que nous avons effectuée prouve que cette approche est prometteuse. Nous envisageons d'utiliser cette approche pour construire des corpus d'apprentissage de type question-réponse en langage naturel, qui permettraient d'entraîner des approches neuronales de type end-to-end.

# Références

AGICHTEIN E. & GRAVANO L. (2000). Snowball : Extracting relations from large plain-text collections. In *Proceedings of the fifth ACM conference on Digital libraries*, p. 85–94.

BRILL E., DUMAIS S. & BANKO M. (2002). An analysis of the askmsr question-answering system. In *Proceedings of the ACL conference on Empirical methods in natural language processing*, p. 257–264 : Association for Computational Linguistics.

BRILL E., LIN J., BANKO M., DUMAIS S. & NG A. (2001). Data-intensive question answering. In *In Proceedings of the Tenth Text REtrieval Conference (TREC)*, p. 393–400.

CHOPRA S., AULI M. & RUSH A. M. (2016). Abstractive sentence summarization with attentive recurrent neural networks. In *Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics : Human Language Technologies*, p. 93–98.

CONNEAU A., KHANDELWAL K., GOYAL N., CHAUDHARY V., WENZEK G., GUZMÁN F., GRACE E., OTT M., ZETTLEMOYER L. & STOYANOV V. (2019). Unsupervised Cross-lingual Representation Learning at Scale. arXiv preprint : 1911.02116.
DEVLIN J., CHANG M.-W. C., LEE K. & TOUTANOVA K. (2019). BERT: Pre-training of deep bidirectional transformers for language under-standing. In *NAACL*, p. 4171–4186, Minneapolis: Association for Computational Linguistics.

DOS SANTOS C., TAN M., XIANG B. & ZHOU B. (2016). Attentive pooling networks. arXiv preprint : 1602.03609.

DOZAT T., QI P. & MANNING C. D. (2017). Stanford's Graph-based Neural Dependency Parser at the CoNLL 2017 Shared Task. In *Proceedings of the CoNLL 2017 Shared Task. Multilingual Parsing from Raw Text to Universal Dependencies*, p. 20–30, Vancouver, Canada: Association for Computational Linguistics.

GIRJU R. (2003). Automatic detection of causal relations for question answering. In *Proceedings of the ACL 2003 workshop on Multilingual summarization and question answering-Volume 12*, p. 76–83: Association for Computational Linguistics.

IIDA R., KRUENGKRAI C., ISHIDA R., TORISAWA K., OH J.-H. & KLOETZER J. (2019). Exploiting background knowledge in compact answer generation for why-questions. In *Proceedings of the AAAI Conference on Artificial Intelligence*, volume 33, p. 142–151.

ISHIDA R., TORISAWA K., OH J.-H., IIDA R., KRUENGKRAI C. & KLOETZER J. (2018). Semi-distantly supervised neural model for generating compact answers to open-domain why questions. In *Thirty-Second AAAI Conference on Artificial Intelligence*.

KRUENGKRAI C., TORISAWA K., HASHIMOTO C., KLOETZER J., OH J.-H. & TANAKA M. (2017). Improving event causality recognition with multiple background knowledge sources using multi-column convolutional neural networks. In *Thirty-First AAAI Conference on Artificial Intelligence*.

LAWRENCE S. & GILES C. L. (1998). Context and page analysis for improved web search. *IEEE Internet computing*, 2(4), 38–46.

LE H., VIAL L., FREJ J., SEGONNE V., COAVOUX M., LECOUTEUX B., ALLAUZEN A., CRABBÉ B., BESACIER L. & SCHWAB D. (2020). FlauBERT: Unsupervised Language Model Pre-training for French. In *LREC 2020*. arXiv preprint : 1912.05372.

LIU Y., OTT M., GOYAL N., DU, JINGFEI ADN JOSHI M., CHEN D., LEWIS M., ZETTLEMOYER L. & STOYANOV V. (2019). RoBERTa: A Robustly Optimized BERT Pretraining Approach. arXiv preprint : 1907.11692.

MARTIN L., MULLER B., SUÁREZ P. J. O., DUPONT Y., ROMARY L., VILLEMONTE DE LA CLERGERIE É., SEDDAH D. & SAGOT B. (2019). CamemBERT: a Tasty French Language Model. arXiv preprint 1911.03894.

MIAO Y. & BLUNSOM P. (2016). Language as a latent variable: Discrete generative models for sentence compression. *EMNLP 2016*.

MILTON F. (1939). A correction: The use of ranks to avoid the assumption of normality implicit in the analysis of variance. *Journal of the American Statistical Association. American Statistical Association*, 34(205), 109.

NALLAPATI R., ZHOU B., DOS SANTOS C., GÜLÇEHRE Ç., XIANG B. et al. (2016). Abstractive text summarization using sequence-to-sequence RNNs and beyond. In *CoNLL 2016*, p. 280–290.

NIVRE J., MARNEFFE M.-C. D., GINTER F., GOLDBERG Y., GOLDBERG Y., HAJIČ J., D. M. C., MCDONALD R., PETROV S., PYYSALO S., SILVEIRA N., TSARFATY R. & ZEMAN D. (2016). Universal Dependencies v1: A Multilingual Treebank Collection. In the tenth international conference on Language Resources and Evaluation, p. 23–38, Portorož, Slovenia: European Language Resources Association.
OH J.-H., TORISAWA K., HASHIMOTO C., IIDA R., TANAKA M. & KLOETZER J. (2016). A semi-supervised learning approach to why-question answering. In *Thirtieth AAAI Conference on Artificial Intelligence*.

OH J.-H., TORISAWA K., HASHIMOTO C., SANO M., DE SAEGER S. & OHTAKE K. (2013). Why-question answering using intra-and inter-sentential causal relations. In *Proceedings of the 51st Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers)*, p. 1733–1743.

RADFORD A., NARASIMHAN K., SALIMANS T. & SUTSKEVER I. (2018). Improving language understanding by generative pre-training. https://doi.org/10.7456/10000000000000000000000000000000

ROJAS BARAHONA L. M., BELLEC P., BESSET B., DOS SANTOS M., HEINECKE J., ASADULLAH M., LEBLOUCH O., LANCIEN J.-Y., DAMNATI G., MORY E. & HERLÉDAN F. (2019). Spoken Conversational Search for General Knowledge. In *SIGdial Meeting on Discourse and Dialogue*, p. 110–113, Stockholm : Association for Computational Linguistics.

RUSH A. M., CHOPRA S. & WESTON J. (2015). A neural attention model for abstractive sentence summarization. arXiv preprint : 1509.00685.

SEDDAH D. & CANDITO M. (2016). Hard Time Parsing Questions : Building a QuestionBank for French. In *the tenth international conference on Language Resources and Evaluation*, Portorož, Slovenia : European Language Resources Association.

SEE A., LIU P. J. & MANNING C. D. (2017). Get to the point : Summarization with pointer-generator networks. arXiv preprint : 1704.04368.

SHARP R., SURDEANU M., JANSEN P., CLARK P. & HAMMOND M. (2016). Creating causal embeddings for question answering with minimal supervision. *EMNLP 2016*.

STRAKA M. (2018). UDPipe 2.0 Prototype at CoNLL 2018 UD Shared Task. In *Proceedings of the CoNLL 2018 Shared Task : Multilingual Parsing from Raw Text to Universal Dependencies*, p. 197–207, Brussels : Association for Computational Linguistics.

TAN M., DOS SANTOS C., XIANG B. & ZHOU B. (2016). Improved representation learning for question answer matching. In *Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers)*, p. 464–473.

USBECK R., NGOMO A.-C. N., HAARMANN B., KRITHARA A., RÖDER M. & NAPOLITANO G. (2017). 7th Open Challenge on Question Answering over Linked Data (QALD-7). In M. DRAGONI, M. SOLANKI & E. BLOMQVIST, Éds., *Semantic Web Challenges*, p. 59–69, Cham : Springer International Publishing.

VERBERNE S., VAN HALTEREN H., THEIJSSEN D., RAAIJMAKERS S. & BOVES L. (2011). Learning to rank for why-question answering. *Information Retrieval, 14*(2), 107–132.

ZEMAN D., HAJIČ J., POPEL M., POTTHAST M., STRAKA M., GINTER F., NIVRE J. & PETROV S. (2018). CoNLL 2018 Shared Task : Multilingual Parsing from Raw Text to Universal Dependencies. In D. ZEMAN & J. HAJIČ, Éds., *Proceedings of the CoNLL 2018 Shared Task : Multilingual Parsing from Raw Text to Universal Dependencies*, p. 1–21, Brussels : Association for Computational Linguistics.
# Investigation par méthodes d'apprentissage des spécificités langagières propres aux personnes avec schizophrénie

Maxime Amblard¹ Chloé Braud² Chuyuan Li¹

Caroline Demily³ Nicolas Franck³ Michel Musiol¹,⁴

(1) LORIA, UMR 7503, Université de Lorraine, CNRS, Inria, 54000 Nancy, France
{maxime.amblard, chuyuan.li}@univ-lorraine.fr

(2) IRIT, CNRS, Toulouse
chloe.braud@irit.fr

(3) Centre Hospitalier le Vinatier & UMR 5229, CNRS - Univeristé Lyon 1, Lyon, France
{caroline.demily, nicolas.franck}@ch-le-vinatier.fr

(4) ATILF, UMR 7118, Université de Lorraine, CNRS, 54000 Nancy, France
michel.musiol@univ-lorraine.fr

## RÉSUMÉ

Nous présentons des expériences visant à identifier automatiquement des patients présentant des symptômes de schizophrénie dans des conversations contrôlées entre patients et psychothérapeutes. Nous fusionnons l'ensemble des tours de parole de chaque interlocuteur et entraînons des modèles de classification utilisant des informations lexicales, morphologiques et syntaxiques. Cette étude est la première du genre sur le français et obtient des résultats comparables à celles sur l'anglais. Nos premières expériences tendent à montrer que la parole des personnes avec schizophrénie se distingue de celle des témoins : le meilleur modèle obtient une exactitude de 93,66%. Des informations plus riches seront cependant nécessaires pour parvenir à un modèle robuste.

## ABSTRACT

### Investigating Learning Methods Applied to Language Specificity of Persons with Schizophrenia.

We present experiments to automatically identify patients with symptoms of schizophrenia in control-led conversations between patients and psychotherapists. We merge the speech turns of each interlocutor and train basic classifiers with these data, using lexical, morphological and syntactic features. This study is the first of its kind in French and obtains results comparable to the English state-of-the-art. Our first experiments highlight that the speech of patient with schizophrenia differs from control one : the best model obtains an accuracy of 93.66%. However, richer descriptions will be needed to produce an applicable and reliable model.

**MOTS-CLÉS** : Dialogue, schizophrénie, apprentissage automatique.

**KEYWORDS** : Dialog, schizophrenia, machine learning.

# 1 Introduction

La schizophrénie est définie comme un trouble mental sévère (Association *et al.*, 2015). Cette maladie s'accompagne de symptômes très variables, les plus manifestes étant les idées délirantes, les hallucin

<figure><img src="image_13.png" /></figure>
nations et le discours désorganisé. De nombreuses études convergent aujourd'hui vers l'hypothèse selon laquelle il existe une composante génétique de la pathologie schizophrénique, à tout le moins comme une condition nécessaire et non suffisante. Son étiologie demeure toutefois complexe. Pour autant, les avancées empiriques, théoriques et méthodologiques non négligeables en psychopathologie cognitive, en pragmatique linguistique et les progrès considérables, en particulier dans le domaine de l'électrophysiologie et de l'imagerie cérébrale, contribuent à une meilleure caractérisation des troubles schizophréniques (Besche-Richard et al., 2018). Selon l'Organisation Mondiale de la Santé, les troubles schizophréniques touchent environ 1% de la population mondiale. En outre, les troubles cognitifs affectent 70 à 80% de la population atteinte de troubles schizophréniques (Potvin et al., 2017). Pour autant les symptômes de cette pathologie, ou leurs effets, impactent largement les pratiques langagières qui apparaissent ainsi comme un bon angle pour aborder la pathologie.

L'identification automatique de patients manifestant des symptômes de la schizophrénie à partir de la production langagière, écrite ou orale, est un enjeu important dans le domaine de la santé, car cela pourrait constituer une aide décisive vers un diagnostic pour les médecins. Par ailleurs, étudier des cas de parole affectée permet d'améliorer notre compréhension du fonctionnement du langage en général, et cela devrait également permettre d'adapter des systèmes de TAL à des parties de la population qui, en plus de souffrir d'un trouble psychiatrique potentiellement désociabilisant, présentent un usage de la langue qui dévie des modèles dont nous disposons.

A terme, il serait intéressant de modéliser cet usage de la langue dans le dialogue, car c'est dans les interactions que nous attendons les déviations les plus importantes. C'est notamment les perspectives du projet SLAM<fnref n="1" /> et son corpus en français, fondé sur des conversations contrôlées entre personnes avec schizophrénie ou témoins et psychologues qui ont été filmées et enregistrées puis retranscrites. Ces dialogues servent de base à la présente étude. Cependant, comme première approximation, nous avons choisi de modéliser le problème à partir de quasi-monologues, c'est-à-dire une fusion de l'ensemble des tours de parole de chaque interlocuteur pour chacun des dialogues considérés. À partir de cet ensemble de tour de parole, nous construisons des systèmes de classification permettant d'identifier les personnes avec schizophrénie. Cette fusion permet de construire des instances de classification contenant plus d'information qu'un simple tour de parole. Ce choix, qui exclut la parole du praticien lors de la classification, est également justifié par la spécificité de ces entretiens dans lesquels le psychologue n'est pas personnellement investi : sa mission est de maintenir l'interaction en relançant l'échange pour qu'il se poursuive le plus longtemps possible. Nous entraînons des modèles de classification sur les monologues et montrons qu'il est possible d'identifier des personnes avec schizophrénie à partir d'informations lexico-syntaxiques dans notre corpus avec une exactitude de 93,66%.

## 2 État de l'art

Les développements linguistiques sur le discours schizophrénique émergent avec les études de Chaika (1974); Fromkin (1975). Depuis, des indices de moins bonne maîtrise des catégories morpho-syntaxiques (Part-Of-Speech, POS) et de la syntaxe ont été étudiés (Andreasen, 1979; Fraser et al., 1986; Hoffman & Sledge, 1988). Cependant, il est souvent difficile de caractériser ce qui relève de la pathologie de ce qui relève de la médication. De plus, les éléments mis en avant sont peu discriminants. Les patients ont une maîtrise moins bonne de ces niveaux linguistiques, mais ce sont leurs capacités

<footnote n="1">1. https://team.inria.fr/semagramme/fr/slam/</footnote>
cognitives en général qui semblent dégradées (Docherty et al., 1996). Il apparaît alors que travailler sur le discours des personnes avec schizophrénie c'est aussi travailler sur les capacités cognitives.

La détection automatique de troubles schizophréniques est un champ de recherche actif, avec des études qui se concentrent principalement sur deux types de caractéristiques : signaux biomédicaux du type électro-encéphalographie (EEG) et images de résonance magnétique (IRM) (Greenstein et al., 2012; Sabeti et al., 2011). Les études fondées sur les données langagières sont encore assez rares, mais un courant de recherche émerge ces dernières années dans le domaine de l'identification automatique de différents troubles comme la dépression, seule (Pestian et al., 2017) ou associée à d'autres troubles comme le syndrome post-traumatique (PTSD) (Pedersen, 2015) et les pré-symptômes de la maladie d'Alzheimer (Jarrold et al., 2010).

Quelques études ont été spécifiquement consacrées à la schizophrénie. Dans la première étude dédiée à ce problème, Strous et al. (2009) utilisent des écrits de personnes avec schizophrénie pour construire des systèmes de classification fondés sur des informations lexicales et obtiennent une exactitude de 83,3%. Ils observent des traits particuliers aux personnes avec schizophrénie comme un usage plus restreint de prépositions et une sur-représentation de la première personne. Ensuite, plusieurs études ont été menées à partir de messages écrits sur Twitter par des personnes s'auto-identifiant avec schizophrénie. Mitchell et al. (2015) ont collecté des données pour 174 patients (3200 *tweets*) et testé différents ensembles de traits lexicaux, comme des catégories sémantiques issues de lexique ou des clusters Brown : ils présentent des systèmes de classification (SVM) avec au mieux 82,3% d'exactitude. Cette étude est étendue dans (Birnbaum et al., 2017) à partir de 1,9 millions de *tweets* collectés pour 146 patients. Ils obtiennent également des scores hauts, avec 90,0% d'exactitude, avec des traits lexicaux, notamment des catégories du LIWC (Pennebaker et al., 2001). Ils observent comme précédemment une utilisation accrue des pronoms de première personne, ainsi que les termes appartenant au champ lexical de la santé.

Enfin, Kayi et al. (2017); Allende-Cid et al. (2019) ont exploré d'autres représentations notamment en se fondant sur des informations morpho-syntaxiques et syntaxiques. Allende-Cid et al. (2019) utilisent des textes narratifs rédigés par les sujets (13 personnes avec schizophrénie et 50 témoins) et démontrent que les catégories morpho-syntaxiques permettent déjà des performances assez hautes, 82,8% de F1. Kayi et al. (2017) ont eux étudié à la fois des *tweets* (174 sujets par groupe) et des textes narratifs (environ 95 sujets par groupe). Ils utilisent des informations syntaxiques, sémantiques (rôles sémantiques, LDA, clusters) et pragmatiques (sentiments), ces deux dernières se révélant particulièrement utiles pour les données issues de réseaux sociaux (81,65% en F1), tandis que, comme dans l'étude précédente, les traits morpho-syntaxiques se révèlent efficaces sur les textes narratifs (69,76% de F1).

Toutes ces études mettent en jeu des corpus différents dont les données ne sont forcément disponibles, les comparaisons entre études sont donc difficiles. Elles mettent cependant clairement en lumière le fait que les personnes atteintes de schizophrénie présentent des spécificités dans leur usage de la langue à différents niveaux, et nous testons également dans cette étude les informations lexicales, morpho-syntaxiques et syntaxiques mis en oeuvre dans des modèles de classification mais sur des données dialogiques et en français.

Différentes études ont déjà proposé des analyses du corpus du projet SLAM, sur les disfluences, les POS et la lexicographie (Amblard et al., 2015; Amblard & Fort, 2014), ainsi que sur des aspects discursifs (Rebuschi et al., 2014), notamment en s'appuyant sur une représentation de l'interaction adaptée de la S-DRT (Asher et al., 2003). Ces différents travaux permettent d'avoir une modélisation fine de l'interaction, et des caractérisations sur ces niveaux linguistiques. Dans la présente étude, nous
reprenons l'analyse des usages langagiers à travers le développement d'un système de classification.

# 3 Origine et caractérisation des données

Dans la suite, nous appelons "entretien" le dialogue originel entre une personne avec schizophrénie (ou un témoin) et un psychologue, "document" les transcriptions de ces entretiens. Ces entretiens sont constitués des tours de parole (TDP) de chaque locuteur, et nous appelons cTDP la concaténation de tous les tours de parole d'un locuteur au sein d'un document.

**Le corpus SLAM :** Le corpus a été développé dans le cadre du projet SLAM<fnref n="2" />. Les entretiens sont réalisés en milieu hospitalier auprès de patients diagnostiqués par des médecins-psychiatres et des psychologues de l'institution d'accueil. L'entretien est associé à des tests neuropsychologiques permettant de mesurer les aptitudes des patients sur différents plans (capacité de mémoire de travail, fluence verbale, attention, vitesse motrice, fonctions exécutives, etc). Les interactions verbales des patients avec une psychologue sont par ailleurs enregistrées réalisent au cours d'un entretien semi dirigé. La participation des patients est libre et les éléments recueillis lors de l'expérience ne sont pas utilisés par l'équipe médicale pour le suivi du patient. Il y a donc une vraie liberté dans l'entretien. Les thématiques abordées restent simples (quotidien du patient, historique médical, anamnèse avant l'hospitalisation, etc). Ces entretiens sont enregistrés avec un double système d'eye-tracker permettant de travailler en parallèle sur les mouvements de regard des deux locuteurs. Les entretiens sont conduits par une psychologue qui n'est pas engagée personnellement dans le dialogue. Il ne s'agit donc pas d'une situation d'interaction symétrique du quotidien, la parole du patient se rapproche d'un monologue. Ceci explique notre choix d'extraire la production langagière du locuteur et de l'isoler comme un tout cohérent.

**Description des données :** Le corpus est composé de 41 documents, 18 personnes avec schizophrénie et 23 témoins pour le groupe contrôle. Une seule psychologue interroge ces 41 sujets. Chacun de ces groupes contient 15 sujets masculins, le reste (donc 3 et 8) étant féminin. Cette répartition présente donc un biais. Il est admis qu'il existe des différences significatives selon le genre (aspects cliniques et paracliniques) (Douki Dedieu et al., 2012). En ce moment, la majorité des études porte surtout sur des sujets mâles et nous pensons que ces différences devront être prises en compte dans la démarche diagnostique.

De manière non surprenante, les personnes avec schizophrénie ont, en moyenne, le même nombre de TDP par document que la psychologue (199,9 vs. 200,2). Par contre, ils parlent plus (2675,5 mots par document) et leurs phrases sont plus longues (13,4 mots par phrase) par rapport à la psychologue (1814,6 mots par document, 9,1 mots par phrase). Les témoins s'expriment sensiblement plus (342 TDP et 3305 mots par document) avec des phrases plus courtes (10,5 mots par phrase). Les personnes avec schizophrénie ont par ailleurs un taux plus élevé d'utilisation de mots grammaticaux (n'appartenant pas aux catégories : nom, verbe, adverbe ou adjectif) que la psychologue ou les témoins (SCZ 56% vs. témoins 51% vs. psychologue 50%).

<footnote n="2">2. Pour Amblard et al. (2014), le contenu des entretiens donnait de nombreux éléments géographiques et biographiques du patient et son entourage que l'anonymisation ne suffit pas à rendre opaque, la distribution des données est difficile.</footnote>
Parmi les mots les plus utilisés, que ce soit chez les personnes avec schizophrénie ou les témoins, nous observons plusieurs thématiques :

- Pour les personnes avec schizophrénie : typiquement des mots liés à la douleur comme "maladie", "hospitalisation", "hallucinations". Ce point correspond au label *Catastrophe* parmi les top semantic features observés par Kayi *et al.* (2017) qui présentent, dans leur étude, des traits linguistiques prédictifs des personnes avec schizophrénie à l'écrit. De ce point de vue, l'analyse empirique donne corps au contexte conversationnel au sein duquel les patients étaient amenés indirectement à évoquer les prémices de l'entrée dans la maladie. Nous constatons également une utilisation plus fréquente du mot "je" chez les personnes avec schizophrénie.

- Pour les témoins : des mots liés à l'éducation comme "master", "thèse", "licence" et à la psychologie comme "psychiatre" et "psychologue" ressortent significativement. Il se trouve que les sujets témoins sont majoritairement des étudiants de 1er ou 2me année inscrits dans une filière de sciences humaines.

Ces différences dépendent en grande partie des thématiques de conversation choisis par les sujets. Les patients sont censés parler de leur quotidien qui recoupe de fait des réalités différentes ce qui explique les différences de champ lexical. Ceci pourrait donc correspondre à un biais dans nos données.

# 4 Expériences

Nous présentons les résultats de classification entre locuteurs schizophrènes et non schizophrènes à partir de leurs interventions dans des dialogues transcrits.

Dans ces expériences, nous avons choisi comme première approche d'isoler les tours de parole de chaque locuteur dans les dialogues : nous extrayons et concaténons les TDP de personne avec schizophrénie (respectivement du témoin) dans le dialogue considéré et utilisons cette concaténation comme instance de classification (les cTDP du psychologue sont ici ignorées). La classification est alors traitée à partir de documents longs, contrairement à une approche à partir du dialogue (i.e. une instance de classification serait un tour de parole) qui se construirait sur la succession d'interventions courtes contenant trop peu d'information pour une classification précise. Cette approche nous permet d'englober tout la production d'un interlocuteur donné, mais elle a le désavantage de perdre le contexte fourni par l'autre interlocuteur, donc les éléments d'interaction. Ces aspects sont reportés à de futurs développements.

Par ailleurs, nous nous sommes concentrés sur des traits linguistiques directement extraits des transcriptions. Il est cependant certain que des informations non linguistiques seraient crucales pour cette tâche, comme le non verbal, le genre, l'âge, ainsi que les résultats des patients obtenus aux tests neurocognitifs. Là aussi, de futurs développements intégrant le comportement oculomoteur pourrait être pris en compte.

## 4.1 Représentation des données

Les cTDP des personnes avec schizophrénie sont libellées comme des instances positives, et celles des témoins comme des instances négatives. Les traits sont construits à partir d'informations lexicales, morpho-syntaxiques et syntaxiques.
<table><caption>TABLE 1: Nombre de traits à l'origine ("#orig.") et sélectionnés ("#selec.") par les classifieurs</caption><thead><tr><th>Type de traits</th><th>Classifieur</th><th>#Orig.</th><th>Seuil</th><th>#Sélec.</th><th>Ratio %</th></tr></thead><tbody><tr><td>bow</td><td>NB</td><td>6504</td><td>9</td><td>6488</td><td>99,75</td></tr><tr><td>bow</td><td>SVM</td><td>6504</td><td>méd.</td><td>3254</td><td>50,03</td></tr><tr><td>n-gram</td><td>SVM</td><td>118473</td><td>8</td><td>98</td><td>0,08</td></tr><tr><td>treelet</td><td>SVM</td><td>16865</td><td>3</td><td>675</td><td>4,00</td></tr><tr><td>bow + treelet</td><td>NB</td><td>23369</td><td>8</td><td>11684</td><td>49,99</td></tr><tr><td>bow + treelet</td><td>SVM</td><td>23369</td><td>moy.</td><td>3434</td><td>14,69</td></tr><tr><td>bow + n-gram</td><td>SVM</td><td>124977</td><td>4</td><td>491</td><td>0,39</td></tr><tr><td>n-gram + treelet</td><td>SVM</td><td>135338</td><td>4</td><td>552</td><td>0,41</td></tr><tr><td>bow + n-gram + treelet</td><td>SVM</td><td>141842</td><td>5</td><td>257</td><td>0,18</td></tr></tbody></table>

**Traits lexicaux** : Un document est représenté par les mots (tokens) qui le constituent sans tenir compte de l'ordre (sac de mots, bow). Cette représentation est la plus simple et sert de système de référence. Ce modèle permet par ailleurs d'identifier de potentielles préférences lexicales. Nous testons également une représentation en *n*-grammes sur les tokens (*n*-gram), afin de prendre en compte partiellement l'ordre des mots. Notons que les *n*-grammes peuvent contenir des mots à cheval sur différentes prises de parole d'un même locuteur, et donc encoder une partie du contexte dialogique. Nous testons des bi-grammes et des tri-grammes. Les données sont normalisées en utilisant le TF-IDF.

**Traits morpho-syntaxiques et syntaxiques** : Nous utilisons UDPipe<fnref n="3" /> (Straka & Straková, 2017). Comme nos données sont dialogiques, les modèles classiques donnent d'assez mauvais résultats. Nous utilisons donc un modèle ré-entraîné sur un corpus oral du français (Spoken-French 2.5⁴). Le pré-traitement supprime la ponctuation et segmente minimalement (par exemple, ajout d'un espace pour les apostrophes). Nous obtenons un étiquetage morpho-syntaxique et l'analyse syntaxique en dépendances correspondante. Afin d'encoder les traits syntaxiques, nous utilisons la méthode proposée dans (Johannsen et al., 2015) qui consiste à extraire tous les sousarbres d'au plus 3 tokens (treelet). Ces auteurs s'intéressaient, eux, aux variations syntaxiques liées au genre et à l'âge. Un treelet d'1 token correspond simplement au POS associé. Un treelet contenant 2 tokens est une relation typée entre une tête et un dépendant, par exemple : 'VERB→nsubj→NOUN'. Un treelet sur 3 tokens peut avoir deux formes, selon que l'on a une tête dominant deux dépendants ('NOUN←nsubj←VERB→dobj→NOUN') ou une chaîne de dépendances ('PRON←poss←NOUN←nsubj←VERB').

**Sélection de traits** : Les trois ensembles de traits construits correspondent à des vocabulaires larges (voir la table 1). Notre problème d'apprentissage est confronté à des données rares (41 instances) mais de dimension élevée, ce qui conduit généralement à des problèmes de sur-apprentissage et de manque de généralisation des modèles. Nous incluons une sélection des traits au cours de l'entraînement avec une méthode implémentée<fnref n="5" /> dans scikit-learn (Pedregosa et al., 2011). En calculant les coefficients (ou poids) attribués par un modèle à chaque trait et en ne conservant que ceux dont le poids est supérieur

<footnote n="3">3. http://ufal.mff.cuni.cz/udpipe</footnote>

<footnote n="4">4. https://tinyurl.com/UniversalDependencies-French-S</footnote>

<footnote n="5">5. feature_selection>SelectFromModel https://scikit-learn.org/</footnote>
à un seuil, cette méthode permet de sélectionner les traits importants. Nous testons sans sélection (seuil None), puis avec un seuil correspondant à la moyenne et la médiane sur les poids obtenus, ainsi que 10 valeurs régulièrement distribuées entre $1e-5$ (la valeur par défaut dans l'implémentation utilisée) et le poids du 50ᵉ trait le plus important. Cette valeur maximale choisie *a priori* permet de conserver au minimum 50 traits dans le modèle.

La sélection de traits nous permet de réduire drastiquement la taille du vocabulaire, comme indiqué dans la table 1. Notons que NB conduit généralement à conserver plus de traits, la distribution des coefficients étant plus continue.

## 4.2 Classification

Nous avons trop peu de données (41 documents) pour séparer les données entre entraînement et test, nous utilisons une validation croisée enchâssée permettant d'obtenir une estimation réaliste de l'erreur du modèle (Varma & Simon, 2006; Scheffer, 1999). Contrairement à une simple validation croisée, le modèle est choisi sur un ensemble de données différent de celui utilisé pour l'évaluation. Cette méthode repose sur deux boucles : à l'extérieur, un sous-ensemble parmi N est conservé pour l'évaluation, tandis qu'à l'intérieur, une validation croisée en M sous-ensembles permet d'optimiser le modèle (choix des hyper-paramètres et sélection de traits), le processus est répété N fois, ici $N = M = 5$.

**Modèles** : Nous testons différents modèles de classification implémentés dans ScikitLearn en optimisant les hyper-paramètres suivants :

- Naive Bayes : paramètre de lissage $\alpha \in V = \{0.001, 0.005, 0.01, 0.1, 0.5, 1, 5, 10, 100\}$;

- Régression logistique : norme L₂, et optimisation du coefficient de régularisation $C \in V$;

- SVM avec noyau linéaire : norme L₂, et optimisation de $C \in V \cup \{1000\}$.

Pendant le processus de validation, nous optimisons les hyper-paramètres dans les boucles intérieures. Ces hyper-paramètres restent relativement stables sur l'ensemble des expériences pour chaque modèle et chaque type de trait. Les valeurs des hyper-paramètres choisis sont, pour NB, $\alpha = 0,1$, avec ngram, 0,001 avec bow, treelet, bow+treelet, 0,01 dans les autres cas ; pour MaxEnt, $C = 100$ pour tous les traits ; pour SVM, on trouve $C = 1000$ pour treelet, $C = 100$ pour bow, n-gram et n-gram+treelet, sinon $C = 5$.

# 5 Résultats

## 5.1 Systèmes de référence

Nous reportons dans la table 2 les résultats de nos systèmes de référence. Le classifieur correspondant à la chance, qui attribue systématiquement la classe majoritaire (ici témoin), a une exactitude de 56,1%. Par ailleurs, nous avons examiné trois autres systèmes de référence : deux testant un indice simple de complexité des mots et le troisième la différence d'utilisation des déictiques "je" et "tu".

Avec l'hypothèse que les personnes avec schizophrénie utilisent des mots moins complexes, nous testons des systèmes fondés sur, simplement, la taille moyenne des mots ou, pour introduire une forme de normalisation, la taille moyenne des mots au dessus de la taille moyenne de tous les mots.
<table><caption>TABLE 2: Résultats des systèmes de référence : classe majoritaire, longueur des mots, longueur des mots supérieure à la moyenne, ratio d'utilisation des déictiques "je" et "tu"</caption><thead><tr><th></th><th>Acc.</th><th>Prec.</th><th>Rec.</th></tr></thead><tbody><tr><td>Majorité</td><td>56,10</td><td></td><td></td></tr><tr><td>long. mot</td><td>49,51</td><td>17,21</td><td>11,11</td></tr><tr><td>&gt; long. moy. mot</td><td>52,43</td><td>37,43</td><td>22,78</td></tr><tr><td>ratio je/tu</td><td><strong>72,19</strong></td><td><strong>69,87</strong></td><td><strong>35,56</strong></td></tr></tbody></table>

<figure><img src="image_14.png" /><figcaption>FIGURE 1: Ratio je / tu par document</figcaption></figure>

Les deux classifieurs donnent des résultats inférieurs à la chance (exactitude de, resp., 49,51% et 52,43%), la longueur des mots n'est donc pas une information pertinente pour cette tâche.

Comme de précédentes études ont noté l'importance des pronoms de première personne pour la tâche, nous testons également un système fondé sur le ratio des déictiques "je" et "tu" (normalisé en logarithme) dans chacune des deux classes. Le système obtient de meilleurs résultats, largement au dessus de la chance (72,19% d'exactitude). La figure 1 montre que, dans nos données, les témoins (étiquette -1) ont un taux quasiment similaire d'utilisation de ces déictiques (majorité des documents autour de 0) tandis que les personnes avec schizophrénie (resp. 1) favorisent la première personne.

## 5.2 Meilleurs systèmes

La table 3 présente les résultats obtenus par les différents classifieurs pour les différents ensembles de traits testés. Le meilleur système obtient 93,66% d'exactitude (F1 92,21%), il est fondé sur l'algorithme bayésien naïf (NB) et les traits de type sac de mots (bow). Avec SVM, nous obtenons 90,98% d'exactitude (89,79 en F1). Ces résultats sont supérieurs à ceux présentés dans (Allende-Cid et al., 2019) (87,50% en F1) qui utilisent également une représentation sac de mots et SVM mais un corpus plus large, et également supérieurs à ceux présentés dans (Birnbaum et al., 2017), ceux-ci obtenant 90% d'exactitude sur des données Twitter également plus nombreuses, avec des traits de type n-grammes (n = 1, 2 et 3, donc correspondant ici à bow+n-gram) ainsi que des catégories sémantiques issues du lexique LIWC (Pennebaker et al., 2001) et un classifieur de type Random Forest. Ceci pourrait indiquer que nous avons un vocabulaire plus restreint et peut-être biaisé dans nos données. Le second meilleur système, 92,20% d'exactitude (F1 90,38%), est obtenu avec ces mêmes traits lexicaux combinés aux traits syntaxiques (bow+treelet) et également NB.

De manière assez classique, les meilleurs scores sont obtenus avec le classifieur SVM, sauf lorsque les traits bow sont pris seuls ou du moins dominent (dans la combinaison avec les treelet, la phase de sélection a tendance à plus largement supprimé des traits de cette catégorie que des traits sac de mots, cf. table 1), auxquels cas c'est NB qui permet les meilleures performances.

Comme les différences observées entre les scores sont assez faibles et que la taille du corpus est restreinte, nous avons vérifié la significativité statistique de certains résultats : notamment, nous cherchons à vérifier si NB est vraiment supérieur à SVM (±3,66% avec bow, ±3,42% avec bow+treelet), et si ces deux ensembles de traits correspondent à des performances différentes (±1,46 avec NB et ±2,2 avec SVM). Nous utilisons le test de Student qui est interprétable avec un échantillon de très petite
<table><caption>TABLE 3: Exactitude moyenne ("Avg Acc.") sans ou avec sélection ("SVM", "MaxEnt" et "NB") pour chaque ensemble de traits</caption><thead><tr><th>Algorithme<br>Sélection</th><th>SVM<br>non</th><th>SVM<br>oui</th><th>MaxEnt<br>oui</th><th>NB<br>oui</th></tr></thead><tbody><tr><td>bow</td><td>90,00</td><td>90,98</td><td>87,07</td><td><strong>93,66</strong></td></tr><tr><td>n-gram</td><td>68,78</td><td><strong>81,71</strong></td><td>79,76</td><td>65,61</td></tr><tr><td>treelet</td><td>61,46</td><td><strong>66,83</strong></td><td>58,29</td><td>58,05</td></tr><tr><td>bow+n-gram</td><td>80,49</td><td><strong>88,54</strong></td><td>86,59</td><td>70,49</td></tr><tr><td>bow+treelet</td><td>87,07</td><td>88,78</td><td>84,88</td><td><strong>92,20</strong></td></tr><tr><td>n-gram+treelet</td><td>68,54</td><td><strong>80,73</strong></td><td>77,56</td><td>62,20</td></tr><tr><td>bow+n-gram+treelet</td><td>80,98</td><td><strong>85,85</strong></td><td>84,15</td><td>77,07</td></tr></tbody></table>

<table><caption>TABLE 4: Résultats des Tests de Student pour la comparaison de classificateurs</caption><thead><tr><th colspan="2">Groupe d'échantillons</th><th>t-statistique</th><th>p-value</th><th>d de Cohen</th><th>Taille d'effet</th></tr></thead><tbody><tr><td>bow_nb</td><td>bow_svm</td><td>2,74</td><td>0,01</td><td>1,23</td><td>fort</td></tr><tr><td>bow+treelet_nb</td><td>bow+treelet_svm</td><td>2,10</td><td>0,05</td><td>0,94</td><td>fort</td></tr><tr><td>bow_nb</td><td>bow+treelet_nb</td><td>1,21</td><td>0,24</td><td>0,54</td><td>moyen</td></tr><tr><td>bow_svm</td><td>bow+treelet_svm</td><td>1,49</td><td>0,15</td><td>0,67</td><td>moyen</td></tr></tbody></table>

taille, en particulier si la taille d'effet (effect size, calculée en utilisant le coefficient *d* de Cohen<fnref n="6" />) et la corrélation entre les échantillons (*t*-statistiques) sont suffisamment importantes (De Winter, 2013).

Les résultats sont présentés dans la table 4. Ces tests démontrent que l'algorithme NB permet effectivement des performances significativement supérieures à celles obtenues avec SVM (*p*-value ≤ 0,05). Par contre, l'algorithme étant fixé, la perte en performance observée en ajoutant les informations syntaxiques (*treelet*) n'est pas significative, cette combinaison n'apporte rien.

Le volume de données étant limité, les erreurs de classement des documents entraînent une variation importante des résultats. Ainsi, SVM a en fait systématiquement un meilleur rappel (pour bow : 90,56 vs 86,11; pour bow+treelet : 86,67 vs 84,44) et, pour bow, il classe correctement 16,3 instances de personnes avec schizophrénie contre 15,5 pour NB (sur 18) tandis que NB classe généralement correctement toutes les instances de témoins, donc la classe majoritaire.

## 5.3 Différents jeux de traits

Les informations lexicales semblent clairement les plus pertinentes pour la tâche : après bow, ce sont les *n*-gram qui conduisent aux meilleures performances (au mieux, 81,71% d'exactitude) tandis que les performances sont bien plus basses (66,83% d'exactitude, 57,30% en F1) avec les traits syntaxiques (*treelet*) pris seuls. Ce score est supérieur à la chance (56,10%) ce qui semble indiquer qu'un signal est présent, mais largement moins discriminant que l'information lexicale et apparemment non complémentaire, comme le montre l'absence d'amélioration lorsque les traits sont

<footnote n="6">6. Traditionnellement, un *d* autour de 0,2 est décrit comme un effet faible, 0,5 moyen et 0,8 comme fort.</footnote>
<figure><img src="image_15.png" /><figcaption>FIGURE 2: Score d'exactitude en fonction des seuils de sélection pour les traits</figcaption></figure>

combinés (seconde partie de la table 3). Par contre, le système fondé sur les *treelet* obtient un score d'exactitude inférieur au système de référence utilisant le ratio de déictique, ce qui démontre l'importance de cette information pour la tâche. Kayi *et al.* (2017) rapportent des scores supérieurs (F1 de 68,48% pour les textes narratifs et 63,19% pour les tweets)) avec le même algorithme (SVM) et en ne considérant que les POS, pourtant inclus dans *treelet*. Cette baisse est attribuable soit au bruit amené par les autres traits pris en compte dans notre système (*treelet* de 2 ou 3 tokens, cf. Section 4.1) soit à la taille des données, ces auteurs disposant de plus d'instances de classification (348 tweets ou 190 textes narratifs contre 41 ici).

Dans nos expériences, combiner les traits ne conduit à aucune amélioration, voire dégrade les performances. L'information contenue dans les traits lexicaux semblent redondantes, puisque combiner *bow* et *n-gram* laissent les performances inchangées avec sélection. Sans sélection, on peut constater (cf. figure 2, seuil "None") que cette combinaison surpasse *n-gram* seul mais pas *bow* seul. La représentation par *n-gram* ne semble ici pas adapté, peut-être à cause des chevauchements entre tours de parole. Par ailleurs, comme le montre la figure 2, l'étape de sélection est cruciale, elle permet une amélioration pour tous les traits, et les meilleurs scores sont très généralement obtenus avec des seuils hauts.

# 6 Analyse des traits

**Traits lexicaux** : Afin d'évaluer la pré-dominance de certains champs lexicaux, nous utilisons le test de corrélation de Spearman pour classer les tokens et regardons ceux avec les plus hautes valeurs ($p$-valeur < 0,05 et coefficient $|ρ| > 0,3$). Nous obtenons 210 mots, une sélection est présentée dans la table 5. Les termes relatifs à la pathologie comme "maladie, traitement, médecin, diagnostic" sont positivement corrélés à la classe schizophrène, tandis que des termes relatifs à la scolarité comme "licence, thèse" et à la vie comme "vacances, bio, monde" reçoivent des poids négatifs, ce qui rejoint les observations de la Section 3. Par ailleurs, les sujets avec schizophrénie utilisent plus de références à la première personne, ce que l'on voit avec des déictiques ("j'" ("je"), "mon", "ma", "mes") ainsi que des formes d'auxiliaires ("suis" et "ai") tandis que les témoins utilisent plus de références de seconde personne ("tu", "es" et "as"). Nous évaluons également l'impact de ces traits dans les modèles : en ignorant "je" et "tu" (et les formes élidées "j'" et "t'"), nous constatons une chute faible de l'exactitude
<table><caption>TABLE 5: Valeurs ρ et p du test de Spearman pour les mots traits</caption><thead><tr><th>Vocabulaire</th><th>ρ</th><th>p-value</th></tr></thead><tbody><tr><td>Douleur</td><td></td><td></td></tr><tr><td>maladie</td><td>0,540</td><td>&lt; 1e-3</td></tr><tr><td>hospitalisé</td><td>0,509</td><td>&lt; 1e-3</td></tr><tr><td>hallucinations</td><td>0,420</td><td>0,006</td></tr><tr><td>Éducation</td><td></td><td></td></tr><tr><td>master</td><td>-0,505</td><td>&lt; 1e-3</td></tr><tr><td>concours</td><td>-0,496</td><td>&lt; 1e-3</td></tr><tr><td>fac</td><td>-0,490</td><td>0,001</td></tr></tbody></table><table><thead><tr><th>Vocabulaire</th><th>ρ</th><th>p-value</th></tr></thead><tbody><tr><td>Psycho</td><td></td><td></td></tr><tr><td>psychologie</td><td>-0,536</td><td>&lt; 1e-3</td></tr><tr><td>psychologue</td><td>-0,453</td><td>0,002</td></tr><tr><td>Déictique</td><td></td><td></td></tr><tr><td>j' / je</td><td>0,635</td><td>&lt; 1e-5</td></tr><tr><td>mon</td><td>0,613</td><td>&lt; 1e-5</td></tr><tr><td>t' / tu</td><td>-0,467</td><td>0,002</td></tr><tr><td>nous</td><td>-0,342</td><td>0,028</td></tr></tbody></table>

avec NB (−0,49%) mais importante avec SVM (−6,59%).

Ces observations rejoignent les conclusions d'études précédentes : par exemple, Strous et al. (2009) argumentent qu'une utilisation plus importante des déictiques à la première personne et moins de références aux sujets à la troisième personne, accompagnée par des répétitions lexicales sont des caractéristiques de sujets renfermés sur eux-même. D'autres études ont également affirmé que l'utilisation de la première personne du singulier est associée à des états affectifs négatifs tels que la dépression (Rude et al., 2004; Chung & Pennebaker, 2007). Évidemment, ce type de résultat est à apprécier relativement aux conditions contextuelles et conversationnelles dans lesquelles les données sont recueillies.

**Traits syntaxiques** : Pour les traits syntaxiques (voir la table 6), les verbes semblent un marqueur fort des personnes avec schizophrénie tandis que les noms apparaissent plus souvent dans le corpus des témoins. Les statistiques des 2-token treelet tendent à indiquer que les personnes avec schizophrénie utiliseraient plus de groupes verbaux et moins de groupes nominaux. Ainsi le 2-token treelet "VERB→aux→AUX" (par exemple : "(j')ai fait", "(c')est (pas) gagné") et "VERB→nsubj→PRON" (par exemple : "ça va", "(je) sais pas") sont les traits les plus discriminants des personnes avec schizophrénie. Une forte utilisation des auxiliaires montre aussi que les personnes avec schizophrénie parlent souvent du passé, de ce qu'ils ont fait. Côté témoins, on trouve plus de relations qui capturent des nominaux : "expl" capture des nominaux explicatifs ou pléonastiques; les cas ("case") sont traités comme des dépendants du nom auquel ils s'attachent souvent avec des adpositions 7 (par exemple : "(fait partie) de l'expérience").

# 7 Conclusion

Nous avons proposé les premiers systèmes d'identification automatique de personnes atteintes de schizophrénie dans des données dialogiques et en français. Nous avons testé différentes représentations, incluant des informations lexicales, morpho-syntaxiques et syntaxiques, ainsi que différents classifieurs. Notre meilleur système utilise des informations lexicales uniquement et obtient une exactitude de 93,66 avec le classifieur NB. Cependant, l'étude des données et des modèles nous a permis

<footnote n="7">7. Dans le format conllu, l'adposition recouvre les prépositions et postpositions.</footnote>
<table><caption>TABLE 6: Traits typiques des classes SCZ et témoins ($p$-value <0,05 pour les 2-tokens et 3-tokens)</caption><thead><tr><th>treelet</th><th>SCZ</th><th>ρ</th><th>Témoin</th><th>ρ</th></tr></thead><tbody><tr><td>1-token</td><td>verb</td><td>0,21</td><td>noun</td><td>-0,17</td></tr><tr><td rowspan="3">2-token</td><td>verb→aux→aux</td><td>0,41</td><td>pron→nsubj→pron</td><td>-0,64</td></tr><tr><td>verb→nsubj→pron</td><td>0,37</td><td>cconj→nsubj→pron</td><td>-0,46</td></tr><tr><td>aux→advcl→verb</td><td>0,34</td><td>propn→conj→pron</td><td>-0,46</td></tr><tr><td rowspan="3">3-token</td><td>pron→nsubj→verb←iobj←pron</td><td>0,51</td><td>pron→obj→verb←mark←sconj</td><td>-0,66</td></tr><tr><td>aux→aux→verb←obl←pron</td><td>0,49</td><td>adp→mark→verb←det←det</td><td>-0,39</td></tr><tr><td>adj→advcl→verb←nsubj←pron</td><td>0,47</td><td>verb→expl→noun→case→adp</td><td>-0,36</td></tr></tbody></table>

d'identifier de potentiels biais lexicaux dans notre corpus, notamment à travers un groupe témoins dont le vocabulaire est centré sur les études, et des patients habitués à décrire leur environnement médical, ce qui rend probablement nos modèles peu robustes.

Par ailleurs, nous nous limitons au contenu linguistique de l'échange sans considérer l'évolution de la phonologie, de la phonétique, ni ce qui appartient au non-verbal (position, regards, etc.). Cependant, ce groupe reste selon nous pertinent pour aller vers le développement d'applications ciblées, comme la détection de changement d'états chez les patients ou l'adaptation automatique d'un *chatbot* par exemple.

Dans une extension de l'étude nous souhaitons tester d'autres classifieurs comme random forest ou des perceptrons. Par ailleurs, nous souhaitons tester plus de traits certains toujours linguistiques comme les déictiques, et surtout intégrer des informations sémantiques comme des connecteurs, d'autres extra linguistiques, en particulier les résultats aux tests neuro-cognitifs. Il nous apparaît aussi primordial de nous intéresser à la production langagière dans sa dynamique en l'analysant comme un dialogue et pas seulement comme un quasi-monologue.

Les résultats obtenus montrent que si les classifications ne sont pas parfaitement opérantes, elles ouvrent vers des indices intéressants. Des analyses récentes tendent à prouver qu'il ne faut pas limiter l'analyse à la seule production des patients. De manière surprenante, il semble que les interlocuteurs des personnes avec schizophrénie adaptent leur manière de parler à leur interlocuteur. Ainsi, tout un chacun identifierait inconsciemment des défaillances chez l'autre, les spécialistes interprétant ces indices de façon diagnostique. Ainsi, un prolongement de cette étude doit s'intéresser à la production langagière du psycho-thérapeute soit en face d'un patient, soit en face d'un témoin.

## Remerciements

Nous remercions les relecteurs pour leurs commentaires pertinents. Ce travail a obtenu le soutien du projet PIA "Lorraine Université d'Excellence", ANR-15-IDEX-04-LUE, ainsi que les infrastrustures du CPER LCHN (Contrat de Plan État-Région - Langues, Connaissances et Humanités Numériques). Nous remercions le Centre Hospitalier Le Vinartier pour avoir contribué de manière décisive à la mise en place de l'expérimentation.
Références

ALLENDE-CID H., ZAMORA J., ALFARON-FACCIO P. & ALONSO M. (2019). A machine learning approach for the automatic classification of schizophrenic discourse. *IEEE Access*, p. 45544–45554.
DOI: 10.1109/ACCESS.2019.2908620.

AMBLARD M. & FORT K. (2014). Étude quantitative des disfluences dans le discours de schizoprènes : automatiser pour limiter les biais. In *TALN - Traitement Automatique des Langues Naturelles*, p. 292–303, Marseille, France. HAL: hal-01054391.

AMBLARD M., FORT K., DEMILY C., FRANCK N. & MUSIOL M. (2015). Analyse lexicale outillée de la parole transcrite de patients schizoprènes. *Traitement Automatique des Langues*, **55**(3), 91 – 115. HAL: hal-01188677.

AMBLARD M., FORT K., MUSIOL M. & REBUSCHI M. (2014). L'impossibilité de l'anonymat dans le cadre de l'analyse du discours. In *Journée ATALA éthique et TAL*, Paris, France. HAL : hal-01079308.

ANDREASEN N. C. (1979). Thought, language, and communication disorders: I. clinical assessment, definition of terms, and evaluation of their reliability. *Archives of general Psychiatry*, **36**(12), 1315–1321.

ASHER N., ASHER N. M. & LASCARIDES A. (2003). *Logics of conversation*. Cambridge University Press.

ASSOCIATION A. P. et al. (2015). *DSM-5-Manuel diagnostique et statistique des troubles mentaux*. Elsevier Masson.

BESCHE-RICHARD C., TERRIEN S., RINALDI R., VERHAEGEN F., LEFEBVRE L. & MUSIOL M. (2018). Les troubles du spectre de la schizophrénie. In C. BESCHE-RICHARD, Éd., *Psychopathologie cognitive. Enfant, adolescent, adulte*, Univers Psy, chapitre 6, p. 153–179. Dunod.

BIRNBAUM M. L., ERNALA S. K., RIZVI A. F., DE CHOUDHURY M. & KANE J. M. (2017). A collaborative approach to identifying social media markers of schizophrenia by employing machine learning and clinical appraisals. *Journal of medical Internet research*, **19**(8), e289. DOI: 10.2196/jmir.7956.

CHAIKA E. (1974). A linguist looks at "schizophrenic" language. *Brain and language*, **1**(3), 257–276.

CHUNG C. & PENNEBAKER J. W. (2007). The psychological functions of function words. In K. FIEDLER, Éd., *Social Communication*, volume 1, chapitre 12, p. 343–359. Psychology Press. DOI: 10.4324/9780203837702.

DE WINTER J. C. (2013). Using the student's t-test with extremely small sample sizes. *Practical Assessment, Research, and Evaluation*, **18**. DOI: 10.7275/e4r6-dj05.

DOCHERTY N. M., HAWKINS K. A., HOFFMAN R. E., QUINLAN D. M., RAKFELDT J. & SLEDGE W. H. (1996). Working memory, attention, and communication disturbances in schizophrenia. *Journal of Abnormal Psychology*, **105**(2), 212–219. DOI: 10.1037/0021-843X.105.2.212.

DOUKI DEDIEU S., OUALI U. & NACEF F. (2012). Schizophrénie et genre. In J. DALÉRY, T. D'AMATO & M. SAOUD, Éds., *Pathologies schizophréniques*, Psychatrie, p. 199–205. Lavoisier.

FRASER W. I., KING K. M., THOMAS P. & KENDELL R. E. (1986). The diagnosis of schizophrenia by language analysis. *The British Journal of Psychiatry*, **148**(3), 275–278.

FROMKIN V. A. (1975). A linguist looks at "linguist looks at 'schizophrenic language'". *Brain and Language*, **2**, 498–503. DOI: 10.1016/S0093-934X(75)80087-3.
GREENSTEIN D., WEISINGER B., MALLEY J. D., CLASEN L. & GOGTAY N. (2012). Using multivariate machine learning methods and structural MRI to classify childhood onset schizophrenia and healthy controls. *Frontiers in psychiatry, 3*. DOI: 10.3389/fpsyt.2012.00053.

HOFFMAN R. E. & SLEDGE W. (1988). An analysis of grammatical deviance occurring in spontaneous schizophrenic speech. *Journal of neurolinguistics, 3*(1), 89–101.

JARROLD W. L., PEINTNER B., YEH E., KRASNOW R., JAVITZ H. S. & SWAN G. E. (2010). Language analytics for assessing brain health: Cognitive impairment, depression and pre-symptomatic alzheimer's disease. In *International Conference on Brain Informatics*, p. 299–307: Springer.

JOHANNSEN A., HOVY D. & SØGAARD A. (2015). Cross-lingual syntactic variation over age and gender. In *Proceedings of the nineteenth conference on computational natural language learning*, p. 103–112.

KAYI E. S., DIAB M., PAUSELLI L., COMPTON M. & COPPERSMITH G. (2017). Predictive linguistic features of schizophrenia. In *Proceedings of the 6th Joint Conference on Lexical and Computational Semantics* (*SEM 2017*), p. 241–250.

MITCHELL M., HOLLINGSHEAD K. & COPPERSMITH G. (2015). Quantifying the language of schizophrenia in social media. In *Proceedings of the 2nd workshop on Computational linguistics and clinical psychology : From linguistic signal to clinical reality*, p. 11–20.

PEDERSEN T. (2015). Screening twitter users for depression and ptsd with lexical decision lists. In *Proceedings of the 2nd workshop on computational linguistics and clinical psychology : from linguistic signal to clinical reality*, p. 46–53.

PEDREGOSA F., VAROQUAUX G., GRAMFORT A., MICHEL V., THIRION B., GRISEL O., BLONDEL M., PRETTENHOFER P., WEISS R., DUBOURG V., VANDERPLAS J., PASSOS A., COURNAPEAU D., BRUCHER M., PERROT M. & DUCHESNAY E. (2011). Scikit-learn: Machine learning in Python. *Journal of Machine Learning Research, 12*, 2825–2830.

PENNEBAKER J., FRANCIS M. & BOOTH R. (2001). *Linguistic inquiry and word count (LIWC)*.

PESTIAN J. P., SORTER M., CONNOLLY B., BRETONNEL COHEN K., MCCULLUMSMITH C., GEE J. T., MORENCY L.-P., SCHERER S., ROHLFS L. & GROUP S. R. (2017). A machine learning approach to identifying the thought markers of suicidal subjects: a prospective multicenter trial. *Suicide and Life-Threatening Behavior, 47*(1), 112–121.

POTVIN S., AUBIN G. & STIP E. (2017). L’insight neurocognitif dans la schizophrénie. *L’Encéphale, 43*(1), 15–20.

REBUSCHI M., AMBLARD M. & MUSIOL M. (2014). Using SDRT to analyze pathological conversations. Logicality, rationality and pragmatic deviances. In M. REBUSCHI, M. BATT, G. HEINZMANN, F. LIHOREAU, M. MUSIOL & A. TROGNON, Éds., *Interdisciplinary Works in Logic, Epistemology, Psychology and Linguistics : Dialogue, Rationality, and Formalism*, volume 3 de Logic, Argumentation & Reasoning, p. 343–368. Springer. DOI: 10.1007/978-3-319-03044-9_15, HAL: hal-00910725.

RUDE S., GORTNER E.-M. & PENNEBAKER J. (2004). Language use of depressed and depression-vulnerable college students. *Cognition & Emotion, 18*(8), 1121–1133.

SABETI M., KATEBI S., BOOSTANI R. & PRICE G. (2011). A new approach for eeg signal classification of schizophrenic and control participants. *Expert Systems with Applications, 38*(3), 2063–2071.

SCHEFFER T. (1999). *Error Estimation and Model Selection*. Thèse de doctorat, Technischen Universitet Berlin, School of Computer Science.
STRAKA M. & STRAKOVÁ J. (2017). Tokenizing, pos tagging, lemmatizing and parsing ud 2.0 with udpipe. In *Proceedings of the CoNLL 2017 Shared Task : Multilingual Parsing from Raw Text to Universal Dependencies*, p. 88–99, Vancouver, Canada : Association for Computational Linguistics.

STROUS R. D., KOPPEL M., FINE J., NACHLIEL S., SHAKED G. & ZIVOTOFSKY A. Z. (2009).
Automated characterization and identification of schizophrenia in writing. *The Journal of nervous
and mental disease*, **197**(8), 585–588.

VARMA S. & SIMON R. (2006). Bias in error estimation when using cross-validation for model selection. *BMC bioinformatics*, **7**.
Classification de relations pour l'intelligence économique et
concurrentielle

Hadjer Khaldi¹, ² Amine Abdaoui¹ Farah Benamara² Grégoire Sigel¹

Nathalie Aussenac-Gilles³

(1) Geotrend, Toulouse, France

(2) IRIT, Université de Toulouse, France

(3) IRIT, CNRS, Toulouse, France

prenom.nom@irit.fr, prenom@geotrend.fr

RÉSUMÉ

L'extraction de relations reliant des entités par des liens sémantiques à partir de texte a fait l'objet de nombreux travaux visant à extraire des relations génériques comme l'hyperonymie ou spécifiques comme des relations entre gènes et protéines. Dans cet article, nous nous intéressons aux relations économiques entre deux entités nommées de type organisation à partir de textes issus du web. Ce type de relation, encore peu étudié dans la littérature, a pour but l'identification des liens entre les acteurs d'un secteur d'activité afin d'analyser leurs écosystèmes économiques. Nous présentons BIZREL, le premier corpus français annoté en relations économiques, ainsi qu'une approche supervisée à base de différentes architectures neuronales pour la classification de ces relations. L'évaluation de ces modèles montre des résultats très encourageants, ce qui est un premier pas vers l'intelligence économique et concurrentielle à partir de textes pour le français.

ABSTRACT

Relation Classification for Competitive and Economic Intelligence

Relation extraction aims at identifying semantic relations that may hold between entities in raw text. This task has been widely studied in the literature focusing either on extracting generic relations like hyperonymy or domain-dependent relations like those linking genes and proteins. In this paper, we aim at extracting business relations between two organizations from web textual contents. In particular, we propose BIZREL, the first French annotated dataset for business relations as well as a supervised approach based on several neural architectures to classify these relations. Our results are encouraging and constitute a first step towards economic and competitive intelligence from French texts.

MOTS-CLÉS: Classification de relation, Relation économique, Ressource linguistique.

KEYWORDS: Relation classification, Business relation, Linguistic resources.

# 1 Motivations

L'extraction de relations sémantiques est une tâche d'extraction d'information qui permet de détecter les liens sémantiques reliant des entités à partir d'expressions en langage naturel, dans le but de produire de l'information structurée à partir de textes bruts (Aussenac-Gilles et al., 2013). Les entités ainsi reliées peuvent être exprimées par des syntagmes nominaux désignant des classes (Hendrickx

<figure><img src="image_16.png" /></figure>
et al., 2010), comme *entreprise, produit*, ou des entités nommées (Mitchell et al., 2005), comme *Google, Paris*.

Cette tâche, qui s'apparente à un problème de classification supervisée de fragments de phrases, a fait l'objet de nombreux travaux basés sur des approches à base de patrons (Aussenac-Gilles & Jacques, 2008), à base de traits ou de noyaux (Kambhatla, 2004; Culotta & Sorensen, 2004), ou neuronales (Wang et al., 2016; Lee et al., 2019). Nous distinguons ceux qui classifient des relations génériques telles que les relations *cause-effet, message-sujet* (Hendrickx et al., 2010) ou encore des relations d'*hypernonymie* ou de *synonymie* (Hearst, 1992; Lee et al., 2017), et ceux se focalisant sur des relations spécifiques telles que les relations biomédicales reliant des protéines ou des gènes (Zhou et al., 2014; Zhang et al., 2018; Fan et al., 2018). Les approches s'appuyant sur de l'apprentissage supervisé utilisent des corpus manuellement annotés par des types de relations prédéfinis dont la plupart sont en anglais (tels que les corpus de SemEval-2010 Tâche 8 (Hendrickx et al., 2010), TACRED (Zhang et al., 2017) et BioNLP-OST 2019 (Bossy et al., 2019)). Nous citons néanmoins quelques corpus dans d'autres langues comme ACE 2004 (Mitchell et al., 2005) pour le chinois et l'arabe, ou ReRelEM (Freitas et al., 2009) pour le portugais.

Dans cet article, nous nous intéressons à la classification de relations économiques prédéfinies entre deux entités nommées de type organisation (ORG) à partir de textes issus du web. Ces relations permettent de créer des réseaux commerciaux, valoriser des entreprises et suivre leurs activités. C'est donc un moyen crucial pour l'identification des liens entre les acteurs d'un secteur d'activité et pour l'analyse de leurs écosystèmes économiques. Contrairement aux relations génériques, peu de travaux se sont attaqués à la classification des relations économiques. Ces derniers se focalisent principalement sur deux types de relations, la *compétition* et la *coopération* (Zuo et al., 2017; Lau & Zhang, 2011). Les techniques adoptées visent à adapter les travaux sur la classification de relations génériques pour prendre en compte la spécificité des relations économiques. Les approches varient de méthodes à base de patrons (Braun et al., 2018) à des approches supervisées (Yan et al., 2019) ou semi-supervisées (Lau & Zhang, 2011; Zuo et al., 2017). Là encore, les données utilisées pour entraîner ces différents systèmes sont majoritairement en anglais (Lau & Zhang, 2011) avec quelques initiatives en allemand (Braun et al., 2018) et en chinois (Yan et al., 2019). À notre connaissance, il n'existe aucun corpus annoté pour la classification de relations économiques pour la langue française.
Dans ce contexte, nous proposons :

1. Une taxonomie composée de cinq relations jugées pertinentes dans le cadre d'intelligence économique : *investissement, compétition, coopération, vente-achat et poursuite judiciaire*.

2. BIZREL, le premier corpus français de 10k instances de relations annotées manuellement selon cette taxonomie via une plateforme d'annotation collaborative. Ce corpus est mis à disposition de la communauté.<fnref n="1" />

3. Une approche supervisée pour la classification de relations économiques à base de différentes architectures neuronales. Nous évaluons en particulier le modèle de langue multilingue MBERT (Devlin et al., 2019) mais aussi ses variantes françaises CamBERT (Martin et al., 2019) et FlauBERT (Le et al., 2019), les modèles de langues récemment développés pour le français. Ces deux derniers n'ont jamais été utilisés pour une tâche de classification de relations. Nous comparons les performances de ces modèles avec celles obtenues par d'autres modèles de classification de relations génériques à la Tâche 8 de SemEval-2010.

4. Une analyse d'erreurs montrant les limites des approches proposées.

<footnote n="1">1. BizRel_corpus.</footnote>
Dans la suite de cet article, la section 2 présente un bref état de l'art des approches de classification de relations. La section 3 définit les relations économiques d'intérêt et rapporte la procédure suivie pour construire le corpus BIZREL. La section 4 décrit les modèles utilisés, ainsi que les résultats obtenus. Une analyse d'erreur est présentée en section 5. Nous présentons les perspectives envisagées des travaux futurs en section 6.

# 2 Classification de relations : état de l'art

## 2.1 Classification de relations génériques

Les approches classiques visent à identifier une combinaison de traits lexicaux, syntaxiques et sémantiques (Kambhatla, 2004; Zhou et al., 2005; Nguyen et al., 2007) à partir desquels un classifieur apprend à distinguer les différentes relations prédéfinies ou à exploiter les liens de dépendances entre les deux entités, en utilisant des représentations plus riches des instances de relations telles que des arbres syntaxiques ou de dépendances (Collins & Duffy, 2001; Culotta & Sorensen, 2004). Plus récemment, les approches neuronales, telles que des CNN, arrivent à extraire des traits aux niveaux du mot et de la phrase à l'aide de modèles de plongements de mots, tout en prenant en compte leurs positions relatives par rapport aux deux entités concernées par la relation (Zeng et al., 2014; Nguyen & Grishman, 2015; dos Santos et al., 2015). D'autres y rajoutent un mécanisme d'attention qui capture, pour chaque mot d'une instance de relation, les éléments de contexte qui lui sont pertinents, améliorant ainsi les performances (Wang et al., 2016; Shen & Huang, 2016). Des modèles basés sur une architecture RNN Bi-LSTM<fnref n="2" /> avec attention ont été proposés par (Lee et al., 2019; Xiao & Liu, 2016) pour capter des traits à longue distance et à distance variable. Plus récemment, l'utilisation des modèles de langue à base de transformers a encore amélioré les performances. Par exemple, Wu & He (2019) ont utilisé BERT (Devlin et al., 2019) en concatenant les représentations contextuelles des entités avec la représentation de la phrase produite par le transformer. Ce modèle a pu atteindre un score F1 de 89.25% sur le corpus SemEval-2010 Tâche 8, en dépassant les modèles neuronaux. Baldini Soares et al. (2019) a exploré l'efficacité de différentes représentations possibles d'une instance de relation où l'utilisation des représentations des marqueurs d'entités s'est avérée la plus efficace. Enfin, Tao et al. (2019) ont combiné la représentation fournie par BERT avec des traits syntaxiques de la phrase, améliorant ainsi les performances.

## 2.2 Classification de relations économiques

Selon la nature de l'activité reliant deux organisations, Zhao et al. (2010) répartit les relations économiques en quatre types : coopération, investissement, vente et approvisionnement. D'autres travaux les classent en deux groupes uniquement (Zuo et al., 2017; Yamamoto et al., 2017) : coopération et concurrence. Globalement, les relations économiques sont peu présentes dans les bases de connaissances telles que Freebase (Bollacker et al., 2008) et DBpedia (Auer et al., 2007) où figurent par exemple les relations *subsidiary* et *ownership_of* (Zuo et al., 2017). Certaines relations économiques sont néanmoins annotées dans des corpus de relations génériques, comme par exemple *Employment/Membership/Subsidiary* dans le corpus ACE 2004 (Mitchell et al., 2005), ou la relation *Component-Whole* dans le corpus SemEval-2010 Tâche 8 (Hendrickx et al., 2010) mais avec des

<footnote n="2">2. Bidirectionnel à mémoire court terme étendue.</footnote>
fréquences assez faibles (de l'ordre de 1k). Pour extraire ces relations, la plupart des travaux existants
utilisent des approches semi-supervisées, soit à l'aide de patrons lexico-syntaxiques générés à partir
d'arbres de dépendance (Braun et al., 2018), soit grâce à une liste de mots clés représentatifs de
chaque relation (Lau & Zhang, 2011). Les réseaux de neurones ont été utilisés dans (Yan et al., 2019)
qui propose un modèle entraîné sur un corpus chinois de 1k instances de relation économiques, afin
d'aider les institutions financières à gérer le risque des crédits aux entreprises.

3 BIZREL : corpus français de relations économiques

BIZREL est le premier corpus annoté en relations économiques pour le français. Il décrit cinq types
de relations binaires de nature économique, reliant deux entités nommées de type ORG, notés EO.
D'abord, nous reprenons les quatre types de relations économiques proposés par Zhao et al. (2010) :
investissement, coopération, vente et approvisionnement. Cependant, nous combinons les deux
relations de vente et d'approvisionnement en une seule relation vente-achat, puisque nous ne nous
intéressons pas pour le moment à l'orientation des relations entre les entités (i.e., R(a, b) = R(b, a)).
Puis, nous rajoutons à la liste deux nouveaux types de relation, à savoir compétition et poursuite
judiciaire.

La construction de ce corpus est passée par trois étapes principales : la collecte des phrases potentielles à annoter, l'annotation des entités nommées et enfin l'annotation des relations. Initialement, un ensemble de documents est collecté à partir du web en interrogeant les deux moteurs de recherche Google et Bing et ce en utilisant une liste de mots clés relatifs aux différents domaines d'activités d'entreprise comme voitures autonomes, impression 3D, etc. Les documents collectés passent par une étape de pré-traitement où les en-têtes, les pieds de page et les menus de navigation sont supprimés. Ensuite, le contenu de la page est segmenté en phrases et chaque entité nommée présente est identifiée automatiquement à l'aide des systèmes de reconnaissance d'entités nommées de SpaCy et StanfordNLP. Pour augmenter la précision, ne sont retenues que les entités organisations (EO) reconnues par les deux systèmes à la fois. Seules les phrases contenant au moins deux EO sont conservées. En revanche, celles dont les mots sont à 95 % des EO (comme c'est le cas dans des énumérations d'entreprises) sont rejetées.

Ces phrases sont annotées en relations en fonction du lien qu'entretiennent les *EO* annotées. Souli-
gnons qu'entre deux mêmes *EO*, des relations de types différents peuvent exister dans des phrases
différentes. De plus, une seule relation est annotée par phrase même si cette dernière peut exprimer
plusieurs relations entre différents paires d'*EO* qui ne se chevauchent pas. Enfin, une relation est
annotée si et seulement s'il existe dans la phrase un ou des indices explicites de la relation sans avoir
recours à des connaissances externes, c'est l'un des principes d'annotation des corpus ACE. Ceci est
illustré dans l'exemple suivant :

"Présents dans la ville de Wuhan, Faurecian, PSA, Renault ou encore Valeo ont dû fermer leurs sites situés dans la zone de confinement en attendant le feu vert des autorités chinoises pour reprendre leurs activités."

Ici, aucune relation de type économique ne relie les deux EO PSA et Renault, même si ces deux
entités peuvent également être reliées par la relation **Compétition** car elles partagent le même marché
de construction d'automobiles. Cependant, étant donnée que cette seconde relation n'est pas exprimée
linguistiquement dans la phrase, elle ne sera pas annotée.
Les types de relations à annoter sont définis comme suit (tous les exemples sont extraits de notre corpus, les *EO* concernées par la relation sont en gras) :

- **Investissements**: une *EO* est filiale d'une autre *EO*, ou *EO* détient (toutes ou une partie) des actions d'une autre *EO*, i.e. : *Le missilier européen MBDA* (filiale commune de Airbus, Leonardo et BAE) espère que l'accord signé à Helsinski lui donnera à terme accès à des financements pour développer de nouvelles versions de son missile antichar de moyenne portée (MMP).

- **Compétition**: traduit une compétition/rivalité entre deux *EO* fournissant les mêmes biens ou services, ou voulant accéder à un même marché relativement restreint, par exemple : *Boeing et l'avionneur brésilien Embraer, rival de Bombardier sur les avions régionaux, ont annoncé discuter sur un éventuel rapprochement de leurs activités.*

- **Coopération**: ce type de relation apparaît lorsqu'il existe une coopération contractuelle entre deux *EO*, que deux *EO* travaillent ensemble pour le même projet, par exemple : *Depuis le 25 novembre 2017, 32 associations et startups, 400.000 citoyen.nes, la Fondation Kering, Facebook et la Région Île-de-France ont travaillé ensemble avec Make.org pour élaborer le premier plan de actions de la société civile contre les violences faites aux femmes.*

- **Poursuite judiciaire**: c'est lorsqu'une *EO* lance une poursuite judiciaire contre une autre *EO*, comme dans : *Grégoire Triet a représenté Shionogi dans une action en contrefaçon de brevet portant sur un médicament contre le VIH, qui l'a opposé à Merck et ses filiales.*

- **Vente-achat**: une *EO* est cliente de l'autre, ou elle lui fournit des biens ou services, par exemple : *Le capot d'un réacteur d'un Airbus A320 de la compagnie Frontier Airlines s'est rompu en plein décollage.*

Une classe **Autres** est rajoutée, qui regroupe tous les autres types de relations possibles qui peuvent exister entre deux *EO* et qui ne sont pas des relations économiques.

Un corpus de 10k instances a été construit et annoté par six annotateurs francophones non-experts via la plateforme d'annotation collaborative *Isahit*<fnref n="3" />. L'annotation a été faite par lots contenant chacun 2k instances de relations. Pour chaque lot, 10 % des données annotées sont ré-annotées par des experts. Ceci permet d'évaluer la qualité des annotations et la qualité du guide d'annotation fourni aux annotateurs, et de les améliorer à travers une démarche rétroactive itérative. Sur un total de 1k instances de relations, la moyenne des accords Kappa de Cohen (1960), calculés entre les annotateurs et les experts, est de 0.685. Nous considérons cette valeur comme un bon accord étant donné la diversité des relations économiques à annoter. Le tableau 1 présente le nombre total des relations annotées ainsi que la répartition des instances en corpus de développement, d'entraînement et de test.

<table><caption>TABLE 1 – Répartition des données annotées par type de relation et type de corpus.</caption><thead><tr><th></th><th>Invest.</th><th>Compét.</th><th>Coopérat.</th><th>Poursuit.</th><th>Vente.</th><th>Autres.</th><th>Total</th></tr></thead><tbody><tr><th>Entrain.</th><td>220</td><td>1 229</td><td>598</td><td>41</td><td>188</td><td>4 747</td><td><strong>7 023</strong></td></tr><tr><th>Dev.</th><td>48</td><td>263</td><td>128</td><td>9</td><td>40</td><td>1 017</td><td><strong>1 505</strong></td></tr><tr><th>Test.</th><td>47</td><td>263</td><td>129</td><td>8</td><td>40</td><td>1 018</td><td><strong>1 505</strong></td></tr><tr><th>Total</th><td><strong>315</strong></td><td><strong>1825</strong></td><td><strong>855</strong></td><td><strong>58</strong></td><td><strong>268</strong></td><td><strong>6 782</strong></td><td><strong>10 033</strong></td></tr></tbody></table>

<footnote n="3">3. https://isahit.com/en/</footnote>
Le tableau 2 présente quelques statistiques sur notre corpus, avec notamment le nombre total d'EO uniques dans le corpus, le nombre de paires d'EO ainsi que le nombre maximum, minimum et la moyenne des EO par instance de relation. Nous observons que le nombre moyen de EO par phrase est de 5 EO. Ceci dit, un maximum de 10 relations, en moyenne, pourraient exister dans une seule phrase entre différentes paires de EO. De plus, des instances de relations ayant 41 mots en moyenne reflètent la complexité des contextes dans lesquels ces relations économiques sont exprimées dans le web.

<table><caption>TABLE 2 – Statistiques sur les EOs dans les relations annotées par type de corpus.</caption><thead><tr><th></th><th>Entrain.</th><th>Dev.</th><th>Test.</th><th>Total</th></tr></thead><tbody><tr><th>Nb. total EO uniques</th><td>1 096</td><td>650</td><td>688</td><td><strong>1 182</strong></td></tr><tr><th>Nb. paires EO uniques</th><td>4 315</td><td>1 302</td><td>1 305</td><td><strong>5 280</strong></td></tr><tr><th>EO par instance</th><td>max = 47<br>min = 2<br>moy. = 5</td><td>max=40<br>min = 2<br>moy.= 5</td><td>max = 32<br>min = 2<br>moy. = 5</td><td><strong>max = 47</strong><br><strong>min = 2</strong><br><strong>moy. = 5</strong></td></tr><tr><th>Mots par instance</th><td>max = 203<br>min = 5<br>moy. = 41</td><td>max = 253<br>min = 7<br>moy. = 42</td><td>max = 189<br>min = 7<br>moy. = 42</td><td><strong>max = 253</strong><br><strong>min = 5</strong><br><strong>moy. = 41</strong></td></tr></tbody></table>

# 4 Modèles proposés et résultats

Le corpus BIZREL, composé de phrases préalablement annotées en EO (deux EO par phrase), a été utilisé pour entraîner différents modèles neuronaux afin qu’ils identifient le type de relation économique qui relie les deux EO. Notre objectif est de répondre aux deux questions suivantes : (a) Les modèles de la littérature proposés pour la classification de relations génériques sont-ils adaptés pour la classification de relations économiques ? (b) Comment adapter ces modèles pour le français ?

Pour répondre à ces questions, nous proposons cinq modèles. Les trois premiers ($M_1$, $M_2$ et $M_3$) ont obtenu les meilleures scores à la tâche 8 de SemEval 2010 de classification de relations génériques, en anglais. Ces modèles étant indépendants de ressources lexicales et d'outils externes, nous souhaitions tester leurs performances pour la classification de relations économiques. Les deux derniers modèles ($M_4$ et $M_5$) sont des adaptations de plongements de mots contextuels issus de modèle de langue basé sur les transformers bidirectionnels pour le français, qui sont utilisés ici pour la première fois pour une tâche de classification de relations. Nous utilisons les plongements de mot français pré-entraînés sur Wikipedia et Common Crawl FastText (Joulin et al., 2016, 2017) ayant une dimension de 300 pour les modèles ($M_1$) et ($M_2$). Les hyper-paramètres des modèles ont été ajustés sur le corpus de développement. Nous préseontons dans ce qui suit les modèles, puis nous détaillons les résultats obtenus par les expérimentations.

## 4.1 Description des modèles

Nos modèles sont comme suit :

($M_1$) : CNN (Zeng et al., 2014). L'architecture de ce modèle repose sur 3 types de couches :
- Une couche d'entrée qui utilise les plongements de mots pré-entraînés *FastTest* pour associer un vecteur à chaque mot de l'instance. Des plongements de position de dimension 5 sont également calculés par mot pour encoder sa position relative par rapport aux deux EO.

- Trois couches cachées de convolution constituées de 100 filtres chacune, de tailles multiples (des fenêtres de 3,4,5 vecteurs), qui permettent d'extraire des traits au niveau de la phrase à partir de plongements de mot et de position. Au niveau du mot, les plongements des deux EO ainsi que de leurs contextes sont utilisés comme traits.

- Une couche de sortie entièrement connectée (*fully connected*) dotée d'un softmax qui exploite la concaténation des traits aux niveaux du mot et de la phrase pour calculer la distribution de probabilités des différents types de relation et d'en déduire la relation candidate en prenant le type ayant la probabilité maximale.

L'apprentissage des paramètres du modèle est fait sur 200 epochs<fnref n="4" /> sur des lots de données (*batch*) de 100 instances, en utilisant la méthode d'optimisation *Adam* (Kingma & Ba, 2014) avec un taux d'apprentissage de $10^{-3}$. Une régularisation de type *dropout* (Srivastava et al., 2014) à un taux de 50% est appliquée entre les différentes couches afin de prévenir le sur-apprentissage lors de l'entraînement.

($M_2$) : **Bi-LSTM avec mécanisme d'attention** (Zhou et al., 2016). L'architecture de ce modèle est composée comme suit :

- Une couche d'entrée qui utilise les plongements de mots pré-entraînés *FastTest* pour associer un vecteur à chaque mot de l'instance, avec un taux de dropout de 70% lors de l'entraînement.

- Deux couches cachées composées de cellules LSTM (Hochreiter & Schmidhuber, 1997) bidirectionnelles, de 100 unités par direction avec un taux de dropout de 70% lors de l'entraînement. Ces cellules récurrentes dites "à mémoire court et long terme", permettent de calculer la sortie d'une cellule en prenant en considération l'élément courant de la séquence, mais aussi l'historique passé des cellules précédentes. De plus, la bidirectionnalité permet de considérer le contexte passé et futur pour tout élément de la séquence.

- Une couche d'attention qui fusionne les traits extraits au niveau du mot par le BiLSTM en un vecteur de niveau phrase en les multipliant par un vecteur de poids calculé à partir des sorties des couches LSTM. Ceci permet de capturer les informations sémantiques les plus importantes dans une phrase.

- Une couche de sortie entièrement connectée dotée d'un softmax qui exploite les traits extraits par le BiLSTM pour calculer la distribution de probabilités des différents types de relation et d'en déduire la relation candidate en prenant le type ayant la probabilité maximale.

L'apprentissage est fait sur 100 epochs sur des lots de données (*batch*) de 10 instances, en utilisant la méthode d'optimisation *Adam* (Kingma & Ba, 2014) avec un taux d'apprentissage de 1, un taux de décroissance du taux d'apprentissage de 0.9 et un facteur de régularisation $L_2$ de $10^{-5}$. Pour prévenir le sur-apprentissage, un dropout global à un taux de 50% est appliqué entre les couches cachées et la couche de sortie.

($M_3$) : **R-mBERT** (Wu & He, 2019). Ce modèle est une réadaptation du modèle de langue pré-entraîné BERT (Devlin et al., 2019) pour la tâche de classification de relation en prenant en compte, en plus de la représentation de la phrase, les représentations des deux EO.

Un marqueur [CLS] désignant la sortie de classification est rajouté au début de chaque instance de relation, et un marqueur [SEP] est utilisé pour séparer les phrases dans une même instance. Comme

<footnote n="4">4. Une passe complète sur les données d'entraînement.</footnote>
réadaptation du modèle, des marqueurs spéciaux sont utilisés pour identifier le début et la fin des *EO* afin de capturer des traits de position les concernant : [*E*₁₁], [*E*₁₂] pour *EO1* et [*E*₂₁], [*E*₂₂] pour *EO2*. Les instances ainsi modifiées sont introduites au modèle de langue pré-entraîné pour du *fine-tuning* où tous les paramètres pré-entraînés du modèle sont réajustés. À la sortie du modèle de langue, seul l'état caché final est exploité. Les moyennes des vecteurs d'états cachés finaux pour *EO1* et *EO2* sont concatenées avec le vecteur de l'état caché final du marqueur [CLS]. La représentation obtenue passe par une couche entièrement connectée doté d'un classifieur softmax qui identifie le type de la relation.

Un modèle pré-entraîné de BERT multilingue bert-base-multilingual-cased<fnref n="5" />, disponible dans la librairie python *HuggingFace*, est utilisé. Le modèle, constitué d'un vocabulaire de 110k sous-mots, couvre 104 langues les plus utilisées sur Wikipedia, dont le français. Il compte 12 couches de 768 unités chacune et ayant 110M paramètres. Le modèle a été pré-entraîné de façon non-supervisée sur les deux tâches qui sont : (1) *Modèle de langue masqué* (MLM) qui apprend à prédire les sous-mots masqués de façon aléatoire ; et (2) *Prédiction de phrase suivante* (NSP) dans laquelle le modèle apprend à prédire si B est la phrase suivante réelle qui suit A, étant donné une paire de phrases en entrée A, B. Pour l'ajustement des paramètres de ce modèle sur la tâche de classification de relation, la méthode d'optimisation *Adam* est utilisée. La table 3 présente les principaux hyper-paramètres utilisés pour cela.

<table><caption>TABLE 3 – Réglages des hyper-paramètres.</caption><tr><td>Nb. epochs</td><td>5</td></tr><tr><td>Taille de lots par gpu</td><td>16</td></tr><tr><td>Longueur max. phrase</td><td>260</td></tr><tr><td>Taux d'apprentissage Adam</td><td>2<sup>-5</sup></td></tr><tr><td>L2 régul. lambda</td><td>5<sup>-3</sup></td></tr></table>

($M_4$) : **R-CamemBERT**. L'architecture du modèle de langue CamemBERT (Martin et al., 2019) est basée sur celle de RoBERTa (Liu et al., 2019), une version optimisée de BERT. Ce modèle est monolingue pré-entraîné sur du textes français issus du corpus multilingue OSCAR (Suárez et al., 2019). R-CamemBERT est adapté à la tâche de classification de relation selon l'architecture proposée par Wu & He (2019), décrite dans $M_3$. La seule différence du modèle R-mBERT réside dans les marqueurs de classification et de séparation des phrases d'une instance qui sont $
$ et $< /s >$, respectivement, pour le modèle R-CamemBERT.

Un modèle pré-entraîné de CamemBERT camembert-base, disponible dans la librairie python *HuggingFace*, est utilisé. Ce modèle, constitué d'un vocabulaire de 32k sous-mots pour le français, compte 12 couches de 768 unités chacune et ayant 110M paramètres. Il a été pré-entraîné sur la tâche de *Modèle de langue masqué* (MLM) qui consiste ici à prédire des mots masqués aléatoirement au lieu de sous-mots. La méthode d'optimisation Adam est utilisée pour ajuster les paramètres de CamemBERT sur notre tâche. Les mêmes valeurs d'hyper-paramètres qui sont présentées dans la table 3 sont utilisées pour cela.

($M_5$) : **R-FlauBERT**. L'architecture du modèle de langue FlauBERT (Le et al., 2019) est basée sur celle de BERT (Devlin et al., 2019). Ce modèle est monolingue pré-entraîné sur du textes français provenant de différentes sources, couvrant différents sujets et des styles d'écriture allant du texte formel (par exemple Wikipédia et livres)<fnref n="6" /> au texte aléatoire extrait d'Internet (par exemple Common

<footnote n="5">5. https://github.com/google-research/bert/blob/master/multilingual.md</footnote>

<footnote n="6">6. http://www.gutenberg.org</footnote>
Crawl<sup>7)</sup>. R-FlauBERT reprend également la même architecture proposée par Wu & He (2019), décrite dans $M_3$, pour prendre en considération les représentations des deux EO lors de la classification des relations. Cependant, R-FlauBERT utilise un seul marqueur qui est < /s > pour marquer la classification et la séparation des phrases.

Un modèle pré-entraîné de FlauBERT *flaubert-base-cased*, disponible dans la librairie python *HuggingFace*, est utilisé. Ce modèle, constitué d'un vocabulaire de 50k sous-mots pour le français, compte 12 couches de 768 unités chacune et a 138M paramètres. Il a été pré-entraîné sur les deux tâche de *Modèle de langue masqué* (MLM) et de *Prédiction de phrase suivante* (NSP). La méthode d'optimisation Adam est utilisée pour ajuster les paramètres de ce modèle sur notre tâche. Les mêmes valeurs d'hyper-paramètres qui sont présentées dans la table 3 sont utilisées pour cela.

## 4.2 Résultats

<table><caption>TABLE 4 – Résultats de classification de relations économiques sur le corpus de test.</caption><thead><tr><td>Modèle</td><td>Exactitude</td><td>Précision</td><td>Rappel</td><td>F1-score</td></tr></thead><tbody><tr><td>M<sub>1</sub> : CNN (Zeng et al., 2014)</td><td>76.2</td><td>66.8</td><td>51.3</td><td>57.0</td></tr><tr><td>M<sub>2</sub> : Att-Bi-LSTM (Zhou et al., 2016)</td><td>74.2</td><td>56.6</td><td>55.0</td><td>53.3</td></tr><tr><td>M<sub>3</sub> : R-mBERT (Wu & He, 2019)</td><td>80.3</td><td>71.2</td><td><b>64.1</b></td><td><b>67.1</b></td></tr><tr><td>M<sub>4</sub> : R-CamBERT</td><td><b>81.2</b></td><td>74.6</td><td>53.8</td><td>59.5</td></tr><tr><td>M<sub>5</sub> : R-FlauBERT</td><td>80.7</td><td><b>77.2</b></td><td>59.7</td><td>66.3</td></tr></tbody></table>

La table 4 présente les résultats obtenus. Nous observons que les modèles basés sur les transformers dépassent ceux basés sur des architectures neuronales de type CNN ou RNN. Nous constatons également que le modèle ($M_3$), qui donne aujourd'hui les meilleurs résultats sur le corpus SemEval-2010 Tâche 8 pour la classification de relations génériques, est aussi bon pour la classification de relations économiques, offrant un bon compromis entre *Précision* et *Rappel* (F1-score). D'un autre côté, l'adaptation des transformers français à notre tâche (modèles ($M_4$) et ($M_5$)) donne des résultats assez bons avec R-FlauBERT qui dépasse légèrement R-CamBERT. Ceci est semblable aux résultats rapportés par Le et al. (2019) sur une tâche de classification de texte du benchmark FLUE.

L'analyse des matrices de confusion telles que obtenues par ($M_3$), ($M_4$) et ($M_5$) montre que ces modèles arrivent à bien distinguer les relations économiques entre elles. Les principales sources d'erreurs proviennent de la relation *Autres*, ce qui montre la difficulté de distinguer les relations économiques des non économiques. Par exemple, pour les relations *Compétition* et *Coopération*, respectivement 163 et 85 instances sont bien classées, 97 et 36 sont classées comme *Autres* et 3 et 5 sont classées comme *autres relations économiques* par le modèle $M_3$.

# 5 Analyse d'erreurs

Une analyse manuelle plus poussée des erreurs de classification montre deux autres sources d'erreur. La première concerne les phrases contenant plusieurs relations mais seule celle qui relie les

<footnote n="7">7. http://data.statmt.org/ngrams/deduped2017</footnote>
deux EO marquées est à identifier, comme dans l'exemple (1). Ici la relation prédite par (M₃) est *Coopération*(EO₂, EO₃) alors que l'annotation de référence indique *Autre*(EO₂, EO₃). En revanche, il existe bien une relation de coopération dans cette phrase mais entre EO₁ et EO₂.

(1) [Sikorsky]₁ et ses partenaires [Hensoldt]₂, Liebherr-Aerospace, MTU, [Rheinmetall]₃ et ZF lancent le CH-53K qu'il construit pour l'US Marine Corps et qui est le digne successeur de l'actuel CH-53.

La seconde source d'erreur provient des relations exprimées implicitement, comme dans l'exemple (2) où c'est l'expression métaphorique *se ranger derrière* qui déclenche la relation de compétition entre EO₁ et EO₂. Dans ce cas, le modèle (M3) prédit souvent la relation *Autre*.

(2) Plusieurs entreprises de la Silicon Valley dont Google Facebook, [Dell]₁ et [HP]₂ se sont rangées derrière Samsung.

# 6 Conclusions et perspectives

Cet article présente le premier corpus annoté en relations économiques entre organisations pour le français ainsi qu'une approche supervisée pour la classification de ces relations dans des textes issus du web. L'évaluation des modèles de l'état de l'art proposés pour la classification de relations génériques sur notre corpus a donné des résultats prometteurs, ce qui est un premier pas vers l'intelligence économique et concurrentielle à partir de textes pour le français. La prochaine étape est l'adaptation de ces modèles pour prendre en compte les spécificités des relations économiques.

# Références

AUER S., BIZER C., KOBILAROV G., LEHMANN J., CYGANIAK R. & IVES Z. G. (2007). Dbpedia : A nucleus for a web of open data. In *The Semantic Web, 6th International Semantic Web Conference, 2nd Asian Semantic Web Conference, ISWC 2007 + ASWC 2007, Busan, Korea, November 11-15, 2007*, volume 4825 de LNAI, p. 722–735 : Springer. DOI : 10.1007/978-3-540-76298-0_52.

AUSSENAC-GILLES N. & JACQUES M.-P. (2008). Designing and evaluating patterns for relation acquisition from texts with caméléon. *Terminology. International Journal of Theoretical and Applied Issues in Specialized Communication*, **14**(1), 45–73.

AUSSENAC-GILLES N., KAMEL M., BUSCALDI D. & COMPAROT C. (2013). Construction d'ontologies à partir de pages web structurées. In *Journées Francophones d'Ingénierie des Connaissances (IC 2013), Lille*, p. 1–17 : AFIA.

BALDINI SOARES L., FITZGERALD N., LING J. & KWIATKOWSKI T. (2019). Matching the blanks : Distributional similarity for relation learning. In *Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics*, p. 2895–2905, Florence, Italy : Association for Computational Linguistics. DOI : 10.18653/v1/P19-1279.

BOLLACKER K., EVANS C., PARITOSH P., STURGE T. & TAYLOR J. (2008). Freebase : A collaboratively created graph database for structuring human knowledge. In *Proceedings of the 2008 ACM SIGMOD International Conference on Management of Data*, SIGMOD ’08, p. 1247–1250, New York, NY, USA : Association for Computing Machinery. DOI : 10.1145/1376616.1376746.

BOSSY R., DELÉGER L., CHAIX E., BA M. & NÉDELLEC C. (2019). Bacteria biotope at bionlp open shared tasks 2019. In *Proceedings of The 5th Workshop on BioNLP Open Shared Tasks*, p. 121–131.
BRAUN D., FABER A., HERNANDEZ-MENDEZ A. & MATTHES F. (2018). Automatic relation extraction for building smart city ecosystems using dependency parsing. In P. BASILE, V. BASILE, D. CROCE, F. DELL'ORLETTA & M. GUERINI, Éds., *Proceedings of the 2nd Workshop on Natural Language for Artificial Intelligence (NL4AI 2018) co-located with 17th International Conference of the Italian Association for Artificial Intelligence (AI*IA 2018), Trento, Italy, November 22nd to 23rd, 2018*, volume 2244 de CEUR Workshop Proceedings, p. 29–39 : CEUR-WS.org.

COHEN J. (1960). A coefficient of agreement for nominal scales. *Educational and psychological measurement*, **20**(1), 37–46.

COLLINS M. & DUFFY N. (2001). Convolution kernels for natural language. In *Proceedings of the 14th International Conference on Neural Information Processing Systems : Natural and Synthetic*, NIPS'01, p. 625–632, Cambridge, MA, USA : MIT Press.

CULOTTA A. & SORENSEN J. (2004). Dependency tree kernels for relation extraction. In *Proceedings of the 42nd Annual Meeting of the Association for Computational Linguistics (ACL-04)*, p. 423–429, Barcelona, Spain. DOI: 10.3115/1218955.1219009.

DEVLIN J., CHANG M.-W., LEE K. & TOUTANOVA K. (2019). BERT: Pre-training of deep bidirectional transformers for language understanding. In *Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics : Human Language Technologies, Volume 1 (Long and Short Papers)*, p. 4171–4186, Minneapolis, Minnesota : Association for Computational Linguistics. DOI: 10.18653/v1/N19-1423.

DOS SANTOS C., XIANG B. & ZHOU B. (2015). Classifying relations by ranking with convolutional neural networks. In *Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing (Volume 1: Long Papers)*, p. 626–634, Beijing, China : Association for Computational Linguistics. DOI: 10.3115/v1/P15-1061.

FAN Z., SOLDAINI L., COHAN A. & GOHARIAN N. (2018). Relation extraction for protein-protein interactions affected by mutations. In *Proceedings of the 2018 ACM International Conference on Bioinformatics, Computational Biology, and Health Informatics*, BCB '18, p. 506–507, New York, NY, USA : Association for Computing Machinery. DOI: 10.1145/3233547.3233617.

FREITAS C., SANTOS D., MOTA C., GONÇALO OLIVEIRA H. & CARVALHO P. (2009). Relation detection between named entities: report of a shared task. In *Proceedings of the Workshop on Semantic Evaluations : Recent Achievements and Future Directions (SEW-2009)*, p. 129–137, Boulder, Colorado : Association for Computational Linguistics.

HEARST M. A. (1992). Automatic acquisition of hyponyms from large text corpora. In COLING 1992 Volume 2 : The 15th International Conference on Computational Linguistics, p. 539–545 : Association for Computational Linguistics.

HENDRICKX I., KIM S. N., KOZAREVA Z., NAKOV P., SÉAGHDHA D. O., PADÓ S., PENNACCHIOTTI M., ROMANO L. & SZPAKOWICZ S. (2010). Semeval-2010 task 8 : Multi-way classification of semantic relations between pairs of nominals. In *Proceedings of the 5th International Workshop on Semantic Evaluation*, SemEval '10, p. 33–38, USA : Association for Computational Linguistics.

HOCHREITER S. & SCHMIDHUBER J. (1997). Long short-term memory. *Neural computation*, **9**(8), 1735–1780.

JOULIN A., GRAVE E., BOJANOWSKI P., DOUZE M., JÉGOU H. & MIKOLOV T. (2016). Fasttext.zip : Compressing text classification models. arXiv preprint : 1612.03651.

JOULIN A., GRAVE E., BOJANOWSKI P. & MIKOLOV T. (2017). Bag of tricks for efficient text classification. In *Proceedings of the 15th Conference of the European Chapter of the Association for Computational Linguistics : Volume 2, Short Papers*, p. 427–431, Valencia, Spain : Association for Computational Linguistics.

KAMBHATLA N. (2004). Combining lexical, syntactic, and semantic features with maximum entropy models for extracting relations. In *Proceedings of the ACL 2004 on Interactive Poster and Demonstration Sessions*, ACLdemo '04, p. 22–es, USA : Association for Computational Linguistics. DOI: 10.3115/1219044.1219066.

KINGMA D. P. & BA J. (2014). Adam : A method for stochastic optimization. arXiv preprint : 1412.6980.
LAU R. & ZHANG W. (2011). Semi-supervised statistical inference for business entities extraction and business relations discovery. In *SIGIR 2011 workshop, Beijing, China*, p. 41–46.

LE H., VIAL L., FREJ J., SEGONNE V., COAVOUX M., LECOUTEUX B., ALLAUZEN A., CRABBÉ B., BESACIER L. & SCHWAB D. (2019). Flaubert : Unsupervised language model pre-training for french. In *Proceedings of 12th Language Resources and Evaluation Conference (LREC 2020)*. arXiv : 1912.05372.

LEE J., SEO S. & CHOI Y. (2019). Semantic relation classification via bidirectional lstm networks with entity-aware attention using latent entity typing. *Symmetry*, **11**(6). DOI: 10.3390/sym11060785.

LEE J. Y., DERNONCOURT F. & SZOLOVITS P. (2017). MIT at SemEval-2017 task 10 : Relation extraction with convolutional neural networks. In *Proceedings of the 11th International Workshop on Semantic Evaluation (SemEval-2017)*, p. 978–984, Vancouver, Canada : Association for Computational Linguistics. DOI : 10.18653/v1/S17-2171.

LIU Y., OTT M., GOYAL N., DU J., JOSHI M., CHEN D., LEVY O., LEWIS M., ZETTLEMOYER L. & STOYANOV V. (2019). Roberta : A robustly optimized bert pretraining approach. arXiv preprint : 1907.11692.

MARTIN L., MULLER B., SUÁREZ P. J. O., DUPONT Y., ROMARY L., DE LA CLERGERIE É. V., SEDDAH D. & SAGOT B. (2019). Camembert : a tasty french language model. arXiv preprint : 1911.03894.

MITCHELL A., STRASSEL S., HUANG S. & ZAKHARY R. (2005). Ace 2004 multilingual training corpus. *Linguistic Data Consortium, Philadelphia*.

NGUYEN D. P. T., MATSUO Y. & ISHIZUKA M. (2007). Relation extraction from wikipedia using subtree mining. In *Proceedings of the 22nd National Conference on Artificial Intelligence - Volume 2*, AAAI’07, p. 1414–1420 : AAAI Press.

NGUYEN T. H. & GRISHMAN R. (2015). Relation extraction : Perspective from convolutional neural networks. In *Proceedings of the 1st Workshop on Vector Space Modeling for Natural Language Processing*, p. 39–48, Denver, Colorado : Association for Computational Linguistics. DOI : 10.3115/v1/W15-1506.

SHEN Y. & HUANG X. (2016). Attention-based convolutional neural network for semantic relation extraction. In *Proceedings of COLING 2016, the 26th International Conference on Computational Linguistics : Technical Papers*, p. 2526–2536, Osaka, Japan : The COLING 2016 Organizing Committee.

SRIVASTAVA N., HINTON G., KRIZHEVSKY A., SUTSKEVER I. & SALAKHUTDINOV R. (2014). Dropout : a simple way to prevent neural networks from overfitting. *The journal of machine learning research*, **15**(1), 1929–1958.

SUÁREZ P. J. O., SAGOT B. & ROMARY L. (2019). Asynchronous pipeline for processing huge corpora on medium to low resource infrastructures. *Challenges in the Management of Large Corpora (CMLC-7) 2019*, p. 9–19.

TAO Q., LUO X., WANG H. & XU R. (2019). Enhancing relation extraction using syntactic indicators and sentential contexts. In *IEEE 31st International Conference on Tools with Artificial Intelligence (ICTAI)*, p. 1574–1580. DOI : 10.1109/ICTAI.2019.00227.

WANG L., CAO Z., DE MELO G. & LIU Z. (2016). Relation classification via multi-level attention CNNs. In *Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1 : Long Papers)*, p. 1298–1307, Berlin, Germany : Association for Computational Linguistics. DOI : 10.18653/v1/P16-1123.

WU S. & HE Y. (2019). Enriching pre-trained language model with entity information for relation classification. arXiv preprint : 1905.08284.

XIAO M. & LIU C. (2016). Semantic relation classification via hierarchical recurrent neural network with attention. In *Proceedings of COLING 2016, the 26th International Conference on Computational Linguistics : Technical Papers*, p. 1254–1263, Osaka, Japan : The COLING 2016 Organizing Committee.

YAMAMOTO A., MIYAMURA Y., NAKATA K. & OKAMOTO M. (2017). Company relation extraction from web news articles for analyzing industry structure. In *2017 IEEE 11th International Conference on Semantic Computing (ICSC)*, p. 89–92 : IEEE.
YAN C., FU X., WU W., LU S. & WU J. (2019). Neural network based relation extraction of enterprises in credit risk management. In *2019 IEEE International Conference on Big Data and Smart Computing (BigComp)*, p. 1-6 : IEEE.

ZENG D., LIU K., LAI S., ZHOU G. & ZHAO J. (2014). Relation classification via convolutional deep neural network. In *Proceedings of COLING 2014, the 25th International Conference on Computational Linguistics : Technical Papers*, p. 2335-2344, Dublin, Ireland : Dublin City University and Association for Computational Linguistics.

ZHANG Y., LIN H., YANG Z., WANG J., ZHANG S., SUN Y. & YANG L. (2018). A hybrid model based on neural networks for biomedical relation extraction. *Journal of biomedical informatics*, **81**, 83-92.

ZHANG Y., ZHONG V., CHEN D., ANGELI G. & MANNING C. D. (2017). Position-aware attention and supervised data improve slot filling. In *Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing*, p. 35-45, Copenhagen, Denmark : Association for Computational Linguistics. DOI : 10.18653/v1/D17-1004.

ZHAO J., JIN P. & LIU Y. (2010). Business relations in the web : Semantics and a case study. *Journal of Software*, **5**(8), 826-833.

ZHOU D., ZHONG D. & HE Y. (2014). Biomedical relation extraction : from binary to complex. *Computational and mathematical methods in medicine*, **2014**.

ZHOU G., SU J., ZHANG J. & ZHANG M. (2005). Exploring various knowledge in relation extraction. In *Proceedings of the 43rd Annual Meeting of the Association for Computational Linguistics (ACL'05)*, p. 427-434, Ann Arbor, Michigan : Association for Computational Linguistics. DOI : 10.3115/1219840.1219893.

ZHOU P., SHI W., TIAN J., QI Z., LI B., HAO H. & XU B. (2016). Attention-based bidirectional long short-term memory networks for relation classification. In *Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 2 : Short Papers)*, p. 207-212, Berlin, Germany : Association for Computational Linguistics. DOI : 10.18653/v1/P16-2034.

ZUO Z., LOSTER M., KRESTEL R. & NAUMANN F. (2017). Uncovering business relationships : Context-sensitive relationship extraction for difficult relationship types. In M. LEYER, Éd., *Lernen, Wissen, Daten, Analysen (LWDA) Conference Proceedings, Rostock, Germany, September 11-13, 2017*, volume 1917 de CEUR Workshop Proceedings, p. 271 : CEUR-WS.org.
# Représentation dynamique et spécifique du contexte textuel pour l'extraction d'événements

Dorian Kodelja Romaric Besançon Olivier Ferret

CEA, LIST, Laboratoire Analyse Sémantique Texte et Image, Gif-sur-Yvette, F91191 France
dorian.kodelja, romaric.besancon, olivier.ferret@cea.fr

## RÉSUMÉ

Dans cet article, focalisé sur l'extraction supervisée de mentions d'événements dans les textes, nous proposons d'étendre un modèle opérant au niveau phrastique et reposant sur une architecture neuronale de convolution de graphe exploitant les dépendances syntaxiques. Nous y intégrons pour ce faire un contexte plus large au travers de la représentation de phrases distantes sélectionnées sur la base de relations de coréférence entre entités. En outre, nous montrons l'intérêt d'une telle intégration au travers d'évaluations menées sur le corpus de référence TAC Event 2015.

## ABSTRACT

**Dynamic and specific textual context representation for event extraction.**

In this paper, which focuses on the supervised detection of event mentions in texts, we propose to extend a neural sentence level model based on graph convolution exploiting syntactic dependencies. To do so, we integrate a larger context through the representation of distant sentences selected on the basis of co-reference relations between entities. We show the interest of such an integration through evaluations carried out on the TAC Event 2015 reference corpus.

**MOTS-CLÉS** : Extraction d'information événementielle, convolution de graphe, contexte.

**KEYWORDS:** Event information extraction, graph convolution, context.

## 1 Introduction

Le travail présenté dans cet article se focalise sur l'extraction d'événements supervisée à partir de textes (Grishman, 2019; Xiang & Wang, 2019; Kodelja et al., 2019b). Cette tâche, incarnée en particulier par les évaluations ACE 2005 (Doddington et al., 2004) et TAC Event (Getman et al., 2018), consiste à identifier dans des textes les mots ou séquences de mots, appelés mentions d'événements, marquant la présence d'un type d'événement défini a priori. Par exemple, le mot « pow-wow » de la phrase suivante :

> Putin had invited Tony Blair to the pow-wow in Saint Petersburg's Grand Hotel Europe.

est à extraire pour marquer la présence d'un événement de type *Meet*. Diverses méthodes ont été élaborées au fil du temps pour réaliser cette tâche mais les meilleures performances sont obtenues actuellement par des méthodes présentant deux caractéristiques principales : elles sont fondées sur des architectures neuronales et opèrent principalement à l'échelle phrastique, à l'image de (Nguyen & Grishman, 2018). Néanmoins, se limiter à cette échelle ne permet pas toujours de disposer de

<figure><img src="image_17.png" /></figure>
tous les éléments nécessaires à une bonne décision. C'est pourquoi un certain nombre de travaux se sont attachés à exploiter des informations au-delà de la phrase pour extraire de celle-ci des mentions d'événements. Ces travaux peuvent schématiquement se répartir en deux grandes catégories : ceux exploitant des informations au niveau du document pour réaliser une extraction à un niveau local et ceux opérant une extraction plus collective à l'échelle du document.

Les premiers sont représentés historiquement par (Liao & Grishman, 2010) et plus récemment par (Kodelja et al., 2019a), avec une approche par amorçage consolidant au niveau du document les prédictions réalisées à un niveau local afin d'améliorer ces dernières. Sont ainsi prises en compte les dépendances entre types d'événements au niveau du document. (Hong et al., 2011) représente de ce point de vue une vision plus centrée sur les relations entre les types d'entités et les types d'événements, ces relations étant là aussi envisagées à l'échelle du document. Une autre perspective est d'intégrer à un niveau local une représentation globale du document. Duan et al. (2017) le font ainsi en s'appuyant sur une méthode de représentation générique, en l'occurrence Doc2Vec (Le & Mikolov, 2014). Zhao et al. (2018) définissent pour leur part un modèle hiérarchique neuronal de représentation des documents en relation avec la tâche d'extraction d'événements.

Le travail de Chen et al. (2018) peut être vu comme une forme d'association entre les deux catégories distinguées ci-dessus : il repose pour une bonne part sur l'exploitation au niveau phrastique des informations présentes à l'échelle du document, exploitation réalisée dans ce cas de façon plus sélective grâce à des mécanismes d'attention, qu'intégratrice, mais l'extraction des événements au niveau phrastique s'effectue de façon collective. Reichart & Barzilay (2012), Liu et al. (2016) ainsi que Yang & Mitchell (2016) implémentent des approches collectives opérant quant à elles au niveau du document. La première articule l'utilisation de modèles de type Conditional Random Field (Lafferty et al., 2001) à un niveau local et de contraintes déclaratives à l'échelle du document par le biais d'une procédure de décomposition duale (Rush et al., 2010). La deuxième repose sur le paradigme Probabilistic Soft Logic (Kimmig et al., 2012) pour exprimer des contraintes globales sous la forme de formules logiques. Enfin, la dernière s'appuie sur un modèle graphique sous forme de graphe de facteurs (factor graph).

Nous proposons dans cet article une nouvelle méthode de prise en compte du contexte textuel pour l'extraction d'événements en étendant un modèle opérant au niveau phrastique fondé sur la convolution de graphe. Cette nouvelle méthode prend en compte de façon sélective le contexte textuel d'une mention d'événement candidate en intégrant la représentation de phrases distantes sur la base des relations de coréférence entrenues avec les entités entourant cette mention. Nous évaluons cette nouvelle méthode sur le corpus de référence TAC Event 2015 et montrons son intérêt en termes de résultats par rapport aux résultats de référence sur ce corpus.

## 2 Description de l'approche

Comme nous l'avons vu en introduction, l'extraction d'événements consiste à identifier dans un texte les mentions d'événements et leur associer un type selon une taxonomie préalablement établie. Dans cet article, nous nous appuyons sur les 38 types d'événements de la taxonomie DEFT Rich ERE (Linguistic Data Consortium, 2015) utilisée dans le cadre des campagnes TAC Event (Getman et al., 2018). Ces 38 types sont organisés en 9 grands types pour lesquels nous donnons un exemple entre parenthèses : Business (Merge.Org), Conflict (Attack), Contact (Meet), Justice (Sentence), Life (Divorce), Manufacture (Artifact), Movement (Transport.Person), Personnel (Nominate) et Transaction
(Transfert.Money). Dans les annotations liées à cette taxonomie, les mentions d'événements sont en grande majorité des mots simples. Comme nous pouvons le constater dans le tableau 1, la proportion de mentions d'événements multi-mots pour les corpus d'évaluation que nous avons adoptés se situe aux alentours de 3 %, ce qui est faible. Dans le prolongement de la plupart des modèles neuronaux développés pour l'extraction d'événements, nous choisissons donc d'aborder le problème non pas comme une tâche d'annotation de séquences mais comme une tâche de classification multi-classe de mots, chacun des 38 types d'événements constituant l'une de ces classes, auxquelles s'ajoute une classe NULLE (absence d'événement, classe très majoritaire). Ce choix est d'un impact négatif négligeable mais simplifie la modélisation et permet l'introduction d'un vecteur de positions contribuant grandement aux performances (Nguyen et al., 2016). Enfin, toujours dans la continuité de la plupart des approches neuronales récentes, nous nous plaçons à l'échelle intra-phrastique. Notre modèle est composé de deux sous-modèles : le premier est un modèle hybride opérant au niveau phrastique tandis que le second, un modèle récurrent, est appliqué au niveau inter-phrastique pour produire une représentation intégrée au premier modèle.

## 2.1 Modèle phrastique d'extraction d'événements

L'exploitation des informations contenues dans le contexte intra-phrastique joue un rôle capital dans la résolution de la tâche d'extraction d'événements. La compréhension du sens d'un mot en contexte dépend bien évidemment de certains a priori sur son sens en général tels qu'ils sont capturés par des représentations distribuées de mots. Cependant, ce sens contextualisé du mot se sélectionne, voire se construit, par interaction avec le contexte. C'est pourquoi il est nécessaire d'utiliser un modèle exploitant les autres mots de la phrase et la manière dont ils interagissent avec le mot cible. Bien que les modèles exploitant la forme de surface de la phrase (réseaux convolutifs (CNN) ou récurrents (RNN)) permettent d'obtenir des performances satisfaisantes en extraction, la prise en compte de l'arbre de dépendance de la phrase est également bénéfique, comme l'ont notamment montré (Orr et al., 2018) et (Nguyen & Grishman, 2018).

Le modèle de convolution de graphe proposé par (Nguyen & Grishman, 2018) pour l'extraction d'événements ayant obtenu de bonnes performances, nous nous focaliserons par la suite sur cette architecture. Ce modèle est constitué de quatre composantes principales : une couche de plongement associant une représentation vectorielle à chaque mot en entrée spécifiant les différents traits qui lui sont associés ; un BiLSTM (Hochreiter & Schmidhuber, 1997) appliqué à ces représentations d'entrée permettant leur contextualisation dans l'espace de la phrase ; plusieurs couches de convolution de graphe opérant sur ces représentations contextualisées afin de prendre en compte l'environnement des mots par le biais des relations de dépendance syntaxique ; enfin, une couche de pooling permettant d'agréger les représentations ainsi produites pour chaque mot de la phrase avant la couche de classification pour le mot cible. Nous présentons ici plus en détail ces composantes.

### 2.1.1 Représentation et contextualisation des entrées

Comme nous l'avons vu ci-dessus, la tâche d'extraction d'événements prend la forme d'une classification multiclasse pour chaque mot de la phrase. Pour chaque candidat $w_t$, nous créons une représentation qui lui est spécifique de la phrase $S = (w_1, w_2, ..., w_n)$ dans laquelle il apparaît. Pour ce faire, la représentation $x_i$ de chaque mot $w_i$ est obtenue en concatenant les représentations vectorielles réelles suivantes correspondant aux différents traits associés aux mots en entrée.
— Plongement de mot : cette représentation encode les propriétés distributionnelles du mot $w_i$. Elle est initialisée à partir de représentations produites sur la base d'un grand corpus non annoté.

— Plongement de position : pour chaque mot $w_i$ de la phrase, sa distance $i - t$ au mot cible $w_t$ est calculée. Un dictionnaire de vecteurs initialisés aléatoirement associe les différentes distances possibles à des vecteurs.

— Plongement d'entités : les entités nommées jouent un rôle important en extraction d'information car elles sont généralement les arguments des relations à extraire. Dans le cas présent, elles sont plus précisément les participants des événements à extraire et sont donc partie prenante, à un niveau plus local, de relations entre les mentions d'événements et les participants de ces événements. Même si toutes les entités nommées d'une phrase ne sont pas nécessairement liées à une mention d'événements présente dans cette phrase, elles constituent néanmoins des indices potentiellement intéressants de sa présence. Du point de vue des représentations, comme pour les plongements de position, chaque type d'entité (dont le type NUL correspondant à l'absence d'entité pour un mot) est associé à un vecteur initialisé aléatoirement. Le type d'entité $e_i$ du mot $w_i$ permet ainsi d'obtenir son plongement d'entité.

La concaténation des représentations $x_i$ de chaque mot $w_i$ d'une phrase forme la séquence X :

$$X = (x_0, x_1, \dots, x_n) \qquad (1)$$

Celle-ci constitue une représentation de la phrase, centrée sur le mot cible $w_t$ grâce aux plongements de position. Cette représentation est ensuite mise en entrée d'un modèle BiLSTM permettant de produire une représentation contextualisée de chaque mot de la phrase. Plus précisément, la partie *forward* de ce BiLSTM intègre la partie de la phrase allant de son début jusqu'au mot considéré tandis que la partie *backward* intègre la partie complémentaire, allant de la fin de la phrase jusqu'au mot considéré. Les réseaux de type LSTM ont vocation à prendre en compte un contexte large, ce qui pourrait sembler a priori suffisant pour couvrir la totalité d'un contexte phrastique. En réalité, l'expérience montre que l'horizon effectif de ce type de réseaux est beaucoup plus limité, ce qui explique d'ailleurs que les performances d'un réseau LSTM en extraction d'événements soient très comparables à celles d'un réseau convolutif, dont l'horizon est supposé plus réduit.

## 2.1.2 Convolution de graphe pour l'exploitation des dépendances syntaxiques

Afin de dépasser les limites des modèles convolutifs et récurrents, l'idée est de s'appuyer sur les relations de dépendance syntaxique pour élargir l'horizon des modèles de façon sélective. Les participants des événements, qui peuvent constituer des traits particulièrement discriminants pour les identifier, sont en effet fréquemment liés aux mentions d'événements par le biais de relations syntaxiques. Pour mettre en œuvre cette idée, Nguyen & Grishman (2018) ont proposé d'utiliser la notion de convolution de graphe (Kipf & Welling, 2017). Dans ce cadre, le voisinage d'un mot n'est plus constitué de son environnement séquentiel – les mots qui le précédent et le suivent – mais des mots qui lui sont liés par le biais de relations de dépendance. La représentation d'un mot est alors produite en appliquant une convolution aux représentations des mots constituant ce voisinage.

De façon plus formelle, à partir d'une phrase S de n mots ($w_1, w_2, \dots, w_n$), est construit le graphe $G = \{V, E\}$ tel que l'ensemble $V = \{w_1, w_2, \dots, w_n\}$ de ses nœuds correspond aux mots de la phrase considérée et l'ensemble de ses arêtes E, à l'ensemble des relations de dépendance syntaxique
qui les lient. Pour chaque paire de mots $(w_i, w_j)$ pour lesquels $w_i$ et $w_j$ sont respectivement gouverneur et gouverné d'une relation, $L(w_i, w_j)$ indique le type de la dépendance en question.

Afin que la représentation d'un mot par le graphe tienne compte à la fois de la représentation d'entrée du mot, de ses gouvernants et de son gouverneur, l'ensemble des arêtes $E$ est constitué de trois sous-ensembles d'arêtes dirigées et étiquetées.

- **Direct**: pour chaque dépendance syntaxique $(w_i, w_j)$ de type $L(w_i, w_j)$, nous ajoutons une arête de $w_i$ vers $w_j$ étiquetée par le type de la dépendance (p. ex. $nmod$).

- **Inverse**: nous produisons également une arête inverse, de $w_j$ vers $w_i$, étiquetée par le type de la dépendance et suffixée par l'intitulé inverse (p. ex. $nmod\_inverse$).

- **Self-loop**: pour chaque nœud du graphe, une arête vers lui-même de type self-loop est ajoutée au graphe. Contrairement aux précédents types d'arêtes, celui-ci ne traduit pas une relation syntaxique au sein de la phrase mais permet au modèle de prendre en compte la représentation propre du nœud à la couche précédente lors de la convolution.

Un modèle de convolution de graphe est constitué de $K$ couches de convolutions appliquées à un graphe dont les arêtes peuvent être de différents types. Pour un nœud $u$ de voisinage $N(u)$, sa représentation $h_u^{k+1}$ à la couche $k+1$ est alors :

$$h_u^{k+1} = \sigma \left( \sum_{v \in N(u)} W_{L(u,v)}^k h_v^k + b_{L(u,v)}^k \right) \quad (2)$$

où $W_{L(u,v)}^k$ et $b_{L(u,v)}^k$ sont respectivement la matrice de poids et les biais associés au type de dépendance $L(u, v)$ entre $u$ et $v$. $\sigma$ est une fonction d'activation.

Afin de distinguer l'influence de différents voisins, une pondération des nœuds voisins est obtenue ainsi :

$$s_{(u,v)}^k = \sigma \left( h_v^k \overline{W}_{L(u,v)}^k + \bar{b}_{L(u,v)}^k \right) \quad (3)$$

En introduisant la pondération des voisins (3), l'équation de convolution de graphe (2) devient :

$$h_u^{k+1} = \sigma \left( \sum_{v \in N(u)} s_{(u,v)}^k (W_{L(u,v)}^k h_v^k + b_{L(u,v)}^k) \right) \quad (4)$$

Le nombre de paramètres des matrices $W_{L(u,v)}^k$, $\overline{W}_{L(u,v)}^k$ et des biais $b_{L(u,v)}^k$ et $\bar{b}_{L(u,v)}^k$ est proportionnel au nombre de types de dépendances syntaxiques. Or, les Universal Dependencies utilisées sont constituées de 37 dépendances différentes. Le modèle produisant également des dépendances inverses et des arêtes self-loop, il serait nécessaire d'utiliser 75 étiquettes différentes. Compte tenu de la taille relativement petite des jeux de données en extraction d'événements, il est préférable de restreindre le nombre de types de dépendances. Pour ce faire, et comme proposé par (Marcheggiani & Titov, 2017), nous limitons le nombre de relations syntaxiques à trois : lien direct, inverse et self-loop.

Pour la première couche du graphe, la représentation $h_u^0$ est la représentation contextualisée du mot $x_u$ produite par le BiLSTM. Il est à noter que cette représentation est en pratique complémentaire de l'approche par graphe de convolution : elle permet de prendre en compte d'une façon que l'on sait efficace le contexte local du mot considéré tandis que la vocation du graphe de convolution est surtout de regarder au-delà de ce contexte local.
### 2.1.3 Pooling

Une fois produite la séquence des représentations vectorielles $h_{w_1}^k, h_{w_2}^k, \dots, h_{w_n}^k$ de chaque mot par la dernière (K-ième) couche de convolution de graphe, il est nécessaire d'agréger cette séquence en une représentation $p_t$ du mot cible $w_t$ à fournir en entrée d'une couche linéaire dotée d'un softmax afin de réaliser la classification. Nguyen & Grishman (2018) comparent les méthodes existantes, *pooling cible* (extraction de la représentation du mot cible uniquement), *pooling global (max-pooling* sur l'ensemble des mots de la phrase), *multipooling dynamique* (concaténation des poolings globaux des contextes gauche et droit du mot cible) et proposent une nouvelle méthode d'agrégation tenant compte des entités de la phrase : le pooling d'entités.

Cette proposition est motivée par les limites des autres méthodes à tirer spécifiquement profit des représentations vectorielles produites par le graphe des entités. Comme évoqué précédemment, le nombre $K$ de couches de convolution de graphe peut être insuffisant pour que l'information des entités distantes soit propagée jusqu'à la représentation finale $h_t^k$ extraite par la méthode de pooling cible. De plus, la présence d'informations plus spécifiques aux entités, présentes dans leurs représentations propres, est ignorée par cette méthode. Pour ce qui est des deux autres méthodes, leur traitement indifférencié de l'ensemble des mots du contexte peut mener au rejet d'informations pertinentes des entités dans le cas où certaines représentations de mots non informatifs obtiendraient des valeurs plus élevées. Pour éviter ces écueils, la méthode de pooling d'entités consiste à appliquer un max-pooling uniquement aux mots cibles et aux entités de la phrase :

$$p_t = \maxpool(\{h_{w_t}^K\} \cup \{h_{w_i}^K : 1 \le i \le n, e_i \ne \text{NUL}\}) \quad (5)$$

Cette méthode reposant sur une annotation fiable des entités, elle pourrait s'avérer moins efficace dans des cas où l'annotation des entités serait réalisée automatiquement. C'est pourquoi nous proposons un pooling intermédiaire entre le pooling d'entités et le pooling global, ne dépendant pas des entités mais se focalisant également sur les mots les plus porteurs de sens. Cette stratégie, que nous appelons pooling syntaxique, consiste à appliquer un max-pooling au mot cible et à l'ensemble des noms, verbes et adjectifs de la phrase.

## 2.2 Prise en compte du contexte inter-phrastique

Le modèle de convolution de graphe étant à même d'exploiter un contexte intra-phrastique distant, nous nous intéressons à présent à la prise en compte du contexte inter-phrastique, c'est-à-dire l'exploitation des autres phrases du document pour l'enrichissement de la représentation locale.

### 2.2.1 Problématique

À notre connaissance, seulement deux autres études se sont portées sur l'intégration d'un contexte distant pour l'extraction d'événements. Ces deux modèles produisent une représentation unique du document, utilisée de manière indifférenciée pour tous les exemples d'apprentissage. Nous faisons au contraire l'hypothèse qu'il est souhaitable de déterminer un contexte spécifique pour chaque exemple afin de produire une représentation du contexte inter-phrastique plus à même de résoudre les ambiguïtés locales spécifiques de la phrase d'exemple.

Dans le cadre de l'extraction d'événements, la présence d'entités communes, en tant qu'arguments potentiels d'événements similaires, nous semble un indice fort du lien contextuel entre deux phrases.
Nous supposons en effet que de telles phrases font référence à des événements proches (tels que différents événements judiciaires partageant un même accusé), successifs (succession d'une blessure puis de la mort), voire contiennent deux mentions d'un même événement.

Nous distinguons ici la notion d'entité, c'est-à-dire une instance unique et spécifique telle qu'une personne, un lieu ou une organisation, de celle de mention d'entité, c'est-à-dire la mention d'une entité au sein d'une phrase. Ainsi, dans les deux phrases suivantes provenant d'un même document du jeu de données ACE 2005 :

— « Putin had invited Tony Blair to the **pow-wow** in Saint Petersburg's Grand Hotel Europe. »

— « But the *Saint Petersburg summit* ended without any formal declaration on Iraq. »

le mot « pow-wow » de la première phrase est déclencheur d'un événement Meet. Mais ce mot est particulièrement atypique, donc peu susceptible d'avoir été rencontré dans un ensemble d'entraînement. L'identification de la coréférence entre les deux mentions « Saint Petersburg » permet néanmoins de relier cette phrase à la seconde dans laquelle la présence de l'événement est plus évidente. Dans cet esprit, nous proposons de restreindre le contexte d'une phrase cible à l'ensemble des phrases contenant des mentions associées à des entités communes avec la phrase cible. Notre méthode consiste alors à extraire des représentations de ces phrases de contexte puis à les combiner aux représentations locales des mentions d'entités correspondantes de la phrase cible afin de les enrichir. Cette méthode peut donc se diviser en trois étapes que nous présentons dans la suite de cette section : l'identification des phrases de contexte, l'extraction des représentations des entités du contexte puis l'intégration de ces représentations au modèle local.

### 2.2.2 Sélection des phrases de contexte

À partir d'une phrase $S^j = (w_1^j, w_2^j, \dots, w_n^j)$, pour chaque mot $w_i^j$ tel que $e_i^j \neq \text{NUL}$, $E(e_i^j)$ désigne l'entité correspondant à la mention $e_i^j$. Pour deux phrases $S^j$ et $S^k$, $\text{links}(S^j, S^k)$ est l'ensemble des liens d'entités entre les deux phrases.

$$ \text{links}(S^j, S^k)) = \{(l, m) : E(e_l^j) = E(e_m^k)\} \qquad (6) $$

Le contexte d'une phrase $S^j$ est alors donné par $\text{Links}(S^j)$. Cette fonction produit l'ensemble des tuples associant une phrase de contexte et les liens qu'elle entretient avec la phrase cible :

$$ \text{Links}(S^j) = \left\{ \left( S^k, \text{links}(S^j, S^k) \right) : j \neq k \right\} \qquad (7) $$

### 2.2.3 Extraction des représentations du contexte

Nous souhaitons produire des représentations spécifiques pour chaque entité $e_i^j$ de la phrase cible $S^j$. Nous définisons donc $\text{Ent-Links}(S^j, i)$, qui associe à une mention d'entité de la phrase cible l'ensemble des mentions d'entités en coréférence dans des phrases de contexte :

$$ \text{Ent-Links}(S^j, i) = \{(S^k, l) : S^k \in \text{Links}(S^j) \text{ et } E(e_l^j) = E(e_k^k)\} \qquad (8) $$

Pour chacune de ces paires $(S^k, l)$ du contexte, nous produisons une représentation d'entrée $X^{k,l} = x_1^{k,l}, x_2^{k,l}, \dots, x_n^{k,l}$ similaire à celle présentée en section 2.1.1, à la différence du vecteur de position.
Ici, pour chaque mot, le vecteur de position exprime cette fois la distance par rapport à la position *l* de la mention d'entité $e_l^k$.

Deux méthodes d'extraction sont possibles : le mode *Finale* (éq. 9) consiste à concatené les représentations finales des deux modèles récurrents tandis que le mode *Mention* (éq. 10) extrait les représentations à l'emplacement de l'entité.

$$ \textbf{Finale} : h_{\textbf{contexte}}(w^{k,l}) = [h_{\text{forward}}(x_n^{k,l}); h_{\text{backward}}(x_1^{k,l})] \quad (9) $$

$$ \textbf{Mention} : h_{\textbf{contexte}}(w^{k,l}) = [h_{\text{forward}}(x_l^{k,l}); h_{\text{backward}}(x_l^{k,l})] \quad (10) $$

$$ h_{\textbf{contexte}}(w^{k,l}) \in \mathbb{R}^{2d_c} $$

où $d_c$ est la dimension de la couche cachée des modèles *forward* et *backward*.

### 2.2.4 Intégration du contexte

Il est à présent nécessaire d'intégrer les représentations du contexte global de la mention d'entité $e_i$ dans le contexte local. Cette représentation peut être intégrée à deux niveaux : soit sous la forme de plongements supplémentaires lors de la production de la représentation d'entrée, soit sous la forme d'un nœud supplémentaire dans le graphe, voisin de la mention d'entité. Ces deux modes d'intégration sont présentés à la figure 1. Que ce soit pour une intégration au niveau des plongements

<figure><img src="image_18.png" /><figcaption>FIGURE 1 – Possibilités d'intégration d'une représentation contextuelle d'entité au sein d'un modèle de convolution de graphe. Cette représentation (en rouge) peut être intégrée en entrée du modèle ou dans le graphe par l'introduction d'un nouveau nœud connecté à la mention locale par un lien de type *contexte*. Le changement de couleur du jaune à l'orange explicite l'influence du contexte sur la représentation finale</figcaption></figure>

ou du graphe, la représentation attendue est un vecteur. Nous agrégeons donc l'ensemble des vecteurs obtenus via une étape de max-pooling permettant d'obtenir le vecteur de contexte<fnref n="1" /> :

$$ \textit{contexte}_i = \maxpool(\{h_{\textbf{contexte}}(w^{k,l}) : (S^k, l) \in \textit{Ent-Links}(S^j, i)\}) \quad (11) $$

<footnote n="1">1. Par souci de concision et de cohérence avec la notation utilisée en section 2.1.1, nous n'utilisons pas l'index de phrase cible *j* en exposant de contexte$_i$.</footnote>
<table><caption>TABLE 1 – Tailles des jeux de données utilisés : nombre de documents (N<sup>bre</sup> docs), de phrases (N<sup>bre</sup> phrases), de mots (N<sup>bre</sup> mots), de mentions d'événements (N<sup>bre</sup> évts), nombre de mentions d'événements par document (N<sup>bre</sup> évts/doc) et pourcentage des mentions d'événements de type multi-mot (% évts multi-mot)</caption><thead><tr><th>Jeux de données</th><th>N<sup>bre</sup> docs</th><th>N<sup>bre</sup> phrases</th><th>N<sup>bre</sup> mots</th><th>N<sup>bre</sup> évts</th><th>N<sup>bre</sup> évts/doc</th><th>% évts multi-mots</th></tr></thead><tbody><tr><td>train</td><td>346</td><td>14 568</td><td>252 355</td><td>7 865</td><td>22,7</td><td>4,5</td></tr><tr><td>dév.</td><td>100</td><td>6 255</td><td>94 064</td><td>4 436</td><td>44,2</td><td>3,7</td></tr><tr><td>test</td><td>202</td><td>4 756</td><td>97 956</td><td>6 438</td><td>31,9</td><td>1,8</td></tr></tbody></table>

Pour l'intégration au niveau des nœuds, nous modifions donc le graphe $G = \{V, E\}$ en ajoutant un nœud $i'$ dans V associé au mot $w_{i'}$ avec la représentation initiale $h_{i'}^0 = contexte_i$ et la représentation finale $h_{i'}^K$. Nous ne créons donc qu'un seul nœud agrégeant l'ensemble des représentations vectorielles distantes. Nous définissons alors un nouveau type d'arête contexte pour relier les mentions locales à leur représentation de contexte puis nous introduisons une arête supplémentaire ($w_i, w_{i'}$) de ce type dans E. Pour l'intégration au niveau des plongements, nous concatenons cette représentation aux autres plongements utilisés. Cependant, il est également nécessaire de créer une représentation par défaut pour les mots n'ayant pas de représentation de contexte. Cette représentation $c_{défaut}$ sera modifiée durant l'apprentissage. Le vecteur de contexte (11) est alors généralisé à l'ensemble des mots de la phrase en introduisant :

$$c_i = \begin{cases} contexte_i & \text{si } |Ent-Links}(S^j, i)| > 0 \\ c_{défaut} & \text{sinon} \end{cases} \quad (12)$$

En y introduisant le vecteur (12), nous redéfinissons la séquence d'entrée (1) ainsi :

$$X = ([x_0, c_0], [x_1, c_1], \dots, [x_n, c_n]) \quad (13)$$

# 3 Expériences

## 3.1 Données et prétraitements

Afin de nous comparer aux performances originelles du modèle de graphe présenté par (Nguyen & Grishman, 2018), nous nous évaluons sur le jeu de test TAC 2015. Nous partageons les données d'entraînement de TAC 2015 entre une partie pour l'apprentissage (58 documents) et une partie pour le développement (100 documents) en complétant les données d'apprentissage avec les jeux de données DEFT Rich ERE (R2 V2 et V2). Le tableau 1 présente un certain nombre de statistiques pour ces trois jeux de données : apprentissage (test), développement (dév.) et test (test). Les annotations en entités n'étant pas fournies, nous appliquons un modèle de reconnaissance d'entités nommées pour identifier les mentions. Il est alors nécessaire d'identifier les entités auxquelles ces mentions font référence. Pour ce faire, des outils de désambiguïsation d'entités (entity linking) pourraient sembler adaptés. Cependant, ces outils ayant pour objectif de rattacher les mentions d'entités à des entités spécifiques d'une ontologie, ils ne sont pas à même de traiter des mentions telles que « les trois
touristes » ou « l'agresseur », qui sont propres au document considéré. Nous appliquons donc plutôt un outil de résolution de corréférences. Nous redéfinissons alors la notion d'entité comme le groupe de corréférence auquel appartient une mention. Ce processus n'étant pas parfait, certaines mentions sont ignorées. Afin d'élargir la couverture du processus de corréférence, nous fusionnons donc les entités dont les mentions sont identiques.

### 3.1.1 Génération des exemples

Comme nous l'avons vu lors de la présentation de la convolution de graphe en section 2.1.2, le nombre de couches de convolution *K* correspond à la distance maximale séparant deux nœuds pouvant mutuellement s'influencer. Afin de faciliter l'accès aux mots supposés porteurs de sens dans la phrase, nous réalisons un filtrage préalable des mots de la phrase en fonction de leur étiquette morphosyntaxique. Nous supprimons ainsi les mots appartenant aux catégories suivantes : ponctuation, symbole, chiffre, déterminant, préposition, conjonction, interjection. Afin de préserver la connexité de l'arbre de dépendances syntaxiques, lorsqu'un mot supprimé est gouverneur d'autres mots, nous remplaçons le gouverneur de ces dépendances par le gouverneur du mot supprimé.

De plus, nous introduisons un masque de prédiction pour ne prédire que pour les noms, les verbes et les adjectifs. Les autres mots sont automatiquement associés à l'étiquette de la classe NULLE. Ce masque permet ainsi de réduire sensiblement le nombre d'exemples négatifs dans le jeu de données en ne perdant que très peu d'exemples positifs. Cette étape présente un double intérêt. D'une part la réduction importante de la taille des jeux de données se traduit par des temps d'apprentissage et de prédiction plus rapides. D'autre part, ce filtrage permet de réduire l'important déséquilibre entre la classe NULLE et les autres classes.

### 3.1.2 Hyperparamètres

Nous nous appuyons sur la suite d'outils linguistiques Stanford CoreNLP (Manning et al., 2014) pour réaliser l'extraction d'entités nommées, la résolution de corréférences et l'analyse en dépendances utilisée pour produire les graphes. Concernant les entités nommées, nous exploitons l'ensemble étendu de 24 types couvrant des types de base tels que PERSON, LOCATION ou ORGANIZATION mais également des types relevant moins directement de la notion d'entité nommée comme IDEOLOGY ou CAUSE_OF_DEATH. Du point de vue syntaxique, les dépendances considérées sont les dépendances Basic dependencies. La matrice de poids des plongements de mots, à 300 dimensions, est initialisée à partir des plongements pré-entraînés GloVe (Pennington et al., 2014). Les plongements de position et de type d'entités sont de taille 50 et les dimensions du BiLSTM du modèle local et des couches de convolution de graphe sont respectivement de 400 et 300. Les plongements de mots, d'entités et de distances sont les mêmes pour les phrases cibles et de contexte. Nous avons repris de (Nguyen & Grishman, 2018) un nombre *K* de couches de convolution égal à 2, les performances se dégradant à partir de 3, sans doute parce qu'au-delà d'un pas de deux dans le graphe de dépendances, le ratio entre les informations pertinentes observées par rapport à ce que l'on peut considérer comme du bruit vis-à-vis de la tâche devient trop faible. De même, la fonction d'activation $\sigma$ est aussi la fonction ReLU. Le modèle est entraîné via SGD avec momentum avec des lots de 10 exemples. Les autres paramètres sont déterminés par optimisation bayésienne d'hyperparamètres grâce à hyperopt<fnref n="2" />, les

<footnote n="2">2. https://github.com/hyperopt/hyperopt</footnote>
<table><caption>TABLE 2 – Performances en développement suivant les choix de modélisation (P : précision, R : rappel, F<sub>max.</sub> : F-mesure maximale sur 10 reproductions, F<sub>moy.</sub> : F-mesure moyenne, F<sub>σ</sub> : écart-type de la F-mesure)</caption><thead><tr><th></th><th>P</th><th>R</th><th>F<sub>max.</sub></th><th>F<sub>moy.</sub></th><th>F<sub>σ</sub></th></tr></thead><tbody><tr><td>C-GCN</td><td>63,39</td><td><strong>57,34</strong></td><td><strong>60,51</strong></td><td><strong>60,19</strong></td><td>0,20</td></tr><tr><td>Intégration - Nœud</td><td><strong>65,53</strong></td><td>55,40</td><td>60,39</td><td>59,96</td><td>0,38</td></tr><tr><td>Pooling - Entité</td><td>63,35</td><td>57,07</td><td>60,49</td><td>59,96</td><td>0,30</td></tr><tr><td>Extraction - Mention</td><td>63,11</td><td>57,07</td><td>60,40</td><td>59,86</td><td>0,44</td></tr><tr><td>Pooling - Cible</td><td>62,14</td><td>56,92</td><td>59,99</td><td>59,37</td><td>0,36</td></tr></tbody></table>

configurations présentées étant sélectionnées à l'aide des performances en développement. Toutes les performances moyennes fournies sont calculées pour 10 reproductions avec les mêmes paramètres.

## 3.2 Étude des hyperparamètres du modèle

Nous étudions en premier lieu l'influence des différents choix de modélisation présentés :

- Extraction : Finale/Mention (cf. section 2.2.3).

- Intégration : Plongement/Nœud (cf. section 2.2.4).

- Pooling : Cible/Syntaxique/Entité (cf. section 2.1.3).

Nous avons réalisé sur le jeu de développement une recherche de valeur optimale pour ces différents paramètres ainsi que pour les paramètres d'optimisation (learning rate, régularisation 12, dropout, momentum). Le meilleur modèle obtenu utilise l'extraction *Finale*, l'intégration *Plongements* et le pooling *Syntaxique*. Cette tendance se confirme également en observant les autres configurations explorées lors de la recherche des meilleures valeurs pour les hyperparamètres. Il n'est cependant pas aisé de résumer directement cet ensemble d'expériences. C'est pourquoi nous présentons dans le tableau 2 les performances du meilleur modèle, C-GCN, et des versions obtenues en modifiant chacun des paramètres présentés. Le pooling cible est très significativement inférieur ($p < 0,001$) au pooling syntaxique utilisé par le modèle C-GCN, ce qui indique que la représentation du nœud à prédire n'est pas suffisante pour en prédire le type. Nous observons également que le pooling des entités obtient des performances légèrement inférieures au pooling syntaxique bien que cette différence soit peu significative ($p = 0,058$). L'exploitation d'un ensemble plus large de mots étant bénéfique au modèle, nous en déduisons que les représentations des entités de la phrase ne suffisent pas à enrichir la représentation du nœud cible. Notre pooling syntaxique est relativement proche du pooling *overall* proposé par Nguyen & Grishman (2018) qui obtient dans l'article d'origine des performances plus basses que le pooling des entités. Puisque nous utilisons un système d'extraction d'entités différent de celui utilisé par Nguyen & Grishman (2018), nous supposons que cette différence de performance est liée à la qualité des entités détectées.

Les moindres performances de l'extraction au niveau des mentions peuvent également s'expliquer par l'imprécision des entités ou simplement par le fait que les représentations finales des phrases de contexte sont plus informatives que les représentations spécifiques des mentions d'entités du contexte. Enfin, concernant l'intégration de la représentation du contexte au modèle, l'intégration au niveau des nœuds ne dégrade pas de manière significative les performances mais produit un profil plus déséquilibré entre précision et rappel.