KINCAID J., FISHBURNE R., ROGERS R. & CHISSOM B. (1975). *Derivation of new readability formulas (Automated Readability Index, Fog Count and Flesch Reading Ease Formula) for Navy enlisted personnel*. Rapport interne, Naval Technical Training, U. S. Naval Air Station, Memphis, TN.

LAUFER B. & ELIASSON S. (1993). What causes avoidance in L2 learning. L1-L2 difference, L1-L2 similarity or L2 complexity? *Studies in Second Language Acquisition*, (15), 35–48.

MALMASI S. & DRAS M. (2015). Large-scale native language identification with cross-corpus evaluation. In *Annual Conference of the North American Chapter of the ACL*, p. 1403–1409.

MCLAUGHLIN G. H. (1969). SMOG grading – a new readability formula. *Journal of reading*, **12**(8), 639–646.

MOLOI F. (1998). Acquisition of modal auxiliaries in English L2. *Southern African Journal of Applied Language Studies*, **6**(2), 1–22.

MORTELMANS T. & ANTHONISSEN L. (2016). *German modals in second language acquisition : A constructionist approach*, In A. STEFANOWITSCH & T. HERBST, Éds., *Yearbook of the German Cognitive Linguistics Association*, p. 9–30.

MURAKAMI A., MICHEL M., ALEXOPOULOU T. & MEURERS D. (2016). Analyzing learner language in task contexts : A study case of linguistic complexity and accuracy in EFCAMDAT. In *European Second Language Association Conference*.

NISIOI S. (2015). Feature analysis for native language identification. In *CICLING*, p. 1–15.

PAPAFRAGOU A. (1998). The acquisition of modality : Implications for theories of semantic representation. *Mind and Language*, **13**(3), 370–399. DOI: 10.1111/1468-0017.00082.

PEDREGOSA F., VAROQUAUX G., GRAMFORT A., MICHEL V., THIRION B., GRISEL O., BLONDEL M., PRETTENHOFER P., WEISS R., DUBOURG V., VANDERPLAS J., PASSOS A., COURNAPEAU D., BRUCHER M., PERROT M. & DUCHESNAY E. (2011). Scikit-learn : Machine learning in Python. *Journal of Machine Learning Research*, **12**, 2825–2830.

PILAN I., VOLODINA E. & ZESCH T. (2016). Predicting proficiency levels in learner writings by transferring a linguistic complexity model from expert-written coursebooks. In *Int Conf on Computational Linguistics*, p. 2101–2111.

RABINOVICH E., NISIOI S., ORDAN N. & WINTNER S. (2016). On the similarities between native, non-native and translated texts. In *Annual Meeting of the Association for Computational Linguistics*, p. 1870–1881.

ROBERTSON K. & FORD K. (2009). *Language Acquisition : An Overview*. Rapport interne, Colorin Colorado.

RÖMER U. (2019). A corpus perspective on the development of verb constructions in second language learners. *International Journal of Corpus Linguistics*, **24**(3), 270–292.

SAEED A. T. (2009). Arab EFL learners’ acquisition of modals. *Research in Language*, **7**, 75–98.

SHATZ M. & WILCOX S. (1991). *Constraints on the acquisition of English modals*, In S. GELMAN & J. BYRNES, Éds., *Perspectives on language and thought*, p. 319–353. Cambridge University Press : Cambridge.

WATANABE S. & IWASAKI N. (2009). *The Acquisition of Japanese Modality during Study Abroad*, In B. PIZZICONI & M. KIZU, Éds., *Japanese Modality*, p. 231–258.
TArC
Un corpus d'arabish tunisien

Elisa Gugliotta¹,² Marco Dinarelli¹

(1) LIG - Bâtiment IMAG, 700 Avenue Centrale 38401 Saint-Martin-d'Hères, Grenoble, France

(2) Université Sapienza di Roma, 82 Viale dello Scalo S. Lorenzo 00159, Roma, Italia

elisa.gugliotta@uniroma1.it, marco.dinarelli@univ-grenoble-alpes.fr

RÉSUMÉ

Cet article décrit la procédure de constitution du premier corpus d'arabish tunisien (TArC) annoté avec des informations morpho-syntaxiques. L'arabish est la transcription spontanée des dialectes arabes en caractères latins et arythmographies, c'est à dire avec des chiffres utilisées comme lettres. Ce système d'encodage a été développé par les utilisateurs arabes des réseaux sociaux afin de faciliter l'écriture dans les communications informelles. L'arabish diffère pour chaque dialecte arabe et il est sous-doté en termes de ressources, de la même façon que la plupart des dialectes arabes. Dans les dernières années, l'attention des travaux de recherche en TAL sur les dialectes arabes est augmentée de façon remarquable. En prenant ceci en compte, TArC serait un support utile pour plusieurs types d'analyses, computationnelles ainsi que linguistiques, et pour l'apprentissage d'outils informatiques. Nous décrivons le travail fait pour mettre en place une procédure d'acquisition semi-automatique du corpus TArC, ainsi que certaines analyses faites sur les données collectées. Afin de montrer les difficultés rencontrées pendant la procédure de constitution du corpus, nous présentons également les caractéristiques principales du dialecte tunisien, ainsi que sa transcription en arabish.

ABSTRACT

TArC : Incrementally and Semi-Automatically Collecting a Tunisian arabish Corpus

This article describes the collection process of the first morpho-syntactically annotated Tunisian arabish Corpus (TArC). Arabish is a spontaneous coding of Arabic Dialects (AD) in Latin characters and arithmographs (numbers used as letters). This code-system was developed by Arabic-speaking users of social media in order to facilitate the communication on digital devices. Arabish differs for each Arabic dialect and each arabish code-system is under-resourced. In the last few years, the attention of NLP on AD has considerably increased. TArC will be thus a useful support for different types of analyses, as well as for NLP tools training. In this article we will describe preliminary work on the TArC semi-automatic construction process and some of the first analyses on the corpus. In order to provide a complete overview of the challenges faced during the building process, we will present the main Tunisian dialect characteristics and its encoding in Tunisian arabish.

MOTS-CLÉS : Corpus d'arabish tunisien, Dialecte arabe, Arabizi.

KEYWORDS : Tunisian arabish Corpus, Arabic Dialect, Arabizi.

<figure><img src="image_58.png" /></figure>
# 1 Introduction

L'arabish<fnref n="1" /> est la romanisation des dialectes arabes (DAs) utilisée pour des messages écrits informels, particulièrement dans les réseaux sociaux. Ce système d'écriture fournit un terrain très intéressant pour des recherches linguistiques, computationnelles, mais aussi socio-linguistiques, principalement grâce au fait qu'il s'agit d'une représentation écrite spontanée des DAs, et il est en constante expansion dans le web.<fnref n="2" /> Malgré ce potentiel, peu de recherches de ce type on été dédiées à l'arabish tunisien (TA). Dans cet article nous décrivons notre travail pour le développement d'une ressource en TA riche, avec plusieurs niveaux d'annotation. Celle-ci inclut un corpus en TA annoté, mais aussi des outils informatiques pour à la fois analyser les données et étendre éventuellement le corpus avec des nouvelles données. En premier lieu, la ressource permet de donner une vue générale du TA. Au même temps elle constitue une représentation significative de l'évolution du dialecte tunisien (TUN) dans le cadre de la communication numérique (CMC, de l'anglais *Computer-Mediated Communication*) à travers les dix dernières années. En effet, les textes collectés datent de 2010 jusqu'à l'année courante.<fnref n="3" /> Pour cette raison, notre corpus se prête à des études phonologiques, morphologiques, syntaxiques et aussi sémantiques, et à la fois dans un contexte de linguistique et de TAL. Nous avons donc décidé de construire un corpus qui peut mettre en évidence les caractéristiques structurelles du TA grâce à plusieurs niveaux d'annotation, comprenant parties du discours (POS) et lemmes. De plus, afin de faciliter la correspondance avec d'autres études, ainsi que des outils déjà existants pour le traitement du langage arabe, nous avons transcrit les tokens en arabish en caractères arabes du dialecte tunisien, suivant les lignes directrices du *Conventional Orthography for Dialectal Arabic* (CODA*) (Habash et al., 2018).<fnref n="4" /> Enfin, même si la traduction de notre corpus n'est pas l'objectif principal de nos recherches, nous avons décidé de traduire les textes de notre corpus en italien.<fnref n="5" />

Le reste de l'article est organisé comme suit : dans la section 2 nous décrivons des études sur l'arabish tunisien (TA) et les corpus accessibles du dialecte tunisien (TUN) et TA ; la section 3 décrit le TA ; dans la section 4 nous présentons la procédure de construction du corpus *TArC* ; la section 5 montre des expériences préliminaires pour la transcription et l'annotation semi-automatiques des données, adoptés pour une construction plus facile et rapide du corpus ; nous tirons nos conclusions dans la section 6.

# 2 État de l'art

Le travail décrit dans cet article concerne surtout la transcription semi-automatique du corpus en caractères arabes. En revanche pour la réalisation d'un des niveaux d'annotation du corpus, nous décrivons ici quelques travaux représentatifs de l'état de l'art sur le codage de l'arabish tunisien. Nous décrivons également les corpus tunisiens accessibles librement. Pendant ces dernières années,

<footnote n="1">¹Aussi appelé *Arabizi* (de la combinaison des mots arabes 'Arab', ['ʕarab] et 'English' [i:n'ʒli:zi:], Franco-Arabe, *Arabic Chat Alphabet*, ACII-ized Arabic, entre autres. 'arabish' est probablement le résultat de l'union entre ['ʕarab] et 'English'. Ce mot a été choisi pour être lisible par tout le monde. Le terme 'arabizi' ne serait en fait compréhensible que par ceux qui connaissent la langue arabe.</footnote>

<footnote n="2">²Pour des informations sur le pourcentage d'utilisation, veuillez vous référer à (Tobaili, 2016; Younes et al., 2015).</footnote>

<footnote n="3">³Cette sélection vise à observer le degré d'évolution diachronique d'une convention d'écriture arabish.</footnote>

<footnote n="4">⁴Le CODA* est un ensemble unifié de lignes directrices pour la transcription de 28 dialectes arabes.</footnote>

<footnote n="5">⁵Nous avons pris en considération une traduction à moindre coût, donc vers notre langue maternelle, laissant une traduction vers l'anglais comme éventuelle option future.</footnote>
le nombre de travaux sur l'arabish a considérablement augmenté.<fnref n="6" /> La plupart des recherches sur l'arabish se focalisent sur des variétés très différentes de l'arabe tunisien, par exemple l'égyptien (Darwish, 2014; Al-Badrashiny et al., 2014). À cause d'un manque de place, nous nous focaliserons uniquement sur les travaux sur l'arabish tunisien. (Younes et al., 2018b) est le seul travail qui propose une transcription automatique de l'arabish tunisien vers les caractères arabes et vice versa, basée sur des modèles d'apprentissage profond dits sequence-to-sequence. En transcrivant une collection de textes de Facebook, après l'avoir nettoyé des éléments non linguistiques (émojis, émoticônes, etc.) ou qui n'étaient pas dialectales, ils ont obtenu une précision de plus de 95.59%.<fnref n="7" /> La même ressource a été utilisée dans (Younes et al., 2020) pour une étude approfondie de la transcription automatique. En utilisant uniquement les mots tunisiens, une transcription en caractères arabes a été faites par des internautes tunisiens. La transcription d'un mot arabish donné est effectuée en utilisant une approche à base de modèles CRF, BLSTM et BLSTM-CRF, ce dernier donnant les meilleurs résultats quantitatifs. Le taux d'erreur global est de 2,7%, alors que le taux d'erreur de contexte est de 0,68%. Le seul travail qui prévoit une transcription de l'arabish tunisien dans la convention CODA est (Masmoudi et al., 2015). Ce travail utilise un système à base de règles qui, pour chaque mot en arabish, génère toutes les transcriptions possibles en arabe, parmi lesquelles le meilleur candidat est ensuite sélectionné manuellement. Le système a un taux d'erreur de 10%. Cependant, à l'exception du cueil de textes de (Younes et al., 2015), aucune de ces ressources n'est accessible au public. Les corpus en dialecte tunisien disponible au public sont cinq (Younes et al., 2018a). Le PADIC (Meftouh et al., 2015), composé de 6 400 phrases en six dialectes arabes, traduites en arabe moderne standard (MSA).<fnref n="8" /> Deux autres corpus sont le TuDiCoI (Tunisian Dialect Corpus Interlocutor) (Graja et al., 2010) et le STAC (Spoken Tunisian Arabic Corpus) (Zribi et al., 2015), qui sont annotés avec des informations morpho-syntaxiques. Le premier est un corpus de dialogues entre les clients et le personnel collectés à la station des trains. Il est composé de 21 682 mots (Graja et al., 2013).<fnref n="9" /> Le corpus STAC est constitué de 42 388 mots transcrits de fichiers audio téléchargé du web (émissions télé et radio) (Zribi et al., 2015). Le TARIC (Masmoudi et al., 2014a) contient 20 heures de TUN oral, transcrites en caractères arabes et correspondant à 71 684 mots (Masmoudi et al., 2014b). Un dernier corpus est le TSAC, composé de 17 000 commentaires de Facebook, annotés manuellement en polarité positive et négative pour la fouille d'opinion (Medhaffar et al., 2017). Ce dernier corpus est le seul qui contient à la fois des textes transcrits en TA et en caractères arabes. À notre connaissance il n'y pas de corpus en TA transcrit aussi en caractères arabes et annoté avec des informations morpho-syntaxiques. Notre travail se propose de combler ce manque en offrant à la communauté scientifique une ressource d'arabish tunisien ouverte au public, c'est-à-dire le TArC, le premier corpus en TA annoté avec des informations morpho-syntaxiques (POS et lemmes) et transcrit aussi en caractères arabes en suivant la convention CODA*. Compte tenu également de l'indisponibilité des systèmes de transcription de l'arabish tunisien,<fnref n="10" /> il est intéressant de construire un système ad hoc en fonction de nos besoins. Nous avons fait le choix, en effet, de ne pas exclure les termes étrangers ou les éléments para-linguistiques (émoticônes et emojis), et d'utiliser les conventions CODA.

<footnote n="6">⁶Pour une description détaillée veuillez consulter (Guellil et al., 2019).</footnote>

<footnote n="7">⁷Le corpus utilisé est disponible sous requête.</footnote>

<footnote n="8">⁸Les dialectes arabes dans le corpus PADIC sont : le TUN (Sfax), deux dialectes de l'Algérie, le syrien, le palestinien, et le marocain (Meftouh et al., 2018).</footnote>

<footnote n="9">⁹L'annotation en revanche a été faite uniquement pour 7 814 mots.</footnote>

<footnote n="10">¹⁰Pour la distinction entre transcription et translittération veuillez vous référer à (Coulmas, 2003).</footnote>
## 3 Caractéristiques de l'arabish tunisien

Le dialecte tunisien (TUN) est la langue parlé dans la vie tunisienne de tous les jours, appelé généralement *la دَرَجَة ad-dārija*, ‘الْعَامِّيَّة ad-dārija’, ‘الْتُّونِي ət-tūnsīt’. Conformément à la classification diatopique traditionnelle, le TUN appartient à la zone de l’arabe maghrébin, duquel il constitue une des variantes principales avec le libyen, l’algérien, le maroquin, et le hassanya de la Mauritanie (Durand, 2009). L’arabish est une transposition des DAs, qui sont des systèmes essentiellement oraux, dans une forme écrite qui n’est pas réalisé avec caractères arabes et par conséquence il n’est pas sujet aux règles orthographiques de l’arabe standard. Comme résultat, on peut considérer le TA comme un écrit spontané, fidèle à la réalisation orale de TUN, ou en d’autres termes un système quasi-oral.

La notion de quasi-oralité décrit des formes d'écriture typiques de la communication numérique (CMC), caractérisée par un ton informel, par la dépendance du contexte, par le manque d'attention sur la façon d'écrire, et ayant spécialement la capacité de créer un sens de collectivité (Hert, 1999). TA et TUN n'ont pas une orthographie standard, avec l'exception du CODA. Cependant, le TA est un système d'écriture utilisé depuis plus que dix ans, et il subit donc une conventionnalisation spontanée à travers son utilisation. Dans le tableau 1 nous montrons un schéma du système d'écriture TA. Il est possible d'observer qu'il n'y a pas une correspondance un à un entre les caractères en TA et ceux en arabes, et souvent le TA présente une ambiguïté dans la possibilité d'écriture.<fnref n="11" /> Le problème principal est constitué par le manque d'une représentation propre en TA pour les phonèmes emphatiques : [ð̥], [t̥] et [s̥]. D'un autre côté, puisque le TA n'est pas codifié à travers l'alphabet arabe, il peut

<table><caption>TAB. 1: Exemples de correspondance entre TA et TUN. **1** indique la représentation phonétique des graphèmes. **2** représente les caractères arabe, **3** les caractères arabish correspondant.</caption><thead><tr><th></th><th>[ð̥]</th><th>[a:]</th><th>[ʔ]</th><th>[b]</th><th>[θ]</th><th>[ʒ]</th><th>[h]</th><th>[x]</th><th>[d]</th><th>[ð]</th><th>[s]</th><th>[ʃ]</th><th>[s̥]</th></tr></thead><tbody><tr><td>1</td><td>ض</td><td>ä</td><td>ə</td><td>ب</td><td>ت</td><td>ج</td><td>ح</td><td>خ</td><td>د</td><td>ذ</td><td>س</td><td>ش</td><td>ص</td></tr><tr><td>2</td><td>dh</td><td>a e h</td><td>2</td><td>b p</td><td>th</td><td>j</td><td>7 h</td><td>5 kh</td><td>d</td><td>dh</td><td>s</td><td>ch, (sh)</td><td>s</td></tr><tr><td>3</td><td>th d</td><td>a e h</td><td>2</td><td>b p</td><td>th</td><td>j</td><td>7 h</td><td>5 kh</td><td>d</td><td>dh</td><td>s</td><td>ch, (sh)</td><td>s</td></tr><tr><td>1</td><td>[a][a:]</td><td>[t̥]</td><td>[ð̥]</td><td>[i̥]</td><td>[y]</td><td>[q]</td><td>[k]</td><td>[l]</td><td>[m]</td><td>[n]</td><td>[h]</td><td>[w][u:]</td><td>[j][i:]</td></tr><tr><td>2</td><td>ا</td><td>ط</td><td>ظ</td><td>ع</td><td>غ</td><td>ق</td><td>ك</td><td>ل</td><td>م</td><td>ن</td><td>و</td><td>و</td><td>ي</td></tr><tr><td>3</td><td>a e é è</td><td>6 t</td><td>th dh</td><td>3 a</td><td>4 gh</td><td>9 q</td><td>k</td><td>l</td><td>m</td><td>n</td><td>8, h</td><td>ou, w</td><td>i, y</td></tr></tbody></table>

bien représenter la réalisation phonétique du TUN, comme il est montré dans l'exemple suivant : **1**. L'alphabet arabe est généralement utilisé pour des conversations formelles en arabe moderne standard (MSA), l'arabe des contextes formels, ou pour l'arabe classique (CA), l'arabe du *Saint Qur'ān*. De la même façon que le MSA et le CA, les dialectes arabes également peuvent être écrits avec l'alphabet arabe, mais dans ce cas il est possible d'observer une auto-correction spontanée de l'orateur pour respecter les règles d'écriture du MSA. Par exemple, dans les textes en TUN écrits avec l'alphabet arabe, il est possible de trouver une voyelle muette ('alif <l>épenthétique, ou additionnel) au début des mots qui commencent par la séquence '#CCv', ce qui n'est pas possible en MSA. **2**. En écrivant le TUN avec l'alphabet arabe, l'écriture de mots étrangers dans leur alphabet est très forcée, comme, par exemple, dans l'usage de mots empruntés d'autres langues. **3**. Comme nous le montrons dans le tableau 1, l'alphabet arabe fournit trois voyelles courtes, qui correspondent à leur version longue [a:] , [u:] , [i:] , mais le TUN présente un ensemble plus étendu de voyelles. En effet, l'ensemble des voyelles du TA offre une meilleure possibilité de représenter la phonétique du TUN.

<footnote n="11">¹¹Pour ces raisons, la conversion de TA à TUN ne peut être traitée comme une simple translittération.</footnote>
## 3.1 Collecte des données - trois étapes

**1. Détection des catégories thématiques.** Afin de construire un corpus qui soit représentatif du TUN, il nous semblait utile d'identifier des catégories thématiques larges, qui pourraient représenter les sujets de discussion plus courant dans les CMC. Dans cette perspective, nous avons employé deux instruments avec une organisation thématique similaire : Un dictionnaire arabe avec fréquence des mots (Buckwalter & Parkinson, 2014)<fnref n="12" /> et la *Loanword Typology Meaning List* (LTML) (Haspelmath & Tadmor, 2009), une liste de 1 460 sens. 15 catégories ont été identifiées grâce à ces documents. Pour une description détaillée nous renvoyons à (Gugliotta & Dinarelli, 2020).

**2. Construction des correspondances entre les catégories et les mots clefs du TA en relation sémantique.** Nous avons associé à chaque catégorie un ensemble de mots-clefs en TA, appartenant au vocabulaire de base tunisien. Nous avons trouvé que trois sens pour chaque catégorie sémantique étaient suffisants pour obtenir un nombre significatif de mots-clefs pour chaque catégorie. Pour une analyse plus détaillée de cette procédure nous renvoyons à (Gugliotta & Dinarelli, 2020).

**3. Extraction des textes et des méta-données.** À travers ces mots-clés, nous avons effectué une recherche des textes sur les réseaux sociaux. Nous avons collecté des textes pour l'équivalent d'environ 40 000 mots, et leur méta-données associées, comme première partie de notre corpus.<fnref n="13" /> Concernant les méta-données, nous avons extrait les informations publiées par les utilisateurs, en nous focalisant sur trois types d'information généralement utilisées dans les études ethnographiques : genre, tranche d'âge et ville d'origine.

## 4 Constitution du corpus TArC

Pour créer notre corpus, nous avons appliqué une annotation au niveau des mots. Cette phase a été précédée de quelques étapes de pré-traitement des données, en particulier la tokenisation. Chaque token a été associé à ses annotations et métadonnées (tableau 2). Afin d'obtenir la correspondance entre les transcriptions de morphèmes arabes et arabish, les tokens ont été segmentés en morphèmes. Cette segmentation a été effectuée manuellement pour un premier groupe de tokens.<fnref n="14" /> Dans sa version finale, chaque token est associé à 11 annotations différentes, correspondant au nombre de niveaux d'annotation que nous avons choisi. Un extrait du corpus avec annotation est présenté dans le tableau 2.

Comme le TA est une écriture spontanée du TUN, nous avons jugé important d'adopter les directives CODA* comme modèle pour produire des lemmes et une transcription unifiées pour chaque token (colonnes *Lem* et *Tra* dans la tableau 2). Afin de garantir une transcription et une lemmatisation précises, nous avons annoté manuellement les 6 000 premiers tokens avec tous les niveaux d'annotation. Concernant les mots étrangers, nous avons transcrit les mots arabish en caractères arabes, à l'exception des termes étrangers. En fait, ces mots seront analysés dans un second temps, en faisant la distinction entre les mots étrangers intégrés et le mélange de langues. Les premiers seront transcrits en caractères arabes, les autres seront lemmatisés dans leur langue étrangère. Cette identification sera également utile pour la construction d'un analyseur morphologique qui, après une phase d'identifica-

<footnote n="12">¹²En particulier a été utilisé son vocabulaire thématique (TVL, de l'anglais *Thematic Vocabulary List*).</footnote>

<footnote n="13">¹³Nous avons planifié d'augmenter la taille du corpus dans un second temps.</footnote>

<footnote n="14">¹⁴L'arabe, en général, est une langue à haut niveau de synthèse, ce qui signifie qu'elle peut concentrer dans un token plusieurs informations grammaticales grâce à l'ajout de différents morphèmes.</footnote>
<table><caption>TAB. 2: Un extrait de la structure du corpus TArC. Parmi les colonnes plus significatives, la colonne E (Arabiſ) correspond au token en arabish. La colonne F (Tra) est la transcription en caractères arabes. La colonne G (Ita) est la traduction en italien. La colonne H (Lem) est le lemme. La colonne I le POS, etc. Pour plus de détails voir (Gugliotta & Dinarelli, 2020).</caption><thead><tr><th>A</th><th>B</th><th>C</th><th>D</th><th>E</th><th>F</th><th>G</th><th>H</th><th>I</th><th>J</th><th>K</th><th>L</th></tr><tr><th>Cor</th><th>Textco</th><th>Par</th><th>W</th><th>Arabiſ</th><th>Tra</th><th>Ita</th><th>Lem</th><th>POS</th><th>Var</th><th>Age</th><th>Gen</th></tr></thead><tbody><tr><td>3fE</td><td>150902</td><td>2</td><td>1</td><td>kifech</td><td>كيفاش</td><td>come</td><td>كيفاش</td><td>adv</td><td>Bnz</td><td>25-35</td><td>M</td></tr><tr><td>3fE</td><td>150902</td><td>2</td><td>2</td><td>tchou-fou</td><td>تشوفوا</td><td>vi</td><td>شاف</td><td>verb</td><td>Bnz</td><td>25-35</td><td>M</td></tr><tr><td>3fE</td><td>150902</td><td>2</td><td>3-4</td><td>l3icha</td><td>العيشة</td><td>pare</td><td>la vita</td><td>عیشة</td><td>noun</td><td>Bnz</td><td>25-35</td><td>M</td></tr><tr><td>3fE</td><td>150902</td><td>2</td><td>3</td><td>l</td><td>ال</td><td>-</td><td>ال</td><td>det</td><td>Bnz</td><td>25-35</td><td>M</td></tr><tr><td>3fE</td><td>150902</td><td>2</td><td>4</td><td>3icha</td><td>عیشة</td><td>-</td><td>عیشة</td><td>noun</td><td>Bnz</td><td>25-35</td><td>M</td></tr><tr><td>3fE</td><td>150902</td><td>2</td><td>5-6</td><td>fil</td><td>فال</td><td>all¹</td><td>في</td><td>prep</td><td>Bnz</td><td>25-35</td><td>M</td></tr><tr><td>3fE</td><td>150902</td><td>2</td><td>5</td><td>f</td><td>ف</td><td>-</td><td>في</td><td>prep</td><td>Bnz</td><td>25-35</td><td>M</td></tr><tr><td>3fE</td><td>150902</td><td>2</td><td>6</td><td>il</td><td>ال</td><td>-</td><td>ال</td><td>det</td><td>Bnz</td><td>25-35</td><td>M</td></tr><tr><td>3fE</td><td>150902</td><td>2</td><td>7</td><td>4orba</td><td>غربية</td><td>estero</td><td>غربية</td><td>noun</td><td>Bnz</td><td>25-35</td><td>M</td></tr><tr><td>3fE</td><td>150902</td><td>2</td><td>8</td><td>?</td><td>؟</td><td>?</td><td>؟</td><td>pct</td><td>Bnz</td><td>25-35</td><td>M</td></tr></tbody></table>

tion des mots à transcrire et du code-switching, contribuera à la tâche de transcription en elle-même. Ce travail est toujours en cours.

## 5 Procédure incrémentale et semi-automatique de constitution du corpus

Afin de rendre la collecte du corpus plus facile et plus rapide, nous avons adopté une procédure semi-automatique basée sur des modèles neuronaux séquentiels (Dinarelli & Grobol, 2019b,a). Puisqu'il est plus facile d'obtenir automatiquement certaines annotations une fois que les tokens arabish sont transcrits en caractères arabes, puisque la transcription de l'arabish en arabe est une information très importante pour étudier le système arabish, et puisque elle est aussi la plus coûteuse, la procédure semi-automatique ne concerne que la transcription de l'arabish en écriture arabe.<fnref n="15" /> Pour cela, nous avons utilisé le premier groupe de 6 000 tokens transcrits manuellement comme ensemble de données d'entraînement et de test dans un cadre de validation croisée. Comme nous l'avons expliqué dans la section précédente, les tokens français ont été retirés des données puisque ils créent du bruit pour un modèle automatique et probabiliste basé sur l'orthographie arabish. Après l'élimination des tokens français, les données ont été réduites à environ 5 000 tokens. Nous constatons qu'en combinant l'index de la phrase, du paragraphe et l'index du token dans le corpus, des phrases entières, voire des paragraphes, peuvent être reconstruites. Cependant, à partir des 5 000 tokens seulement 300 séquences ont pu être reconstruites, ce qui n'est pas suffisant pour l'apprentissage d'un modèle neuronal.<fnref n="16" /> Au lieu de cela, puisque les tokens sont transcrits au niveau des morphèmes, nous avons divisé les tokens arabish en caractères, et les tokens arabes en morphèmes, et nous avons traité chaque token comme

<footnote n="15">¹⁵En réalité nous sommes en train de développer des systèmes équivalent pour l'annotation en POS et pour la lemmatisation. Ce travail est en cours.</footnote>

<footnote n="16">¹⁶Les expériences préliminaires ont donné des mauvais résultats : 50% de précision.</footnote>
une séquence. Notre modèle apprend donc à transcrire les caractères arabish en morphèmes arabes. Dans ces conditions la validation croisée a donné une précision moyenne d'environ 65%. Ce résultat n'est pas satisfaisant dans l'absolu, mais il est plus qu'encourageant compte tenu de la petite taille de nos données. Ce résultat signifie que moins de 4 tokens, en moyenne, sur 10 doivent être corrigés manuellement. Avec ce modèle, nous avons automatiquement transcrit en morphèmes arabes environ 700 tokens supplémentaires. Ces tokens ont été corrigés manuellement et ont été ajoutés aux données d'entraînement de notre modèle neuronal, et une nouvelle validation croisée a été effectuée. Le résultat a été maintenant d'environ 70% en moyenne. Cette procédure a été ré-itéré 3 fois au total, pour transcrire 4 bloques de tokens sur 5. La précision moyennes sur le quatrième bloque a été d'environ 76%.<fnref n="17" />

# 6 Conclusions

Dans ce document, nous avons présenté TArc, le premier corpus d'arabish tunisien annoté avec des informations morpho-syntaxiques. Concernant la procédure de construction, nous avons décrit les étapes de constitution et notre effort visant à rendre le corpus le plus représentatif possible du TA et du TUN. Nous avons décrit l'étape de collecte des textes, ainsi que la construction du corpus et la procédure semi-automatique adoptée pour transcrire le TA en écriture arabe, en tenant compte des directives CODA*. Au stade actuel de la recherche, le TArc est constitué de 40 000 tokens, une partie desquels a été transcrite et annoté manuellement, le reste est en cours de transcription semi-automatique, qui a déjà montré des résultats encourageants avec une précision de transcription de 76% en moyenne.

# Références

AL-BADRASHINY M., ESKANDER R., HABASH N. & RAMBOW O. (2014). Automatic transliteration of romanized dialectal arabic. In *Proceedings of the eighteenth conference on computational natural language learning*, p. 30–38.

BUCKWALTER T. & PARKINSON D. (2014). *A frequency dictionary of Arabic : Core vocabulary for learners*. Routledge.

COULMAS F. (2003). *Writing systems : An introduction to their linguistic analysis*. Cambridge University Press.

DARWISH K. (2014). Arabizi detection and conversion to Arabic. *Proceedings of the EMNLP 2014 Workshop on Arabic Natural Language Processing (ANLP)*, p. 217–224. DOI: 10.3115/v1/W14-3629.

DINARELLI M. & GROBOL L. (2019a). Hybrid neural models for sequence modelling : The best of three worlds. *CoRR*. arXiv preprint 1909.07102.

DINARELLI M. & GROBOL L. (2019b). Seq2biseq : Bidirectional output-wise recurrent neural networks for sequence modelling. *CoRR*. arXiv preprint 1904.04733.

DURAND O. (2009). *Dialettologia araba*. 'Sapienza' University of Rome, 'Studi Orientali' Faculty.

<footnote n="17">¹⁷Au moment de la soumission finale, 2 bloques de tokens additionnels ont été téléchargés et ajoutés au corpus. Ces bloques sont donc à transcrire et à corriger avec le bloque 5. Nous sommes en train de développer un système d'apprentissage multi-tâche pour effectuer tous les niveaux d'annotations avec un seul modèle.</footnote>
GRAJA M., JAOUA M. & HADRICH-BELGUITH L. (2010). Tunisian dialect corpus interlocutor (tudicoi). In *Arabic Natural Language Processing Research Group (ANLP)* : MIRACL Laboratory, Sfax (Tunis).

GRAJA M., JAOUA M. & HADRICH-BELGUITH L. (2013). Discriminative framework for spoken tunisian dialect understanding. In *International Conference on Statistical Language and Speech Processing*, p. 102–110: Springer.

GUELLIL I., SAÂDANE H., AZOUAOU F., GUENI B. & NOUVEL D. (2019). Arabic natural language processing : an overview. *Journal of King Saud University-Computer and Information Sciences*. DOI: 10.1016/j.jksuci.2019.02.006.

GUGLIOTTA E. & DINARELLI M. (2020). Tarc : Incrementally and semi-automatically collecting a tunisian arabish corpus. *cs.CL*. arXiv preprint 2003.09520.

HABASH N., ERYANI F., KHALIFA S., RAMBOW O., ABDULRAHIM D., ERDMANN A., FARAJ R., ZA-GHOUANI W., BOUAMOR H., ZALMOUT N., HASSAN S., AL-SHARGI F., ALKHEREYF S., ABDULKA-REEM B., ESKANDER R., SALAMEH M. & SADDIKI H. (2018). Unified guidelines and resources for Arabic dialect orthography. In *Proceedings of the Eleventh International Conference on Language Resources and Evaluation (LREC 2018)*, Miyazaki, Japan : European Language Resources Association (ELRA).

HASPELMATH M. & TADMOR U. (2009). *Loanwords in the world's languages : a comparative handbook*. Walter de Gruyter.

HERT P. (1999). Quasi-oralité de l’écriture électronique et sentiment de communauté dans les débats scientifiques en ligne. *Réseaux*, **17**(97).

MASMOUDI A., ELLOUZE KHEMAKHEM M., ESTÈVE Y. & HADRICH-BELGUITH L. (2014a). Tunisian arabic railway interaction corpus. In *Arabic Natural Language Processing Research Group (ANLP)* : MIRACL Laboratory, Sfax (Tunis).

MASMOUDI A., HABASH N., ELLOUZE M., ESTÈVE Y. & HADRICH-BELGUITH L. (2015). Arabic transli-teration of romanized tunisian dialect text : A preliminary investigation. In *Computational Linguistics and Intelligent Text Processing - 16th International Conference, CICLing 2015, Proceedings*, Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics), p. 608–619: Springer-Verlag. DOI: 10.1007/978-3-319-18111-0_46.

MASMOUDI A., KHMEKHEM M. E., ESTÈVE Y., BELGUITH L. H. & HABASH N. (2014b). A corpus and phonetic dictionary for Tunisian Arabic speech recognition. In *Proceedings of the Ninth International Conference on Language Resources and Evaluation (LREC’14)*, p. 306–310, Reykjavik, Iceland : European Language Resources Association (ELRA).

MEDHAFFAR S., BOUGARES F., ESTÈVE Y. & HADRICH-BELGUITH L. (2017). Sentiment analysis of Tunisian Dialects : Linguistic ressources and experiments. In *Proceedings of the third Arabic Natural Language Processing Workshop*, p. 55–61: Association for Computational Linguistics. DOI: 10.18653/v1/W17-1307.

MEFTOUH K., HARRAT S., JAMOUSSI S., ABBAS M. & SMAILI K. (2015). Machine Translation Exper-iments on PADIC : A Parallel Arabic DIAlect Corpus. In *The 29th Pacific Asia Conference on Language, Information and Computation*, shanghai, China. HAL : hal-01261587.

MEFTOUH K., HARRAT S. & SMAÏLI K. (2018). PADIC : extension and new experiments. In *7th International Conference on Advanced Technologies ICAT*, Antalya, Turkey. HAL : hal-01718858.

TOBAILI T. (2016). Arabizi identification in twitter data. In *Proceedings of the ACL 2016 Student Research Workshop*, p. 51–57.

YOUNES J., ACHOUR H. & SOUISSI E. (2015). Constructing linguistic resources for the tunisian dia-
lect using textual user-generated contents on the social web. In *International Conference on Web Engineering*, p. 3–14: Springer.

YOUNES J., ACHOUR H., SOUISSI E. & FERCHICHI A. (2018a). Survey on corpora availability for the tunisian dialect automatic processing. In *2018 JCCO Joint International Conference on ICT in Education and Training, International Conference on Computing in Arabic, and International Conference on Geocomputing (JCCO: TICET-ICCA-GECO)*, p. 1–7: IEEE.

YOUNES J., ACHOUR H., SOUISSI E. & FERCHICHI A. (2020). Romanized tunisian dialect transliteration using sequence labelling techniques. *Journal of King Saud University-Computer and Information Sciences*.

YOUNES J., SOUISSI E., ACHOUR H. & FERCHICHI A. (2018b). A sequence-to-sequence based approach for the double transliteration of tunisian dialect. *Procedia computer science*, **142**, 238–245.

ZRIBI L., ELLOUZE M., HADRICH-BELGUITH L. & BLACHE P. (2015). Spoken tunisian arabic corpus "stac" : Transcription and annotation. *Research in Computing Science*, **90**, 123–135.
Segmentation automatique en périodes pour le français parlé

Natalia Kalashnikova¹, Iris Eshkol-Taravella², Loïc Grobol³,⁴, François Delafontaine¹

(1) LLL UMR 7270, 10 Rue de Tours, 45065 Orléans, France

(2) MoDyCo UMP 7114, 200 Avenue de la République 401B, 92001 Nanterre, France

(3) Lattice, 1 Rue Maurice Arnoux, 92120 Montrouge, France

(4) LLLF (Université de Paris, CNRS)

RÉSUMÉ

Nous proposons la comparaison de deux méthodes de segmentation automatique du français parlé en périodes macro-syntaxiques, qui permettent d'analyser la syntaxe et la prosodie du discours. Nous comparons l'outil Analor (Avanzi et al., 2008) qui a été développé pour la segmentation des périodes prosodiques et les modèles de segmentations utilisant des CRF et des traits prosodiques et / ou morpho-syntaxiques. Les résultats montrent qu'Analor divise le discours en plus petits segments prosodiques tandis que les modèles CRF détectent des segments plus larges que les périodes macro-syntaxiques. Cependant, les modèles CRF ont de meilleurs résultats qu'Analor en termes de F-mesure.

ABSTRACT

Automatic Period Segmentation of Oral French

Natural Language Processing in oral speech segmentation is still looking for a minimal unit for
analyze. In this work, we propose a comparison of two methods of automatic segmentation in macro-
syntactic periods which allows to take into account syntactic and prosodic components of speech. We
compare the performances of an existing tool Analor (Avanzi et al., 2008) developed for automatic
segmentation of prosodic periods and of CRF models relying on syntactic and / or prosodic features.
We find that Analor tends to divide speech into smaller segments and that CRF models detect larger
segments than macro-syntactic periods. However, in general CRF models perform with better results
than Analor in terms of F-measure.

MOTS-CLÉS : français oral, segmentation automatique, périodes, CRF, unités macro-syntaxiques.

KEYWORDS: spoken language, automatic segmentation, period, oral french, CRF, macro-syntactic units.

1 Introduction

Dans le domaine du traitement automatique des langues, la segmentation des données linguistiques est une étape préalable à la plupart des tâches. Pour le traitement du langage écrit, l’unité de base est la phrase. Or ce type de segmentation est d’une pertinence limitée pour le langage parlé. C’est la raison pour laquelle Lacheret & Victorri (2002) proposent une unité de segmentation appelée la période prosodique. Cette notion est fondée sur les observations et les analyses de l’oral. Ainsi, cette approche ne tient pas compte de la syntaxe ni de la sémantique.

<figure><img src="image_59.png" /></figure>
Notre travail s'inscrit dans le cadre du projet SegCor dont le but est le développement de plusieurs
outils de segmentation automatique des unités linguistiques. Dans ce travail, nous nous intéressons
aux périodes dans le cadre du modèle fribourgeois de la macro-syntaxe. Ce modèle définit les
périodes du point de vue prosodique et syntaxique. L'objectif est de créer un outil automatique pour
la segmentation de périodes macro-syntaxiques.

Notre approche aborde la tâche de segmentation comme un problème d'étiquetage des séquences. Pour cela, nous proposons d'utiliser un algorithme d'apprentissage automatique utilisant les *Conditional Random Fields* (Lafferty et al., 2001) en nous appuyant sur des traits lexicaux, syntaxiques et prosodiques.

La suite de cet article est divisée en 7 parties. Les sections 2, 3 et 4 présentent un état des lieux de la recherche sur les notions de périodes, corpus et d'annotation manuelle qui sert de référence pour les méthodes automatiques. Les sections 5, 6 et 7 décrivent les expériences d'annotation automatique, leurs résultats, la conclusion et les perspectives pour de futures recherches.

2 Notion de période

Lacheret & Victorri (2002) définissent la période comme la structure prosodique qui lie plusieurs
constructions syntaxiques dans un seul bloc discursif. Plusieurs périodes prosodiques peuvent aussi
être incluses dans une seule structure syntaxique. Les périodes sont définis selon les paramètres
prosodiques suivants : 1) Pause d'au moins 300 millisecondes ; 2) Différence de hauteur entre la
valeur moyenne de la F0 de tout le signal acoustique et la dernière valeur de la F0 avant la pause ;
3)Différence de hauteur entre la dernière valeur de la F0 avant la pause et la première valeur de la F0
après la pause ; 4) Absence des signes d'hésitation (« euh ») avant et après la pause.

(1) et vous logez euh () la le la façade du théâtre (0.72)

Dans l'exemple (1) la durée de la pause marque la fin de la période après le mot "théâtre". Analor (Avanzi et al., 2008) est un outil semi-automatique développé dans le cadre de cette théorie.

Une autre approche est celui de Berrendonner (2012) qui considère les périodes comme une unité prosodique autonome définie par son contour mélodique conclusif (Berrendonner, 2017). Les approches macro-syntaxiques s'appuient sur la prosodie pour analyser la structure syntaxique de l'oral (Blanche-Benveniste et al., 1990; Cresti et al., 2011). Pour cette raison, la période constitue potentiellement à la fois la structure complète et l'unité maximale de monologue (Blanche-Benveniste, 2012; Berrendonner, 2012, 34-35). A notre connaissance il n'existe aucun outil pour la segmentation automatique des périodes macro-syntaxiques.

Notre étude vise à trouver la méthode la plus performante pour la segmentation automatique des périodes macro-syntaxiques. Dans ce but, nous comparons deux méthodes. La première utilise Analor, qui ne nécessite pas d'entraînement et qui n'analyse pas la syntaxe des périodes. La deuxième reformule cette segmentation comme une tâche d'étiquetage de séquences — une modélisation déjà utilisée avec succès pour d'autres tâches de segmentation en français (Tellier et al., 2012, 2014; Eshkol-Taravella et al., 2019; Tellier et al., 2013). Pour cette deuxième méthode, nous nous appuyons sur un algorithme d'apprentissage automatique bien connu : les CRF (*Conditional Random Fields*) (Lafferty et al., 2001) en utilisant des traits syntaxiques et prosodiques.
<figure><img src="image_60.png" /><figcaption>FIGURE 1 – Exemple de courbe intonative.</figcaption></figure>

## 3 Corpus

Dans cette étude, nous travaillons sur un corpus pilote composé de 10 transcriptions de dialogues de 10 minutes et de 1 transcription de monologue de 20 minutes. Les extraits ont été sélectionnés pour représenter les différents types de discours du point de vue de l'environnement conversationnel, des relations entre les locuteurs, etc. Le corpus pilote est manuellement annoté en périodes macro-syntaxiques (voir Section 4).

## 4 Annotation manuelle

L'annotation manuelle réalisée par un annotateur en utilisant le logiciel Praat (Boersma & Weenik, 2002) s'est appuyée sur la définition de la période proposée par le modèle de la macro-syntaxe fribourgeoise (Berrendonner, 2012). L'un de ces deux critères devait être rempli pour reconnaître une frontière de période : la détection d'un contour intonatif conclusif ou un changement effectif de locuteur.

La détection de contours intonatifs a reposé sur une approche perceptive, par l'écoute du locuteur. L'annotation manuelle suit les mêmes propriétés dégagées par la théorie de Lacheret & Victorri (2002) qui servent à l'annotation automatique. Quant au changement de locuteur, il s'agit soit de cas où le locuteur interrompt son discours du fait de l'intervention d'un interlocuteur, soit de cas où le locuteur abandonne une structure incomplète après une longue pause (plus de 0.8 seconde).

(2) ELI tu en mets normalement à fond ouais (0.5)

BEA ouais [c'est plus classe tu fais] comme ça

ELI [et tu fais tourner]

La figure 1 illustre l'exemple (2) et le complète avec la courbe de la fréquence fondamentale.

La 1ère période d'ELI est suivie d'un changement de locuteur accompagné par la perception d'un contour conclusif montant que la mesure acoustique échoue à reproduire. La seconde période d'ELI est interrompue par le chevauchement, sans contour conclusif mais suivie d'une longue pause. La
période de BEA telle que reportée dans l'exemple 2 présente par ailleurs une structure composée de multiples unités micro-syntaxiques.

Au-delà du changement de locuteur, la syntaxe a également joué un rôle prédominant dans la gestion des pauses qui peuvent être soit une simple suspension du discours, soit l'abandon même momentané du tour par le locuteur, par exemple pour une requête lexicale (Lerner, 1991). Cette distinction devient essentielle en contexte monologique, y compris pour des pauses inférieures à 0.8 seconde. Dans de tels cas les indices prosodiques seuls s'avèrent insuffisants.

# 5 Expériences

## 5.1 Analor

Le corpus-pilote est d'abord annoté semi-automatiquement avec l'outil Analor (Avanzi et al., 2008). Cet outil prend en compte les paramètres prosodiques développés dans le cadre de la théorie de Lacheret & Victorri (2002). Il semble important d'explorer la performance de l'outil pour l'annotation des périodes macro-syntaxiques due à la différence des définitions des périodes.

### 5.1.1 Pré-traitement

Le lancement du processus d'annotation sur Analor nécessite les fichiers PitchTier et TextGrid (format Praat). Les fichiers TextGrid contiennent 3 tires : token (un intervalle par token de l'enregistrement), locuteur (un intervalle par tour de parole) et l'annotation manuelle des périodes (un intervalle par période pour chaque locuteur).

### 5.1.2 Expériences

Analor est un outil pré-entraîné, on peut donc utiliser toutes les données du corpus-pilote pour la segmentation. Après la procédure d'annotation, Analor crée un autre fichier TextGrid qui contient une nouvelle tire de l'annotation automatique pour chaque fichier son. Analor réalise l'étiquetage des périodes sur une seule tire, tandis que le fichier TextGrid de l'annotation manuelle contient une tire par locuteur pour chaque fichier son. Nous avons résolu ce problème par la séparation manuelle de cette tire en une tire par locuteur. Un autre problème rencontré est le nombre différent de périodes entre l'annotation manuelle et l'annotation automatique. La solution pour cela est la tokenisation des périodes de l'annotation manuelle et de l'annotation automatique.

## 5.2 Modèles CRF

Les Conditional Ramdom Fields (CRF, parfois « Champs Markoviens Conditionnels » en français), (Lafferty et al., 2001) sont des modèles d'étiquetage de séquences conçus pour permettre un ap-
prentissage automatique robuste vis-à-vis d'effets à longue distance. En particulier, leur usage pour
des tâches d'étiquetage modélisant une segmentation est bien connu pour des tâches de chunking
(Eshkol-Taravella et al., 2019; Tellier et al., 2012) et la reconnaissance d'entités nommées (Dupont & Tellier, 2014).

### 5.2.1 Traits

Pour le développement des modèles CRF nous utilisons deux types de traits : prosodiques et morpho-syntaxiques. Les traits prosodiques sont la fréquence fondamentale (les valeurs maximale, minimale et moyenne), l'intensité (les valeurs maximale, minimale et moyenne) et la durée pour chaque token.

Les traits morpho-syntaxiques sont les POS étiquetés par TreeTagger (Schmid, 1994) et les chunks issus d'un outil développé par Eshkol-Taravella et al. (2019) pour le projet SegCor. Ainsi, on construit 3 types de modèles CRF : le premier est créé uniquement sur les traits prosodiques, le deuxième est basé sur les traits prosodiques et morpho-syntaxiques et le troisième est entraîné uniquement sur les traits morpho-syntaxiques.

Nous faisons cette répartition dans le but de répondre à la question suivante : est-ce que les traits prosodiques contiennent assez d'information pour réaliser la segmentation des périodes macro-syntaxiques ou avons-nous aussi besoin des traits morpho-syntaxiques ?

### 5.2.2 Pré-traitement

<table><caption>TABLE 1 – Exemple de traits prosodiques et d'étiquettes pour le modèle CRF</caption><thead><tr><th>mot</th><th>f<sub>0</sub><sup>max</sup></th><th>f<sub>0</sub><sup>mean</sup></th><th>f<sub>0</sub><sup>min</sup></th><th>durée</th><th>int<sub>max</sub></th><th>int<sub>mean</sub></th><th>int<sub>min</sub></th><th>BILU</th></tr></thead><tbody><tr><td>ça</td><td>9</td><td>10</td><td>9</td><td>82</td><td>40</td><td>41</td><td>39</td><td>pA_B</td></tr><tr><td>va</td><td>8</td><td>9</td><td>7</td><td>83</td><td>41</td><td>43</td><td>39</td><td>pA_L</td></tr><tr><td>dis</td><td>9</td><td>14</td><td>6</td><td>82</td><td>41</td><td>41</td><td>40</td><td>pA_B</td></tr><tr><td>je</td><td>13</td><td>14</td><td>10</td><td>81</td><td>42</td><td>43</td><td>41</td><td>pA_I</td></tr><tr><td>voulais</td><td>8</td><td>10</td><td>7</td><td>81</td><td>42</td><td>43</td><td>42</td><td>pA_I</td></tr><tr><td>te</td><td>7</td><td>9</td><td>6</td><td>80</td><td>43</td><td>43</td><td>42</td><td>pA_I</td></tr><tr><td>demander</td><td>9</td><td>10</td><td>6</td><td>86</td><td>42</td><td>42</td><td>42</td><td>pA_L</td></tr><tr><td>demain</td><td>9</td><td>14</td><td>6</td><td>84</td><td>39</td><td>40</td><td>38</td><td>pA_B</td></tr></tbody></table>

Pendant la phase de pré-traitement, les traits acoustiques sont extraits pour chaque token en utilisant le logiciel Praat. Les valeurs prosodiques sont divisées en groupes de valeurs pour faciliter l'entraînement des modèles CRF. Les valeurs d'intensité sont discrétisées avec un pas de 10, de la F0 avec un pas de 20 et de la durée avec un pas de 0.1. Les fichiers TextGrid contenant les tokens et les traits morpho-syntaxiques sont convertis au format tabulaire.

Les données sont organisées selon les séquences de tours de parole. Un tour de parole peut donc contenir plusieurs périodes. En tenant compte du fait que le corpus pilote contient peu de données, notamment des tours de parole avec plusieurs périodes, nous avons décidé d'élargir le corpus en multipliant les données existantes. On a gardé les mêmes valeurs de traits mais en remplaçant les tokens par des faux mots. Les faux mots ont été créés par tirage aléatoire des caractères. Cela a permis au système d'avoir plus de données prosodiques pour l'entraînement tout en l'empêchant de procéder par simple mémorisation des mots.
Nous analysons également l'influence de l'intensité et de la fréquence fondamentale en entraînant les modèles uniquement sur un de ces traits prosodiques. Cette méthode permet d'observer quel paramètre prosodique est le plus important pour la segmentation des périodes.

Le corpus est divisé en 3 parties : 60 % pour l'entraînement, 30 % pour l'évaluation et 10 % pour le développement. Au total, nous avons 6 configurations différentes pour entraîner nos modèles CRF.

# 6 Expériences et résultats

Nous utilisons le logiciel Wapiti (Lavergne et al., 2010) pour construire les modèles CRF.

<table><caption>TABLE 2 – Comparaison des résultats avec les différents traits.</caption><thead><tr><th>Modèle</th><th>P</th><th>R</th><th>F</th></tr></thead><tbody><tr><td>Analor</td><td>0.52</td><td>0.22</td><td>0.31</td></tr><tr><td>Prosodie</td><td>0.56</td><td>0.78</td><td>0.66</td></tr><tr><td>Morphosyntaxe</td><td>0.54</td><td>0.68</td><td>0.60</td></tr><tr><td>Prosodie + morphosyntaxe</td><td>0.56</td><td>0.78</td><td>0.66</td></tr><tr><td>Prosodie + morphosyntaxe + augmentation</td><td>0.56</td><td>0.70</td><td>0.62</td></tr><tr><td>f<sub>0</sub></td><td>0.55</td><td>0.76</td><td>0.64</td></tr><tr><td>Intensité</td><td>0.72</td><td>0.55</td><td>0.62</td></tr></tbody></table>

Le tableau 2, compare les performances de nos deux méthodes en termes de précision, de rappel et de F-mesure, calculés à partir des étiquettes BILU des périodes annotées automatiquement et manuellement.

Les valeurs rapportées sont des valeurs de détection des périodes (et non simplement des étiquettes) en considérant qu'une période est détectée si le modèle a correctement identifié ses frontières gauches et droites.

Pour Analor, le score de précision est plus haut que le score de rappel. Ceci est dû au fait qu'Analor détecte des segments plus petits que les périodes macro-syntaxiques. De plus, dans la plupart des cas, les meilleurs résultats correspondent aux locuteurs ayant le moins de temps de conversation et inversement.

Pour les modèles CRF, il semble que bien que l'utilisation uniquement des traits morpho-syntaxiques donne déjà de meilleurs résultats que l'utilisation directe d'Analor, les ajouter à un modèle ayant accès aux traits prosodiques n'améliore pas les performances, les traits prosodiques seuls obtenant déjà les meilleurs résultats.

Pour définir l'importance de chaque trait prosodique, nous comparons les résultats des modèles construits uniquement sur les valeurs de la F0 et de l'intensité. Les résultats obtenus montrent une grande complémentarité entre ces traits, chacun contribuant à un des aspects de la détection, et leur combinaison donnant de meilleurs résultats que leurs usages en isolation.
# 7 Conclusions et perspectives

Dans ce travail, nous avons présenté une nouvelle méthode pour la segmentation automatique de l'oral. Nous avons analysé les périodes macro-syntaxiques qui permettent de tenir compte du contenu prosodique et morpho-syntaxique du discours. La performance d'Analor n'est pas assez satisfaisante pour l'annotation des périodes macro-syntaxiques.

Tous les modèles CRF ont montré de meilleurs résultats qu'Analor. La F-mesure varie entre 0,54 et 0,66 parmi les modèles CRF différents. Si l'on compare la performance de chaque modèle CRF et que l'on tient compte du temps de pré-traitement, le modèle le plus performant est développé sur le corpus initial de la 1ère échelle des valeurs.

Nous avons également trouvé que le modèle fondé sur les traits de la F0 montre de meilleurs résultats que le modèle développé sur les traits de l'intensité.

Étant donné la quantité limitée des données, il serait intéressant de procéder à une validation croisée lors de l'entraînement des modèles. De plus, on pourrait appliquer les tests de significativité sur les résultats obtenus par les modèles.

Une piste de recherche pourrait être une évaluation de l'importance des différentes caractéristiques prosodiques sur la performance des modèles CRF. Il serait également envisageable de calculer la différence entre les valeurs d'un mot et du mot précédent lors du pré-traitement.

## Références

AVANZI M. (2005). Quelques hypothèses à propos de la structuration interne des périodes. In *Actes Du Symposium Interface Discours-Prosodie*, Aix-en-Provence, France.

AVANZI M. (2012). *L'interface prosodie/syntaxe en français : dislocations, incises et asyndètes*. GRAMM-R. Bruxelles, Belgique : Peter Lang.

AVANZI M., LACHERET A. & VICTORRI B. (2008). Analor, un outil d'aide pour la modélisation de l'interface prosodie-grammaire. *Travaux linguistiques du CerLiCo*, **21**, 27-46.

BALTHASAR L. & BERT M. (2005). La plate-forme "Corpus de langues parlées en interaction" (CLAPI) : historique, états des lieux, perspectives. *LIDIL - Revue de linguistique et de didactique des langues*, **31**, 13-33.

BAUDE O. & DUGUA C. (2011). (Re)faire le corpus d'Orléans quarante ans après : quoi de neuf, linguiste ? *Corpus*, **10**, 99-118. HAL : hal-01162479.

BERRENDONNER A., Éd. (2012). *Grammaire de La Période*. Sciences pour la communication. Peter Lang. DOI: 10.3726/b11424.

BERRENDONNER A. (2017). La notion de période (note terminologique). *Encyclopédie grammatique du français*.

BLANCHE-BENVENISTE C. (2012). Postface. In (Berrendonner, 2012), p. 341-355. DOI : 10.3726/b11424.

BLANCHE-BENVENISTE C., BILGER M., ROUGET C., VAN DEN EYNDE K. & WILLEMS D. (1990). *Le Français parlé : études grammaticales*. Paris, France : Centre national de la recherche scientifique.
BOERSMA P. & WEENIK D. (2002). Praat, a system for doing phonetics by computer. *Glot International*, **5**(9/10), 341–345.

CRESTI E., MONEGLIA M. & TUCCI I. (2011). Annotation de l'entretien d'Anita Musso selon la Théorie de la langue en acte. *Langue française*, **170**(2), 95–110.

DUPONT Y. & TELLIER I. (2014). Un reconnaisseur d'entités nommées du Français. In *Actes de la 21ᵉ conférence sur le Traitement Automatique des Langues Naturelles*, volume 3, p. 40–41, Marseille, France : Association pour le Traitement Automatique des Langues.

ESHKOL-TARAVELLA I., BAUDE O., MAUREL D., HRIBA L., DUGUA C. & TELLIER I. (2011). Un grand corpus oral « disponible » : Le corpus d'Orléans 1 1968-2012. *Traitement Automatique des Langues*, **53**(2), 17–46.

ESHKOL-TARAVELLA I., MAAROUF M., BADIN F. & SKROVEC M. (2019). Chunker différents types de discours oraux : défis pour l'apprentissage automatique. In *Actes de La 26ᵉ Conférence sur le Traitement Automatique des Langues Naturelles*, Toulouse, France : ATALA.

LACHERET A. & VICTORRI B. (2002). La période intonative comme unité d'analyse pour l'étude du français parlé : modélisation prosodique et enjeux linguistiques. *Verbum*, **24**, 55–72.

LAFFERTY J., MCCALLUM A. & PEREIRA F. (2001). Conditional Random Fields : Probabilistic Models for Segmenting and Labeling Sequence Data. In *18th International Conference on Machine Learning*, ICML ’01, p. 282–289, San Francisco, CA, USA : Morgan Kaufmann.

LAVERGNE T., CAPPÉ O. & YVON F. (2010). Practical Very Large Scale CRFs. In *Proceedings of the 48th Annual Meeting of the Association for Computational Linguistics*, p. 504–513, Uppsala, Sverige : Association for Computational Linguistics.

LERNER G. H. (1991). On the syntax of sentences-in-progress*. *Language in Society*, **20**(3), 441–458. DOI: 10.1017/S0047404500016572.

SCHMID H. (1994). Probabilistic Part-of-Speech Tagging Using Decision Trees. In *Proceedings of the International Conference on New Methods in Language Processing*, Manchester, UK.

TELLIER I., DUCHIER D., ESHKOL I., COURMET A. & MARTINET M. (2012). Apprentissage automatique d'un chunker pour le français. In G. S. GEORGES ANTONIADIS, HERVÉ BLANCHON, Éd., *Conférence Conjointe JEP-TALN-RECITAL 2012*, volume 2, p. 431–438, Grenoble, France.

TELLIER I., DUPONT Y., ESHKOL I. & WANG I. (2013). Adapt a Text-Oriented Chunker for Oral Data : How Much Manual Effort Is Necessary ? In H. YIN, K. TANG, Y. GAO, F. KLAWONN, M. LEE, T. WEISE, B. LI & X. YAO, Éds., *Proceedings of the 14th International Conference on Intelligent Data Engineering and Automated Learning*, Lecture Notes in Computer Science, p. 226–233, Berlin, Heidelberg : Springer. DOI: 10.1007/978-3-642-41278-3_28.

TELLIER I., ESHKOL-TARAVELLA I., DUPONT Y. & WANG I. (2014). Peut-on bien chunker avec de mauvaises étiquettes POS ? In B. BIGI, Éd., *Actes de la 21ᵉ conférence sur le Traitement Automatique des Langues Naturelles*, p. 125–136, Marseille, France.
Les avis sur les restaurants
à l'épreuve de l'apprentissage automatique

Hyun Jung Kang Iris Eshkol-Taravella

MoDyCo UMR7114, 200 Avenue de la République, 92001 Nanterre, France
hyunjung.kang@parisnanterre.fr, ieshkolt@parisnanterre.fr

RÉSUMÉ

Dans la fouille d'opinions, de nombreuses études portent sur l'extraction automatique des opinions positives ou négatives. Cependant les recherches ayant pour objet la fouille de suggestions et d'intentions sont moins importantes, malgré leur lien profond avec l'opinion. Cet article vise à détecter six catégories (opinion positive/mixte/négative, suggestion, intention, description) dans les avis en ligne sur les restaurants en exploitant deux méthodes : l'apprentissage de surface et l'apprentissage profond supervisés. Les performances obtenues pour chaque catégorie sont interprétées ensuite en tenant compte des spécificités du corpus traité.

ABSTRACT

An Empirical Examination of Online Restaurant Reviews

In opinion mining, many works focus on the automatic extraction of positive or negative opinions. However, researches on suggestion and intention mining haven't been addressed much, despite their strong connection to opinion. This article aims to detect six categories (positive/negative/mixed opinion, suggestion, intention, description) in online restaurant reviews using two methods : traditional supervised learning and deep learning. We then interpret the performances obtained for each category by taking into account the specificities of the corpus treated.

MOTS-CLÉS : fouille d'opinions, avis en ligne, apprentissage supervisé, apprentissage profond, suggestion, intention.

KEYWORDS: opinion mining, online reviews, machine learning, deep learning, suggestion, intention.

# 1 Introduction

Les avis en ligne sont des sources d'analyses dans différents domaines : le marketing, l'informatique, la linguistique, le TAL où ils sont souvent considérés comme relevant de la notion d'opinion. De nombreux travaux portent sur la fouille d'opinions dont l'objectif est de classifier un document (Pang et al., 2002; Turney, 2002) ou une phrase (Wiebe et al., 1999) selon sa polarité. L'opinion peut être aussi extraite comme un tuple (ABSA; Aspect Based Sentiment Analysis) qui se compose des éléments suivants : entité, aspect, sentiment, porteur et temps (Hu & Liu, 2004; Liu, 2012; Hamon et al., 2015; Lark, 2017).

D'autres notions apparaissent en lien avec les avis comme les suggestions ou les intentions. (Benamara et al., 2017), par exemple, affirment que la détection des intentions permet de compléter l'analyse de

<figure><img src="image_61.png" /></figure>
sentiments et d'opinions. Cependant les recherches ayant pour objet la détection de suggestions et d'intentions sont moins nombreuses. Le travail de (Ramanand et al., 2010) est, selon nous, le premier à s'intéresser à la détection de suggestions. Il distingue deux types de souhaits (wish) : le souhait d'améliorer un produit et le souhait d'acheter celui-ci. (Brun & Hagège, 2013) analysent les avis sur les produits et établissent un ensemble de règles de leur détection en se fondant sur des éléments linguistiques. (Negi & Buitelaar, 2015) étudient les avis sur les hôtels et les produits électroniques dans lesquels les auteurs formulent des conseils ou offrent des suggestions aux futurs utilisateurs. (Negi et al., 2016) évaluent différentes méthodes de détection de suggestion telles que les règles linguistiques élaborées manuellement, les machines vectorielles de support (SVM) et l'apprentissage profond. L'une des tâches proposées à l'atelier SemEval-2019 (Negi et al., 2019) avait pour objectif d'extraire les suggestions dans les avis et les forums sur Internet. La détection d'intentions est abordée dans le travail de (Carlos & Yalamanchi, 2012) qui catégorise l'intention dans le domaine du marketing et du service clientèle. (Chen et al., 2013) effectuent une classification des intentions explicites. (Ding et al., 2015) proposent un modèle, basé sur les réseaux de neurones convolutifs (CNN, Convolutional Neural Network), pour identifier si l'utilisateur manifeste une intention de consommation.

Les avis traités dans ce travail concernent les restaurants. Leur analyse linguistique a permis de proposer un modèle conceptuel qui dépasse la notion d'opinion positive/négative/mixte et qui intègre une dimension linguistique (Eshkol-Taravella & Kang, 2019). Le modèle propose trois nouvelles classes (i.e. suggestion, intention, description) qui sont moins étudiées dans la fouille d'opinion.

La suggestion est un conseil émis par un visiteur. Ses marqueurs linguistiques sont les verbes de parole comme « recommander », « conseiller », le mode conditionnel et impératif, les pronoms personnels (« vous ») et les adjectifs possessifs de la deuxième personne (« votre », « vos »). Les suggestions peuvent être adressées à la fois aux restaurants (afin qu'ils prennent conscience des problèmes) et aux autres clients potentiels (futurs visiteurs) comme dans les exemples suivants : « Je conseille le tiramisu. », « Une lumière un peu plus tamisée aurait été parfaite ». Pourtant, les travaux précédents consacrés à leur détection ne prennent en compte que l'un des deux destinataires.

L'intention est un souhait exprimé explicitement de revenir ou de ne pas pas revenir dans un restaurant, elle montre un engagement volontaire du visiteur (« On reviendra ! », « Nous ne reviendrons pas ! »). L'intention est marquée de manière explicite à travers les pronoms « je », « nous » et « on », les verbes au futur et le préfixe verbal d'itération « re- ».

La description concerne les informations factuelles associées à l'expérience vécue comme « Soirée pour notre anniversaire de mariage » ou « Nous y étions un midi », qui sont peu reconnues dans la fouille d'opinion. Malgré sa nature objective et sa faible fréquence, la description est néanmoins une information intéressante car elle permet aux lecteurs de découvrir l'arrière-plan de l'expérience comme la raison pour laquelle les visiteurs se rendent dans le restaurant, les personnes qui les accompagnent, etc.

(Eshkol-Taravella & Kang, 2019) ont présenté la détection automatique de ces catégories fondée sur l'apprentissage supervisé en comparant différents modèles (Naïve Bayes, Support Vector Machine, Logistic Regression) tout en tenant compte du déséquilibre entre les classes d'évaluation créées. Le score F-mesure 0,88 a été obtenu en utilisant le sur-échantillonnage de ADASYN associé à l'algorithme SVM. Le travail présenté ici vise deux objectifs : (1) comparer les résultats de deux techniques d'apprentissage supervisé utilisées (l'apprentissage de surface et l'apprentissage profond); (2) examiner et comparer les performances obtenues pour chaque catégorie détectée. La méthodologie appliquée est décrite dans la section 2. Les expériences de détection automatique des six catégories
proposées exploitant les techniques de l'apprentissage de surface et de l'apprentissage profond ainsi que l'analyse de leurs performances sous diverses facettes sont présentées dans la section 3.

# 2 Méthodologie

## 2.1 Annotations et prétraitements

**Données traitées.** Nous avons collecté 21 158 avis sur 87 restaurants situés à Paris depuis un site internet<fnref n="1" /> dont 6 287 avis (17 268 phrases, avec une moyenne de dix mots par phrase) ont été annotées. Les prétraitements réalisés sont décrits dans (Eshkol-Taravella & Kang, 2019). Nous nous contentons de présenter ici leur synthèse.

<figure><img src="image_62.png" /><figcaption>FIGURE 1 – Répartition des classes</figcaption></figure>

**Annotation.** Chaque phrase a été annotée selon l'une des six catégories : POS_OPINION, NEG_OPINION, MIX_OPINION, SUGGESTION, INTENTION et DESCRIPTION. Dans les cas d'ambiguïté où plusieurs catégories sont possibles, SUGGESTION ou INTENTION ont été privilégiées car celles-ci sont peu représentées dans les données. La phrase « Toujours aussi excellent, nous y retournerons c'est certain » par exemple, peut être classée dans les deux catégories POS_OPINION et INTENTION. Nous l'avons cependant annotée comme INTENTION. La tâche d'annotation a été évaluée par trois annotateurs (i.e. les doctorants en linguistique). Selon la mesure Kappa de Fleiss, nous avons obtenu 0,90, un accord considéré comme « presque parfait » (Landis & Koch, 1977). La distribution des catégories dans le corpus annoté s'est avérée non homogène (voir figure 1) : l'étiquette POS_OPINION constitue la majorité des catégories, représentant 68,2%, alors que DESCRIPTION et INTENTION n'en font que 1,8% et 4,9%.

**Normalisation.** Pour normaliser et nettoyer le corpus, certains traitements ont été effectués : le remplacement des émoticônes par « emoPOS » ou « emoNEG » selon la polarité<fnref n="2" />, le passage des mots en

<footnote n="1">1. La Fourchette, https://www.lafourchette.com/</footnote>

<footnote n="2">2. Les émoticônes se distinguent généralement par la polarité : ceux qui ont une polarité positive comme « :) », « :-) »</footnote>
minuscules; l'élimination de la ponctuation³; la normalisation des mots consistant en la transformation des abréviations par leurs variations complètes (e.g. « resto » par « restaurant »); le remplacement des chiffres par une étiquette « NUM »⁴; la lemmatisation en utilisant StanfordCoreNLP⁵.

## 2.2 Classification

La classification automatique des phrases dans les six catégories prédéfinies a été effectuée en utilisant trois méthodes : SVM (Support Vector Machine) linéaire, CNN (Convolutional Neural Network) et LSTM (Long Short-Term Memory network). Pour les expériences basées sur SVM, nous avons utilisé la librairie scikit-learn ⁶ et pour celles de CNN et LSTM, nous avons employé la librairie Keras ⁷ avec TensorFlow ⁸. Pour évaluer toutes les expériences, une validation croisée stratifiée à 5 plis a été effectuée. Les techniques pour gérer l'équilibre de la répartition des catégories n'ont pas été appliquées dans cette étude.

**SVM linéaire.** Deux approches de représentation de texte ont été exploitées : l'approche du sac de mots et celle du plongement de mots (embedding). Pour la première approche, nous avons supprimé les mots-outils ⁹ et employé Count Vectorizer et Tfidf Vectorizer de scikit-learn. Nous avons testé deux paramètres dont ces méthodes disposent, n gram et max feature. La meilleure combinaison des paramètres a été obtenue avec une procédure de grille de recherche (GridSearch ¹⁰).

La deuxième approche concerne le plongement de mots, méthode améliorée par rapport à celle du sac de mots car capable de prendre en compte les similarités contextuelles entre les mots. Pour ce faire, nous avons entraîné Word2vec (Mikolov et al., 2013) du type de CBOW (sac de mots continus) avec Gensim¹¹. La taille de la fenêtre a été fixée à 6. Les traits (features) pris en compte lors de l'apprentissage sont : les catégories morphosyntaxiques jugées pertinentes (e.g. les noms, les verbes, les adjectifs) proposées par StanfordCoreNLP, les différentes variations des verbes (e.g. les verbes au futur, les verbes au conditionnel, les verbes possédant le préfixe 're-'), la négation, les mots positifs et négatifs ¹², les scores de polarité et de subjectivité ¹³, le connecteur « mais », le symbole € (euro), les chiffres, les émoticônes, les multiples ponctuations en cascade, les mots en majuscule ¹⁴, la longueur de la phrase, la diversité et la densité lexicales. En nous basant sur ces traits définis, l'algorithmme SVM linéaire a été appliqué.

**CNN.** Pour exploiter la technique des CNN, nous nous sommes appuyés sur la proposition de configurations proposée dans (Zhang & Wallace, 2017) pour une tâche de classification automatique

et ceux qui sont plutôt de polarité négative « :( ». Une liste comprenant les émoticônes positifs et négatifs a été créée préalablement.

3. Pour éviter des interférences entre les traitements réalisés, leur ordre a été prédéfini.

4. Les informations factuelles (le nombre de personnes, l'heure, le prix, etc.) sont souvent présentées en chiffres.

5. https://stanfordnlp.github.io/CoreNLP/download.html

6. http://scikit-learn.org/stable/

7. https://keras.io/

8. https://www.tensorflow.org/

9. La liste des mots-outils proposée par NLTK (https://www.nltk.org/) a été modifiée.

10. https://scikit-learn.org/stable/modules/generated/sklearn.model_selection GridSearchCV.html

11. https://radimrehurek.com/gensim/ ; Les modèles Word2vec entraînés sur le corpus frWiki (Wikipédia) par (Fauconnier, 2015) ont été testés, or, le résultat des modèles pré-entraînés a été moins intéressant que nos propres modèles.

12. Proposés par Textblob (https://textblob.readthedocs.io/en/dev/)

13. Obtenus par Textblob

14. Puisque les données ont été normalisées, la fréquence des multiples ponctuations en cascade et des mots en majuscule sont extraites des données originales.
des textes. Nous avons pris en entrée une matrice d'embedding à l'aide de Word2vec entraîné précédemment sur notre corpus. Par la suite, nous avons appliqué un filtre de convolution de 32 neurones ainsi qu'un kernel de taille 4 suivie par la fonction d'activation ReLU (Unité de Rectification Linéaire). Une couche de *Max pooling* a ensuite été appliquée sur la sortie de la couche de convolution, divisant par 2 la sortie de la couche précédente. Enfin, nous avons exploité l'aplatissement et la réduction de dimension, en appliquant une couche dense à 10 unités, suivie par la fonction d'activation ReLU, avant d'exploiter une activation softmax sur la couche finale composée de 6 neurones.

**LSTM.** Les LSTMs sont une variante de réseaux de neurones récurrents (RNN) considérés comme très performantes sur de longues séquences (Osinga, 2018). Nous avons utilisé comme entrée la même matrice d'embeddings que celui de CNN, suivie d'une couche avec 100 unités, envoyée ensuite à une couche dense et finissante par une activation softmax. L'avantage des LSTMs est de mieux prendre en compte les dépendances entres mots distants.

Pour ces types de réseaux de neurones, CNN et LSTM, les hyperparamètres choisis sont l'optimiseur Adam (Adaptive Moments) et une perte d'entropie. La taille du batch est de 5, avec 7 époques.

# 3 Résultats

Les performances des différents modèles ont été évaluées en calculant pour chacun d'eux la moyenne pondérée de la précision, du rappel, de la F-mesure et la matrice de confusion. La macro F-mesure, donnant un poids identique à chaque catégorie, ne tient pas compte de la répartition déséquilibrée des classes. Étant donné que cette répartition est asymétrique dans les données, la moyenne pondérée de la F-mesure est jugée pertinente<fnref n="15" />, c'est la raison pour laquelle cette mesure est utilisée pour l'évaluation. Le tableau 1 illustre la comparaison des performances entre les méthodes employées. Le SVM linéaire utilisé avec le sac de mots (i.e. l'apprentissage de surface) a donné le meilleur résultat avec une moyenne pondérée de F-mesure égale à 0,88. L'apprentissage de surface a donc produit dans le cadre de cette étude un meilleur résultat que l'apprentissage profond. Nous considérons pourtant que ce dernier peut encore être amélioré au moyen de réseaux de neurones plus complexes. Bien que Word2vec soit présenté comme une approche optimale, nos résultats montrent que l'approche du sac de mots peut s'avérer plus performante que Word2vec dans les cas où les données ne sont pas importantes.

<table><caption>TABLE 1 – La comparaison des moyennes pondérées de la F-mesure entre les méthodes employées</caption><thead><tr><td>sac de mots+linearSVM</td><td>Word2vec+linearSVM</td><td>CNN</td><td>LSTM</td></tr></thead><tbody><tr><td>0.88</td><td>0.80</td><td>0.85</td><td>0.84</td></tr></tbody></table>

La matrice de confusion offre une vision globale de la meilleure performance, comme le montre la figure 2. Chaque ligne correspond à la classe réelle et chaque colonne à la classe prédite. Les cellules de la diagonale principale indiquent celles qui sont classifiées correctement. La cellule DESCRIPTION est légèrement plus claire car l'information réunie sous cette étiquette était plus difficile à être classifiée. Ce constat peut s'expliquer en partie par le manque d'échantillons de DESCRIPTION et donc par le faible nombre de traits fournis durant l'apprentissage. Par ailleurs, cette catégorie est très hétérogène et varie en fonction du profil de l'internaute, ce qui donne lieu à un

<footnote n="15">15. https://scikit-learn.org/stable/modules/generated/sklearn.metrics.f1_score.html#sklearn.metrics.f1_score</footnote>
large éventail de vocabulaires et de contextes. Par conséquent, DESCRIPTION a une tendance à être rangée dans la classe majoritaire, c'est-à-dire POS_OPINION (0,41) et occasionnellement comme NEG_OPINION (0,14). Nous observons également une tendance similaire pour MIX_OPINION, dont le mauvais score (0,66) vient du fait que la catégorie implique à la fois POS_OPINION (0,19) et NEG_OPINION (0,12) <fnref n="16" />.

<figure><img src="image_63.png" /><figcaption>FIGURE 2 – La matrice de confusion normalisée de SVM linéaire utilisé avec le sac de mots</figcaption></figure>

La figure 3 présente une comparaison de la moyenne pondérée de la précision, du rappel et de la F-mesure entre l'apprentissage de surface (sac de mots+SVM linéaire) et l'apprentissage profond (CNN) pour chaque catégorie d'évaluation. Une étiquette POS_OPINION est détectée avec la meilleure performance (la F-mesure étant d'environ 0,94) et l'INTENTION, obtient le deuxième meilleur score (0,86-0,88). Une étiquette DESCRIPTION est détectée avec la plus mauvaise performance (0,34-0,46) ayant le plus grand écart entre la précision et le rappel ce qui correspond à 0,16 pour chaque méthode d'apprentissage. Ce résultat est dû à sa faible fréquence dans le corpus. Par ailleurs, elle semble s'appuyer sur peu de marqueurs lexicaux car sa nature est très hétérogène.

D'une manière générale, les performances de l'apprentissage de surface sont supérieures à celle de l'apprentissage profond dans la majorité des cas. Les étiquettes DESCRIPTION et SUGGESTION ont une tendance à être mieux détectées avec l'apprentissage de surface ce qui montre que les traits linguistiques retenus sont utiles dans l'apprentissage. L'INTENTION a une précision supérieure mais un rappel inférieur à la précision lorsque l'apprentissage profond est exploité, donnant au final une F-mesure similaire à l'apprentissage de surface.

<footnote n="16">16. Par exemple, « Vraiment très bien, juste un peu trop bruyant. ».</footnote>
<figure><img src="image_64.png" /><figcaption>FIGURE 3 – Précision, Rappel et F-mesure d’apprentissage supervisé (sac de mots+linearSVC) et d’apprentissage profond (CNN)</figcaption></figure>

Une catégorie MIX_OPINION semble poser également des difficultés aux classifieurs. L'observation manuelle du corpus montre que le changement de polarité est marqué souvent par les conjonctions comme « mais » (e.g. « Le restaurant était complet et très bruyant mais la cuisine excellente. », « Beau restaurant, très bons plats mais service à revoir. »). La segmentation du corpus selon les conjonctions pourrait améliorer la performance de la détection de cette catégorie mais aussi pourrait permettre sa suppression. La segmentation de la phrase « Le restaurant était complet et très bruyant mais la cuisine excellente. » en deux propositions « Le restaurant était complet et très bruyant » et « la cuisine excellente » permet de classer la première proposition dans une catégorie NEG_OPINION et la seconde dans POS_OPINION. L'approche de (Lark, 2017), qui emploie les règles lexicosyntaxiques appliquées sur les connecteurs, semble pouvoir résoudre cette difficulté.

# 4 Conclusion

Cet article décrit l'expérience portant sur la classification automatique des avis selon six catégories prédéfinies en exploitant deux techniques de l'apprentissage supervisée : l'apprentissage de surface et l'apprentissage profond. L'approche de surface obtient la meilleure moyenne pondérée de la F-mesure (0,88), qui chute légèrement dans le cas de l'apprentissage profond (0,86). Notons que l'apprentissage de surface est plus coûteux en termes de temps et d'efforts à cause des traits à fournir aux algorithmes. Lorsque l'approche de surface est appliquée, les moyennes pondérées de la F-mesure pour chaque catégorie sont : POS_OPINION (0,94), INTENTION (0,88), SUGGESTION (0,84), NEG_OPINION (0,70), MIX_OPINION (0,66) et DESCRIPTION (0,46). Parmi les trois nouvelles catégories proposées : INTENTION, SUGGESTION, DESCRIPTION, c'est la détection de cette dernière qui obtient les résultats moins satisfaisants. Pour améliorer son score, il faudrait augmenter la taille du corpus de référence. Par ailleurs, il serait intéressant de mesurer la généricité des catégories INTENTION et SUGGESTION dans d'autres corpus.

# Références

BENAMARA F., TABOADA M. & MATHIEU Y. (2017). Evaluative language beyond bags of words :
Linguistic insights and computational applications. *Computational Linguistics*, **43**(1), 201–264.
DOI: 10.1162/COLI_a_00278.

BRUN C. & HAGÈGE C. (2013). Suggestion mining: Detecting suggestions for improvement in users' comments. *Research in Computing Science*, **70**, 199–209.

CARLOS C. S. & YALAMANCHI M. (2012). Intention analysis for sales, marketing and customer service. In *Proceedings of COLING 2012 : Demonstration Papers*, p. 33–40, Mumbai, India : The COLING 2012 Organizing Committee.

CHEN Z., LIU B., HSU M., CASTELLANOS M. & GHOSH R. (2013). Identifying intention posts in discussion forums. In *Proceedings of the 2013 Conference of the North American Chapter of the Association for Computational Linguistics : Human Language Technologies*, p. 1041–1050, Atlanta, Georgia : Association for Computational Linguistics.

DING X., LIU T., DUAN J. & NIE J.-Y. (2015). Mining user consumption intention from social media using domain adaptive convolutional neural network. In *Twenty-Ninth AAAI Conference on Artificial Intelligence*.

ESHKOL-TARAVELLA I. & KANG H. J. (2019). Observation de l'expérience client dans les restaurants. In *TALN 2019*.

FAUCONNIER J.-P. (2015). French word embeddings. http://fauconnier.github.io.

HAMON T., FRAISSE A., PAROUBEK P., ZWEIGENBAUM P. & GROUIN C. (2015). Analyse des émotions, sentiments et opinions exprimés dans les tweets : présentation et résultats de l'édition 2015 du défi fouille de texte (deft).

HU M. & LIU B. (2004). Mining and summarizing customer reviews. In *Proceedings of the tenth ACM SIGKDD international conference on Knowledge discovery and data mining*, p. 168–177.

LANDIS J. R. & KOCH G. G. (1977). The measurement of observer agreement for categorical data. *Biometrics*, **33**(1), 159–174.

LARK J. (2017). *Construction semi-automatique de ressources pour la fouille d'opinion*. Thèse de doctorat, Nantes.

LIU B. (2012). *Sentiment Analysis and Opinion Mining*. Morgan & Claypool Publishers.

MIKOLOV T., CHEN K., CORRADO G. & DEAN J. (2013). Efficient Estimation of Word Representations in Vector Space. arXiv : 1301.3781.

NEGI S., ASOOJA K., MEHROTRA S. & BUITELAAR P. (2016). A study of suggestions in opinionated texts and their automatic detection. In *Proceedings of the Fifth Joint Conference on Lexical and Computational Semantics*, p. 170–178, Berlin, Germany : Association for Computational Linguistics. DOI: 10.18653/v1/S16-2022.

NEGI S. & BUITELAAR P. (2015). Towards the extraction of customer-to-customer suggestions from reviews. In *Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing*. DOI: 10.18653/v1/D15-1258.

NEGI S., DAUDERT T. & BUITELAAR P. (2019). Semeval-2019 task 9 : Suggestion mining from online reviews and forums. In *Proceedings of the 13th International Workshop on Semantic Evaluation (SemEval-2019)*, p. 783–883.

OSINGA D. (2018). *Deep Learning Cookbook*. Practical Recipes to Get Started Quickly. O’Reilly Media.

PANG B., LEE L. & VAITHYANATHAN S. (2002). Thumbs up? sentiment classification using machine learning techniques. *EMNLP*, **10**. DOI: 10.3115/1118693.1118704.
RAMANAND J., BHAVSAR K. & PEDANEKAR N. (2010). Wishful thinking : Finding suggestions and 'buy' wishes from product reviews. In *Proceedings of the NAACL HLT 2010 Workshop on Computational Approaches to Analysis and Generation of Emotion in Text*, CAAGET '10, p. 54–61, Stroudsburg, PA, USA : Association for Computational Linguistics.

TURNEY P. D. (2002). Thumbs up or thumbs down? : Semantic orientation applied to unsupervised classification of reviews. In *Proceedings of the 40th Annual Meeting on Association for Computational Linguistics*, ACL '02, p. 417–424, Stroudsburg, PA, USA : Association for Computational Linguistics. DOI: 10.3115/1073083.1073153.

WIEBE J. M., BRUCE R. F. & O'HARA T. P. (1999). Development and use of a gold-standard data set for subjectivity classifications. In *Proceedings of the 37th Annual Meeting of the Association for Computational Linguistics on Computational Linguistics*, ACL '99, p. 246–253, Stroudsburg, PA, USA : Association for Computational Linguistics. DOI: 10.3115/1034678.1034721.

ZHANG Y. & WALLACE B. (2017). A sensitivity analysis of (and practitioners' guide to) convolutional neural networks for sentence classification. In *Proceedings of the Eighth International Joint Conference on Natural Language Processing (Volume 1: Long Papers)*, p. 253–263, Taipei, Taiwan : Asian Federation of Natural Language Processing.
# Recherche de similarité thématique en temps réel
au sein d'un débat en ligne

Mathieu Lafourcade<fnref n="1" />, ² Noémie-Fleur Sandillon-Rezer<fnref n="1" />, ²

(1) LIRMM, 161 rue Ada, 34095 Montpellier Cedex 5, France

(2) Université de Montpellier, 163 rue Auguste Broussonnet, 34090 Montpellier, France
mathieu.lafourcade@lirmm.fr, noemie-fleur.sandillon-rezer@lirmm.fr

## RÉSUMÉ

Cet article se focalise sur l'utilisation d'un large réseau lexico-sémantique français pour le calcul de similarité thématique d'interventions au cours d'un débat en ligne dans les lycées, proche du temps réel. Pour cela, notre système extrait des informations sémantiques du réseau et crée à la volée des vecteurs enrichis pour chaque fragment de texte. Les données récupérées sont contextualisées via un algorithme de propagation. Les vecteurs résultat permettent aux fragments de texte d'être comparés. Notre méthode aide à trouver les thématiques émergentes des débats et à identifier des clusters d'opinion. La contrainte temps réel nous force à sélectionner précisément les informations que nous incluons, aussi bien pour les temps de calcul des vecteurs créés que la qualité de ceux-ci.

## ABSTRACT

### Thematic similarity real-time computation during an online debate

This paper describes the use of a large French lexical and semantic network for text embedding computation for thematic similarity, as close as possible to real time, in the context of in-school online debates. To this purpose, our system creates on the fly enriched vectors that embed thematic aspects of text fragments. Semantic information associated to textual contents are retrieved from a knowledge base, then contextualised by a graph propagation algorithm. Those lexicalized vectors allow texts to be thematically compared. The system helps teachers by finding emergent topics of discussions or identifying clusters of opinions. The real-time constraint forces us to choose precisely which semantic processing we include in vector building, as they can have a crucial impact.

**MOTS-CLÉS** : proximité thématique, réseau lexico-sémantique, vecteurs lexicalisés.

**KEYWORDS**: thematic similarity, lexical and semantic network, lexicalized vectors.

## 1 Introduction

Cet article présente une utilisation d'un réseau lexico-sémantique français pour le calcul de vecteurs textuels enrichis, cela dans le but de trouver des similarités thématiques entre des fragments de texte. Nous nous plaçons dans le cadre du projet AREN (ARgumentation Et Numérique), où notre méthode est appliquée en temps réel à des débats en ligne entre lycéens. Ce projet, soutenu par le ministère de l'Éducation Nationale, est un des lauréats de l'appel e-FRAN<fnref n="1" />. Son but principal est d'apprendre les mécanismes du débat aux lycéens via une plateforme mise en ligne et utilisée depuis

<figure><img src="image_65.png" /></figure>

<footnote n="1">1. Espaces de Formation, de Recherche et d'Animation Numérique</footnote>
2017 (voir figure 1). Un des objectifs secondaires est d'exploiter les techniques du TAL pour assister élèves et enseignants durant un débat ou pendant l'étape de restitution. En effet, un débat en classe (dans le cadre du projet) se divise en trois parties : la préparation en classe, où les élèves acquièrent des données et connaissances sur le sujet à débattre, le débat en ligne, d'une durée de 50 minutes en général et la restitution du débat. Lors de celle-ci, un travail consiste à résumer les différents arguments du débat. Pour cela, pouvoir rassembler les arguments par thème est d'une grande aide pour les enseignants, leur permettant de vérifier ce que propose le système plutôt que lire parfois jusqu'à 300 arguments pour commencer le tri. Durant le débat, cela peut également permettre à l'enseignant de mettre l'accent sur un thème qu'il souhaiterait voir abordé et qui n'a pas encore assez de contributions. Les textes analysés sont donc courts (généralement une phrase), et écrits sur le vif.

L'idée soutenant notre méthode est de créer des vecteurs pour chaque contribution textuelle, d'enrichir ceux-ci via le réseau lexico-sémantique et de les comparer par un produit scalaire. Il est ainsi possible de déterminer automatiquement quelles contributions sont proches thématiquement les unes des autres, et ce même si le vocabulaire utilisé diverge.

<figure><img src="image_66.png" /><figcaption>FIGURE 1 – Interface d'AREN : texte débattu à gauche, commentaires à droite découpés en 3 parties : sélection (extrait à commenter), reformulation (de la sélection), argumentation (où on s'exprime).</figcaption></figure>

Il est important de garder à l'esprit deux aspects du projet. La contrainte temps-réel nous impose d'utiliser des approches rapides et nous ne vérifions pas que les interventions sont sémantiquement convergentes (les négations, par exemple, ne sont pas prises en compte), mais simplement qu'elles portent sur le même thème. En outre, les vecteurs sont lexicalisés (ensemble de paires mot-poids) pour une interprétation humaine et machine facilitée, dans l'esprit de Panigrahi et al. (2019). Les vecteurs sont en dimension ouverte. Ils peuvent être composés d'autant de paires mot-poids que souhaité. Pour être comparés deux à deux, le fait de ne pas avoir la même dimension n'est pas problématique.

Les données utilisées sont les débats réalisés au cours des 4 ans de projet. Celles-ci seront mises à disposition au terme du projet, ainsi que le code produisant les vecteurs et la plateforme utilisée, le tout sous licence libre.

Dans cet article, nous commencerons par décrire rapidement certains aspects de la base de connaissance JeuxDeMots dont nous nous servons pour l'augmentation sémantique. Après un rapide aperçu des méthodes récentes sur les plongements de mots et de textes, nous décrirons notre méthodologie, puis l'évaluerons avant de conclure.
## 2 Utiliser une grande base de connaissances lexicalisées

Le projet JeuxDeMots<fnref n="2" /> (Lafourcade, 2007) (JDM) a pour cœur des GWAP (un jeu en ligne, voir Ahn (2006)) où des joueurs s'affrontent pour capturer des mots, combiné à des mécanismes d'inférences. Le ressort principal (Lafourcade et al., 2018) est de leur faire produire des associations entre termes selon une consigne (par exemple : donner des synonymes de "chat"). Ainsi, le réseau lexical JDM, dont la structure est composée de nœuds connectés par des relations (voir Collins & Quillian (1969), Sowa & Zachman (1992), Gaume et al. (2007) et Polguère (2014)), se développe en fonction de l'activité des participants (environ 4 millions de termes et 310 millions de relations en janvier 2020). Il existe environ 120 types de relations pouvant être organisés selon les catégories suivantes :

**Relations lexicales** - Focalisées sur le vocabulaire et la lexicalisation, cela correspond à la synonymie, antonymie, champ lexical, etc.

**Relations ontologiques** - Centrées sur les connaissances de la langue, il s'agit des génériques (hyperonymie), spécifiques (hyponymie), parties de (meronymie), lieux spécifiques, etc.

**Relations associatives** - Plus subjectives, elle font appel à la culture générale : associations libres, sentiments associés, gloses, objets similaires, objets souvent présents ensembles.

**Relations prédicatives** - Associées à un vembe ou un nom d'action, aussi bien qu'aux valeurs des arguments : agent, patient, lieux où une action se déroule, etc.

**Sens des termes** permettant de représenter des raffinements spécifiques, par exemple : frégate>navire de frégate>oiseau.

En plus d'être typée, une relation est pondérée, le poids pouvant être négatif, indiquant une relation fausse ou impossible. Enfin, les relations peuvent être annotées de façon ouverte avec diverses informations : fréquences, pertinence, prépositions (pour les relations de lieux), subjectivité, etc. La base est très lexicalisée, en ce sens que les verbes arrivent avec leur formes conjuguées ; les groupes nominaux avec leur pluriel, etc. Un grand nombre de formes verbales infinitives arrivent avec leur version négative (manger / ne pas manger / ne plus manger, etc.) et leurs associations sémantiques respectives. Cela résulte d'un ajout de contributeurs hors jeu, et permet lors d'une analyse sémantique de rejeter certains sens.

## 3 Calcul de vecteurs avec une large base de connaissances

Contrairement aux approches récentes, où les plongements textuels sont calculés à partir d'un grand corpus – souvent Wikipedia Ein Dor et al. (2018)–, on s'appuie sur une large base de connaissances.

Les techniques de fouilles textuelles cherchant à extraire des données pertinentes de texte sont souvent utilisées pour mesurer la similarité (Vijaymeena1 & Kavitha (2016), Sumathy & Chidambaram (2016), Peinelt et al. (2019) et Gong et al. (2018)). L'enjeu des modèles à base de vecteurs est de construire lesdits vecteurs. En contrepartie, on adopte généralement ces modèles pour la facilité de comparaison des vecteurs. On peut citer à la volée : les méthodes LSA - Latent Semantic Analysis - (Magerman et al., 2011), LDA - Latent Dirichlet Allocation - (Liu et al., 2015), LSTM - Siamese Long Short Term Memory - (Melamud et al., 2016) ou encore Doc2Vec, foncé sur Word2Vec (Le & Mikolov, 2014). Les réseaux neuronaux convolutionnels commencent également à être utilisés (Zheng et al., 2019). Généralement, les approches sont entraînées sur larges corpus, vu qu'il est délicat de créer des

<footnote n="2">2. http://www.jeuxdemots.org</footnote>
vecteurs pertinents sans aucune source de connaissance (Park et al., 2018). Cela rend la récupération des informations sous-entendues plus complexe (Smalheiser et al., 2019), alors qu’un lecteur humain le fait aisément tant que lesdites informations viennent de son environnement culturel. Nous avons délaissé les méthodes telles que ELMo (Peters et al., 2018) BERT (Devlin et al., 2019) car nous souhaitions une méthodologie en contrôle, où nous choisissons les relations sémantiques où sont puisés les termes à ajouter.

Actuellement, nous exploitons la proximité thématique (par produit scalaire entre vecteurs) selon deux circonstances : (a) vérifier automatiquement que la reformulation est (thématiquement) similaire à la sélection (leurs vecteurs ont un produit scalaire élevé) et (b) identifier les commentaires (thématiquement) proches d'un groupe de mot pouvant jouer le rôle de thème spécifique. Cela permet de recentrer le débat facilement, de vérifier si certaines idées sont exprimées et combien de fois.

## 3.1 Schéma général de construction de vecteurs lexicalisés

L'idée maîtresse est de déclarer différentes étapes et de construire un pipeline avec. On différencie les étapes sémantiques – qui font appel aux connaissances issues de JeuxDeMots et ajoutent des informations importantes, comme les synonymes (Abdalgader & Skabar, 2011), et améliorent la qualité des vecteurs (Espinosa Anke et al., 2019), avec les co-locations – et celles qui ne le sont pas (étapes de régularisation), mais qui sont indispensables pour construire des vecteurs (où les mots sont associés à leur poids). Le pipeline complet est illustré figure 2. Nos choix se fondent sur un compromis entre de temps de calcul et qualité. Il nous a bien sûr fallu faire des choix, principalement en terme d'augmentation, pour rester dans l'optique du temps réel (un débat en classe dure 50 minutes, il est nécessaire que les calculs soient terminés à la fin de celui-ci pour faire le point avec les élèves).

<figure><img src="image_67.png" /><figcaption>FIGURE 2 – Processus global ; les étapes sémantiques (1 - 5) exploitent la base de connaissances.</figcaption></figure>

## 3.2 Étapes de régularisation

Elles peuvent être utilisées seules pour obtenir des vecteurs élémentaire très rapidement. Ces vecteurs peuvent être utilisés comme références (baseline). On considère un fragment de texte (ou fragment) comme une suite de mots $w_1s_1w_2s_2...s_kw_n$ ($n, k \in \mathbb{N}$), où $w_i$ représente un mot et $s_j$ un séparateur.

**A - Tokenisation** : transforme un fragment en tokens, en détectant les séparateurs : ($w_1, w_2, ..., w_n$).

**B - Vectorisation** : crée un vecteur en comptant et fusionnant les tokens dupliqués. L'ensemble pondéré obtenu est appelé vecteur lexicalisé : $\{w_1 : 2, w_2 : 1, ..., w_{n'} : 3\}$ où $n' \in \mathbb{N}$ et $n' \le n$.

**C - Normalisation** : modifie les poids avec une norme euclidienne. Soit un vecteur $(x, y)$, une fois normé il devient $(\frac{x}{\sqrt{x^2+y^2}}, \frac{y}{\sqrt{x^2+y^2}}))$. Cela permet la comparaison de deux vecteurs.
## 3.3 Étapes sémantiques

Ces étapes sémantiques ajoutent des informations sémantiques au vecteur, en atténuant les fluctuations lexicales de langage utilisé, et surtout en identifiant les concepts sous-tendus tels que identifiés a priori par les locuteurs (dans le cadre du projet JeuxdeMots) aussi bien qu'en réduisant l'ambiguïté en identifiant les termes composés.

**1 - Détection des termes composés (TC)** : est nécessaire pour éviter les erreurs d'interprétation aussi bien que pour le raffinement. Par exemple *île flottante* est plus certainement un dessert qu'une île qui flotte et *véhicule autonome* est un concept précis qui a un sens et un champ lexical bien à lui.

Les termes composés sont extraits sous forme de liste de JDM ; celle-ci permet de créer un automate à états finis, qui lira les fragments (en prenant en compte les séparateurs) et concatènera les séquences correspondant à un TC avec "_" : *véhicule autonome* deviendra *véhicule_autonome*. Lorsque deux TCs se superposent, nous sélectionnons le terme le plus à droite (heuristique correspondant à ce qu'on observe plus souvent en français). La détection de TCs, pour être complète, doit être effectuée en trois passes, accompagnée entre chaque d'une *lemmatisation progressive*. Cela demande de construire le graphe des lemmatisations possibles et devient coûteux en temps. Les trois passes sont donc :
*Sans lemmatisation* : couvre les cas où les traits grammaticaux comptent (monteur de câbles d'avions).
*Lemmatisation verbale* : pour reconnaître des expressions telles que *mettre les pieds dans le plat*.
*Lemmatisation totale* : détecte les TCs enregistrés sous forme lemmatique, tel que *véhicule autonome*.

**2 - Retrait du bruit** : à partir d'une liste de mots vides – du bruit – on crée une expression rationnelle qui retire ces mots des fragments.

**3 - Lemmatisation** : récupère les lemmes des mots, depuis JDM. Leur poids est le même que celui du mot initial. Lorsque l'on effectue la détection des termes composés complète, cette étape y est incluse. Cependant, pour une exécution plus rapide, on peut réduire la détection des termes composés à sa première étape et il est alors nécessaire d'effectuer la lemmatisation à part.

**4 - Augmentation** : demande à JDM les mots associés (génériques, synonymes, idées associées et sens des mots) et récupère une liste de termes pondérés. Cette liste est triée par poids de relation, les négatifs sont exclus, et nous récupérons les *k* premiers, qui sont ajoutés au vecteur avec un facteur d'atténuation *f* qui s'applique sur le poids du terme initial. Le facteur d'atténuation ainsi que le nombre de termes sélectionnés peuvent être modifiés à l'appréciation de l'utilisateur. Empiriquement et dans le cadre de l'utilisation que nous faisons de la similarité thématique dans le projet AREN, nous avons fixé *f* = 0.8, pour les synonymes *k* = 10 et pour les autres augmentations *n* = 3. Si les résultats existent déjà dans le vecteur, les poids se cumulent.

**5 - Contextualisation** : a pour but de garder les termes ajoutés les plus pertinents, en fonction du contexte textuel – Chapuis & Lafourcade (2017) pour une approche similaire –. L'algorithme prend en entrée le vecteur construit jusqu'à l'étape 4, et le considère comme un ensemble de termes pondérés $S = \{t_1/w_1; ...t_n/w_n\}$. On normalise les poids de manière à ce que le plus élevé soit égal à 1 ; on construit $S'$ de la même manière. On crée un graphe en ajoutant toutes les relations possibles entre les éléments de $S \cup S'$ trouvées dans JDM (celles-ci peuvent être positives, donc vraies, ou négatives, fausses). On passe à la phase d'initialisation. À chaque terme de départ (de *S*), on assigne une valeur d'activation *a* égale à son poids dans *S*. Les termes de $S'$ ont une valeur d'activation de 0. Vient ensuite l'étape de propagation : on propage la valeur d'activation de chaque nœud *N* à chaque voisin de $S'$, via la relation *R* d'un poids $w(R)$ tel que $a(S'_i) \leftarrow (a(S'_i) \times a(N) \times w(R))^{1/3}$. Un nœud *N* est donc considéré comme un neurone qui transmet son activation $a(N)$ si celle-ci est au dessus
d'un certain seuil (empiriquement, ce seuil est de 0.5). L'étape suivante, d'itération, ajoute à la valeur d'activation de chaque terme initial (de S) son poids dans S, avant de repasser à l'étape de propagation. On répète jusqu'à convergence des poids ou jusqu'au maximum d'étapes autorisées. L'algorithme est prouvé non convergent en général, mais converge dans les cas où il n'y a pas d'interprétations multiples au texte d'entrée. En contextualisant notre exemple, on obtient :

**Rafinements gardés**
voiture>automobile : 228
piéton>personne se déplaçant à pied: 98
danger>péril: 74

**Rafinements écartés**
voiture>train: -182
voiture>véhicule de transport à roues: -204
voiture>mode de transport: -284

voiture>automobile>jouet: -284
piéton>facteur: -333
piéton>soldat: -333
danger>marine: -343
danger>inconvénient: -343

Par exemple, on trouve dans le graphe le chemin *voiture>automobile* → *voiture autonome* → *danger>péril*, ce qui permet de renforcer ces sélections. Plus des mots ont des liens, plus ils sont renforcés et sont susceptibles d'être identifiés comme les sens les plus probables. Cependant, cette méthode est dépendante des informations présentes dans la base de connaissances.

## 3.4 Exemple

En partant de la phrase "les voitures autonomes sont un danger pour les piétons" et en y appliquant toutes les étapes décrites ci-dessus nous obtenons :

(voitures_autonomes:0.25, automobile:0.25, voiture_autonome:0.25, danger:0.25; voiture>automobile:0.25, voiture:0.25, être un danger:0.25, piéton>personne se déplaçant à pied:0.25, risque:0.17, inquiétude:0.15, menace:0.12, difficulté:0.12, piéton:0.25, passant:0.23, marcheur:0.23, individu:0.12 personne:0.12; véhicule:0.17, véhicule terrestre:0.23, accident de la circulation:0.95; écraser un piéton:0.23, renverser un piéton:0.23, accident:0.19, rue:0.16)

On notera que les termes composés sont reconnus comme tels (*voitures autonomes* et *être un danger*) et que, à l'aide de la contextualisation, le verbe *piéter* a été écarté comme lemme pour *piétons*.

# 4 Évaluation et discussion

Les données du projet, correspondant à 6481 arguments de 77 débats, nous ont permis d'évaluer notre méthode : en premier lieu, au niveau des temps de calcul des vecteurs, sur un ordinateur personnel (16 GO de RAM, processeur 2,2 GHz Intel Core i7 quatre cœurs). Avec la baseline (étapes de régularisation), il faut **0.339s** pour calculer les 6481 vecteurs. En ajoutant les étapes sémantiques, on a au total **5159.42s**, moyen **0.79s**, minimal **4 10⁻⁵s** et maximal **6.44s** (correspond à une intervention très longue (355 mots), particulièrement rare lors des débats). Les points les plus coûteux sont les appels à la base de connaissance et la contextualisation (**0.58s**). La base de connaissance étant codée sous forme de base de données indexée, sa taille n'a que peu d'influence sur la complexité, c'est le nombre de requêtes effectuées qui joue.

L'évaluation qualitative sans corpus de référence est délicate. Nous avons donc créé notre propre Gold Standard : pour chaque débat et chaque argument du débat, nous avons ordonné les 5 plus proches. Il est donc ensuite possible de comparer avec les résultats de notre méthode mais également avec les vecteurs calculés de façon alternative, ici en particulier selon la méthode de Bojanowski et al. (2017) qui utilise FastText (dimension de 300 et modèle skip-gram). Après adaptation (somme vectorielle normée des vecteurs de chaque terme des segments textuels, termes pour lesquels un vecteur existe), nous avons pu l'appliquer à nos fragments textuels et comparer les résultats selon les approches.
<table><caption>TABLE 1 – Pourcentage d’arguments ordonnés correctement par rapport à notre Gold Standard manuel (GSM), en fonction des différentes méthodes utilisées.</caption><thead><tr><th>Méthode de construction</th><th>Précision/GSM</th><th>Gain / MSs</th><th>Gain / Sans CT</th></tr></thead><tbody><tr><td>Mots Simples (MSs)</td><td>42.08%</td><td></td><td></td></tr><tr><td>MSs + Termes Composés (TCs)</td><td>67.83%</td><td>+25.7</td><td></td></tr><tr><td>MSs + TCs + Lemmatisation (L)</td><td>78.41%</td><td>+36.2</td><td></td></tr><tr><td>MSs + TCs + L + Génériques (G)</td><td>84.23%</td><td>+42.3</td><td></td></tr><tr><td>MSs + TCs + L + Synonymes (S)</td><td>85.71%</td><td>+43.6</td><td></td></tr><tr><td>MSs + TCs + L + G + S + Termes associés</td><td>91.31%</td><td>+49.2</td><td></td></tr><tr><td>Mots Simples (MSs) + Contextualisation (CT)</td><td>92.44%</td><td></td><td>+50.2</td></tr><tr><td>MSs + TCs + CT</td><td>97.08%</td><td>+4.7</td><td>+29.3</td></tr><tr><td>MSs + TCs + Lemmatisation (L) + CT</td><td>98.31%</td><td>+6</td><td>+21.1</td></tr><tr><td>MSs + TCs + L + Génériques (G) + CT</td><td>98.67%</td><td>+6.3</td><td>+14.3</td></tr><tr><td>MSs + TCs + L + G + CT</td><td>98.64%</td><td>+6.2</td><td>+13.1</td></tr><tr><td>MSs + TCs + L + G + S + Sens des mots + termes associés + CT</td><td>99.92%</td><td>+7.5</td><td>+8.6</td></tr><tr><td>MSs + Bojanowski et al.</td><td>45.21%</td><td></td><td></td></tr><tr><td>MSs + TCs + L + G + S + B. et al.</td><td>56.71%</td><td></td><td></td></tr><tr><td>PWs + TCs + L + G + S + Sens des mots + A + CT + B. et al.</td><td>61.34%</td><td></td><td></td></tr></tbody></table>

La table 1 montre la précision des calculs pour chaque pipeline et il apparaît clairement que l’augmentation et la contextualisation ont un effet très positif sur la qualité des vecteurs (et donc du rapprochement thématique). Les cas d’échec ont systématiquement été identifiés comme des relations manquantes dans la base de connaissance, qui peut être complétée de façon rapide. Enfin, la forte lexicalisation de la base induit que le rapprochement est souvent sémantique, en particulier selon l’usage ou non de la négation (notamment, car les formes verbales négatives sont présentes dans la base). Par exemple, les segments "une voiture autonome peut ne pas polluer", "la voiture autonome est verte" et "la voiture intelligente est écologique" sont identifiés comme très proches.

Nous avons également comparé notre approche avec de la méthode de Bojanowski *et al.*, dont les résultats sont assez proches de notre baseline, ce qu'on peut expliquer par le fait que le plongement de termes isolés n'est pas équivalent à l'augmentation + contextualisation. Par ailleurs, il est possible que l'entraînement en utilisant Wikipédia ne soit pas adéquat pour un débat en ligne, où les arguments sont assez spontanés.

## 5 Conclusion et travail futur

En nous écartant des méthodes actuelles de plongements de termes, nous avons mis au point un calcul de vecteurs à la volée qui s’appuie fortement sur la base de connaissances JeuxDeMots ainsi qu’une procédure de contextualisation thématique. Nos résultats sont adaptables et explicables, et exhibe une ambiguïté sémantique réduite. Les ressources machines nécessaires pour les calculs sont raisonnables (l’ensemble tourne sur un ordinateur de bureau classique) et nous sommes proches du temps réel (sous la seconde), ce qui était requis. Nous avons effectivement testé notre méthode dans les classes lors du projet AREN, et obtenus des retours très positifs sur la qualité des rapprochements thématiques obtenus. De plus, si le corpus d’arguments utilisé pour tester notre méthode n’est actuellement pas disponible au public, il sera anonymisé et rendu disponible à la fin du projet.

Bien que n'étant pas un objectif premier, le graphe de relations produit par la contextualisation est lisible par un être humain et peut être utilisé pour expliquer le résultat exprimé ; fonctionnalité d'explication qui sera ajoutée dans la plate-forme. Nous comptons également améliorer plus avant notre précision, en testant l'exploitation d'autres informations de JeuxDeMots et élargir notre cercle d'utilisateurs à la société civile pour construire un Gold Standard plus large et librement accessible.
Références

ABDALGADER K. & SKABAR A. (2011). Short-text similarity measurement using word sense disambiguation and synonym expansion. In J. LI, Éd., *AI 2010 : Advances in Artificial Intelligence*, p. 435-444, Berlin, Heidelberg : Springer Berlin Heidelberg.

AHN L. v. (2006). Games with a purpose. *Computer*, **39**(6), 92-94. doi: 10.1109/MC.2006.196.

BOJANOWSKI P., GRAVE E., JOULIN A. & MIKOLOV T. (2017). Enriching word vectors with subword information. *Transactions of the Association for Computational Linguistics*, **5**, 135–146.

CHAPUIS M. & LAFOURCADE M. (2017). Identifying Polysemous Words and Inferring Sense Glosses in a Semantic Network. In *IWCS : International Conference on Computational Semantics*, Montpellier, France. HAL : lirmm-01763423.

COLLINS A. M. & QUILLIAN M. R. (1969). Retrieval time from semantic memory. *Journal of Verbal Learning and Verbal Behavior*, **8**(2), 240 – 247. doi: 10.1016/S0022-5371(69)80069-1.

DEVLIN J., CHANG M.-W., LEE K. & TOUTANOVA K. (2019). BERT : Pre-training of deep bidirectional transformers for language understanding. In *Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics : Human Language Technologies, Volume 1 (Long and Short Papers)*, p. 4171–4186, Minneapolis, Minnesota : Association for Computational Linguistics. doi: 10.18653/v1/N19-1423.

EIN DOR L., MASS Y., HALFON A., VENEZIAN E., SHNAYDERMAN I., AHARONOV R. & SLONIM N. (2018). Learning thematic similarity metric from article sections using triplet networks. In *Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 2 : Short Papers)*, p. 49–54, Melbourne, Australia : Association for Computational Linguistics. doi: 10.18653/v1/P18-2009.

ESPINOSA ANKE L., SCHOCKAERT S. & WANNER L. (2019). Collocation classification with unsupervised relation vectors. In *Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics*, p. 5765–5772, Florence, Italy : Association for Computational Linguistics. doi: 10.18653/v1/P19-1576.

GAUME B., DUVIGNAU K. & VANHOVE M. (2007). Semantic associations and confluences in paradigmatic networks. In M. VANHOVE, Éd., *From polysemy to semantic change - towards a typology of lexical semantic associations* : John Benjamins Publishing Company. doi: 10.1075/slcs.106.11gau, HAL : hal-01321894.

GONG H., SAKAKINI T., BHAT S. & XIONG J. (2018). Document similarity for texts of varying lengths via hidden topics. In *Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1 : Long Papers)*, p. 2341–2351, Melbourne, Australia : Association for Computational Linguistics. doi: 10.18653/v1/P18-1218.

LAFOURCADE M. (2007). Making people play for Lexical Acquisition with the JeuxDeMots prototype. In *SNLP’07 : 7th International Symposium on Natural Language Processing*, Pattaya, Chonburi, Thailand. HAL : lirmm-00200883.

LAFOURCADE M., MERY B., MIRZAPOUR M., MOOT R. & RETORÉ C. (2018). Collecting Weighted Coercions from Crowd-Sourced Lexical Data for Compositional Semantic Analysis. In *isAI : International Symposium on Artificial Intelligence*, volume LNCS de *New Frontiers in Artificial Intelligence*, p. 214–230, Tokyo, Japan. doi: 10.1007/978-3-319-93794-6_15, HAL : lirmm-01916209.

LE Q. V. & MIKOLOV T. (2014). Distributed Representations of Sentences and Documents. arXiv e-prints, p. arXiv:1405.4053. arXiv:1405.4053.
LIU Y., LIU Z., CHUA T.-S. & SUN M. (2015). Topical word embeddings. In *Proceedings AAAI Conference on Artificial Intelligence*.

MAGERMAN T., VAN LOOY B., BAESENS B. & DEBACKERE K. (2011). Assessment of latent semantic analysis (lsa) text mining algorithms for large scale mapping of patent and scientific publication documents. *Katholieke Universiteit Leuven Department of Mängerial Economics Strategy and Innovation, Working Paper 1114*, p. 1–7.

MELAMUD O., GOLDBERGER J. & DAGAN I. (2016). context2vec: Learning generic context embedding with bidirectional LSTM. In *Proceedings of The 20th SIGNLL Conference on Computational Natural Language Learning*, p. 51–61, Berlin, Germany: Association for Computational Linguistics. DOI: 10.18653/v1/K16-1006.

PANIGRAHI A., SIMHADRI H. V. & BHATTACHARYYA C. (2019). Word2Sense: Sparse interpretable word embeddings. In *Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics*, p. 5692–5705, Florence, Italy: Association for Computational Linguistics. DOI: 10.18653/v1/P19-1570.

PARK S., BYUN J., BAEK S., CHO Y. & OH A. (2018). Subword-level word vector representations for Korean. In *Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers)*, p. 2429–2438, Melbourne, Australia: Association for Computational Linguistics. DOI: 10.18653/v1/P18-1226.

PEINELT N., LIAKATA M. & NGUYEN D. (2019). Aiming beyond the obvious: Identifying non-obvious cases in semantic similarity datasets. In *Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics*, p. 2792–2798, Florence, Italy: Association for Computational Linguistics. DOI: 10.18653/v1/P19-1268.

PETERS M., NEUMANN M., IYYER M., GARDNER M., CLARK C., LEE K. & ZETTLEMOYER L. (2018). Deep contextualized word representations. In *Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers)*, p. 2227–2237, New Orleans, Louisiana: Association for Computational Linguistics. DOI: 10.18653/v1/N18-1202.

POLGUÈRE A. (2014). From writing dictionaries to weaving lexical networks. *International Journal of Lexicography*, **27**(4), 396–418.

SMALHEISER N. R., COHEN A. M. & BONIFIELD G. (2019). Unsupervised low-dimensional vector representations for words, phrases and text that are transparent, scalable, and produce similarity metrics that are not redundant with neural embeddings. *Journal of Biomedical Informatics*, **90**, 103096. DOI: https://doi.org/10.1016/j.jbi.2019.103096.

SOWA J. F. & ZACHMAN J. A. (1992). Extending and formalizing the framework for information systems architecture. *IBM Systems Journal*, **31**(3), 590–616. DOI: 10.1147/sj.313.0590.

SUMATHY M. K. L. & CHIDAMBARAM D. (2016). A hybrid approach for measuring semantic similarity between documents and its application in mining the knowledge repositories. *International Journal of Advanced Computer Science and Applications*, **7**(8).

THONGTAN T. & PHIENTHRAKUL T. (2019). Sentiment classification using document embeddings trained with cosine similarity. In *Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics: Student Research Workshop*, p. 407–414, Florence, Italy: Association for Computational Linguistics. DOI: 10.18653/v1/P19-2057.

VIJAYMEENA I. M. & KAVITHA K. (2016). A survey on similarity measures in text mining. *Machine Learning and Applications, Machine Learning and Applications: An International Journal (MLAIJ)*, **3**(1), 19–28.
ZHENG T., GAO Y., WANG F., FAN C., FU X., LI M., ZHANG Y., ZHANG S. & MA H. (2019).
Detection of medical text semantic similarity based on convolutional neural network. *BMC Medical
Informatics and Decision Making, **19*(1), 156. DOI: 10.1186/s12911-019-0880-2.
FlaubERT : des modèles de langue contextualisés
pré-entraînés pour le français

Hang Le¹ Loïc Vial¹ Jibril Frej¹ Vincent Segonne² Maximin Coavoux¹
Benjamin Lecouteux¹ Alexandre Allauzen³ Benoît Crabbé² Laurent Besacier¹
Didier Schwab¹

(1) Univ. Grenoble Alpes, CNRS, LIG

(2) Université Paris Diderot

(3) E.S.P.C.I, CNRS LAMSADE, PSL Research University

{thi-phuong-hang.le, loic.vial, jibril.frej}@univ-grenoble-alpes.fr

{maximin.coavoux, benjamin.lecouteux, laurent.besacier, didier.schwab}@univ-grenoble-alpes.fr

{vincent.segonne@etu, bcrabbe@linguist}.univ-paris-diderot.fr, alexandre.allauzen@espci.fr

RÉSUMÉ

Les modèles de langue pré-entraînés sont désormais indispensables pour obtenir des résultats à l'état-de-l'art dans de nombreuses tâches du TALN. Tirant avantage de l'énorme quantité de textes bruts disponibles, ils permettent d'extraire des représentations continues des mots, contextualisées au niveau de la phrase. L'efficacité de ces représentations pour résoudre plusieurs tâches de TALN a été démontrée récemment pour l'anglais. Dans cet article, nous présentons et partageons FlaubERT, un ensemble de modèles appris sur un corpus français hétérogène et de taille importante. Des modèles de complexité différente sont entraînés à l'aide du nouveau supercalculateur *Jean Zay* du CNRS. Nous évaluons nos modèles de langue sur diverses tâches en français (classification de textes, paraphrase, inférence en langage naturel, analyse syntaxique, désambiguïsation automatique) et montrons qu'ils surpassent souvent les autres approches sur le référentiel d'évaluation FLUE également présenté ici.

ABSTRACT

FlaubERT : Unsupervised Language Model Pre-training for French.

Language models have become a key step to achieve state-of-the art results in many NLP tasks. Leveraging the huge amount of unlabeled texts available, they provide an efficient way to pre-train continuous word representations that can be fine-tuned for downstream tasks, along with their contextualization at the sentence level. This has been widely demonstrated for English. In this paper, we introduce and share FlaubERT, a model learned on a very large and heterogeneous French corpus. We train models of different sizes using the new CNRS *Jean Zay* supercomputer. We apply our French language models to several NLP tasks (text classification, paraphrasing, natural language inference, parsing, word sense disambiguation) and show that they often outperform other pre-training approaches on the FLUE benchmark also presented in this article.

MOTS-CLÉS : FlaubERT, FLUE, BERT, français, modèles de langue, évaluation, classification de textes, analyse syntaxique, désambiguïsation lexicale, inférence en langue naturelle, paraphrase.

KEYWORDS: FlaubERT, FLUE, BERT, French, language model, NLP benchmark, text classification, parsing, word sense disambiguation, natural language inference, paraphrase.

<figure><img src="image_68.png" /></figure>
# 1 Introduction

En 2018, l'introduction de représentations linguistiques profondes contextuelles, obtenues à partir de textes bruts, a conduit à un changement de paradigme pour plusieurs tâches du TALN. Alors que les approches fondées sur des représentations continues telles que word2vec (Mikolov et al., 2013) ou GloVe (Pennington et al., 2014) apprennent un vecteur unique pour chaque mot, les modèles introduits récemment produisent des représentations contextuelles qui dépendent de la séquence de mots d'entrée complète. Initialement fondées sur des réseaux neuronaux récurrents (Dai & Le, 2015; Ramachandran et al., 2017; Howard & Ruder, 2018; Peters et al., 2018), ces approches ont peu à peu intégré des modèles Transformer (Vaswani et al., 2017) comme c'est le cas pour GPT (Radford et al., 2018), BERT (Devlin et al., 2019), XLNet (Yang et al., 2019b), RoBERTa (Liu et al., 2019), ALBERT (Lan et al., 2019) et T5 (Raffel et al., 2019). L'utilisation de ces modèles pre-entraînés a permis des avancées de l'état-de-l'art pour de nombreuses tâches du TALN. Cependant, ceci a surtout été montré pour l'anglais, même si des variantes multilingues sont également disponibles, prenant en compte plus d'une centaine de langues dans un seul modèle : mBERT (Devlin et al., 2019), XLM (Lample & Conneau, 2019), XLM-R (Conneau et al., 2019). Dans cet article<fnref n="1" />, nous décrivons notre méthodologie pour construire et partager FlaubERT (French Language Understanding via Bidirectional Encoder Representations from Transformers), un modèle BERT pour la français. FlaubERT surpasse le modèle multilingue mBERT dans plusieurs tâches. Nous proposons aussi un référentiel d'évaluation nommé FLUE (French Language Understanding Evaluation) similaire au benchmark GLUE (Wang et al., 2018) pour l'anglais. FlaubERT et FLUE sont disponibles en ligne pour la communauté TALN.<fnref n="2" />

Étant donné l'impact des modèles contextuels pre-entrainés, plusieurs auteurs ont récemment publié des modèles disponibles pour d'autres langues que l'anglais. Par exemple, ELMo (Peters et al., 2018, ELMo) existe pour le portugais, le japonais, l'allemand et le basque,<fnref n="3" /> tandis que BERT a été récemment entraîné pour plusieurs langues (allemand, chinois, espagnol, finnois, italien, néerlandais, suédois).<fnref n="4" /> Pour le français, en parallèle du modèle que nous proposons, une équipe jointe INRIA et Facebook a développé CamBERT (Martin et al., 2019). Une autre tendance considère des modèles estimés sur plusieurs langues avec un vocabulaire commun, comme par exemple une version de BERT multilingue pour 104 langues<fnref n="5" />. Mentionnons également les travaux récents utilisant des données parallèles comme LASER (Artetxe & Schwenk, 2019) pour 93 langues, XLM (Lample & Conneau, 2019) et XLM-R (Conneau et al., 2019) pour 100 langues.

Par ailleurs, l'existence d'un référentiel d'évaluation tel que GLUE (Wang et al., 2018) pour l'anglais est très utile pour stimuler des recherches reproductibles. Les bonnes performances obtenues avec des modèles contextuels pre-entrainés sur la plupart des tâches de TALN couvertes par GLUE ont conduit à son extension. SuperGLUE (Wang et al., 2019) est un nouveau référentiel construit sur les mêmes principes, incluant un ensemble de tâches plus difficiles et variées. Une version chinoise de GLUE<fnref n="6" /> est aussi développée pour évaluer la performance du modèle sur cette langue. À ce jour, nous n'avons pas connaissance d'un tel référentiel pour le français, d'où la proposition détaillée en section 3.

<footnote n="1">1. Cet article est une version traduite et raccourcie de l'article de Le et al. (2019), accepté à LREC 2020.</footnote>

<footnote n="2">2. https://github.com/getalp/Flaubert</footnote>

<footnote n="3">3. https://allennlp.org/elmo</footnote>

<footnote n="4">4. Une liste de modèles, en constante évolution, est disponible sur https://huggingface.co/models</footnote>

<footnote n="5">5. https://github.com/google-research/bert</footnote>

<footnote n="6">6. https://github.com/chineseGLUE/chineseGLUE</footnote>
## 2 Apprentissage du modèle FlaubERT

**Données d'apprentissage et pré-traitements** Nous agrégeons 24 sous-corpus de types divers (wikipedia, livres, Common Crawl, ...). Nos trois sources principales sont (1) les textes monolingues des campagnes d'évaluation WMT19 (Li et al., 2019, 4 sous-corpus), (2) les textes en français de la collection OPUS (Tiedemann, 2012, 8 sous-corpus), (3) le projet Wikimedia<fnref n="7" /> (8 sous-corpus). La taille totale (non compressée) des textes ainsi agrégés est de 270GB. Après un prétraitement consistant en différents filtrages (enlever les phrases très courtes, les séquences de numéros ou d'adresses électroniques, etc.), une normalisation de l'encodage des caractères, et une tokenisation à l'aide de Moses (Koehn et al., 2007), nous obtenons un corpus de 71GB. Notre code pour télécharger et pré-traiter les données est publiquement disponible.<fnref n="8" />

<table><thead><tr><th></th><th>BERT<sub>BASE</sub></th><th>RoBERTa<sub>BASE</sub></th><th>CamemBERT</th><th>FlaubERT<sub>BASE</sub>/FlaubERT<sub>LARGE</sub></th></tr></thead><tbody><tr><td>Langue</td><td>Anglais</td><td>Anglais</td><td>Français</td><td>Français</td></tr><tr><td>Données d'apprentissage</td><td>13 GB</td><td>160 GB</td><td>138 GB†</td><td>71 GB‡</td></tr><tr><td>Objectifs de pré-entraînement</td><td>NSP et MLM</td><td>MLM</td><td>MLM</td><td>MLM</td></tr><tr><td>Nombre total de paramètres</td><td>110 M</td><td>125 M</td><td>110 M</td><td>138 M/373 M</td></tr><tr><td>Tokenisation</td><td>WordPiece 30K</td><td>BPE 50K</td><td>SentencePiece 32K</td><td>BPE 50K</td></tr><tr><td>Masque</td><td>Statique + sous-mots</td><td>Dynamique + sous-mots</td><td>Dynamique + mot entier</td><td>Dynamique + sous-mot</td></tr></tbody></table>

<caption>TABLE 1 – Comparaison entre FlaubERT et d'autres modèles de langue pré-entraînés.</caption>

**Objectif de l'entraînement et optimisation** Le pré-entraînement du Bert original consiste en deux tâches supervisées : (1) un modèle de langue masqué (MLM) qui apprend à prédire des jetons masqués de façon aléatoire ; et (2) une prédiction de la prochaine phrase (NSP - Next Sentence Prédiction) dans laquelle le modèle apprend à prédire si B est une phrase qui suit effectivement A, étant donné une paire de phrases d'entrée A,B.

Devlin et al. (2019) a observé que la suppression de NSP nuit considérablement aux performances sur certaines tâches. Cependant, le contraire a été démontré dans des études ultérieures, notamment Yang et al. (2019b, XLNet), Lample & Conneau (2019, XLM), et Liu et al. (2019, RoBERTa).<fnref n="9" /> Par conséquent, nous avons utilisé seulement l'objectif MLM dans FlaubERT.

Pour optimiser cette fonction objectif, nous avons suivi Liu et al. (2019) et utilisé l'optimiseur Adam (Kingma & Ba, 2014) avec les paramètres suivants :

- FlaubERT<sub>BASE</sub> : étapes de mise en route (ou *warm up*) de 24k, taux d'apprentissage maximal de $6e^{-4}$, $\beta_1 = 0,9$, $\beta_2 = 0,98$, $\epsilon = 1e^{-6}$ et perte de poids de 0,01.

- FlaubERT<sub>LARGE</sub> : étapes de mise en route de 30k, taux d'apprentissage maximal de $3e^{-4}$, $\beta_1 = 0,9$, $\beta_2 = 0,98$, $\epsilon = 1e^{-6}$ et perte de poids de 0,01.

**Modèles et configuration d'apprentissage** Nous utilisons la même architecture que BERT (Devlin et al., 2019). Un vocabulaire de 50K unités sous-lexicales est construit en utilisant l'algorithme Byte Pair Encoding (Sennrich et al., 2016, BPE). Nous entraînons deux principaux modèles (transformers

<footnote>†, ‡ : 282 GB, 270 GB before filtering/cleaning.</footnote>

<footnote n="7">7. https://meta.wikimedia.org/w/index.php?title=Data_dumps&oldid=19312805</footnote>

<footnote n="8">8. https://github.com/getalp/Flaubert</footnote>

<footnote n="9">9. Liu et al. (2019) ont émis l'hypothèse que l'implantation originale de BERT pourrait avoir supprimé la fonction de coût associée au NSP tout en conservant le format d'entrée consistant en des paires de phrases.</footnote>
bi-directionnels) : FlaubERT<sub>BASE</sub> (12 blocs de dimension cachée 768, 12 têtes pour l'attention) et FlaubERT<sub>LARGE</sub> (24 blocs de dimension cachée 1024, 12 têtes). Le critère d'apprentissage est de type masked language model : il consiste à prédire des tokens d'une phrase ayant été préalablement et aléatoirement masqués. FlaubERT<sub>BASE</sub> est appris sur 32 GPU Nvidia V100 SXM2 32 GB en 410h et FlaubERT<sub>LARGE</sub> est appris sur 128 de ces mêmes GPU en 390h.

# 3 FLUE

Le référentiel d'évaluation FLUE est composé de 7 tâches correspondant à différents niveaux d'analyse (syntaxique, sémantique) du traitement automatique du français.

**Classification de texte** Le corpus d'analyse de sentiments translingue CLS (Prettenhofer & Stein, 2010) est constitué de critiques issues du site Amazon pour trois catégories de produits (livres, DVD et musique) en quatre langues : anglais, français, allemand et japonais. Chaque échantillon contient une critique associée à une note allant de 1 à 5. Suivant Blitzer et al. (2006) et Prettenhofer & Stein (2010), les évaluations avec 3 étoiles sont écartées et la note est binarisée avec un seuil de 3. Pour chaque catégorie de produit, nous construisons des ensembles d'apprentissage et de test qui sont équilibrés. Les données de test contiennent ainsi 2000 avis en français.

**Identification de paraphrases** Cette tâche consiste à identifier si des paires de phrases sont séman- tiquement équivalentes ou non. PAWS-X est un ensemble de données multilingues pour l'identification des paraphrases (Yang et al., 2019a). Il s'agit de l'extension de la tâche PAWS (Zhang et al., 2019) pour l'anglais à six autres langues : français, espagnol, allemand, chinois, japonais et coréen. Yang et al. (2019a) ont utilisé la traduction automatique pour créer les corpus de ces autres langues mais les ensembles de développement et de test pour chaque langue sont traduits manuellement. Nous prenons à nouveau la partie française pour FLUE.

**Natural Language Inference (NLI)** Cette tâche, également connue sous le nom de reconnaissance d'implications textuelles (RTE), considère une prémisse (*p*) et une hypothèse (*h*) et consiste à déterminer si *p* implique, contredit ou n'implique ni ne contredit *h*. Le corpus *Cross-lingual NLI Corpus* (Conneau et al., 2018, XNLI) étend l'ensemble de développement et de test du corpus *Multi-Genre Natural Language Inference* corpus (Williams et al., 2018, MultiNLI) à 15 langues. Les ensembles de développement et de test pour chaque langue consistent en 7 500 exemples annotés manuellement, soit un total de 112 500 paires de phrases annotées avec les étiquettes *entailment*, *contradiction* ou *neutre*. FLUE intègre la partie française de ce corpus.

**Analyse syntaxique et étiquetage morphosyntaxique** Nous considérons deux tâches d'analyse syntaxique : analyse en constituants et en dépendances, ainsi que l'étiquetage morphosyntaxique. Pour cela, nous utilisons le *French Treebank* (Abeillé et al., 2003), une collection de phrases du *Monde* annotées manuellement en constituants et dépendances syntaxiques. Nous utilisons la version de ce corpus de la campagne d'évaluation SPMRL 2014 décrite par Seddah et al. (2013), qui contient 14759, 1235 et 2541 phrases pour respectivement l'entraînement, le développement et l'évaluation.
**Désambiguïsation lexicale des verbes et des noms**
La désambiguïsation lexicale consiste à assigner un sens, parmi un inventaire donné, à des mots d'une phrase. Pour la désambiguïsation lexicale de verbes, nous utilisons les données de FrenchSemEval (Segonne et al., 2019). Il s'agit d'un corpus d'évaluation dont les occurrences de verbes ont été annotées manuellement avec les sens de Wiktionary. <fnref n="10" /> Pour la désambiguïsation lexicale des noms, nous utilisons la partie française de la tâche de désambiguïsation multilingue de SemEval 2013 (Navigli et al., 2013). Nous adaptons l'inventaire de sens de BabelNet utilisé par Navigli & Ponzetto (2010) pour WordNet 3.0 (Miller, 1995), en convertissant les étiquettes de sens lorsqu'une projection est présente dans BabelNet, et en les supprimant dans le cas contraire. Ce processus de conversion donne un corpus d'évaluation composé de 306 phrases et 1 445 mots français annotés en sens WordNet, et vérifiés manuellement. Les données d'apprentissage sont obtenues par transfert selon la méthode décrite par Hadj Salah (2018), qui consiste à traduire des corpus annotés en sens puis transférer leurs annotations. Nous rendrons disponibles à la fois nos données d'entraînement et d'évaluation.

# 4 Expériences et résultats

Dans cette section, nous présentons les résultats de FlauBERT sur le référentiel d'évaluation FLUE. Nous comparons les performances de FlauBERT avec BERT multilingue (Devlin et al., 2019, mBERT) et CamemBERT (Martin et al., 2019) sur toutes les tâches. Nous comparons également avec le meilleur modèle non contextuel pour chaque tâche. Nous utilisons les bibliothèques open-source XLM (Lample & Conneau, 2019) et Transformers (Wolf et al., 2019). Nous renvoyons à Le et al. (2019) pour une description détaillée des expériences.

**Classification de texte**
Nous avons suivi le processus de réglage fin (fine tuning) standard de BERT (Devlin et al., 2019). Le bloc de classification ajouté au dessus du model BERT est composé des couches suivantes : dropout, linéaire, activation tanh, dropout et linéaire. Les dimensions de sortie des couches linéaires sont respectivement égales à la taille cachée du Transformer et au nombre de classes (2). La valeur de dropout a été fixée à 0.1. Nous entraînons le modèle pendant 30 époques, par lots de 8 exemples. Nous testons 4 valeurs de *learning rate* (1e-5, 5e-5, 1e-6 et 5e-6). Nous utilisons comme ensemble de validation un échantillon aléatoire de 20% des données, pour sélectionner le meilleur modèle. Le tableau 2 présente l'exactitude finale sur l'ensemble de test pour chaque modèle. Les résultats mettent en évidence l'importance d'un modèle monolingue en français pour la classification des textes : CamemBERT et FlauBERT<sub>BASE</sub> surpassent largement mBERT.

**Identification de paraphrases**
La configuration de cette tâche est presque identique à la précédente, la seule différence étant que la séquence d'entrée est maintenant une paire de phrases A, B. La performance finale de chaque modèle est indiquée dans le tableau 2. On peut observer que notre modèle monolingue français ne fonctionne que légèrement mieux qu'un modèle multilingue (mBERT), ce qui pourrait être attribué aux caractéristiques de l'ensemble de données PAWS-X. En effet, cet ensemble de données contient des paires de phrases avec une forte proportion de chevauchement lexical, ce qu'un modèle multilingue peut détecter aussi bien qu'un modèle monolingue.

<footnote n="10">10. Version du 20-04-2018 incluse dans le jeu de donnée.</footnote>
<table><caption>TABLE 2 – Résultats finaux sur les tâches de FLUE. <sup>a</sup>Kitaev et al. (2019). <sup>b</sup>Constant et al. (2013). <sup>c</sup>Eisenschlos et al. (2019, MultiFiT). <sup>d</sup>Chen et al. (2017, ESIM). <sup>e</sup>Conneau et al. (2019, XLM-F BASE/LARGE). <sup>f</sup>Martin et al. (2019). <sup>g</sup>Utilise FlauBERT<sub>LARGE</sub>. <sup>h</sup>Segonne et al. (2019).</caption><thead><tr><th rowspan="2">Tâche<br>Section<br>Mesure</th><th colspan="3">Classification</th><th>Paraphrase</th><th>NLI</th><th colspan="2">Constituants</th><th colspan="2">Dépendances</th><th colspan="2">Désambiguïsation</th></tr><tr><th>Livres<br>Acc.</th><th>DVD<br>Acc.</th><th>Musique<br>Acc.</th><th>Acc.</th><th>Acc.</th><th>F<sub>1</sub></th><th>POS</th><th>UAS</th><th>LAS</th><th>Noms<br>F<sub>1</sub></th><th>Verbes<br>F<sub>1</sub></th></tr></thead><tbody><tr><td>État de l'art ant.</td><td>91.25<sup>c</sup></td><td>89.55<sup>c</sup></td><td>93.40<sup>c</sup></td><td>66.2<sup>d</sup></td><td>80.1/<b>85.2</b><sup>e</sup></td><td>87.4<sup>a</sup></td><td></td><td>89.19<sup>b</sup></td><td>85.86<sup>b</sup></td><td>-</td><td>43.0<sup>h</sup></td></tr><tr><td>Sans pré-entr.</td><td>-</td><td>-</td><td>-</td><td></td><td></td><td>83.9</td><td>97.5</td><td>88.92</td><td>85.11</td><td>50.0</td><td>-</td></tr><tr><td>FastText</td><td>-</td><td>-</td><td>-</td><td></td><td></td><td>83.6</td><td>97.7</td><td>86.32</td><td>82.04</td><td>49.4</td><td>34.9</td></tr><tr><td>mBERT</td><td>86.15<sup>c</sup></td><td>86.9<sup>c</sup></td><td>86.65<sup>c</sup></td><td>89.3<sup>d</sup></td><td>76.9<sup>f</sup></td><td>87.5</td><td>98.1</td><td>89.5</td><td>85.86</td><td>56.5</td><td>44.9</td></tr><tr><td>CamemBERT</td><td><b>93.40</b></td><td><b>92.70</b></td><td>94.15</td><td>89.8</td><td></td><td>88.4</td><td><b>98.2</b></td><td>91.37</td><td>88.13</td><td>56.1</td><td><b>51.1</b></td></tr><tr><td>FlauBERT<sub>BASE</sub></td><td><b>93.40</b></td><td>92.50</td><td><b>94.30</b></td><td><b>89.9</b></td><td>81.3</td><td><b>89.1</b></td><td>98.1</td><td><b>91.56</b></td><td><b>88.35</b></td><td>54.9/<b>57.9</b><sup>g</sup></td><td>47.4</td></tr></tbody></table>

**Natural Language Inference (NLI)** Comme cette tâche a également été considérée par Martin et al. (2019, CamemBERT), nous utilisons la même configuration expérimentale pour que nos résultats soient comparables. L'entrée du modèle pour cette tâche est aussi une paire de phrases. Nous présentons la performance pour chaque modèle dans le tableau 2. Les résultats confirment la supériorité des modèles français par rapport aux modèles multilingues (mBERT) pour cette tâche. FlauBERT<sub>BASE</sub> fonctionne légèrement mieux que CamemBERT. Les deux dépassent clairement XLM-R<sub>BASE</sub>, bien qu'ils ne puissent pas dépasser XLM-R<sub>LARGE</sub>. Il convient de noter que XLM-R<sub>LARGE</sub> employait une architecture beaucoup plus profonde.

**Analyse syntaxique en constituants et étiquetage morphosyntaxique** Nous réalisons de manière conjointe l'analyse en constituants et l'étiquetage morphosyntaxique, à l'aide de l'analyseur <sup>11</sup> décrit par Kitaev & Klein (2018) et Kitaev et al. (2019). La table 2 présente les résultats. Sans pré-entraînement, nous reproduisons le résultat de Kitaev & Klein (2018). FastText n'améliore pas les résultats. CamemBERT obtient un meilleur résultat que mBERT, grâce à son entraînement monolingue. FlauBERT obtient un encore meilleur résultat (+0.7). Les trois analyseurs utilisant un modèle de langue contextuel obtiennent des résultats similaires en étiquetage morphosyntaxique (98.1-98.2).

**Analyse syntaxique en dépendances** Pour l'analyse en dépendances, nous utilisons une réimplé- mentation de l'algorithme de Dozat & Manning (2017) avec décodage par arbre couvrant de poids maximal. L'analyseur prend en entrée des phrases étiquetées en partie du discours. Nous utilisons les tags prédits fournis par la campagne SPMRL. Notre représentation lexicale est une concaténation de plongements lexicaux et de plongements de tags appris avec le reste du modèle d'analyse sur le French Treebank ainsi que d'un vecteur préentrainé. Les résultats sont donnés en table 2. Tous les modèles utilisant les vecteurs BERT font au moins aussi bien que l'état de l'art sur cette tâche et les deux modèles monolingues sont état de l'art avec les vecteurs FlauBERT<sub>BASE</sub> qui donnent un résultat marginalement meilleur que les vecteurs CamemBERT. On remarque également que les deux modèles monolingues apportent des résultats substantiellement meilleurs que le modèle mBERT multilingue.

**Désambiguïsation lexicale des noms** Nous utilisons le réseau de neurones décrit par Vial et al. (2019a,b) dont le code est fourni. <sup>12</sup> Il prend, en entrée, les vecteurs issus d'un modèle de langue

<footnote n="11">11. https://github.com/nikitakit/self-attentive-parser</footnote>

<footnote n="12">12. https://github.com/getalp/disambiguate</footnote>
pré-entraîné, qui restent fixes, puis il est composé de plusieurs couches d'encodeur *Transformer* et d'une couche linéaire qui sont entraînées. La couche linéaire réalise une projection sur l'ensemble des synsets vus pendant l'entraînement. Enfin, le synset qui obtient le plus haut score est choisi. Nous donnons le résultat issu d'un ensemble de 8 modèles entraînés indépendamment, qui moyenne la sortie du softmax. Dans la Table 2, on observe d'abord des performances largement meilleures avec les modèles BERT qu'avec des vecteurs statiques. mBERT obtient de meilleures performances que CamemBERT ainsi que FlauBERT<sub>BASE</sub>, ce que nous pensons être dû à la nature translingue des corpus d'entraînement, mais FlauBERT<sub>LARGE</sub> obtient les meilleurs résultats sur la tâche.

**Désambiguïsation lexicale des verbes** Nous suivons la méthode décrite par Segonne et al. (2019). Nous utilisons les plongements contextuels fournis par les modèles FlauBERT/mBERT/CamemBERT pour les représentations vectorielles des occurences (l'inventaire de sens et données d'évaluation). Nous comparons également nos résultats à une représentation plus simple qui consiste à moyenner les plongements lexicaux des mots entourant le mot cible. Pour cette expérience nous avons utilisé les plongements lexicaux issus de FastText avec une fenêtre de mots de taille 5. Les résultats de nos expériences sont présentés dans la table 2. On observe que l'utilisation des modèles BERT pour cette tâche apporte un gain conséquent par rapport à l'état de l'art, les meilleurs résultats étant obtenus par CamemBERT. De plus, nos expériences confirment l'intérêt des modèles spécifiquement entraînés sur le français puisque les deux modèles CamemBERT et FlauBERT<sub>BASE</sub> surpassent le modèle multilingue mBERT.

# 5 Conclusion

Nous avons présenté et partagé FlauBERT, un ensemble de modèles de langues pre-entraînés pour le français, accompagné de FLUE, un dispositif d'évaluation. FlauBERT obtient des résultats à l'état de l'art sur un certain nombre de tâches de TALN. Il est aussi compétitif avec CamemBERT (Martin et al., 2019) – un autre modèle pour le français développé en parallèle – bien qu'il ait été entraîné sur presque deux fois moins de données textuelles. Nous espérons que cette contribution stimulera les recherches sur le TALN en français.<fnref n="13" />

# 6 Remerciements

Ce travail a bénéficié du programme « Grand Challenge Jean Zay » (projet 100967) et a également été partiellement soutenu par MIAI@Grenoble-Alpes (ANR-19-P3IA-0003). Nous remercions Guillaume Lample et Alexis Conneau pour leur soutien technique pour l'utilisation du code XLM.

# Références

ABEILLÉ A., CLÉMENT L. & TOUSSENEL F. (2003). *Building a Treebank for French*, In *Tree-banks: Building and Using Parsed Corpora*, p. 165–187. Springer Netherlands : Dordrecht. DOI : 10.1007/978-94-010-0201-1_10.

<footnote n="13">13. FlauBERT est notamment disponible sur https://huggingface.co/models.</footnote>
ARTETXE M. & SCHWENK H. (2019). Massively multilingual sentence embeddings for zero-shot cross-lingual transfer and beyond. *Transactions of the Association for Computational Linguistics*, **7**, 597–610.

BLITZER J., MCDONALD R. & PEREIRA F. (2006). Domain adaptation with structural correspondence learning. In *Proceedings of the 2006 conference on empirical methods in natural language processing*, p. 120–128 : Association for Computational Linguistics.

CHEN Q., ZHU X., LING Z.-H., WEI S., JIANG H. & INKPEN D. (2017). Enhanced lstm for natural language inference. In *Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1 : Long Papers)*, p. 1657–1668.

CONNEAU A., KHANDELWAL K., GOYAL N., CHAUDHARY V., WENZEK G., GUZMÁN F., GRAVE E., OTT M., ZETTLEMOYER L. & STOYANOV V. (2019). Unsupervised cross-lingual representation learning at scale. *arXiv preprint arXiv:1911.02116*.

CONNEAU A., RINOTT R., LAMPLE G., WILLIAMS A., BOWMAN S., SCHWENK H. & STOYANOV V. (2018). Xnli : Evaluating cross-lingual sentence representations. In *Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing*, p. 2475–2485.

CONSTANT M., CANDITO M. & SEDDAH D. (2013). The ligm-alpage architecture for the spmrl 2013 shared task : Multiword expression analysis and dependency parsing. In *Proceedings of the EMNLP Workshop on Statistical Parsing of Morphologically Rich Languages (SPMRL 2013)*.

DAI A. M. & LE Q. V. (2015). Semi-supervised sequence learning. In *Advances in neural information processing systems*, p. 3079–3087.

DEVLIN J., CHANG M.-W., LEE K. & TOUTANOVA K. (2019). Bert : Pre-training of deep bidirectional transformers for language understanding. In *Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics : Human Language Technologies, Volume 1 (Long and Short Papers)*, p. 4171–4186.

DOZAT T. & MANNING C. D. (2017). Deep biaffine attention for neural dependency parsing. In *5th International Conference on Learning Representations, ICLR 2017, Toulon, France, April 24-26, 2017, Conference Track Proceedings* : OpenReview.net.

EISENSCHLOS J., RUDER S., CZAPLA P., KARDAS M., GUGGER S. & HOWARD J. (2019). Multifit : Efficient multi-lingual language model fine-tuning. In *Proceedings of the 2019 conference on empirical methods in natural language processing (EMNLP)*, p. 1532–1543.

HADJ SALAH M. (2018). *Arabic word sense disambiguation for and by machine translation*. Theses, Université Grenoble Alpes ; Université de Sfax (Tunisie). Faculté des Sciences économiques et de gestion. HAL : tel-02139438.

HOWARD J. & RUDER S. (2018). Universal language model fine-tuning for text classification. In *Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1 : Long Papers)*, p. 328–339.

KINGMA D. P. & BA J. (2014). Adam : A method for stochastic optimization. *arXiv preprint arXiv:1412.6980*.

KITAEV N., CAO S. & KLEIN D. (2019). Multilingual constituency parsing with self-attention and pre-training. In *Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics*, p. 3499–3505, Florence, Italy : Association for Computational Linguistics. DOI : 10.18653/v1/P19-1340.

KITAEV N. & KLEIN D. (2018). Constituency parsing with a self-attentive encoder. In *Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1 : Long*
*Papers)*, p. 2676–2686, Melbourne, Australia: Association for Computational Linguistics. DOI: 10.18653/v1/P18-1249.

KOEHN P., HOANG H., BIRCH A., CALLISON-BURCH C., FEDERICO M., BERTOLDI N., COWAN B., SHEN W., MORAN C., ZENS R. et al. (2007). Moses: Open source toolkit for statistical machine translation. In *Proceedings of the 45th annual meeting of the association for computational linguistics companion volume proceedings of the demo and poster sessions*, p. 177–180.

SAMPLE G. & CONNEAU A. (2019). Cross-lingual language model pretraining. In *Advances in neural information processing systems*.

LAN Z., CHEN M., GOODMAN S., GIMPEL K., SHARMA P. & SORICUT R. (2019). Albert: A lite bert for self-supervised learning of language representations. *arXiv preprint arXiv:1909.11942*.

LE H., VIAL L., FREJ J., SEGONNE V., COAVOUX M., LECOUTEUX B., ALLAUZEN A., CRABBÉ B., BESACIER L. & SCHWAB D. (2019). Flaubert: Unsupervised language model pre-training for french. *arXiv preprint arXiv:1912.05372*.

LI X., MICHEL P., ANASTASOPOULOS A., BELINKOV Y., DURRANI N., FIRAT O., KOEHN P., NEUBIG G., PINO J. & SAJJAD H. (2019). Findings of the first shared task on machine translation robustness. *Fourth Conference on Machine Translation (WMT19)*, p. 91–102.

LIU Y., OTT M., GOYAL N., DU J., JOSHI M., CHEN D., LEVY O., LEWIS M., ZETTLEMOYER L. & STOYANOV V. (2019). Roberta: A robustly optimized bert pretraining approach. *arXiv preprint arXiv:1907.11692*.

MARTIN L., MULLER B., ORTIZ SUÁREZ P. J., DUPONT Y., ROMARY L., VILLEMONTE DE LA CLERGERIE É., SEDDAH D. & SAGOT B. (2019). CamemBERT: a Tasty French Language Model. *arXiv preprint arXiv:1911.03894*.

MIKOLOV T., SUTSKEVER I., CHEN K., CORRADO G. & DEAN J. (2013). Distributed representations of words and phrases and their compositionality. In *Proceedings of the 26th International Conference on Neural Information Processing Systems - Volume 2*, NIPS’13, p. 3111–3119, USA: Curran Associates Inc.

MILLER G. A. (1995). Wordnet: a lexical database for english. *Communications of the ACM*, **38**(11), 39–41.

NAVIGLI R., JURGENS D. & VANNELLA D. (2013). SemEval-2013 Task 12: Multilingual Word Sense Disambiguation. In *Second Joint Conference on Lexical and Computational Semantics (*SEM)*, Volume 2: *Proceedings of the Seventh International Workshop on Semantic Evaluation (SemEval 2013)*, p. 222–231.

NAVIGLI R. & PONZETTO S. P. (2010). Babelnet: Building a very large multilingual semantic network. In *Proceedings of the 48th annual meeting of the association for computational linguistics*, p. 216–225: Association for Computational Linguistics.

PENNINGTON J., SOCHER R. & MANNING C. D. (2014). Glove: Global vectors for word representation. In *In EMNLP*.

PETERS M. E., NEUMANN M., IYYER M., GARDNER M., CLARK C., LEE K. & ZETTLEMOYER L. (2018). Deep contextualized word representations. In *Proceedings of NAACL-HLT*, p. 2227–2237.

PRETTENHOFER P. & STEIN B. (2010). Cross-language text classification using structural correspondence learning. In *Proceedings of the 48th annual meeting of the association for computational linguistics*, p. 1118–1127.

RADFORD A., NARASIMHAN K., SALIMANS T. & SUTSKEVER I. (2018). Improving language understanding by generative pre-training. *Technical report, OpenAI*.
RAFFEL C., SHAZEER N., ROBERTS A., LEE K., NARANG S., MATENA M., ZHOU Y., LI W. & LIU P. J. (2019). Exploring the limits of transfer learning with a unified text-to-text transformer. *arXiv preprint arXiv:1910.10683*.

RAMACHANDRAN P., LIU P. & LE Q. (2017). Unsupervised pretraining for sequence to sequence learning. In *Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing*, p. 383–391.

SEDDAH D., TSARFATY R., KÜBLER S., CANDITO M., CHOI J. D., FARKAS R., FOSTER J., GOENAGA I., GOJENOLA GALLETEBEITIA K., GOLDBERG Y., GREEN S., HABASH N., KUHLMANN M., MAIER W., NIVRE J., PRZEPIÓRKOWSKI A., ROTH R., SEEKER W., VERSLEY Y., VINCZE V., WOLIŃSKI M., WRÓBLEWSKA A. & VILLEMONTE DE LA CLERGERIE E. (2013). Overview of the SPMRL 2013 shared task : A cross-framework evaluation of parsing morphologically rich languages. In *Proceedings of the Fourth Workshop on Statistical Parsing of Morphologically-Rich Languages*, p. 146–182, Seattle, Washington, USA : Association for Computational Linguistics.

SEGONNE V., CANDITO M. & CRABBÉ B. (2019). Using wiktionary as a resource for wsd : the case of french verbs. In *Proceedings of the 13th International Conference on Computational Semantics-Long Papers*, p. 259–270.

SENNRICH R., HADDOW B. & BIRCH A. (2016). Neural machine translation of rare words with subword units. In *Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1 : Long Papers)*, p. 1715–1725.

TIEDEMANN J. (2012). Parallel data, tools and interfaces in opus. In N. C. C. CHAIR), K. CHOU-KRI, T. DECLERCK, M. U. DOGAN, B. MAEGAARD, J. MARIANI, J. ODIJK & S. PIPERIDIS, Éds., *Proceedings of the Eight International Conference on Language Resources and Evaluation (LREC’12)*, Istanbul, Turkey : European Language Resources Association (ELRA).

VASWANI A., SHAZEER N., PARMAR N., USZKOREIT J., JONES L., GOMEZ A. N., KAISER Ł. & POLOSUKHIN I. (2017). Attention is all you need. In *Advances in neural information processing systems*, p. 5998–6008.

VIAL L., LECOUTEUX B. & SCHWAB D. (2019a). Compression de vocabulaire de sens grâce aux relations sémantiques pour la désambiguïsation lexicale. In *Conférence sur le Traitement Automatique des Langues Naturelles (TALN-RECITAL)*, Toulouse, France. HAL : hal-02092559.

VIAL L., LECOUTEUX B. & SCHWAB D. (2019b). Sense Vocabulary Compression through the Semantic Knowledge of WordNet for Neural Word Sense Disambiguation. In *Proceedings of the 10th Global Wordnet Conference*, Wroclaw, Poland. HAL : hal-02131872.

WANG A., PRUKSACHATKUN Y., NANGIA N., SINGH A., MICHAEL J., HILL F., LEVY O. & BOWMAN S. R. (2019). Superglue : A stickier benchmark for general-purpose language understanding systems. *arXiv preprint arXiv:1905.00537*.

WANG A., SINGH A., MICHAEL J., HILL F., LEVY O. & BOWMAN S. (2018). GLUE : A multi-task benchmark and analysis platform for natural language understanding. In *Proceedings of the 2018 EMNLP Workshop BlackboxNLP : Analyzing and Interpreting Neural Networks for NLP*, p. 353–355, Brussels, Belgium : Association for Computational Linguistics. DOI : 10.18653/v1/W18-5446.

WILLIAMS A., NANGIA N. & BOWMAN S. (2018). A broad-coverage challenge corpus for sentence understanding through inference. In *Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics : Human Language Technologies, Volume 1 (Long Papers)*, p. 1112–1122.
WOLF T., DEBUT L., SANH V., CHAUMOND J., DELANGUE C., MOI A., CISTAC P., RAULT T., LOUF R., FUNTOWICZ M. & BREW J. (2019). Huggingface's transformers: State-of-the-art natural language processing. *arXiv preprint arXiv:1910.03771*.

YANG Y., ZHANG Y., TAR C. & BALDRIDGE J. (2019a). Paws-x: A cross-lingual adversarial dataset for paraphrase identification. *arXiv preprint arXiv:1908.11828*.

YANG Z., DAI Z., YANG Y., CARBONELL J., SALAKHUTDINOV R. & LE Q. V. (2019b). Xl-net: Generalized autoregressive pretraining for language understanding. In *Advances in neural information processing systems*.

ZHANG Y., BALDRIDGE J. & HE L. (2019). Paws: Paraphrase adversaries from word scrambling. In *Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers)*, p. 1298–1308.
# Relation, es-tu là ? Détection de relations par LSTM pour améliorer l'extraction de relations

Cyrielle Mallart¹, ², ³ Michel Le Nouy¹ Guillaume Gravier³ Pascale Sébillot²

(1) SIPA Ouest-France, 10 rue du Breil, 35000 Rennes, France

(2) INSA Rennes, IRISA, Campus de Beaulieu, 35042 Rennes, France

(3) CNRS, IRISA, Campus de Beaulieu, 35042 Rennes, France

cyrielle.mallart@ouest-france.fr, michel.lenouy@ouest-france.fr, guig@irisa.fr, pascale.sebillot@irisa.fr

## RÉSUMÉ

De nombreuses méthodes d'extraction et de classification de relations ont été proposées et testées sur des données de référence. Cependant, dans des données réelles, le nombre de relations potentielles est énorme et les heuristiques souvent utilisées pour distinguer de vraies relations de co-occurrences fortuites ne détectent pas les signaux faibles pourtant importants. Dans cet article, nous étudions l'apport d'un modèle de détection de relations, identifiant si un couple d'entités dans une phrase exprime ou non une relation, en tant qu'étape préliminaire à la classification des relations. Notre modèle s'appuie sur le plus court chemin de dépendances entre deux entités, modélisé par un LSTM et combiné avec les types des entités. Sur la tâche de détection de relations, nous obtenons de meilleurs résultats qu'un modèle état de l'art pour la classification de relations, avec une robustesse accrue aux relations inédites. Nous montrons aussi qu'une détection binaire en amont d'un modèle de classification améliore significativement ce dernier.

## ABSTRACT

**Relation, are you there? LSTM-based relation detection to improve knowledge extraction**

Various methods for relation extraction and classification have been proposed and benchmarked on standard academic datasets. In real-life data however, the number of potential relations is enormous and the heuristics and count-based methods often used to separate actual relations from meaningless co-occurrences fail to detect weak signals of importance. In this paper, we investigate the use of a computationally-light binary detection model to identify whether a couple of entities in a sentence bears a relation, as a preliminary step prior to relation classification. Our model is based on the shortest dependency path between two entities analyzed with a LSTM recurrent network and combined with information on the entities types. On the binary relation detection task, we achieve results better than a state-of-the-art relation classification model adapted to detection with increased robustness to relations unseen in training. We finally show that binary detection as a pre-processing step to classification of relations is effective in significantly improving the latter.

**MOTS-CLÉS** : extraction d'informations, détection de relations, classification de relations, LSTM, plus court chemin de dépendances.

**KEYWORDS** : information extraction, relation detection, relation classification, LSTM, shortest dependency path.

<figure><img src="image_69.png" /></figure>
# 1 Motivation

Les articles de journaux sont une source particulière de données, de par leur quantité – des milliers d'articles écrits chaque jour – et le grand nombre d'entités qui interagissent dans leurs textes au sein de multiples relations. Cette masse de textes, souvent confinée aux archives, regorge d'informations, de connaissances, de détails qui peuvent aider à la mise en contexte de nouveaux événements. Afin de pouvoir exploiter une telle richesse, l'utilisation de bases de connaissances est un atout majeur. Il s'agit de remplir une base contenant des entités et les relations qu'elles entretiennent pour mettre en lien des concepts à plus grande échelle que celle d'un seul texte. Pour ce faire, de nombreux aspects de l'extraction d'informations sont mis en œuvre, un aspect crucial étant l'extraction de relations entre entités.

Une entité est un objet, soit tangible soit un concept, auquel on peut référer par un nom propre, comme « Barack Obama » ou « Paris ». Une relation est une paire d'entités issues d'une même phrase et entre lesquelles la phrase exprime un lien. Elle est spécifiée avec un nom, comme « capitale de » ou « époux de ». Extraire cette relation permet de structurer l'information, en expliquant en quoi les entités d'une phrase sont liées, si elles le sont. Ceci est un défi dans le cas de données journalistiques, où une grande masse d'entités cohabite dans les articles et peu sont réellement en relation. L'extraction doit donc être opérée de façon sûre, rapide, sans omettre les signaux faibles qui sont potentiellement porteurs d'informations inédites pour les journalistes, tout en étant capable de s'adapter au flux constant d'articles aux thématiques variées.

De nombreux extracteurs et classifieurs de relations existent déjà, issus principalement de quatre types d'approches : les schémas universels (Riedel et al., 2013), l'open information extraction (Banko et al., 2007; Mesquita et al., 2013; Del Corro & Gemulla, 2013), la classification non supervisée (Hasegawa et al., 2004; Wang et al., 2011; Takase et al., 2015), et la classification supervisée (Kambhatla, 2004; Xu et al., 2015; Wang et al., 2016; Cai et al., 2016; Zhang et al., 2018). Certaines approches combinent d'ailleurs plusieurs de ces paradigmes (Banko & Etzioni, 2008). Cependant, ces diverses méthodes ne sont souvent testées et évaluées que sur des données de référence, en anglais, propres et peu bruitées. Quand elles sont testées sur des données réelles, le nombre de relations candidates est habituellement fortement réduit par l'utilisation d'heuristiques, pour ne garder que les relations les plus fréquentes. Dans le cas du journalisme, où les relations potentielles dans les textes sont extrêmement nombreuses tout en cachant de précieux signaux faibles, il devient d'une part coûteux d'appliquer des modèles de classification sur toutes les relations candidates ; d'autre part, les signaux faibles se retrouvent noyés dans de telles quantités de données que les systèmes de classification ne les distinguent pas : des relations potentiellement crucales sont classifiées dans de très vastes classes « poubelle », ou tout simplement ignorées.

Les systèmes existants ne peuvent donc pas être appliqués directement à notre cas d'application journalistique. Nous proposons par conséquent de procéder en deux étapes, en ajoutant un modèle préliminaire pour détecter si une phrase contient ou non une relation. Les phrases pour lesquelles un couple d'entités a été identifié comme étant bien en relation peuvent ensuite être traitées par un modèle de classification de relations. Cette division permet tout d'abord d'augmenter la qualité des données fournies au modèle de classification, en réduisant le bruit apporté par des entités sans relation, et ensuite de diminuer le temps d'exécution d'une classification de relations, puisque seule une partie des données est traitée par un modèle de classification. Nous inspirant de l'état de l'art, nous proposons un modèle simple mais efficace de détection binaire de relations, fondé sur un réseau de neurones LSTM exploitant la syntaxe des phrases, que nous testons sur des données réelles que
<figure><img src="image_70.png" /><figcaption>FIGURE 1 – Exemple de graphe de dépendances pour la phrase « Anne-Marie Houdebine a travaillé sur la notion d'Imaginaire linguistique. ».</figcaption></figure>

nous avons collectées. Nous montrons la performance de notre modèle sur la détection de relations, ses capacités de généralisation et la possibilité qu'il offre d'améliorer les performances d'un modèle de classification de relations avec de la détection de relations en amont, démontrant ainsi la pertinence de notre approche en deux temps.

## 2 Méthodologie

Notre modèle doit être capable de détecter des relations au sein d'articles de style journalistique, c'est-à-dire identifier si deux entités sont ou non en relation, en analysant la phrase dans laquelle elles apparaissent. Dans chaque phrase, tous les couples d'entités potentiellement en relation (les relations candidates) sont donc extraits. Notre modèle doit apprendre si les mots se trouvant entre deux des entités signifient qu'une relation incluant ces deux entités existe ou non.

La caractéristique principale de notre modèle est le recours au plus court chemin de dépendances entre deux entités, c'est-à-dire le chemin syntaxique liant deux entités dans le graphe de dépendances qui traverse le moins de mots. Un graphe de dépendances consiste en un graphe où les nœuds correspondent aux mots, et les arêtes aux dépendances syntaxiques entre les mots (voir un exemple en figure 1). Suivant (Bunescu & Mooney, 2005), nous faisons l'hypothèse que le plus court chemin entre deux entités du graphe de dépendances contient l'essentiel de la relation, car il traverse les mots nécessaires à la compréhension de la phrase, omettant l'information auxiliaire et réduisant ainsi le bruit potentiel. Ce plus court chemin de dépendances est produit par l'algorithme de Dijkstra appliqué sur le graphe de dépendances obtenu avec le *Stanford dependency parser* (Manning et al., 2014), dont nous avons modifié quelques aspects (regroupé les entités « multi-mots » (« Barack Obama » ou « université d'Harvard ») en un seul nœud, réparé les phrases auxquelles il manque un lien, et retiré les doublons créés à cause d'une erreur d'implémentation de l'analyseur). Sur ce plus court chemin de dépendances, nous collectons des variables sur chaque mot : les plongements du mot obtenu grâce à un modèle *skip-gram* pré-entraîné (Mikolov et al., 2013), la catégorie morpho-syntaxique et l'étiquette de dépendance. La moyenne des plongements de mots est prise pour les entités formées de plusieurs mots. À ceci, nous ajoutons le type des entités donné par un système de détection d'entités, tel « parti politique », « ong », « personne » ou encore « autre ». Le plus court chemin exclut donc les entités elles-mêmes, car elles sont déjà prises en compte dans notre modèle *via* leur type.

Le modèle est constitué de deux branches, l'une modélisant les entités à travers leur type avec une couche cachée entièrement connectée, et l'autre prenant en compte l'information syntaxique sur le plus court chemin entre les deux entités avec une couche LSTM. Une variante du LSTM proposée dans (Graves et al., 2013) est utilisée. Les deux branches sont fusionnées par un produit scalaire, puis une couche entièrement connectée dotée d'une activation *sigmoïde* prédit la probabilité qu'il y ait une relation entre les deux entités. Une telle couche de sortie a été préférée à une activation *softmax* avec deux neurones de sortie, car cette dernière approche nécessite de comparer les deux probabilités de sortie et garder la classe correspondant à la plus grande, tandis que, dans notre cas,
une unique probabilité de sortie permet d'appréhender le degré de certitude de la relation. La figure 2 présente l'architecture de notre modèle appliqué à une phrase exemple. Le choix d'intégrer les types des entités est motivé par l'observation que certaines relations n'existent pas entre certains types d'entités. Ainsi une relation potentielle « fils de » ne peut exister entre une personne et un lieu. Nous cherchons donc à confronter les mots du chemin et les types des entités pour s'assurer de leur compatibilité. Nous avons de plus séparé l'information sur les entités de l'information séquentielle par souci de simplicité et de rapidité. Nos résultats préliminaires ont en effet montré qu'entraîner une couche entièrement connectée uniquement pour les types des entités réduit le temps d'entraînement par rapport à un LSTM où les entités sont incorporées dans le plus court chemin de dépendances, pour des performances identiques.

# 3 Expériences

## 3.1 Création d'un jeu de données

Les données de référence standards pour l'extraction de relations ne sont pas compatibles avec notre volonté de détecter des relations pour des données réelles : premièrement, elles ne sont généralement pas en français ; ensuite, ces données sont déjà propres, annotées à la main, et les effectifs dans les classes de relations sont équilibrés, ce qui est éloigné des données réelles de notre problème initial.

Nous avons donc créé un jeu de données dérivé de Wikipédia, car le « style Wikipédia » est assez proche de celui des journaux d'information, les phrases sont généralement syntaxiquement correctes et de nombreux sujets sont abordés. De plus, ces données sont *open-source* et sont disponibles pour une future utilisation<fnref n="1" />. 200 000 articles ont ainsi été pris aléatoirement dans le *dump* français de Wikipédia en date d'avril 2019. Après nettoyage, découpage en phrases, liage des entités et appariement des paires d'entités comme relations candidates, un étiquetage distant des relations présentes dans les phrases est rendu possible grâce à la base de connaissances Wikidata, en partant du principe qu'une relation existe lorsqu'un triplet connectant les deux entités dans Wikidata existe. Le jeu de données est ensuite sous-échantillonné en termes des types d'entités, pour équilibrer les couples de types d'entités, ce qui réduit drastiquement le nombre total de relations candidates. Ce sous-échantillonnage assure qu'aucun couple de types d'entités (personne-personne, ong-lieu, etc.) ne soit majoritaire. Nous évitons ainsi que nos données soient dominées par des relations entre types « autres », ou entre lieux (communes, départements, lieux, pays), bien plus courantes dans Wikidata que les relations entre autres types (par ex. ong-parti politique). Nos modèles n'apprennent donc pas que les relations existent uniquement entre lieux et ne rejettent pas le reste des données sur ce seul critère. Nous n'équilibrons en revanche pas les types de relations, car certaines relations (par ex. « capitale de » ou « pays ») sont plus communes que d'autres (par ex. « employeur »), et certaines si peu fréquentes qu'elles sont considérées signaux faibles (par ex. « éditeur scientifique » ou « élève de »). Au final, nous obtenons 230 exemples positifs et 876 exemples négatifs, pour un total de 1106 paires. Ces données sont réparties en 55% de données d'entraînement, 20% de validation et 25% de test. Malgré cette réduction, notre jeu de données a été créé pour respecter les propriétés de signaux faibles et de déséquilibre des relations positives et négatives qui sont les défis réels que notre modèle doit relever.

<footnote n="1">1. https://github.com/CMallart/RelationDetectionFrench</footnote>
## 3.2 Modèle de référence

Nous comparons tous nos résultats à ceux du modèle proposé par Xu *et al.* (2015). Ce modèle a été choisi comme base pour une comparaison équitable car ce système est l'état de l'art pour la classification de relations parmi les modèles ayant recours à un réseau LSTM exploitant les informations sur le plus court chemin de dépendances. Notre modèle s'inscrit dans le même esprit syntaxique, ce qui ne le rend pas fondamentalement différent de ce modèle de référence, à l'exception toutefois notable des modifications que nous avons dû faire pour prendre en compte les types des entités. L'option que nous avons retenue d'effectuer une comparaison entre des modèles similaires a été guidée par la possibilité de juger non seulement la pertinence des choix de modélisation spécifiques – tels l'ajout des types d'entités – mais surtout celle de la tâche de détection de relations par rapport à la tâche de classification.

Le modèle de Xu *et al.* est fondé sur la séparation du plus court chemin de dépendances en deux, d'un côté et de l'autre de l'ancêtre commun des deux entités sur l'arbre de dépendances, afin de prendre en compte la direction des dépendances. Le long du chemin de dépendances sont collectées la catégorie morpho-syntaxique, l'étiquette de dépendance, les plongements et les hyperonymes WordNet de chaque mot. Chaque variable est traitée par un LSTM distinct. Pour chaque variable, deux LSTM collectent l'information sur chaque moitié de chemin, puis les couches cachées de ces LSTM sont fusionnées par *max-pooling*. Les quatre canaux, un pour chaque variable, sont ensuite aussi fusionnés par *max-pooling*. Une couche entièrement connectée avec une fonction d'activation *softmax* renvoie la probabilité d'appartenir à chaque catégorie de relation.

Bien que relevant donc de la même philosophie syntaxique, notre modèle diffère du modèle précédent selon cinq aspects. Premièrement, nous voyons les dépendances syntaxiques comme un graphe plutôt qu'un arbre, ce qui permet de mieux réparer les erreurs de l'analyseur en ajoutant des arêtes. De plus, nous ne nous soucions pas de la direction des dépendances, et ne séparons donc pas le plus court chemin en deux morceaux de part et d'autre d'un ancêtre commun, afin de garder entières les expressions figées et figures de style. En troisième lieu, le plongement du mot et les catégories morpho-syntaxiques et de dépendance sont corrélées et donnent ensemble son sens global au mot; ces variables ne sont donc pas séparées par canaux dans le LSTM. Quatrièmement, les hyperonymes WordNet, qui auraient pu être obtenus en français grâce à une traduction de la base lexicale telle que WoNeF (Pradet *et al.*, 2013), sont omis pour éviter le recours à une ressource externe qui prend du temps supplémentaire et ajoute du bruit, dû à la granularité très fine des sens de WordNet, à une incomplétude dans certains domaines et à la difficulté de choisir le sens approprié. Enfin, seul le type des entités est pris en compte, au lieu de traiter ces entités comme des mots du chemin de dépendances, ce qui permet de réduire le temps de traitement pour les entités et de généraliser.

## 3.3 Résultats

Nous rapportons nos résultats pour quatre expériences conduites sur les données que nous avons construites pour la tâche. Ces expériences ont pour but de prouver que notre modèle répond aux défis de l'extraction de relations dans des articles, à savoir qu'il sépare correctement les couples d'entités en relation de co-occurrences fallacieuses des autres, en étant capable de généraliser à des relations rares ou inédites, et qu'il apporte de la valeur ajoutée par rapport à une classification de relations.

Le but de notre première expérience est de vérifier qu'une architecture simple comme celle de notre modèle permet d'atteindre des performances au moins aussi élevées que le modèle plus complexe
<figure><img src="image_71.png" /><figcaption>FIGURE 2 – Architecture générale du modèle appliqué à la phrase « Anne-Marie Houdebine a travaillé sur la notion d'Imaginaire linguistique. ».</figcaption></figure>

<figure><img src="image_72.png" /><figcaption>FIGURE 3 – Courbes ROC pour la détection binaire de relations (Xu-binaire et Nous).</figcaption></figure>

de Xu et al. sur une tâche de détection. Pour ce faire, ce dernier est transformé d'un modèle de classification multi-classes à un modèle de détection binaire (Xu-binaire) en changeant l'activation de la dernière couche d'un softmax en un sigmoïde. Xu-binaire et notre modèle rendant tous deux des probabilités, le seuil pour décider qu'une relation existe est la valeur qui maximise le score rappel+spécificité. La courbe ROC est donnée en figure 3. Notre rappel de 0,73 est un peu plus bas que le rappel de Xu-binaire de 0,75, mais l'apport en précision est important, notre modèle atteignant 0,84 tandis que Xu-binaire obtient une précision de 0,67. En outre, l'aire sous la courbe ROC est plus grande pour notre modèle, indiquant qu'il a de meilleures performances que Xu-binaire indépendamment du seuil choisi. Un saut dans la courbe ROC de Xu-binaire montre que ce modèle est très sensible au seuil, à la différence du nôtre, plus robuste à une variation dans le choix de celui-ci. Notre modèle est donc particulièrement pertinent pour détecter l'existence ou non de relations. De plus, ce modèle spécialisé, créé pour la détection de relations, détecte mieux les cas fallacieux que Xu-binaire, qui classifie de nombreuses relations négatives dans d'autres catégories que « none ».

Une deuxième expérience vérifie la capacité à détecter des relations inédites, qui n'ont pas été
vues lors de l'entraînement. Notre modèle de détection binaire est entraîné avec des labels binaires.
L'architecture originale de Xu et al. (2015) (Xu-multiclass) n'est pas modifiée, et le modèle est
entraîné avec les noms des relations, les différentes étiquettes en sortie étant binarisées a posteriori.
Nous avons conscience que ce protocole défavorise Xu-multiclass pour ce qui est des performances
en classification binaire, car il s'agit d'un modèle entraîné à spécifier et non à détecter. Cependant,
le but ici n'est pas de comparer les performances de deux modèles binaires – ce qui a été fait dans
l'expérience précédente – mais de montrer qu'un modèle spécialisé dans la détection de relations
permet de mieux découvrir des relations inédites qu'un modèle plus « généraliste » de classification,
et donc de mieux les traiter ultérieurement. Le jeu d'entraînement consiste en notre jeu de données
auquel on a ôté les relations dont le nom est « capitale » et « capitale de ». Notre modèle détecte ces
relations inédites (« capitale » et « capitale de ») avec un rappel de 0,65 et une précision de 0,8, alors
que le modèle de Xu et al. (2015) a un rappel de 0,57 et une précision de 0,71. Notre modèle a donc
rempli sa promesse initiale de pouvoir mieux détecter les relations inédites, et donc de pouvoir mieux
s'adapter à un flux de textes variés qu'un modèle de classification.

Notre troisième expérience teste la détection de signaux faibles. Nous cherchons à nouveau à prouver
l'intérêt d'un modèle de détection binaire pour ce type de tâche par rapport à un modèle de classifica-
tion dont le rôle principal n'est pas la reconnaissance des signaux faibles. Dans les mêmes conditions
que l'expérience précédente, nous avons ôté les signaux faibles des données d'entraînement de l'expé-
rience 1, et redistribué les exemples de signaux faibles dans les données de test. Notre modèle, pour
l'ensemble des données de test, a un rappel de 0,71, égal à celui de Xu-multiclass, mais une meilleure précision, à savoir 0,67 contre 0,72. Mais, lorsque nous considérons uniquement les exemples de signaux faibles, nous obtenons un rappel de 0,34, presque le triple du rappel de Xu-multiclass, 0,12. La précision pour ces résultats est égale à 1, ce qui est normal car elle mesure la proportion d'exemples classifiés comme relation qui sont réellement des relations ; or nous nous concentrons ici sur les relations rares qui existent toutes, donc toutes les relations candidates classifiées comme « en relation » sont bien pertinentes. La détection des relations rares par notre modèle est donc significativement plus élevée, avec un score F1 de 0,51 contre 0,21 pour Xu-multiclass ; ceci est certainement dû au fait qu'il repose sur la syntaxe en utilisant le plus court chemin de dépendances sans le scinder, permettant de reconnaître des constructions syntaxiques en passant outre le vocabulaire inédit.

Notre modèle étant pensé comme une étape préliminaire à la classification de relations, une dernière expérience teste le bénéfice d'ajouter ce modèle de détection comme étape de pré-traitement à un modèle de classification. Les deux systèmes testés et comparés sont un *pipeline* combinant notre modèle et le modèle de classification (Nous+Xu-multiclass) d'une part et, d'autre part, le modèle de classification de relations Xu-multiclass seul. Pour Nous+Xu-multiclass, lors de l'inférence, les relations prédites comme existantes par notre modèle sont passées en entrée de Xu-multiclass, tandis que les relations fallacieuses sont assignées à la classe « none » ; 39% des relations en entrée de notre modèle de détection sont considérées comme pertinentes pour être classifiées. Xu-multiclass prédit, lui, l'entièreté du jeu de test. Nous obtenons pour Nous+Xu-multiclass une précision de 0,74 et un rappel de 0,62, contre une précision de 0,68 et un rappel de 0,62 pour Xu-multiclass seul. Les relations étant en nombre très inégal, le modèle de classification de relations n'apprend à classifier que dans les classes les plus peuplées, les exemples de test n'étant jamais classifiés dans les autres classes. Nous+Xu-multiclass reconnaît six classes, tandis que Xu-multiclass n'en reconnaît que 4. Les rappels présentés pour les deux modèles testés, bien qu'identiques, sont donc issus de phénomènes différents. Plus précisément, le rappel de Nous+Xu-multiclass sur la classe « none » est inférieur à celui de Xu-multiclass seul (0,66 contre 0,75), mais pour une précision accrue (0,93 contre 0,25). Nous+Xu-multiclass obtient également des valeurs de précision et rappel supérieures à Xu-multiclass pour les 4 classes reconnues par les deux systèmes, à l'exception de la classe « contient les subdivisions territoriales administratives » pour laquelle la précision est plus faible (0,18 contre 0,22) mais le rappel plus que doublé. Ces résultats montrent qu'ôter les relations qui ne sont pas pertinentes aide le classifieur, et apporte plus de subtilité dans la classification des relations, tout en limitant l'attribution erronée de la classe « none ».

# 4 Conclusion

Nous avons créé un système de détection de relations efficace dans le cas de textes journalistiques, et avons expérimentalement prouvé sa pertinence pour le problème de détection et de classification de relations sur des données réelles. Notre modèle peut être utilisé en amont d'un système de classification dont il améliore les résultats, tout en étant capable de repérer des signaux faibles et des relations inédites. Ce modèle seul permet, lorsqu'un journaliste recherche des informations sur une entité, de pouvoir éviter les contresens d'une recherche par co-occurrences : nous ne présentons pas les cas où les relations ne sont pas avérées, évitant d'associer des concepts qui ne sont liés que de façon lointaine. Notre modèle peut de plus être intégré dans la chaîne de traitement des articles d'un journal, juste avant le typage des relations, dans le but d'améliorer à la fois la qualité et la rapidité de l'alimentation d'une base de connaissances journalistique.
Références

BANKO M., CAFARELLA M. J., SODERLAND S., BROADHEAD M. & ETZIONI O. (2007). Open information extraction from the web. In *Proceedings of the 20th International Joint Conference on Artificial Intelligence*, p. 2670–2676 : Morgan Kaufmann Publishers Inc. DOI : 10.1145/1409360.1409378.

BANKO M. & ETZIONI O. (2008). The tradeoffs between open and traditional relation extraction. In *Proceedings of the 46th Annual Meeting of the Association for Computational Linguistics : Human Language Technologies*, p. 28–36 : Association for Computational Linguistics. Anthologie ACL : P08-1004.

BUNESCU R. & MOONEY R. (2005). A shortest path dependency kernel for relation extraction. In *Proceedings of Human Language Technology Conference and Conference on Empirical Methods in Natural Language Processing*, p. 724–731 : Association for Computational Linguistics. DOI : 10.3115/1220575.1220666.

CAI R., ZHANG X. & WANG H. (2016). Bidirectional recurrent convolutional neural network for relation classification. In *Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1-Long Papers)*, p. 756–765 : Association for Computational Linguistics. DOI : 10.18653/v1/P16-1072.

DEL CORRO L. & GEMULLA R. (2013). Clausie : Clause-based open information extraction. In *Proceedings of the 22nd International Conference on World Wide Web*, p. 355–366 : Association for Computing Machinery. DOI : 10.1145/2488388.2488420.

GRAVES A., MOHAMED A. & HINTON G. (2013). Speech recognition with deep recurrent neural networks. In *Proceedings of the 38th IEEE International Conference on Acoustics, Speech and Signal Processing*, p. 6645–6649 : IEEE Signal Processing Society. DOI : 10.1109/ICASSP.2013.6638947.

HASEGAWA T., SEKINE S. & GRISHMAN R. (2004). Discovering relations among named entities from large corpora. In *Proceedings of the 42nd Annual Meeting on Association for Computational Linguistics* : Association for Computational Linguistics. DOI : 10.3115/1218955.1219008.

KAMBHATLA N. (2004). Combining lexical, syntactic, and semantic features with maximum entropy models for extracting relations. In *Proceedings of the ACL 2004 on Interactive Poster and Demonstration Sessions* : Association for Computational Linguistics. DOI : 10.3115/1219044.1219066.

MANNING C. D., SURDEANU M., BAUER J., FINKEL J., BETHARD S. J. & MCCLOSKY D. (2014). The Stanford CoreNLP natural language processing toolkit. In *Proceedings of the 52nd Annual Meeting of the Association for Computational Linguistics : System Demonstrations*, p. 55–60 : Association for Computational Linguistics. DOI : 10.3115/v1/P14-5010.

MESQUITA F., SCHMIDEK J. & BARBOSA D. (2013). Effectiveness and efficiency of open relation extraction. In *Proceedings of the 2013 Conference on Empirical Methods in Natural Language Processing*, p. 447–457 : Association for Computational Linguistics. Anthologie ACL : D13-1043.

MIKOLOV T., CHEN K., CORRADO G. & DEAN J. (2013). Efficient estimation of word representations in vector space. In *Proceedings of the 1st International Conference on Learning Representations, Workshop Track Proceedings*. arXiv : 1301.3781.

PRADET Q., BAGUENIER-DESORMEAUX J., DE CHALENDAR G. & DANLOS L. (2013). WoNeF, an improved, extended and evaluated automatic French translation of WordNet (WoNeF : amélioration, extension et évaluation d'une traduction française automatique de WordNet) [in French]. In *Proceedings of TALN 2013 (Volume 1 : Long Papers)*, p. 76–89 : ATALA. HAL : cea-00932340.
RIEDEL S., YAO L., MCCALLUM A. & MARLIN B. M. (2013). Relation extraction with matrix factorization and universal schemas. In *Proceedings of the 2013 Conference of the North American Chapter of the Association for Computational Linguistics : Human Language Technologies*, p. 74–84 : Association for Computational Linguistics. Anthologie ACL : N13-1008.

TAKASE S., OKAZAKI N. & INUI K. (2015). Fast and large-scale unsupervised relation extraction. In *Proceedings of the 29th Pacific Asia Conference on Language, Information and Computation*, p. 96–105. Anthologie ACL : Y15-1012.

WANG L., CAO Z., DE MELO G. & LIU Z. (2016). Relation classification via multi-level attention CNNs. In *Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1-Long Papers)*, p. 1298–1307 : Association for Computational Linguistics. DOI : 10.18653/v1/P16-1123.

WANG W., BESANÇON R., FERRET O. & GRAU B. (2011). Filtering and clustering relations for unsupervised information extraction in open domain. In *Proceedings of the 20th ACM International Conference on Information and Knowledge Management*, p. 1405–1414, New York, NY, USA : Association for Computing Machinery. DOI : 10.1145/2063576.2063780.

XU Y., MOU L., LI G., CHEN Y., PENG H. & JIN Z. (2015). Classifying relations via long short term memory networks along shortest dependency paths. In *Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing*, p. 1785–1794 : Association for Computational Linguistics. DOI : 10.18653/v1/D15-1206.

ZHANG Y., QI P. & MANNING C. D. (2018). Graph convolution over pruned dependency trees improves relation extraction. In *Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing*, p. 2205–2215 : Association for Computational Linguistics. DOI : 10.18653/v1/D18-1244.
# Analyse automatique en cadres sémantiques pour l'apprentissage de modèles de compréhension de texte

Gabriel Marzinotto² Delphine Charlet² Géraldine Damnati² Frédéric Béchet¹

(1) Aix-Marseille Univ, Université de Toulon, CNRS, LIS, Marseille, France

(2) Orange Labs, Lannon

(1) {prenom.nom}@lis-lab.fr

(2) {prenom.nom}@orange.com

## RÉSUMÉ

Dans le cadre de la compréhension automatique de documents, cet article propose une évaluation intrinsèque et extrinsèque d'un modèle d'analyse automatique en cadres sémantiques (Frames). Le modèle proposé est un modèle état de l'art à base de GRU bi-directionnel, enrichi par l'utilisation d'embeddings contextuels. Nous montrons qu'un modèle de compréhension de documents appris sur un corpus de triplets générés à partir d'un corpus analysé automatiquement avec l'analyseur en cadre sémantique présente des performances inférieures de seulement 2.5% en relatif par rapport à un modèle appris sur un corpus de triplets générés à partir d'un corpus analysé manuellement.

## ABSTRACT

Semantic Frame Parsing for training Machine Reading Comprehension models

In the framework of Machine Reading Comprehension this paper presents an intrinsic and extrinsic evaluation of a Semantic Frame parser. The proposed model is based on a state of the art bi-directionnal GRU enhanced by the use of transformer-based contextual embeddings. We show that a Machine Reading Comprehension model trained on a corpus of triplets generated from an automatically parsed corpus with our semantic frame parser only yields a 2.5% relative decrease in performance with respect to a model trained on triplets generated from a manually annotated corpus.

**MOTS-CLÉS** : Analyse en cadres sémantiques, Génération automatique de questions, Compréhension automatique de texte.

**KEYWORDS:** Semantic Frame Parsing, Question Generation, Machine Reading Comprehension.

# 1 Introduction

Les systèmes de Question/Réponse à partir de documents ont pour but de sélectionner un ou plusieurs passages d'un texte constituant la ou les réponses possibles à une question de compréhension sur le document. Cette tâche de compréhension de texte a été traitée avec deux types de modèles : d'une part des modèles basées sur des méthodes de Recherche d'Information utilisant un appariement entre requête et document reposant sur des représentations explicites du sens des requêtes et des connaissances contenues dans les textes avec éventuellement l'accès à des bases externes de connaissances (Kolomiyets & Moens, 2011; Shen & Lapata, 2007); d'autres part des méthodes d'appariement direct entre questions et passages de documents utilisant des apprentissages de type end-to-end rendu possibles grâce à la disponibilité de très grands corpus contenant à la fois documents, questions et réponses tells que SQuAD (Rajpurkar et al., 2016).

<figure><img src="image_73.png" /></figure>
Récemment il a été proposé dans (Béchet et al., 2019b) de combiner représentation explicite du sens et systèmes de question/réponse appris par appariement direct en utilisant un corpus annoté en cadres sémantiques pour générer le corpus d'apprentissage nécessaire à l'adaptation d'un système générique tel que BERT à un nouveau cas d'utilisation. Cette approche, évaluée dans (Béchet et al., 2019c), a cependant une limitation importante : elle nécessite la disponibilité de corpus annotés manuellement en cadres sémantiques afin de générer le corpus d'adaptation. L'étude présentée dans cet article vise à relâcher cette contrainte en développant un analyseur sémantique de type FrameNet spécifiquement pour cette tâche de génération de corpus de type Question/Réponse sur documents. Nous étudions les performances de cet analyseur dans ce contexte particulier et proposons une analyse détaillée des résultats en fonction du type de questions posées. Nos contributions visent d'abord l'amélioration des modèles d'analyse en Frames pour le Français, puis l'étude sur la viabilité de la génération des corpus de Question/Réponse à partir des annotations automatiques en cadres sémantiques.

## 2 Génération de corpus de questions

La tâche de compréhension automatique de texte rencontre un succès grandissant, préfigurant de nouvelles façons d'accéder à l'information contenue dans des documents. Les corpus disponibles sont composés de triplets (document, question, passage de document constituant la réponse), ils sont très majoritairement en anglais (SQuAD (Rajpurkar et al., 2016), MS MARCO (Nguyen et al., 2016)) et leur construction est coûteuse. Dans (Béchet et al., 2019c), les auteurs proposent une approche alternative pour la constitution de corpus d'apprentissage, utilisant un corpus annoté en cadres sémantiques pour générer automatiquement ces triplets à l'aide de patrons. Dans ce protocole, lorsqu'une phrase est annotée en cadre sémantique pour la Frame F, pour chaque Frame Element E, on peut générer une question dont la réponse est E, à partir de patrons appliqués sur F et les autres Frames Elements présents dans la phrase.

Un exemple de phrase annotée en cadre sémantique et les questions générées à partir des annotations est donné ci-dessous :

M. Wildon a laissé plus clairement entendre que si l'Allemagne exécutait sa menace contre le commerce neutre, [l'Amérique]Speaker [lui]Addressee [déclarerait]Statement [la guerre]Message et [il]Speaker a [demandé]Request [aux neutres]Addressee [de se joindre à lui dans son action]Message.

### Questions générées

- Qui est-ce qui a demandé de se joindre à lui dans son action ?

- À qui est-ce que l'Amérique a déclaré la guerre ?

Dans cet exemple la première question porte sur l'élément Speaker de la Frame Request; la deuxième question porte sur l'élément Addressee de la Frame Statement.

Dans ce protocole, le seul travail manuel requis pour produire les corpus de questions est de définir les patrons générateurs de questions pour chaque Frame. Le corpus CALOR-QUEST (Béchet et al., 2019a) ainsi généré à partir d'un corpus annoté manuellement en cadres sémantiques a été utilisé pour entraîner un modèle de compréhension de lecture et a donné des résultats très encourageants. Nous proposons dans cet article de développer un analyseur automatique en cadres sémantiques spécifiquement mis au point pour permettre de générer automatiquement, à partir de textes sans annotation manuelle, un corpus d'apprentissage pour les modèles de compréhension de lecture.
# 3 Analyseur sémantique pour la génération de questions

Dans cette étude nous avons développé un analyseur en cadre sémantique se basant sur un étiqueteur de séquence tel que proposé dans (Marzinotto et al., 2018b). C'est un modèle bigru avec 2 couches de GRU bidirectionnelles dans lequel les cadres sémantiques sont codés à l'aide de structures plates reprenant le codage *Begin, Inside, Outside* (BIO). Les couches de bigru ont 150 neurones dans chaque direction, et un dropout de 30% entre chaque couche. Nous utilisons Adam comme optimiseur, avec un taux d'apprentissage de $lr = 0.00005$ et des mini-batchs de taille 32. Les séquences d'apprentissage ont une longueur maximale de 120 tokens/word-pieces. Cette taille est suffisante pour tenir compte de plus de 99% des exemples annotées dans CALOR.

Notre système utilise en entrée soit des plongements de mots de type `word2vec` soit des plongements contextuels issus de BERT (Devlin et al., 2019). Ces plongements contextuels apparus récemment ont apporté des gains considérables sur des tâches similaires à l'analyse en cadres sémantiques, comme l'analyse en rôles sémantiques de type PropBank (Peters et al., 2018). Cependant, l'impact de ces représentations des mots dans la tâche d'analyse FrameNet a été étudiée uniquement au niveau de la sélection du cadre sémantique (Tan & Na, 2019), et l'étude se limite au corpus FrameNet en anglais. Notre étude étend l'utilisation de BERT à toute la chaîne d'analyse sémantique et l'applique à des corpus en français. Dans tous nos modèles, nous incorporons également des traits linguistiques comme les dépendances syntaxiques, POS, morphologie, capitalisation, préfixes et suffixes des mots de la phrase. Les analyses syntaxiques et morphologiques ont été faits avec un modèle UDPipe (Straka & Straková, 2017) appris sur la FTB d'Universal Dependencies 2.0. Lors de l'apprentissage, nous ajustons les plongements des mots BERT ou word2vec.

L'originalité de notre approche est d'appliquer au moment du décodage *n* fois notre analyseur sur chaque phrase sur les *n* occurrences de déclencheurs potentiels de Frame au sein de la phrase. Les paires { phrase, déclencheur } sont traitées séparément par le réseau, qui prend en entrée une feature indicateur du mot déclencheur. C'est ainsi que chaque paire génère une probabilité de distribution sur les Frames et Frame Elements pour chaque mot de la phase. A partir de l'ensemble des hypothèses produites une dernière phase de décodage implémentant une stratégie de décodage A* similaire à celle proposée par (He et al., 2017) appliquée. Cette dernière étape permet de garantir la cohérence à la fois des étiquettes BIO, mais aussi des relations sémantiques entre Frame et Frame Elements.

L'avantage de cette approche est de permettre facilement l'optimisation de notre modèle par rapport à un point de fonctionnement particulier en terme de précision et rappel pour la détection des Frame et Frame Elements, il suffit pour cela de filtrer parmi toutes les hypothèses produites par l'analyseur de séquence. Nous présentons dans le paragraphe suivant une évaluation intrinsèque de cet analyseur se focalisant sur le type de questions qui peuvent être générées par les analyses produites et proposant plusieurs points de fonctionnement qui seront évalués dans l'évaluation extrinsèque sur la tâche de compréhension de documents.

## 3.1 Évaluation intrinsèque

Le modèle est appris et évalué sur le corpus CALOR (Marzinotto et al., 2018a)<fnref n="1" />, un corpus de textes encyclopédiques en français annotés en cadres sémantiques (Frames) selon le formalisme FrameNet (Fillmore et al., 2004). Ce corpus est annoté sur un ensemble de 53 Frames différentes pour un total de 31440 occurrences de déclencheurs. Pour cette première série d'expériences le corpus est séparé

<footnote n="1">1. Corpus disponible : https://gitlab.lis-lab.fr/alexis.nasr/calor-public/</footnote>
Pour "qui" et "quoi", nous traitons séparément le cas où le FE est agent de la Frame, auquel cas la question prototypique est *qui_agent* ou *quoi_agent*. Cette distinction permet d'évaluer les cas comme "qui attaque qui". Cette association a été établie pour les 53 Frames du corpus, conduisant à un regroupement des 495 Frame Elements en 64 catégories selon la question prototypique à laquelle ils peuvent répondre.

Les graphiques ne reprennent que les catégories les plus représentées. Ainsi, la figure 1b montre à la fois la performance de l'analyse automatique en Frame par type de question, ainsi que la distribution des types de questions associées aux FEs dans le corpus CALOR. Nous observons que les types les plus fréquents sont *quoi*, *quoi_agent*, *quand*, *où* et *qui*. Les FEs répondant à des questions plus abstraites comme *dans_quel_but*, *de_quelle_manière* et *avec_quelle_conséquence*, sont beaucoup plus rares mais aussi plus difficiles à repérer. Nous observons aussi que BERT donne systématiquement de meilleurs résultats que ceux obtenus avec word2vec dans tous les types de FEs et que les apports les plus significatifs sont pour les catégories les plus difficiles.

## 3.2 Evaluation extrinsèque

Pour répondre à la tâche de détection de la réponse à une question donnée dans un texte, nous utilisons une version adaptée sur cette tâche d'un modèle de langue contextuel, ici le modèle BERT multilingue (multi_cased_L-12_H-768_A-12 (Devlin et al., 2019)), avec les hyperparamètres utilisés par ce auteurs pour l'entraînement sur le corpus SQUAD. Afin de se placer dans des conditions équivalentes à SQUAD, les documents de CALOR sont découpés en paragraphes d'une longueur proche de la longueur moyenne des paragraphes de SQUAD (environ 120 tokens).

L'évaluation standard proposée dans SQUAD consiste à comparer, en supprimant les articles, l'ensemble des mots présents dans la réponse détectée à l'ensemble des mots présents dans la réponse de référence. Cette comparaison est faite de façon stricte ("exact-match") pour donner une valeur binaire, ou par le calcul d'une F-mesure issue de la précision et du rappel sur la comparaison des ensemble de mots. Nous reprenons ici cette évaluation standard, en adaptant la liste d'articles au français, ainsi que le protocole expérimental proposé sur CALOR-QUEST par (Béchet et al., 2019a).

Pour entraîner le modèle de compréhension de lecture, nous considérons les corpus suivants : le corpus des questions générées par patrons à partir de l'annotation manuelle en cadres sémantiques (Gold), et les corpus des questions générées par patrons à partir de l'annotation automatique en cadres sémantiques par le meilleur modèle obtenu précédemment (BiGRU-BERT), à différents points de fonctionnement de l'analyseur automatique (de façon à pouvoir traiter l'ensemble du corpus CALOR, les analyses automatiques sont produites par un mécanisme de k-Fold avec k=9).

Le corpus d'évaluation est constitué de 2069 triplets (paragraphe, question, réponse) produits par des annotateurs humains. Ces annotateurs observaient une *Frame*, un *FE Repponse* et des *FEs Contexte*), ensuite ils produisent une question qui a comme réponse le FE indiqué. La phrase originale n'était pas affichée pour laisser plus de liberté aux annotateurs dans les choix lexicaux effectués pour rédiger les questions. Les annotateurs étaient libres de choisir les FE du contexte qu'ils allaient inclure dans leurs questions. Même si les questions sont limitées aux Frames et Frame Elements de CALOR, il faut clarifier que ces Frames ont été sélectionnées pour être les plus représentatifs des documents (Marzinotto et al., 2018a). Par ailleurs, le grand nombre de Frame Elements et le dégrée de détail des annotations FrameNet induit une variabilité importante dans les questions produites. Afin de réduire au maximum le biais dû au fait que les questions sont restreints aux Frames du corpus CALOR. Nous générons les exemples d'apprentissage à partir des documents distincts à ceux du qui