<table><caption>TABLE 3 – Performances sur TAC 2015 test</caption><thead><tr><th></th><th>P</th><th>R</th><th>F<sub>max.</sub></th><th>F<sub>moy.</sub></th><th>F<sub>σ</sub></th></tr></thead><tbody><tr><td>GCN<sub>repro</sub></td><td>78,48</td><td>46,96</td><td>59,1</td><td>58,73</td><td>0,82</td></tr><tr><td>C-GCN<sub>générique</sub></td><td>74,50</td><td>48,35</td><td>59,04</td><td>58,64</td><td>0,57</td></tr><tr><td>C-GCN</td><td>75,57</td><td>50,42</td><td>60,35</td><td><b>60,47</b></td><td>0,64</td></tr><tr><td>GCN<sub>nguyen</sub></td><td>70,3</td><td>50,6</td><td>58,8</td><td>-</td><td>-</td></tr><tr><td>RPI,<sub>BLENDER</sub></td><td>75,23</td><td>47,74</td><td>58,41</td><td>-</td><td>-</td></tr></tbody></table>

## 3.3 Comparaison avec l'état de l'art

Nous comparons maintenant notre réimplémentation du modèle de graphe GCN<sub>repro</sub> et notre proposition d'extension C-GCN à l'implémentation originale GCN<sub>nguyen</sub> ainsi qu'au meilleur modèle de la campagne TAC 2015, RPI,<sub>BLENDER</sub> (Hong et al., 2015), fondé sur un classifieur d'entropie maximale utilisant un large ensemble de traits. Afin de confirmer l'intérêt d'un contexte spécifique pour chaque exemple, nous entraînons également C-GCN<sub>générique</sub>, exploitant l'ensemble des phrases du document en tant que contexte. Dans ce cas, le vecteur de position n'intervient pas pour les phrases de contexte et la représentation produite sert plongement pour l'ensemble des mots de la phrase cible. Les résultats présentés dans le tableau 3 confirment l'intérêt de notre proposition. En effet, l'introduction de notre représentation de contexte apporte un gain de 1,74 point en F-mesure et permet de dépasser le modèle GCN<sub>nguyen</sub> détenant jusqu'alors la meilleure performance sur TAC 2015 test, ainsi que le meilleur modèle de la campagne ayant recours à un ensemble large d'attributs définis manuellement. Nous constatons également que l'intégration de la représentation de contexte dans C-GCN<sub>générique</sub> ne permet pas d'améliorer les performances par rapport au modèle local, confirmant la pertinence de notre motivation première concernant l'intérêt de fournir un contexte spécifique.

## 4 Conclusion et perspectives

Nous avons proposé dans cet article une extension d'un modèle de convolution de graphe permettant la prise en compte du contexte inter-phrastique. Cette méthode consiste, à partir d'une phrase cible, à générer une représentation de phrases distantes dans lesquelles apparaissent des mentions d'entités également mentionnées dans la phrase cible. Cette représentation est ensuite utilisée pour enrichir la représentation d'entrée des mentions correspondantes de la phrase cible. L'évaluation de cette méthode sur le jeu de test TAC 2015 permet d'obtenir un gain significatif par rapport au modèle initial, les performances obtenues étant par ailleurs les meilleures sur ce jeu de données.

Notre modèle global étant tributaire de la qualité des étapes d'extraction des mentions d'entités et de leurs liens, une première piste d'extension évidente consiste à étudier leur impact exact sur les résultats en considérant d'autres outils pour l'extraction d'entités nommées et la résolution de corréférences. Par ailleurs, l'utilisation de modèles de désambiguïsation d'entités (entity linking) pourrait également étendre les liens entre entités et donc les contextes considérés. De façon complémentaire, substituer au max-pooling utilisé pour agréger les différentes mentions d'entités un mécanisme d'attention permettrait d'apprendre à discriminer et filtrer les phrases de contexte de façon plus fine. Dans le même esprit, un tel mécanisme pourrait aussi être utilisé pour trouver un équilibre plus optimal entre le nombre de couches de convolution et la prise en compte du contexte phrastique par le BiLSTM.
Références

CHEN Y., YANG H., LIU K., ZHAO J. & JIA Y. (2018). Collective event detection via a hierarchical and bias tagging networks with gated multi-level attention mechanisms. In *Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing*, p. 1267–1276, Brussels, Belgium: Association for Computational Linguistics. DOI: 10.18653/v1/D18-1158.

DODDINGTON G., MITCHELL A., PRZYBOCKI M., RAMSHAW L., STRASSEL S. & WEISCHEDEL R. (2004). The Automatic Content Extraction (ACE) Program – Tasks, Data, and Evaluation. In *4th Conference on Language Resources and Evaluation (LREC 2004)*, p. 837–840, Lisbon, Portugal: European Language Resources Association (ELRA).

DUAN S., HE R. & ZHAO W. (2017). Exploiting Document Level Information to Improve Event Detection via Recurrent Neural Networks. In *Proceedings of the Eighth International Joint Conference on Natural Language Processing*, volume 1, p. 352–361.

GETMAN J., ELLIS J., STRASSEL S., SONG Z. & TRACEY J. (2018). Laying the Groundwork for Knowledge Base Population: Nine Years of Linguistic Resources for TAC KBP. In *Proceedings of the Eleventh International Conference on Language Resources and Evaluation (LREC 2018)*, Miyazaki, Japan: European Languages Resources Association (ELRA).

GRISHMAN R. (2019). Twenty-five years of information extraction. *Natural Language Engineering*, 25(6), 677–692. DOI: 10.1017/S1351324919000512.

HOCHREITER S. & SCHMIDHUBER J. (1997). Long Short-Term Memory. *Neural Computation*, 9(9), 1735–1780. DOI: 10.1162/neco.1997.9.8.1735.

HONG Y., LU D., YU D., PAN X., WANG X., CHEN Y., HUANG L. & JI H. (2015). RPI_BLENDER TAC-KBP2015 System Description. In *Proceedings of the 2015 Text Analysis Conference*.

HONG Y., ZHANG J., MA B., YAO J., ZHOU G. & ZHU Q. (2011). Using Cross-Entity Inference to Improve Event Extraction. In *Proceedings of the 49th Annual Meeting of the Association for Computational Linguistics: Human Language Technologies*, volume 1, p. 1127–1136: ACL.

KIMMIG A., BACH S., BROECHELER M., HUANG B. & GETOOR L. (2012). A short introduction to probabilistic soft logic. In *NIPS Workshop on Probabilistic Programming: Foundations and Applications*, p. 1–4.

KIPF T. N. & WELLING M. (2017). Semi-Supervised Classification with Graph Convolutional Networks. In *Proceedings of the 5th International Conference on Learning Representations, ICLR 2017, Toulon, France, April 24-26, 2017, Conference Track Proceedings*.

KODELJA D., BESANÇON R. & FERRET O. (2019a). Exploiting a More Global Context for Event Detection Through Bootstrapping. In *Proceedings of the 41st European Conference on Information Retrieval*, p. 763–770.

KODELJA D., BESANÇON R. & FERRET O. (2019b). Modèles neuronaux pour l'extraction supervisée d'événements : état de l'art. *Traitement Automatique des Langues (TAL)*, numéro varia, **60**(1), 13–37.

LAFFERTY J. D., MCCALLUM A. & PEREIRA F. C. N. (2001). Conditional Random Fields: Probabilistic Models for Segmenting and Labeling Sequence Data. In *Eighteenth International Conference on Machine Learning (ICML’01)*, p. 282–289, Williamstown, MA, USA.
LE Q. & MIKOLOV T. (2014). Distributed Representations of Sentences and Documents. In *Proceedings of the 31st International Conference on International Conference on Machine Learning - Volume 32*, volume 2 de ICML'14, p. 1188-1196, Beijing, China: JMLR.org.

LIAO S. & GRISHMAN R. (2010). Using Document Level Cross-Event Inference to Improve Event Extraction. In *Proceedings of the 48th Annual Meeting of the Association for Computational Linguistics*, p. 789-797, Uppsala, Sweden: ACL.

LINGUISTIC DATA CONSORTIUM (2015). *DEFT Rich ERE Annotation Guidelines: Events v.2.6*. Rapport technique.

LIU S., LIU K., HE S. & ZHAO J. (2016). A Probabilistic Soft Logic Based Approach to Exploiting Latent and Global Information in Event Classification. In *Proceedings of the Thirtieth AAAI Conference on Artificial Intelligence*, Phoenix, AZ, USA: AAAI Press.

MANNING C. D., SURDEANU M., BAUER J., FINKEL J., BETHARD S. J. & MCCLOSKY D. (2014). The Stanford CoreNLP Natural Language Processing Toolkit. In *Proceedings of the 52nd Annual Meeting of the Association for Computational Linguistics (ACL 2014)*, System Demonstrations, p. 55-60.

MARGHEGGIANI D. & TITOV I. (2017). Encoding Sentences with Graph Convolutional Networks for Semantic Role Labeling. In *Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing*, p. 1506-1515.

NGUYEN T. H. & GRISHMAN R. (2018). Graph Convolutional Networks with Argument-Aware Pooling for Event Detection. In *Proceedings of the Thirty-Second AAAI Conference on Artificial Intelligence*, New Orleans, LA, USA: AAAI Press.

NGUYEN T. H., GRISHMAN R. & MEYERS A. (2016). New York University 2016 System for KBP Event Nugget: A Deep Learning Approach. In *Proceedings of the 2016 Text Analysis Conference*, Gaithersburg, MD, USA: NIST.

ORR J. W., TADEPALLI P. & FERN X. (2018). Event Detection with Neural Networks: A Rigorous Empirical Evaluation. In *Proceedings of the 2018 Conference on Empirical Methods on Natural Language Processing*, Brussels, Belgium: ACL.

PENNINGTON J., SOCHER R. & MANNING C. (2014). Glove: Global Vectors for Word Representation. In *Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing*, p. 1532-1543, Doha, Qatar: ACL.

REICHART R. & BARZILAY R. (2012). Multi-event extraction guided by global constraints. In *2012 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (NAACL HLT 2012)*, p. 70-79, Montréal, Canada.

RUSH A. M., SONTAG D., COLLINS M. & JAAKKOLA T. (2010). On dual decomposition and linear programming relaxations for natural language processing. In *2010 Conference on Empirical Methods in Natural Language Processing (EMNLP 2010)*, p. 1-11, Cambridge, MA.

XIANG W. & WANG B. (2019). A survey of event extraction from text. *IEEE Access, 7*, 173111-173137.

YANG B. & MITCHELL T. M. (2016). Joint Extraction of Events and Entities within a Document Context. In *Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies*, p. 289-299, San Diego, California: ACL.

ZHAO Y., JIN X., WANG Y. & CHENG X. (2018). Document Embedding Enhanced Event Detection with Hierarchical and Supervised Attention. In *Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Short Papers)*, p. 414-419, Melbourne, Australia: ACL.
# Les modèles de langue contextuels CAMEMBERT pour le français : impact de la taille et de l'hétérogénéité des données d'entrainement

Louis Martin*<fnref n="1" />,<fnref n="2" />,<fnref n="3" />

Benjamin Muller*<fnref n="2" />,<fnref n="3" />

Pedro Javier Ortiz Suárez*<fnref n="2" />,<fnref n="3" />

Yoann Dupont<fnref n="3" />

Laurent Romary<fnref n="2" />

Éric Villemonte de la Clergerie<fnref n="2" />

Benoît Sagot<fnref n="2" />

Djamé Seddah<fnref n="2" />

louismartin@fb.com, yoa.dupont@gmail.com, prenom.nom@inria.fr.

## RÉSUMÉ

Les modèles de langue neuronaux contextuels sont désormais omniprésents en traitement automatique des langues. Jusqu'à récemment, la plupart des modèles disponibles ont été entraînés soit sur des données en anglais, soit sur la concatenation de données dans plusieurs langues. L'utilisation pratique de ces modèles — dans toutes les langues sauf l'anglais — était donc limitée. La sortie récente de plusieurs modèles monolingues fondés sur BERT (Devlin et al., 2019), notamment pour le français, a démontré l'intérêt de ces modèles en améliorant l'état de l'art pour toutes les tâches évaluées. Dans cet article, à partir d'expériences menées sur CamemBERT (Martin et al., 2019), nous montrons que l'utilisation de données à haute variabilité est préférable à des données plus uniformes. De façon plus surprenante, nous montrons que l'utilisation d'un ensemble relativement petit de données issues du web (4Go) donne des résultats aussi bons que ceux obtenus à partir d'ensembles de données plus grands de deux ordres de grandeurs (138Go).

## ABSTRACT

### CAMEMBERT Contextual Language Models for French: Impact of Training Data Size and Heterogeneity

Contextual word embeddings have become ubiquitous in Natural Language Processing. Until recently, most available models were trained on English data or on the concatenation of corpora in multiple languages. This made the practical use of models in all languages except English very limited. The recent release of monolingual versions of BERT (Devlin et al., 2019) for French established a new state-of-the-art for all evaluated tasks. In this paper, based on experiments on CamemBERT (Martin et al., 2019), we show that pretraining such models on highly variable datasets leads to better downstream performance compared to models trained on more uniform data. Moreover, we show that a relatively small amount of web crawled data (4GB) leads to downstream performances as good as a model pretrained on a corpus two orders of magnitude larger (138GB).

**MOTS-CLÉS** : Modèles de langue contextuels, BERT, CamemBERT, impact jeu de données.

**KEYWORDS** : Contextual language models, BERT, CamemBERT, dataset impact.

<figure><img src="image_19.png" /></figure>

<footnote n="1">¹Facebook AI Research, Paris, France</footnote>

<footnote n="2">²Inria, Paris, France</footnote>

<footnote n="3">³Sorbonne Université, Paris, France</footnote>

<footnote>* Les trois premiers auteurs ont contribué à parts égales à ce travail</footnote>
# 1 Introduction

En préface à son *Introduction to Deep Learning*, Charniak (2019) évoque son scepticisme initial face à la révolution apportée par l’apprentissage profond de réseaux neuronaux au traitement automatique des langues :

> « (...) I can rationalize this since this is the third time neural networks have threatened a revolution but only the first time they have delivered. (Charniak, 2019, page XI) »

En effet, la surprise apportée par l’avènement des plongements lexicaux et le gain de performance qu’ils ont permis en peu de temps (Mikolov et al., 2013; Pennington et al., 2014; Mikolov et al., 2018) n’a eu pour équivalent que le saut qualitatif apporté par la prise en compte du contexte dans les représentations vectorielles, permettant de facto une prise en charge effective de la polysémie et donc l’obtention de modèles plus efficaces et plus fins (Peters et al., 2018; Akbik et al., 2018). Ces avancées ont ouvert la voie à des modèles contextuels plus larges, entraînés sur des objectifs de modèles de langue (Dai & Le, 2015). Ces approches, qui reposaient au départ sur des architectures LSTM (Howard & Ruder, 2018), ont évolué vers des architecturs de type Transformer, avec notamment GPT2 (Radford et al., 2019), BERT (Devlin et al., 2019), ROBERTA (Liu et al., 2019) et plus récemment ALBERT (Lan et al., 2019) et T5 (Raffel et al., 2019).

Bien que plusieurs modèles développés pour d'autres langues aient été publiés (modèles ELMo<fnref n="1" /> pour le japonais, le portugais, l'allemand et le basque ; modèles BERT pour le chinois simplifié et classique (Devlin et al., 2018) ou pour l'allemand (Chan et al., 2019)), le différentiel quant à la taille de leurs données de pré-entraînement n'a pas permis l'émergence de travaux les comparant au modèle original. Cependant, des modèles multilingues reposant sur la concatenation de larges jeux de données (principalement basés sur Wikipedia) sont apparus (Devlin et al., 2018; Conneau et al., 2019) et ont permis des avancées notables via l’apprentissage par transfert (Pires et al., 2019). Ce n’est toutefois que très récemment que des modèle monolingues à grande échelle ont été développés (Martin et al., 2019; Le et al., 2019; Virtanen et al., 2019; Delobelle et al., 2020) et ont permis de confirmer l’intérêt des modèles monolingues sur d’autres langues.

En ce qui concerne le français, Le et al. (2019) ont montré sur diverses tâches que leur modèle, FlaubERT, offrait un panel de performances équivalentes à celles de CamemBERT (Martin et al., 2019), soulignant qui plus est la complémentarité des deux modèles sur des tâches d’analyse syntaxique. Sachant que ces modèles ont été entraînes sur des données in fine différentes bien que d’origine similaire (avec un filtrage plus intense et l’utilisation d’un équivalent francophone du Bookcorpus dans un cas, un filtrage principalement sur le bruit et l’identification de la langue cible dans l’autre), il est pertinent de s’interroger sur l’impact qu’ont les données de pré-entraînement, tant en termes de taille que de type de données, sur les performances des modèles de langue neuronaux contextuels. D’autres paramètres sont d’importance, en particulier la stratégie de masking utilisée (subword ou whole-word?) et le nombre de couches et de têtes d’attention (modèle Base ou Large?).

Nous présentons ici une série d’expériences construites autour de CamemBERT visant à répondre à ces questions. Nos résultats montrent que, contrairement à l’idée qui prévalait, il est possible d’obtenir des résultats étonnement bons, au niveau de l’état de l’art pour toutes les tâches ou presque, avec des modèles entraînés sur seulement 4Go de données. Le point essentiel est qu’il semble préférable d’utiliser des données à haute variabilité, éventuellement bruitées, plutôt que des données proprement éditées et stylistiquement homogènes telles qu’on peut en trouver dans des jeux de données tirés de Wikipedia. Ce résultat permet d’envisager l’entraînement de ce type de modèles pour

<footnote n="1">1. https://allennlp.org/elmo</footnote>
des langues relativement peu dotées voire pour des domaines spécialisés, dans les cas où une stratégie
de *fine-tuning* ne serait pas efficace.

2 Protocole expérimental

Nous reprenons le même environnement expérimental (paramètres, outils, métriques, etc.) que celui
utilisé par Martin et al. (2019).

## 2.1 Modèles et architectures

**BERT, RoBERTa et CamembERT**

CAMEMBERT est basée sur ROBERTA (Liu et al., 2019), une évolution de BERT (Devlin et al., 2019) sur plusieurs plans, notamment par l'utilisation du *masked language model* comme seul objectif de pré-entrainement. Outre le modèle CAMEMBERT$_{BASE}$ original entraîné avec 12 couches, 768 dimensions cachées et 12 têtes d'attention, soit 110M de paramètres, nous utilisons un CAMEMBERT$_{LARGE}$ entraîné avec 24 couches, 1024 dimensions cachées et 16 têtes d'attention, soit 340M paramètres.

Selon les expériences, nous évaluons nos modèles en fonction de plusieurs hyper-paramètres : (i) la stratégie de masking (*subword* ou *whole word*), (ii) l'architecture du modèle (*BASE* ou *LARGE*), (iii) le nombre d'étapes d'entraînement (steps) et (iv) l'utilisation du modèle via *fine-tuning* ou via l'extraction de plongements lexicaux.

**Données d'entraînement**
Pour étudier l'impact des données d'entraînement sur les performances de CAMEMBERT, nous utilisons alternativement le sous-corpus français du corpus multilingue OSCAR extrait de Common Crawl (Ortiz Suárez et al., 2019), un autre corpus extrait de Common Crawl nommé CCNET (Wenzek et al., 2019) et un snapshot récent de la Wikipedia française.

- OSCAR (Ortiz Suárez et al., 2019) est un ensemble de corpus monolingues extraits de Common Crawl (*dump* de novembre 2018). Les corpus ont été sélectionnés par un modèle de classification par langues en suivant l'approche de (Grave et al., 2018) s'appuyant sur le classifieur linéaire FASTTEXT (Grave et al., 2017; Joulin et al., 2016) pré-entraîné sur les corpus Wikipedia, Tatoeba et SETimes, et couvrant 176 langues.

- **CCNet** (Wenzek et al., 2019), un jeu de données extrait lui aussi de Common Crawl mais avec un filtrage différent de celui d'OSCAR. Il a été construit avec un modèle de langue entraîné sur Wikipedia, lui permettant ainsi de filtrer le bruit (code, tables, etc.). CCNET contient ainsi des documents plus longs en moyenne qu'OSCAR. Ce filtrage a pour effet de biaiser les données en leur donnant un aspect « Wikipedia » et nous permet de considérer CCNET comme se positionnant entre OSCAR, peu filtré voire bruité, et WIKIPEDIA, totalement édité.

- **Wikipedia**, un corpus homogène en termes de genre et de style. Nous utilisons le *dump* français officiel de Wikipedia (avril 2019). Le corpus est prétraité à l'aide de *WikiExtractor*<fnref n="2" />.

Afin de pouvoir comparer équitablement l'impact du type de données de pré-entraînement, nous
créons des échantillons aléatoires à partir de OSCAR et CCNET, et ce au niveau du document,
de la même taille que celle de notre WIKIPEDIA, soit 4Go de texte brut non compressé. Ceci nous
permet d'étudier également les effets de la taille des données d'entraînement sur les performances
des modèles.

<footnote n="2">2. https://github.com/attardi/wikiextractor</footnote>
**Jeux de données et tâches d'évaluation** Nous évaluons nos différents modèles en étiquetage morphosyntaxique, en analyse sytaxique, en reconnaissance d'entités nommées (NER) et en reconnaissance d'implication textuelle (Natural Language Inference, NLI), qui consiste à prédire la relation entre une phrase hypothèse et phrase prémisse (implication, contradiction, neutralité). Pour les évaluations en étiquetage morphosyntaxique (POS tagging) et analyse en dépendances (parsing), nous utilisons dans leurs versions Universal Dependencies 2.2 (Nivre et al., 2018) les corpus Sequoia (Candito & Seddah, 2012), UD French GSD, UD French Spoken et UD French ParTut. L'évaluation de la NER se fait sur l'instance du French treebank (Abeillé et al., 2003) annotée en entités nommées par Sagot et al. (2012). Pour la tâche de NLI, nous utilisons la partie française du jeu de données XNLI (Conneau et al., 2018) qui étend le corpus Multi-Genre NLI) (Williams et al., 2018)<fnref n="3" />.

Toutes nos expériences suivent les splits usuels et utilisent les métriques classiques associées à ces tâches (UPOS, LAS, F1 et exactitude). La Table 1 présente des statistiques sur ces jeux de données.

<table><caption>TABLE 1 – Statistiques sur les jeux de données de pré-entrainement.</caption><thead><tr><th rowspan="2">Corpus</th><th rowspan="2">Taille<br>(texte brut<br>non compr.)</th><th rowspan="2">#tokens</th><th rowspan="2">#docs</th><th colspan="3">tokens/doc<br>quantiles :</th></tr><tr><th>5%</th><th>50%</th><th>95%</th></tr></thead><tbody><tr><td>Wikipedia</td><td>4Go</td><td>990M</td><td>1.4M</td><td>102</td><td>363</td><td>2530</td></tr><tr><td>CCNet</td><td>135Go</td><td>31.9B</td><td>33.1M</td><td>128</td><td>414</td><td>2869</td></tr><tr><td>OSCAR</td><td>138Go</td><td>32.7B</td><td>59.4M</td><td>28</td><td>201</td><td>1946</td></tr></tbody></table>

<table><caption>TABLE 2 – Statistiques des corpus arborés utilisés en étiquetage morphosyntaxique, analyse en dépendance et NER.</caption><thead><tr><th>Corpus</th><th>#tokens</th><th>#phrases</th><th>Genres</th></tr></thead><tbody><tr><td>GSD</td><td>389,363</td><td>16,342</td><td>Blogs, News<br>Reviews, Wiki</td></tr><tr><td>Sequoia</td><td>68,615</td><td>3,099</td><td>Medical, News<br>Non-fiction, Wiki</td></tr><tr><td>Spoken</td><td>34,972</td><td>2,786</td><td>Spoken</td></tr><tr><td>ParTUT</td><td>27,658</td><td>1,020</td><td>Legal, News, Wikis</td></tr><tr><td>FTB</td><td>350,930</td><td>27,658</td><td>News</td></tr></tbody></table>

## 2.2 Utilisation de CAMEMBERT pour des tâches en aval

Nous utilisons CAMEMBERT de deux façons. Dans la première, *fine-tuning*, nous affinons le modèle sur une tâche spécifique de bout en bout. Dans la seconde, nous extrayons de CAMEMBERT des plongements lexicaux contextuels figés. Les performances de ces deux approches complémentaires illustrent la qualité des représentations cachées que capture CAMEMBERT.

**Fine-tuning** Pour chaque tâche, nous ajoutons la couche prédictive pertinente au-dessus du modèle de CAMEMBERT. Suite au travail effectué sur BERT (Devlin et al., 2019) en étiquetage de séquence, nous ajoutons une couche linéaire qui prend respectivement en entrée la dernière représentation cachée du token spécial 
>
 et la dernière représentation cachée du premier token de sous-mot de chaque mot. Pour l'analyse de dépendance, nous branchons une tête de prédiction de graphes *bi-affine* inspirée de Dozat & Manning (2017). Nous renvoyons le lecteur à cet article pour plus de détails sur ce module. Nous affinons CAMEMBERT sur XNLI en ajoutant une tête de classification composée d'une couche cachée avec une non-linéarité et une couche de projection linéaire, avec un dropout d'entrée pour chaque couche.

Nous affinons CAMEMBERT indépendamment pour chaque tâche et chaque ensemble de données. Nous optimisons le modèle en utilisant l'optimiseur Adam (Kingma & Ba, 2014) avec un taux d'apprentissage fixe. Nous effectuons une *grid-search* sur une combinaison de taux d'apprentissage

<footnote n="3">3. Seules les parties de validation et de test ont été manuellement traduites de l'anglais, la partie d'entraînement l'a été automatiquement (122k exemples d'entraînement, 2490 de développement et 5010 de test).</footnote>
et de tailles de lots. Nous sélectionnons le meilleur modèle sur l'ensemble de validation parmi les 30 premières *epoch*. Pour la tache de NLI, nous utilisons les hyper-paramètres par défaut fournis par les auteurs de RoBERTa sur la tâche MNLI.<fnref n="4" /> Bien que cela aurait pu encore accroître les performances, nous n'appliquons aucune technique de régularisation telle que le *weight decay*, *learning rate warm-up* ou un affinage discriminant, sauf dans le cas de NLI. En effet, les expériences de Martin *et al.* (2019) ont montré que ce n'était pas nécessaire étant donné qu'un affinage simple de CAMEMBERT a contribué à établir l'état de l'art sur toute les taches et surpasse les modèles BERT multilingues.<fnref n="5" /> Les expériences d'étiquetage morpho-syntaxique, d'analyse syntaxique en dépendance et de reconnaissance d'entités nommées sont exécutées à l'aide de la bibliothèque Transformer d'HuggingFace étendue pour prendre en charge CAMEMBERT et l'analyse de dépendance (Wolf *et al.*, 2019). Les expériences NLI utilisent la bibliothèque FairSeq reposant sur l'implémentation de ROBERTA.

**Plongements lexicaux** Suivant en celà Straková *et al.* (2019) et Straka *et al.* (2019) pour MBERT et le BERT originel, nous utilisons aussi CAMEMBERT dans scénario d'extraction de plongements lexicaux. Afin d'obtenir une représentation pour un token donné, nous calculons d'abord la moyenne des représentations de chaque sous-mot dans les quatre dernières couches du Transformer, puis faisons la moyenne des vecteurs des sous-mot résultants.

Nous évaluons CAMEMBERT dans cette utilisation sous forme de plongements lexicaux dans des taches d'étiquetage morpho-syntaxique, d'analyse de dépendance et en NER, avec les implémentation open-source de Straková *et al.* (2019) et Straka *et al.* (2019) entraînés sur les jeux de données décrit auparavant.<fnref n="6" />

# 3 Facteurs influençant les performances des modèles

Dans cette section, nous étudions l'influence de plusieurs facteurs sur les performances des tâches aval. Dans ce but, nous produisons plusieurs versions de CAMEMBERT en faisant varier les données de pré-entraînement. Sauf indication contraire, nous utilisons l'architecture BASE et fixons le nombre d'étapes de pré-entraînement à 100k et permettons alors au nombre d'epochs de varier en conséquence (plus d'epochs pour des tailles de jeu de données plus petites).

## 3.1 Common Crawl vs. Wikipedia

Les résultats présentés à la Table 3 montrent que les modèles entraînés sur les versions réduites (4Go) d'OSCAR et de CCNET (issus tous deux de Common Crawl) obtiennent des performances constamment supérieures à celles du modèle entraîné sur WIKIPEDIA, que l'on utilise les modèles en configuration *fine-tuning* ou comme sources de plongements lexicaux. Sans surprise, l'écart est plus grand sur les tâches impliquant des textes dont le genre et le style sont plus éloignés de Wikipédia, notamment pour l'étiquetage et l'analyse syntaxique du corpus French Spoken (transcriptions de

<footnote n="4">4. Voir https://github.com/pytorch/fairseq/blob/master/examples/roberta/README.glue.md pour plus détails.</footnote>

<footnote n="5">5. Résultat confirmé ensuite dans plusieurs travaux décrivant des modèles BERT monolingues, eg. (Le *et al.*, 2019).</footnote>

<footnote n="6">6. UDPipe Future est disponible sur https://github.com/CoNLL-UD-2018/UDPipe-Future, et le code pour le *nested NER* est disponible sur https://github.com/ufal/acl2019_nested_ner.</footnote>
<table><caption>TABLE 3 – Résultats sur quatre tâches aval de modèles de langues entraînés avec des jeux de données d'homogénéité et de taille variable. Nous rapportons les scores sur les ensemble de validation de chaque tâche (moyenne de 4 expériences de fine-tuning en POS tagging, en parsing et en NER, moyenne de 10 expériences de fine-tuning en NLI).</caption><thead><tr><th rowspan="2">DATASET</th><th rowspan="2">SIZE</th><th colspan="2">GSD</th><th colspan="2">SEQUOIA</th><th colspan="2">SPOKEN</th><th colspan="2">PARTUT</th><th colspan="2">AVERAGE</th><th rowspan="2">NER</th><th rowspan="2">NLI</th></tr><tr><th>UPOS</th><th>LAS</th><th>UPOS</th><th>LAS</th><th>UPOS</th><th>LAS</th><th>UPOS</th><th>LAS</th><th>UPOS</th><th>LAS</th><th>F1</th><th>ACC.</th></tr></thead><tbody><tr><td colspan="15" style="text-align: left; font-weight: bold;">Fine-tuning</td></tr><tr><td>Wiki</td><td>4GB</td><td>98.28</td><td>93.04</td><td>98.74</td><td>92.71</td><td>96.61</td><td>79.61</td><td>96.20</td><td>89.67</td><td>97.45</td><td>88.75</td><td>89.86</td><td>78.32</td></tr><tr><td>CCNET</td><td>4GB</td><td>98.34</td><td>93.43</td><td>98.95</td><td>93.67</td><td>96.92</td><td><strong>82.09</strong></td><td>96.50</td><td><strong>90.98</strong></td><td>97.67</td><td><strong>90.04</strong></td><td>90.46</td><td><strong>82.06</strong></td></tr><tr><td>OSCAR</td><td>4GB</td><td>98.35</td><td>93.55</td><td>98.97</td><td>93.70</td><td>96.94</td><td>81.97</td><td>96.58</td><td>90.28</td><td>97.71</td><td>89.87</td><td>90.65</td><td><strong>81.88</strong></td></tr><tr><td>OSCAR</td><td>138GB</td><td><strong>98.39</strong></td><td><strong>93.80</strong></td><td><strong>98.99</strong></td><td><strong>94.00</strong></td><td><strong>97.17</strong></td><td>81.18</td><td><strong>96.63</strong></td><td><strong>90.56</strong></td><td><strong>97.79</strong></td><td><strong>89.88</strong></td><td><strong>91.55</strong></td><td>81.55</td></tr><tr><td colspan="15" style="text-align: left; font-weight: bold;">Plongements lexicaux (avec UDPipe Future (tagging, parsing) ou LSTM+CRF (NER))</td></tr><tr><td>Wiki</td><td>4GB</td><td>98.09</td><td>92.31</td><td>98.74</td><td>93.55</td><td>96.24</td><td>78.91</td><td>95.78</td><td>89.79</td><td>97.21</td><td>88.64</td><td>91.23</td><td>-</td></tr><tr><td>CCNET</td><td>4GB</td><td><strong>98.22</strong></td><td><strong>92.93</strong></td><td>99.12</td><td>94.65</td><td>97.17</td><td><strong>82.61</strong></td><td><strong>96.74</strong></td><td>89.95</td><td>97.81</td><td>90.04</td><td><strong>92.30</strong></td><td>-</td></tr><tr><td>OSCAR</td><td>4GB</td><td>98.21</td><td>92.77</td><td>99.12</td><td><strong>94.92</strong></td><td>97.20</td><td>82.47</td><td><strong>96.74</strong></td><td><strong>90.05</strong></td><td><strong>97.82</strong></td><td><strong>90.05</strong></td><td>91.90</td><td>-</td></tr><tr><td>OSCAR</td><td>138GB</td><td>98.18</td><td><strong>92.77</strong></td><td><strong>99.14</strong></td><td>94.24</td><td><strong>97.26</strong></td><td>82.44</td><td>96.52</td><td>89.89</td><td>97.77</td><td>89.84</td><td>91.83</td><td>-</td></tr></tbody></table>

l'oral, sans ponctuation). L'écart de performance est également important en NLI, probablement en raison de la plus grande diversité thématique et en genre dans les corpus issus de Common Crawl, que l'on retrouve probablement dans les données XNLI, lui même divers thématiquement et en genre, et combinant données orales et écrites.

## 3.2 De combien de données avons-nous besoin ?

Un résultat inattendu de nos expériences est que le modèle CAMEMBERT standard, entraîné sur l'ensemble des 138Go de texte d'OSCAR, ne surpasse pas massivement le modèle entraîné « uniquement » sur l'échantillon de 4Go. Dans les configurations où le modèle de langue est utilisé comme plongements, le modèle entraîné sur 4Go conduit plus souvent à de meilleurs résultats que le CAMEMBERT standard entraîné sur 138Go, bien que les différences de scores soient rarement frappantes. Dans les configurations fine-tuning, le CAMEMBERT standard fonctionne généralement mieux que celui entraîné sur 4Go, mais là encore les différences sont toujours faibles.

En d'autres termes, lorsque les modèles sont entraînés sur des corpus tels que OSCAR et CCNET, hétérogènes en termes de genre et de style, 4Go de texte non compressé constitue un corpus de pré-entraînement suffisamment volumineux pour atteindre l'état de l'art avec l'architecture BASE, et notamment supérieurs dans tout les cas à ceux obtenus avec MBERT (pré-entraîné sur 60 Go de texte dans une centaine de langues). Cela remet en question la nécessité d'utiliser la totalité de très larges corpus tel qu'OSCAR ou CCNET lors du pré-entraînement de modèles tels que CAMEMBERT, sauf peut-être lorsque l'on utilise une architecture LARGE.

Cela signifie que des modèles de type CAMEMBERT peuvent être entraînés pour toutes les langues pour lesquelles un corpus varié d'au moins 4 Go peut être construit. OSCAR est disponible en 176 langues et fournit un tel corpus pour 38 langues. De plus, il est possible que des corpus légèrement plus petits (par exemple jusqu'à 1 Go) soient également suffisants pour entraîner des modèles de langue très performants.

Cependant, même avec une architecture BASE et 4 Go de données d'entraînement, la validation loss continue de diminuer au-delà de 100 000 steps (et 400 epochs). Cela suggère que nous sous-entraînons toujours sur le jeu de données de pré-entraînement de 4 Go, et qu'un entraînement plus long pourrait conduire à de meilleures performances. Quoiqu'il en soit, nos résultats ont été obtenus sur des modèles BASE, des recherches supplémentaires sont donc nécessaires pour confirmer la validité de nos résultats sur des architectures plus grandes et sur d'autres tâches plus complexes de
compréhension de la langue.

<table><caption>TABLE 4 – Comparaison des scores sur les ensemble de **Validation** des différents choix de conception. Les scores d'étiquetage morphosyntaxique et d'analyse syntaxique sont moyennés sur les 4 jeux de données.</caption><thead><tr><th>CORPUS</th><th>MASKING</th><th>ARCH.</th><th>#PARAM.</th><th>#STEPS</th><th>UPOS</th><th>LAS</th><th>NER</th><th>XNLI</th></tr></thead><tbody><tr><td colspan="9"><em>Stratégie de masking</em></td></tr><tr><td>CCNET</td><td>subword</td><td>BASE</td><td>110M</td><td>100K</td><td>97.78</td><td>89.80</td><td><strong>91.55</strong></td><td>81.04</td></tr><tr><td>CCNET</td><td>whole word</td><td>BASE</td><td>110M</td><td>100K</td><td><strong>97.79</strong></td><td><strong>89.88</strong></td><td>91.44</td><td><strong>81.55</strong></td></tr><tr><td colspan="9"><em>Taille du modèle</em></td></tr><tr><td>CCNet</td><td>whole word</td><td>BASE</td><td>110M</td><td>100K</td><td>97.67</td><td>89.46</td><td>90.13</td><td>82.22</td></tr><tr><td>CCNet</td><td>whole word</td><td>LARGE</td><td>335M</td><td>100k</td><td><strong>97.74</strong></td><td><strong>89.82</strong></td><td><strong>92.47</strong></td><td><strong>85.73</strong></td></tr><tr><td colspan="9"><em>Données d'entraînement</em></td></tr><tr><td>CCNET</td><td>whole word</td><td>BASE</td><td>110M</td><td>100K</td><td>97.67</td><td>89.46</td><td>90.13</td><td><strong>82.22</strong></td></tr><tr><td>OSCAR</td><td>whole word</td><td>BASE</td><td>110M</td><td>100K</td><td><strong>97.79</strong></td><td><strong>89.88</strong></td><td><strong>91.44</strong></td><td>81.55</td></tr><tr><td colspan="9"><em>Nombre de steps</em></td></tr><tr><td>CCNet</td><td>whole word</td><td>BASE</td><td>110M</td><td>100k</td><td><strong>98.04</strong></td><td>89.85</td><td>90.13</td><td>82.20</td></tr><tr><td>CCNet</td><td>whole word</td><td>BASE</td><td>110M</td><td>500k</td><td>97.95</td><td><strong>90.12</strong></td><td>91.30</td><td><strong>83.04</strong></td></tr></tbody></table>

## 3.3 Impact de la stratégie de masking

Dans le tableau 4, nous comparons les modèles entraînés avec une stratégie de *subword masking* à ceux en *whole word masking*. Le *whole word masking* a un impact positif sur les performances en NLI (mais seulement de 0,5 point de précision). À notre grande surprise et contrairement à l'anglais, cette stratégie de *masking* ne profite pas à des tâches de plus bas niveau (NER, étiquetage morphosyntaxique et analyse syntaxique).

## 3.4 Impact de la taille du modèle

Le tableau 4 compare les modèles entraînés avec les architectures *BASE* et *LARGE*. Pour des raisons pratiques, ces modèles ont été entraînés avec le corpus CCNET (135 Go). Les résultats confirment l'impact positif de modèles plus grands sur les tâches NLI et NER. L'architecture *LARGE* conduit à une réduction d'erreur respectivement de 19,7% et 23,7% sur ces tâches. Étonnamment, sur les tâches d'étiquetage morphosyntaxique et d'analyse en dépendances, le fait d'avoir trois fois plus de paramètres ne conduit pas à des résultats significativement meilleurs qu'avec le modèle *BASE*.

Tenney et al. (2019) et Jawahar et al. (2019) ont montré que les informations morphosyntaxiques et syntaxiques sont appises dans les couches inférieures de BERT tandis que les représentations sémantiques plus profondes se retrouvent dans les couches supérieures. Les couches inférieures de l'architecture *BASE* suffisent probablement à capturer ce qui est nécessaire aux tâches d'étiquetage morphosyntaxique et d'analyse syntaxique.
## 3.5 Impact du nombre de *steps*

La Figure ci-contre indique la perplexité du modèle de langue CAMEMBERT original ainsi que de ses performances sur nos tâches d'évaluation en fonction du nombre d'epochs, et ce à chaque epoch (8360 steps). Les résultats ci-contre suggèrent que plus la tâche est complexe, plus le nombre de steps a d'impact. Ainsi, alors qu'on peut observer un plateau pour les tâches bas-niveaux autour de 22000 steps, il semble que les performances continuent marginalement d'augmenter pour le NLI.

La comparaison entre deux modèles CCNET entraînés sur 100k et 500k steps respectivement (cf. Table 4) montre une légère augmentation des scores en NLI (+0,84) alors que ceux-ci stagnent en étiquetage et en analyse syntaxique. Ces résultats suggèrent que les représentations syntaxiques de bas niveau sont capturées bien plus tôt au cours de l'apprentissage que ne sont extraites les informations sémantiques complexes nécessaires au NLI.

<figure><img src="image_20.png" /></figure>

## 4 Conclusion

Nous avons étudié l'impact de la taille et du niveau d'hétérogénéité des données de pré-entraînement sur la performance des modèles de langue neuronaux contextuels CAMEMBERT du français, ainsi qu'entre autres, l'impact de la taille du modèle et du nombre de *steps* de pré-entraînement. Nos résultats montrent que la taille des données d'entraînement n'a finalement que peu d'impact sur les performances globales et ouvrent donc la voie à des modèles de langages neuronaux contextuels spécialisés, liés à des domaines précis ou à des langues très peu dotées. La question de leur éventuelle complémentarité avec des modèles *fine-tuné* sur des modèles de langage générique est reste évidemment à explorer.

Entrainés sur des corpus *open-source* et disponibles sous une licence MIT, tous les modèles discutés dans cet article sont accessibles librement sur https://camembert-model.fr.

## Remerciements

Nous tenons à remercier Clémentine Fourrier pour ses relectures et ses commentaires précieux, ainsi qu'Alix Chagué pour son fantastique logo. Ce travail a été en partie financé par trois projets de l'Agence Nationale de la Recherche accordés à Inria, les projets PARSITI (ANR-16-CE33-0021), SoSweet (ANR-15-CE38-0011) et BASNUM (ANR-18-CE38-0003), ainsi que par la chaire du dernier auteur dans l'Institut Prairie financée par l'ANR via le programme "Investissements d'avenir" (ANR-19-P3IA-0001).
Références

ABEILLÉ A., CLÉMENT L. & TOUSSENEL F. (2003). *Building a Treebank for French*, In *Treebanks*, p. 165–187. Kluwer : Dordrecht.

AKBIK A., BLYTHE D. & VOLLGRAF R. (2018). Contextual string embeddings for sequence labeling. In E. M. BENDER, L. DERCZYNSKI & P. ISABELLE, Éds., *Proceedings of the 27th International Conference on Computational Linguistics, COLING 2018, Santa Fe, New Mexico, USA, August 20-26, 2018*, p. 1638–1649 : Association for Computational Linguistics.

CANDITO M. & SEDDAH D. (2012). Le corpus sequoia : annotation syntaxique et exploitation pour l'adaptation d'analyseur par pont lexical (the sequoia corpus : Syntactic annotation and use for a parser lexical domain adaptation method) [in french]. In *Proceedings of the Joint Conference JEP-TALN-RECITAL 2012, volume 2 : TALN, Grenoble, France, June 4-8, 2012*, p. 321–334.

CHAN B., MÖLLER T., PIETSCH M., SONI T. & YEUNG C. M. (2019). German bert. https://deepset.ai/german-bert.

CHARNIAK E. (2019). *Introduction to deep learning*. The MIT Press.

CONNEAU A., KHANDELWAL K., GOYAL N., CHAUDHARY V., WENZEK G., GUZMÁN F., GRAVE E., OTT M., ZETTLEMOYER L. & STOYANOV V. (2019). Unsupervised cross-lingual representation learning at scale. arXiv preprint : 1911.02116.

CONNEAU A., RINOTT R., LAMPLE G., WILLIAMS A., BOWMAN S. R., SCHWENK H. & STOYANOV V. (2018). XNLI : evaluating cross-lingual sentence representations. In E. RILOFF, D. CHIANG, J. HOCKENMAIER & J. TSUJII, Éds., *Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, Brussels, Belgium, October 31 - November 4, 2018*, p. 2475–2485 : Association for Computational Linguistics.

DAI A. M. & LE Q. V. (2015). Semi-supervised sequence learning. In *Advances in Neural Information Processing Systems 28 : Annual Conference on Neural Information Processing Systems 2015, December 7-12, 2015, Montreal, Quebec, Canada*, p. 3079–3087.

DELOBELLE P., WINTERS T. & BERENDT B. (2020). RobBERT : a Dutch RoBERTa-based Language Model. arXiv preprint : 2001.06286.

DEVLIN J., CHANG M., LEE K. & TOUTANOVA K. (2018). Multilingual bert. https://github.com/google-research/bert/blob/master/multilingual.md.

DEVLIN J., CHANG M., LEE K. & TOUTANOVA K. (2019). BERT : pre-training of deep bidirectional transformers for language understanding. In J. BURSTEIN, C. DORAN & T. SOLORIO, Éds., *Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics : Human Language Technologies, NAACL-HLT 2019, Minneapolis, MN, USA, June 2-7, 2019, Volume 1 (Long and Short Papers)*, p. 4171–4186 : Association for Computational Linguistics.

DOZAT T. & MANNING C. D. (2017). Deep biaffine attention for neural dependency parsing. In *5th International Conference on Learning Representations, ICLR 2017, Toulon, France, April 24-26, 2017, Conference Track Proceedings* : OpenReview.net.

GRAVE E., BOJANOWSKI P., GUPTA P., JOULIN A. & MIKOLOV T. (2018). Learning word vectors for 157 languages. In N. CALZOLARI, K. CHOUKRI, C. CIERI, T. DECLERCK, S. GOGGI, K. HASIDA, H. ISAHARA, B. MAEGAARD, J. MARIANI, H. MAZO, A. MORENO, J. ODIJK, S. PIPERIDIS & T. TOKUNAGA, Éds., *Proceedings of the Eleventh International Conference on*
*Language Resources and Evaluation, LREC 2018, Miyazaki, Japan, May 7-12, 2018.* : European Language Resources Association (ELRA).

GRAVE E., MIKOLOV T., JOULIN A. & BOJANOWSKI P. (2017). Bag of tricks for efficient text classification. In M. LAPATA, P. BLUNSON & A. KOLLER, Éds., *Proceedings of the 15th Conference of the European Chapter of the Association for Computational Linguistics*, EACL 2017, Valencia, Spain, April 3-7, 2017, Volume 2 : *Short Papers*, p. 427–431 : Association for Computational Linguistics.

HOWARD J. & RUDER S. (2018). Universal language model fine-tuning for text classification. In I. GUREVYCH & Y. MIYAO, Éds., *Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics*, ACL 2018, Melbourne, Australia, July 15-20, 2018, Volume 1 : *Long Papers*, p. 328–339 : Association for Computational Linguistics. DOI : 10.18653/v1/P18-1031.

JAWAHAR G., SAGOT B., SEDDAH D., UNICOMB S., IÑIGUEZ G., KARSAI M., LÉO Y., KARSAI M., SARRAUTE C., FLEURY É. *et al.* (2019). What does bert learn about the structure of language ? In *57th Annual Meeting of the Association for Computational Linguistics (ACL)*, Florence, Italy.

JOULIN A., GRAVE E., BOJANOWSKI P., DOUZE M., JÉGOU H. & MIKOLOV T. (2016). Fast-text.zip : Compressing text classification models. arXiv preprint : 1612.03651.

KINGMA D. P. & BA J. (2014). Adam : A method for stochastic optimization. arXiv preprint : 1412.6980.

LAN Z., CHEN M., GOODMAN S., GIMPEL K., SHARMA P. & SORICUT R. (2019). ALBERT : A lite BERT for self-supervised learning of language representations. arXiv preprint : 1909.11942.

LE H., VIAL L., FREJ J., SEGONNE V., COAVOUX M., LECOUTEUX B., ALLAUZEN A., CRABBÉ B., BESACIER L. & SCHWAB D. (2019). Flaubert : Unsupervised language model pre-training for french. arXiv preprint : 1912.05372.

LIU Y., OTT M., GOYAL N., DU J., JOSHI M., CHEN D., LEVY O., LEWIS M., ZETTLEMOYER L. & STOYANOV V. (2019). Roberta : A robustly optimized BERT pretraining approach. arXiv preprint : 1907.11692.

MARTIN L., MULLER B., ORTIZ SUÁREZ P. J., DUPONT Y., ROMARY L., VILLEMONTE DE LA CLERGERIE É., SEDDAH D. & SAGOT B. (2019). CamemBERT : a Tasty French Language Model. arXiv preprint : 1911.03894.

MIKOLOV T., GRAVE E., BOJANOWSKI P., PUHRSCH C. & JOULIN A. (2018). Advances in pre-training distributed word representations. In *Proceedings of the Eleventh International Conference on Language Resources and Evaluation, LREC 2018, Miyazaki, Japan, May 7-12, 2018*.

MIKOLOV T., SUTSKEVER I., CHEN K., CORRADO G. S. & DEAN J. (2013). Distributed representations of words and phrases and their compositionality. In C. J. C. BURGES, L. BOTTOU, Z. GHAHRAMANI & K. Q. WEINBERGER, Éds., *Advances in Neural Information Processing Systems 26 : 27th Annual Conference on Neural Information Processing Systems 2013*. *Proceedings of a meeting held December 5-8, 2013, Lake Tahoe, Nevada, United States.*, p. 3111–3119.

NIVRE J., ABRAMS M., AGIĆ Ž., AHRENBERG L., ANTONSEN L., ARANZABE M. J., ARUTIE G., ASAHARA M., ATEYAH L., ATTIA M., ATUTXA A., AUGUSTINUS L., BADMAEVA E., BALLESTEROS M., BANERJEE E., BANK S., BARBU MITITELU V., BAUER J., BELLATO S., BENGOETXEA K., BHAT R. A., BIAGETTI E., BICK E., BLOKLAND R., BOBICEV V., BÖRSTELL C., BOSCO C., BOUMA G., BOWMAN S., BOYD A., BURCHARDT A., CANDITO M., CARON B., CARON G., CEBIROĞLU ERYİĞIT G., CELANO G. G. A., CETIN S., CHALUB F., CHOI J., CHO Y., CHUN J., CINKOVÁ S., COLLOMB A., ÇÖLTEKIN Ç., CONNOR M., COURTIN M., DAVIDSON
E., DE MARNEFFE M.-C., DE PAIVA V., DIAZ DE ILARRAZA A., DICKERSON C., DIRIX P., DOBROVOLJC K., DOZAT T., DROGANOVA K., DWIVEDI P., ELI M., ELKAHKY A., EPHREM B., ERJAVEC T., ETIENNE A., FARKAS R., FERNANDEZ ALCALDE H., FOSTER J., FREITAS C., GAJDOŠOVÁ K., GALBRAITH D., GARCIA M., GÄRDENFORS M., GERDES K., GINTER F., GOENAGA I., GOJENOLA K., GÖKIRMAK M., GOLDBERG Y., GÓMEZ GUINOVART X., GONZÁLES SAAVEDRA B., GRIONI M., GRŪZĪTIS N., GUILLAUME B., GUILLOT-BARBANCE C., HABASH N., HAJIČ J., HAJIČ JR. J., HÀ MỸ L., HAN N.-R., HARRIS K., HAUG D., HLADKÁ B., HLAVÁČOVÁ J., HOCIUNG F., HOHLE P., HWANG J., ION R., IRIMIA E., JELÍNEK T., JOHANNSEN A., JØRGENSEN F., KAŞIKARA H., KAHANE S., KANAYAMA H., KANERVA J., KAYADELEN T., KETTNEROVÁ V., KIRCHNER J., KOTSYBA N., KREK S., KWAK S., LAIPPALA V., LAMBERTINO L., LANDO T., LARASATI S. D., LAVRENTIEV A., LEE J., LÊ HỒNG P., LENCI A., LERTPRADIT S., LEUNG H., LI C. Y., LI J., LI K., LIM K., LJUBEŠIĆ N., LOGINOVA O., LYASHEVSKAYA O., LYNN T., MACKETANZ V., MAKAZHANOV A., MANDL M., MANNING C., MANURUNG R., MĂRĂNDUC C., MAREČEK D., MARHEINECKE K., MARTÍNEZ ALONSO H., MARTINS A., MAŠEK J., MATSUMOTO Y., McDONALD R., MENDONÇA G., MIEKKA N., MISSILÄ A., MITITELU C., MIYAO Y., MONTEMAGNI S., MORE A., MORENO ROMERO L., MORI S., MORTENSEN B., MOSKALEVSKYI B., MUISCHNEK K., MURAWAKI Y., MÜÜRISEP K., NAINWANI P., NAVARRO HORŇIACEK J. I., NEDOLUZHKO A., NEŠPORE-BĒRZKALNE G., NGUYỄN THỊ L., NGUYỄN THỊ MINH H., NIKOLAEV V., NITISAROJ R., NURMI H., OJALA S., OLÚÓKUN A., OMURA M., OSENOVA P., ÖSTLING R., ØVRELID L., PARTANEN N., PASCUAL E., PASSAROTTI M., PATEJUK A., PENG S., PEREZ C.-A., PERRIER G., PETROV S., PIITULAINEN J., PITLER E., PLANK B., POIBEAU T., POPEL M., PRETKALNINA L., PRÉVOST S., PROKO-PIDIS P., PRZEPIÓRKOWSKI A., PUOLAKAINEN T., PYYSALO S., RÄÄBIS A., RADEMAKER A., RAMASAMY L., RAMA T., RAMISCH C., RAVISHANKAR V., REAL L., REDDY S., REHM G., RIESSLER M., RINALDI L., RITUMA L., ROCHA L., ROMANENKO M., ROSA R., ROVATI D., ROŞCA V., RUDINA O., SADDE S., SALEH S., SAMARDŽIĆ T., SAMSON S., SANGUINETTI M., SAULĪTE B., SAWANAKUNANON Y., SCHNEIDER N., SCHUSTER S., SEDDAH D., SEEKER W., SERAJI M., SHEN M., SHIMADA A., SHOHIBUSSIRRI M., SICHINAVA D., SILVEIRA N., SIMI M., SIMIONESCU R., SIMKÓ K., ŠIMKOVÁ M., SIMOV K., SMITH A., SOARES-BASTOS I., STELLA A., STRAKA M., STRNADOVÁ J., SUHR A., SULUBACAK U., SZÁNTÓ Z., TAJI D., TAKAHASHI Y., TANAKA T., TELLIER I., TROSTERUD T., TRUKHINA A., TSARFATY R., TYERS F., UEMATSU S., UREŠOVÁ Z., URIA L., USZKOREIT H., VAJJALA S., VAN NIEKERK D., VAN NOORD G., VARGA V., VINCZE V., WALLIN L., WASHINGTON J. N., WILLIAMS S., WIRÉN M., WOLDEMARIAM T., WONG T.-S., YAN C., YAVRUMYAN M. M., YU Z., ŽABOKRTSKÝ Z., ZELDES A., ZEMAN D., ZHANG M. & ZHU H. (2018). Universal dependencies 2.2. LIN-DAT/CLARIN digital library at the Institute of Formal and Applied Linguistics (ÚFAL), Faculty of Mathematics and Physics, Charles University.

ORTIZ SUÁREZ P. J., SAGOT B. & ROMARY L. (2019). Asynchronous Pipeline for Processing Huge Corpora on Medium to Low Resource Infrastructures. In P. BAŃSKI, A. BARBARESI, H. BIBER, E. BREITENEDER, S. CLEMATIDE, M. KUPIETZ, H. LÜNGEN & C. ILIADI, Éds., *7th Workshop on the Challenges in the Management of Large Corpora (CMLC-7)*, Cardiff, United Kingdom : Leibniz-Institut für Deutsche Sprache. HAL : [hal-02148693](https://hal.informatik.uni-freiburg.de HAL:02148693).

PENNINGTON J., SOCHER R. & MANNING C. D. (2014). Glove : Global vectors for word representation. In A. MOSCHITTI, B. PANG & W. DAELEMANS, Éds., *Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing, EMNLP 2014, October 25-29, 2014, Doha, Qatar, A meeting of SIGDAT, a Special Interest Group of the ACL*, p. 1532–1543 : ACL.
PETERS M. E., NEUMANN M., IYYER M., GARDNER M., CLARK C., LEE K. & ZETTLEMOYER L. (2018). Deep contextualized word representations. In M. A. WALKER, H. JI & A. STENT, Éds., *Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics : Human Language Technologies, NAACL-HLT 2018, New Orleans, Louisiana, USA, June 1-6, 2018, Volume 1 (Long Papers)*, p. 2227–2237 : Association for Computational Linguistics.

PIRES T., SCHLINGER E. & GARRETTE D. (2019). How multilingual is multilingual bert? In *Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, Association for Computational Linguistics*. DOI: 10.18653/v1/P19-1493.

RADFORD A., WU J., CHILD R., LUAN D., AMODEI D. & SUTSKEVER I. (2019). Language models are unsupervised multitask learners. preprint, https://paperswithcode.com/paper/language-models-are-unsupervised-multitask.

RAFFEL C., SHAZEER N., ROBERTS A., LEE K., NARANG S., MATENA M., ZHOU Y., LI W. & LIU P. J. (2019). Exploring the limits of transfer learning with a unified text-to-text transformer. arXiv preprint : 1910.10683.

SAGOT B., RICHARD M. & STERN R. (2012). Annotation référentielle du corpus arboré de Paris 7 en entités nommées (referential named entity annotation of the paris 7 french treebank) [in french]. In G. ANTONIADIS, H. BLANCHON & G. SÉRASSET, Éds., *Proceedings of the Joint Conference JEP-TALN-RECITAL 2012, volume 2 : TALN, Grenoble, France, June 4-8, 2012*, p. 535–542 : ATALA/AFCP.

STRAKA M., STRAKOVÁ J. & HAJIC J. (2019). Evaluating contextualized embeddings on 54 languages in POS tagging, lemmatization and dependency parsing. arXiv preprint : 1908.07448.

STRAKOVÁ J., STRAKA M. & HAJIC J. (2019). Neural architectures for nested NER through linearization. In A. KORHONEN, D. R. TRAUM & L. MÀRQUEZ, Éds., *Proceedings of the 57th Conference of the Association for Computational Linguistics, ACL 2019, Florence, Italy, July 28-August 2, 2019, Volume 1 : Long Papers*, p. 5326–5331 : Association for Computational Linguistics.

TENNEY I., DAS D. & PAVLICK E. (2019). BERT rediscovers the classical NLP pipeline. In *Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics*, p. 4593–4601, Florence, Italy : Association for Computational Linguistics. DOI: 10.18653/v1/P19-1452.

VIRTANEN A., KANERVA J., ILO R., LUOMA J., LUOTOLAHTI J., SALAKOSKI T., GINTER F. & PYYSALO S. (2019). Multilingual is not enough : Bert for finnish. arXiv preprint : 1912.07076.

WENZEK G., LACHAUX M.-A., CONNEAU A., CHAUDHARY V., GUZMÁN F., JOULIN A. & GRAVE E. (2019). CCNet : Extracting High Quality Monolingual Datasets from Web Crawl Data. arXiv preprint : 1911.00359.

WILLIAMS A., NANGIA N. & BOWMAN S. R. (2018). A broad-coverage challenge corpus for sentence understanding through inference. In *Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics : Human Language Technologies, NAACL-HLT 2018, New Orleans, Louisiana, USA, June 1-6, 2018, Volume 1 (Long Papers)*, p. 1112–1122.

WOLF T., DEBUT L., SANH V., CHAUMOND J., DELANGUE C., MOI A., CISTAC P., RAULT T., LOUF R., FUNTOWICZ M. & BREW J. (2019). Huggingface's transformers : State-of-the-art natural language processing. arXiv preprint : 1910.03771.
# Génération automatique de définitions pour le français

Timothee Mickus<fnref n="1" /> Mathieu Constant<fnref n="1" /> Denis Paperno²

(1) ATILF, 44 Avenue de la Libération, 54000 Nancy, France

(2) Universiteit Utrecht, Domplein 29, 3512 JE Utrecht, Netherlands
tmickus@atilf.fr, mconstant@atilf.fr, d.paperno@uu.nl

## RÉSUMÉ

La génération de définitions est une tâche récente qui vise à produire des définitions lexicographiques à partir de plongements lexicaux. Nous remarquons deux lacunes : (i) l'état de l'art actuel ne s'est penché que sur l'anglais et le chinois, et (ii) l'utilisation escomptée en tant que méthode d'évaluation des plongements lexicaux doit encore être vérifiée. Pour y remédier, nous proposons un jeu de données pour la génération de définitions en français, ainsi qu'une évaluation des performances d'un modèle de génération de définitions simple selon les plongements lexicaux fournis en entrée.

## ABSTRACT

### Definition Modeling in French

Definition modeling is a recent task that aims at producing dictionary definitions based on word embeddings. We observe two gaps : (i) the current state of the art has yet to tackle languages other than English or Chinese and (ii) the purported usability as an evaluation method for word embeddings has yet to be verified. Hence we propose a dataset for French definition modeling and evaluate how using different input embeddings impacts the performances of a simple definition modeling system.

**MOTS-CLÉS** : Génération de définitions – plongements lexicaux – sémantique distributionnelle.

**KEYWORDS:** Definition modeling – word embeddings – distributional semantics.

## 1 Introduction

La génération de définitions (Noraset et al., 2017, ou 'definition modeling') vise à convertir un jeu de plongements lexicaux en un jeu de définitions équivalentes, telles qu'elles pourraient apparaître dans un dictionnaire. Fournir à un modèle de génération de définitions le vecteur du mot "répétitivité" devrait produire une sortie telle que "Qualité, caractère de ce qui est répétitif (événements, gestes, etc.).".<fnref n="1" /> Suivant les conventions lexicographiques, on appellera ici le mot à définir le definiendum (pluriel : definienda).

Un ensemble conséquent de travaux a établi que les plongements lexicaux correspondent à des représentations de sémantique distributionnelle (Lenci, 2018). Ces dernières sont par conséquent explicitement mises en équivalence, dans les modèles de génération de définitions, avec les descriptions traditionnelles du sens. Le linguiste peut donc voir dans la génération de définitions une expérience montrant que la représentation distributionnelle d'un mot est conforme aux intuitions

<figure><img src="image_21.png" /></figure>

<footnote n="1">1. Définition du wiktionnaire (fr.wiktionary.org)</footnote>
des locuteurs.<fnref n="2" /> Pour l'informaticien, cette tâche permet de vérifier qu'un plongement lexical a été correctement pré-entraîné : si un vecteur de mot est une représentation correcte d'un mot, on s'attend à ce qu'il contienne toute l'information nécessaire afin de reconstruire une description du sens plus traditionnelle, en particulier la définition du mot telle qu'elle apparaît dans un dictionnaire.

Cet usage escompté de la génération de définitions comme outil d'évaluation faisait partie intégrante de la proposition initiale de Noraset et al. (2017); or aucune vérification n'en a été réalisée. La littérature subséquente sur le sujet a considéré comme acquise cette utilisation : aucun des travaux portés à notre connaissance ne compare deux jeux de plongements lexicaux, ni n'étudie l'importance des plongements pour la production de définitions. Pour y remédier, nous proposons de comparer les performances d'une architecture selon les représentations vectorielles fournies en entrée.

L'emploi suggéré par Noraset et al. (2017) n'est pas le seul attrait que présente cette tâche. On peut évoquer plusieurs applications pratiques à la génération de définitions : par exemple produire des ébauches de dictionnaires pour des langues peu dotées ou bien servir d'aide à la lecture pour les apprenants d'une langue étrangère. Ces usages, cependant, requièrent d'étudier les capacités des modèles sur plusieurs langues. Toute la littérature concernant la génération de définitions s'est pourtant focalisée sur l'anglais, à l'exception notoire de Yang et al. (2019) qui étudient le chinois. Pour répondre en partie à cette seconde lacune, nous produisons un jeu de données pour le français.

Le présent article est structuré comme il suit : nous mentionnerons d'abord en section 2 l'état de l'art dans le domaine de la génération de définitions, avant de détailler le jeu de données que nous proposons pour le français (section 3), les modèles étudiés (section 4), les résultats préliminaires dont nous disposons (section 5) et enfin les erreurs typiquement commises par nos modèles (section 6). Nous terminerons par quelques perspectives en section 7.

## 2 État de l'art

L'utilisation de dictionnaires est une idée féconde et ancienne en traitement automatique des langues. Dans le cadre de cet exposé, on distinguera trois types de travaux. Une première catégorie contiendrait les travaux qui cherchent à modéliser ces ressources lexicales, que ce soit sous forme d'ontologie (Chodorow et al., 1985), de graphes (Gaume et al., 2014) ou autres. Une seconde s'intéresse davantage à comment exploiter les définitions qu'ils contiennent : par exemple, Gaume et al. (2004), qui indiquent qu'un dictionnaire permet de désambiguïser un mot ou encore Hill et al. (2016b), qui se penchent notamment sur la tâche de dictionnaire inversé, correspondant à trouver un mot à partir d'une définition ; on pensera aussi à Hill et al. (2016a) qui cherchent à produire un modèle de sémantique compositionnelle à partir de dictionnaires. Une troisième catégorie cherche à étoffer ces ressources, parmi lesquels on peut citer Sierra et al. (2015), qui proposent une méthodologie pour extraire automatiquement des définitions dans du texte 'brut'. De nombreuses entreprises de recherches s'inscrivent dans plusieurs de ces registres à la fois : par exemple, Bosc & Vincent (2018) proposent un système d'auto-encodage des définitions qui peut être vu à la fois comme une modélisation du dictionnaire, ainsi qu'une manière d'utiliser ceux-ci afin de produire des plongements lexicaux. Le programme de recherche qu'introduit la tâche de génération de définitions peut être considéré comme

<footnote n="2">2. Nous notons que l'établissement de dictionnaires (ou documents similaires) est attesté à travers les civilisations et les époques : à titre d'exemple, on peut citer le Er ya de la Chine antique, le glossaire de Cormac, texte irlandais du Xème siècle, ou encore le projet moderne Wiktionary (wiktionary.org). Contrairement à d'autres ressources "expertes" telles que WordNet (Fellbaum, 1998), ces différentes entreprises ne sont pas guidées par les intuitions des linguistes spécialistes du domaine.</footnote>
relevant de ces trois catégories de travaux : il propose de développer un modèle neuronal convertissant des *definienda* en définitions, ce qui servirait à la fois à évaluer des représentations vectorielles de mots et à compléter des dictionnaires existants.

La génération de définitions a été introduite par Noraset et al. (2017), qui la conçoivent avant tout comme une tâche d'évaluation extrinsèque de jeux de plongements lexicaux; en cela, elle est à rapprocher de la vaste littérature dédiée à l'analyse des jeux de plongements lexicaux (Levy & Goldberg, 2014a,b; Arora et al., 2018; Batchkarov et al., 2016; Swinger et al., 2018, entre autres), qui plus traditionnellement se concentre sur la structure de l'espace vectoriel et de l'application des vecteurs à la tâche d'analogie formelle (Mikolov et al., 2013b; Gladkova et al., 2016; Grave et al., 2018).

La formulation initiale de la tâche par Noraset et al. (2017) considère le *definiendum* isolé de son contexte : Gadetsky et al. (2018) remarquent que ceci est problématique pour les mots ambigus ou polysémiques, pour lesquels établir le sens requiert d'avoir accès au contexte; ils utilisent par conséquent des plongements contextualisés AdaGram (Bartunov et al., 2016). Mickus et al. (2019) soulignent qu'une architecture de type "encodeur-décodeur" permet de traiter de manière uniforme les embeddings contextualisés et non-contextualisés, ainsi que les unités polylexicales et les mots simples. Zhu et al. (2019) et Chang et al. (2018) proposent de décomposer les sens d'un mot en représentations vectorielles creuses (Arora et al., 2018). Chang et al. (2018) critiquent de plus que ces modèles sont relativement difficiles à interpréter, ce qui nuit à l'utilité de la tâche en tant qu'outil d'évaluation (d'où leur emploi de représentations creuses). Zhang et al. (2019) explorent différentes architectures qui permettent de générer non seulement la définition, mais aussi un exemple d'utilisation du *definiendum*.

Tous les travaux précédents étudient spécifiquement le cas de l'anglais. Yang et al. (2019) proposent un jeu de données pour le chinois, qui inclut des caractères sémantiquement liés au *definiendum* manuellement annotés. Tout comme le jeu proposé par Noraset et al. (2017), le jeu de Yang et al. (2019) ne contient pas d'exemples d'usage des *definienda*.

## 3 Jeu de données

Le jeu de données que nous proposons est tiré de GLAWI (Hathout & Sajous, 2016), une version du wiktionnaire français au format XML. GLAWI recense pour chaque mot-forme les parties du discours applicables, et pour chacune de celles-ci les sens possibles, accompagnés d'une définition (balise `<gloss>`) ainsi qu'éventuellement d'un exemple d'usage (balise `<example>`). Nous retirons les exemples d'usage où le *definiendum* n'est pas présent dans le contexte. <fnref n="3" /> Nous convertissons le jeu de données entier en caractères minuscules. L'emploi du wiktionnaire comme source de données implique que notre jeu contient aussi des expressions polylexicales. <fnref n="4" /> L'utilisation de *definienda* polylexicaux n'est pas standard en génération de définitions : comme le but premier de cette tâche est l'évaluation extrinsèque de plongements lexicaux, la capacité à prendre en compte une entrée séquentielle est souvent sacrifiée en faveur d'une architecture liant directement une représentation vectorielle à une production. <fnref n="5" />

<footnote n="3">3. Comme Mickus et al. (2019), nous conservons les exemples d'usages où une variante fléchie du *definiendum* est présente; pour ce faire nous utilisons la librairie python spacy (https://spacy.io/).</footnote>

<footnote n="4">4. Seuls les *definienda* polylexicaux réalisés de manière continue ont étés conservés.</footnote>

<footnote n="5">5. Laissant un instant de côté la formalisation initiale de la tâche en tant qu'outil d'évaluation, il est notoire que l'avènement de plongements contextualisés est allé de pair avec l'accroissement de la demande en ressources computationnelles pour l'entraînement. Un nombre important de ces modèles, pour y répondre, font usage de tokenisation en sous-mots afin de limiter</footnote>
<table><caption>TABLE 1: Distribution des définitions utilisables de GLAWI.</caption><thead><tr><td># d'exemples</td><td>Definienda distincts</td><td>Taille moy. des exemples</td><td>Taille moy. des définitions</td></tr></thead><tbody><tr><td>232037</td><td>100288</td><td>25,36</td><td>12,01</td></tr></tbody></table>

La table 1 présente quelques statistiques concernant notre jeu de données. L'exemple d'usage est généralement deux fois plus long que la définition à produire. De plus, 12% des exemples correspondent à un *definiendum* polylexical; la longueur moyenne des exemples d'utilisations et des définitions est relativement similaire dans les deux cas des *definienda* polylexicaux et monolexicaux. À titre de comparaison, les jeux de données proposés par Yang *et al.* (2019) contiennent un peu plus de 100000 exemples pour le chinois. Quant à l'anglais, le jeu de données de Gadetsky *et al.* (2018) contient un peu plus de 122000 exemples (dont 20% de cas où le *definiendum* ne peut pas être extrait de l'exemple d'utilisation associé), Zhu *et al.* (2019) proposent un jeu de données d'un peu plus de 120000 exemples et enfin Zhang *et al.* (2019) proposent près de 300000 exemples.

Nous séparons le jeu de données en trois sous-ensembles, un d'entraînement (80 %), un de validation (10 %) et un de test (10 %); nous utilisons la même partition dans toutes les expériences mentionnées plus bas. La partition est réalisée de manière à ce que les *definienda* soient uniques au sous-ensemble où ils apparaissent. Les sous-ensembles totalisent respectivement 185363, 23178 et 23496 exemples.

# 4 Modèle et jeux de plongements lexicaux

## 4.1 Architecture de génération de définitions

Nous reprenons le modèle de Mickus *et al.* (2019), qui permet de traiter uniformément les unités polylexicales et monolexicales. Ce modèle est entraîné à générer des définitions à partir des exemples d'usages associés aux définitions; nous y renvoyons le lecteur pour tout détail complémentaire. À un niveau formel, il correspond à une architecture Transformer (Vaswani *et al.*, 2017), dotée de vecteurs "marqueurs", ici $\vec{D}$ et $\vec{C}$ distinguant respectivement le *definiendum* de son contexte. Dans le cadre du présent travail, nous ajoutons systématiquement le *definiendum* au début de l'exemple d'usage, précédé d'un token spécial [DDUM], et suivi d'un autre token spécial [DENS].⁶

Une illustration de l'architecture encodeur-décodeur utilisée par ce modèle est présentée dans la Figure 1 : la séquence composée du token spécial [DDUM], suivi du *definiendum* suivi du token spécial [DENS], suivi de l'exemple d'usage est passée à l'encodeur (en rouge dans la figure), qui la convertit en une séquence de représentations intermédiaires $\vec{r}_1, \dots, \vec{r}_n$, désignées collectivement comme "banque d'attention" (en vert dans la figure). Le décodeur (en jaune dans la figure) est prompté

la taille du vocabulaire. Pour prendre un exemple récent, Camembert (Martin *et al.*, 2019) et Flaubert (Le *et al.*, 2019), qui pré-entraînent tous deux l'architecture BERT (Devlin *et al.*, 2019) pour le français, font respectivement usage des algorithmes SentencePiece (Kudo & Richardson, 2018) et BPE (Sennrich *et al.*, 2016). Or l'éclatement d'un mot en sous-mots conduit à remplacer une entrée composée d'une seule représentation vectorielle par une série ordonnée de vecteurs : c'est-à-dire conduit à considérer certaines unités monolexicales comme polylexicales.

6. L'architecture Transformer faisant un usage systématique de connections résiduelles entre chacune des couches de l'encodeur, interrompues seulement par des opérations de normalisation, on peut garantir que la représentation intermédiaire $\vec{r}_k$ correspondant au k-ième token de la séquence gardera trace de la composition linéaire du vecteur fourni en entrée. Par conséquent les représentations intermédiaires correspondant aux éléments de contexte résideront dans un sous-espace vectoriel distinct de celui correspondant aux représentations de *definienda*.
<figure><img src="image_22.png" /><figcaption>FIGURE 1: Vue d'ensemble de l'architecture du modèle de génération de définitions.</figcaption></figure>

avec un symbole spécial indiquant le début de séquence <SOS>; la génération se termine lorsqu'il produit un symbole de fin de séquence <EOS>. Lors de l'apprentissage, la définition tirée du jeu de données est fournie en entrée du décodeur; pendant la génération, l'entrée à l'étape *t* correspond au symbole généré à l'étape précédente *t* − 1. Le décodeur a toujours accès à la banque d'attention, qu'il utilise à travers des mécanismes d'attention multi-tête. Comme les modèles de génération de définitions sont censés servir à l'évaluation des plongements lexicaux, nous gelons les poids des représentations vectorielles.

Nous utilisons 12 couches dans l'encodeur et le décodeur, un *warmup* de 10000 étapes, un taux d'apprentissage de 1 et un *label smoothing* de 0,15; autrement les hyperparamètres correspondent à ceux initialement suggérés dans Mickus *et al.* (2019). Ces paramètres correspondent à la configuration optimale trouvée lors d'expériences préliminaires.

## 4.2 Plongements lexicaux

Nous comparons plusieurs architectures de plongements lexicaux : word2vec (Mikolov et al., 2013a, CBOW), GloVe (Pennington et al., 2014) et FastText (Bojanowski et al., 2017); toutes nos représentations sont de dimension 300. Pour ce qui est de word2vec et GloVe, nous utilisons la concaténation de FRCOW (Schäfer, 2015) et d'un dump de Wikipedia français parsé par Coavoux (2017)<fnref n="7" /> comme corpus d'entraînement. Ces deux corpus sont mis en minuscules, pour un total de 7,25 milliards de tokens. Pour word2vec, nous utilisons 20 contre-exemples et une fenêtre de 10 mots et parcourons

<footnote n="7">7. Disponible à l'adresse suivante : http://www.llf.cnrs.fr/wikiparse/</footnote>
<table><caption>TABLE 2: Analogie formelle : précision des différentes représentations vectorielles (pourcentages).</caption><thead><tr><th>aléatoires</th><th>word2vec</th><th>GloVe</th><th>FastText MC</th><th>FastText FB</th></tr></thead><tbody><tr><td>0,00</td><td>36,46</td><td>58,32</td><td>57,38</td><td>68,63</td></tr></tbody></table>

le corpus sur 10 itérations ; les vecteurs GloVe sont entraînés pendant 10 itérations avec les hyper-
paramètres proposés dans le script d'exemple fourni par Pennington et al. (2014). Pour FastText,
nous utilisons deux jeux de plongements : un jeu entraîné sur ce même corpus pendant 5 itérations
("FastText MC"), et celui fourni par Grave et al. (2018) ("FastText FB"). Ce jeu de plongements
FastText FB est décrit en davantage de détails par Grave et al. (2018) ; nous soulignerons seulement
ici que le corpus d'apprentissage utilisé contient un dump de Wikipedia (1,11 milliard de tokens) ainsi
qu'un sous ensemble de Common Crawl (68,36 milliards de tokens), c'est-à-dire un ensemble de
données d'apprentissage environ 10 fois plus grand. Comparer ces deux jeux devrait nous permettre
d'appréhender la sensibilité de la génération de définitions aux choix d'hyperparamètres et à l'accès
aux données. Enfin, nous évaluons aussi une matrice initialisée aléatoirement $M_{ij} \sim N(0, 1)$ avec la
même dimension que nos plongements lexicaux.

La précision atteinte par ces différentes représentations sur le jeu d'analogie formelle de Grave et al. (2018) est indiquée dans la table 2.<fnref n="8" /> Évaluer les performances des représentations vectorielles à l'aide d'une méthode répandue comme l'analogie formelle nous permet d'étudier si la génération de définitions peut servir en tant que méthode d'évaluation des plongements lexicaux. Ceci nous permet d'estimer *a priori* un degré raisonnable de variation des performances des différents jeux de plongements : si les résultats obtenus sur l'analogie formelle et ceux obtenus en génération de définitions divergent radicalement, il nous faudra soit remettre en cause la validité de la tâche générative en tant que méthode d'évaluation, soit avancer que les aspects mesurés par ces deux méthodes diffèrent radicalement. Un tel scénario est effectivement envisageable : rien ne garantit que la régularité linéaire de l'espace sémantique des plongements soit utile à la génération de définitions. Soulignons toutefois que les deux tâches devraient être toutes deux sensibles à la qualité des représentations vectorielles testées ; aussi est-il raisonnable d'escompter une certaine congruence de leurs résultats respectifs.

# 5 Résultats

Nous évaluons nos résultats à l'aide de deux métriques : perplexité et score BLEU (Papineni et al., 2002). Ces métriques sont couramment utilisées en génération automatique. La perplexité est censée dépeindre l'incertitude du modèle de pouvoir engendrer la cible. Elle se calcule comme l'exponentiation de l'entropie croisée : par conséquent on préférera les modèles qui minimisent la perplexité. Les scores BLEU calculent la similarité du vocabulaire employé dans la cible et dans la production du modèle : les modèles où le score BLEU est maximal sont *a priori* à privilégier.

Les performances des modèles que nous étudions sont rapportées dans la table 3. Pour chaque jeu de
représentations vectorielles, nous rapportons les scores de perplexité et les scores BLEU sur l'ensemble
de test. Deux remarques ressortent immédiatement de l'étude des scores de perplexité. Premièrement,

<footnote n="8">8. Nous supprimons les doublons du jeu de Grave et al. (2018), ainsi que les exemples contenant la paire “son” — “sa”, qui correspond à un contraste de genre grammatical et non de genre social. 646 exemples sont concernés. Nous mettons le jeu entier en minuscules.</footnote>
<table><caption>TABLE 3: Génération de définitions : résultats généraux (ensemble de test).</caption><thead><tr><th>Plongements</th><th>Perplexité</th><th>BLEU</th></tr></thead><tbody><tr><td>aléatoires</td><td>83,70</td><td>19,90</td></tr><tr><td>word2vec</td><td>52,13</td><td>30,60</td></tr><tr><td>GloVe</td><td>48,55</td><td>29,00</td></tr><tr><td>FastText MC</td><td>45,04</td><td>30,50</td></tr><tr><td>FastText FB</td><td>47,84</td><td>32,80</td></tr></tbody></table>

le modèle entraîné sur des représentations aléatoires produit des résultats bien moins bons que les modèles entraînés sur des plongements lexicaux. Ceci suggère que la génération de définitions répond aux critères minimum pour être utilisée afin d’évaluer les plongements lexicaux. Deuxièmement, les différences de performance entre jeux de plongements lexicaux sur la tâche d’analogie formelle (cf. table 2) ne sont pas celles observées pour la génération de définitions : si l’ordre des trois architectures varie peu, la différence entre les vecteurs GloVe et FastText est moindre que celle observée pour l’analogie formelle;<fnref n="9" /> de plus, le modèle FastText que nous avons entraîné s’avère comparable à celui distribué par Grave et al. (2018), alors qu’on observait une différence claire en analogie formelle. Les scores BLEU donnent un élément de contraste à ce que nous indique la perplexité. Ici, les représentations aléatoires sont toujours nettement inférieures; cependant les vecteurs GloVe sont cette fois-ci perçus comme moins bons que les vecteurs word2vec. Nous remarquons de plus un compromis entre le score BLEU et la perplexité des deux modèles FastText, ce qui n’aide pas à départager les deux métriques.

Notons toutefois deux points importants. D’une part, les hyperparamètres de nos modèles n’ont pas été spécifiquement réglés : une recherche plus extensive pourrait avoir un impact significatif sur ces résultats. D’autre part, une autre interprétation de ces résultats serait que les modèles disposent de suffisamment de ressources pour gommer les différences entre chaque jeu de plongements, ce qui gênerait l’utilisation de la génération de définitions en tant que tâche d’évaluation.

Afin de compléter le tableau que dressent les deux métriques automatiques, nous pouvons comparer également les scores BLEU obtenus en récupérant simplement la définition correspondant à l’entrée la plus proche dans l’ensemble d’entraînement. Ceci nous permet d’établir un point de comparaison utile, en indiquant le score qui serait obtenu par un modèle qui copierait simplement des exemples déjà rencontrés. Nous étudions deux variantes pour cette ligne de référence. La première consiste à récupérer l’entrée globalement la plus similaire, ce que l’on peut mesurer approximativement en calculant la similarité entre exemples d’utilisation fournis lors de l’inférence et exemples d’utilisation vus lors d’apprentissage; nous mesurons la similarité des exemples d’utilisation à l’aide du cosinus des vecteurs moyens des mots qu’ils contiennent. La seconde repose sur l’idée que des mots aux sens similaires auront des définitions semblables; nous comparons donc aussi les définitions dont les *definienda* sont les plus similaires. Nous calculons ces deux lignes de référence à partir de l’ensemble de validation.

Les résultats correspondant à ces deux lignes sont décrits en table 4; nous incluons aussi les scores BLEU obtenus sur l’ensemble de validation par les modèles de génération correspondants à fins

<footnote n="9">9. Rappelons cependant que l’algorithme FastText encode linéairement les régularités orthographiques, ce qui améliore ses résultats sur la tâche d’analogie formelle : le jeu d’analogies de Grave et al. (2018) inclut notamment des alternances flexionnelles, qui utilisent souvent des affixes orthographiquement réguliers.</footnote>
<table><caption>TABLE 4: Génération de définitions : lignes de référence (scores BLEU).</caption><thead><tr><th>Plongements</th><th>Validation</th><th>Meilleur ex. d'usage</th><th>Meilleur definiendum</th></tr></thead><tbody><tr><td>aléatoires</td><td>19,80</td><td>17,10</td><td>16,20</td></tr><tr><td>word2vec</td><td>31,60</td><td>17,50</td><td>17,80</td></tr><tr><td>GloVe</td><td>28,40</td><td>17,60</td><td>18,00</td></tr><tr><td>FastText MC</td><td>30,30</td><td>17,80</td><td>18,70</td></tr><tr><td>FastText FB</td><td>32,30</td><td>17,30</td><td>18,80</td></tr></tbody></table>

de comparaisons. Premièrement, nous voyons que la marge de différence entre les représentations aléatoires et les jeux de plongements lexicaux est bien moindre que ce qu'on observe pour les modèles entraînés. Ceci s'explique en partie du fait qu'aucune des définitions pour ces lignes de référence n'est apprise : toute représentation même aléatoire est associée à une production tirée de l'ensemble de validation, et par conséquent toutes sont stylistiquement parfaites en ce qu'elles réemploient les tournures exactes du jeu d'entraînement. Par conséquent on peut supposer que tout écart à la référence s'explique par une différence d'ordre sémantique, plutôt que stylistique. Admettons donc que l'écart des scores BLEU issus de ces lignes de référence et de nos modèles reflète l'importance de la similarité sémantique : alors, bien qu'on puisse supposer que cette similarité sémantique est encodée dans nos plongements (ce que l'on peut voir en comparant les gains importants des modèles appris sur des plongements aux gains pauvres du modèle appris sur des représentations aléatoires), elle ne l'est pas aussi directement que la dépendance linéaire mesurée en analogie formelle (ce qui s'observe par l'écart limité entre les vecteurs aléatoires et des plongements dans ces lignes de référence).

De plus, si l'on observe les scores BLEU obtenus en récupérant le *definiendum* le plus similaire dans l'ensemble d'entraînement, on voit que les jeux de plongements distributionnels où la similarité entre *definienda* induit une plus grande similarité entre définitions sont ceux qui produisent les meilleurs résultats sur la tâche de génération de définitions. Ceci tend à confirmer que la génération de définitions requiert que le vecteur passé en entrée encode la similarité sémantique ; par extension, ceci confirmerait de plus l'utilité de cette tâche pour l'évaluation des jeux de plongements lexicaux.

Notons cependant que d'autres explications peuvent répondre à ces faits. En particulier les plongements lexicaux non-contextualisés représentent généralement tous les sens associés à un mot-type par le même vecteur :<fnref n="10" /> par conséquent les phénomènes de poysémie et d'homonymie perturbent les mesures de similarité sémantique, et à son tour ceci implique que le *definiendum* le plus 'similaire' peut correspondre à un sens autre que celui visé par la définition auquel on l'associe. Enfin, la métrique BLEU employée ici peut n'être pas adaptée à l'évaluation que nous conduisons.

# 6 Analyse d'erreurs

Jusqu'ici, nous avons analysé les résultats produits par nos modèles à l'aide des scores BLEU et de la perplexité. Ces métriques peinent cependant à capturer la composante sémantique des productions d'un modèle; notre emploi ici se justifie essentiellement par l'utilisation de ces métriques dans la littérature existante. Nous remarquons que la difficulté inhérente à la génération de définitions ne réside non pas dans des questions de variation ou cohérence stylistique mais bien plutôt dans

<footnote n="10">10. En particulier, on s'attend à ce que le sens le plus fréquent domine dans la représentation vectorielle, cf. Arora et al. (2018); Bartunov et al. (2016).</footnote>
l'ancrage sémantique et la véracité du contenu des définitions : une définition stylistiquement parfaite et textuellement très proche de la référence peut être entièrement erronnée et inutilisable.

À titre d'illustration, envisageons une définition du mot "chimique" qui serait "Relatif à ou issu de la Martinique" plutôt que "Relatif à ou issu de la chimie", comme ce mot est définit dans le wikitionnaire : les métriques textuelles automatiques telles que BLEU ne pénalisent pas particulièrement ce type d'exemples — du moins, cet exemple erronné sera préféré presque systématiquement à une définition utilisant une autre formulation, mais cependant valide, telle que par exemple celle du TLFi :<fnref n="11" /> "Qui par nature appartient à la chimie, qui relève de la chimie.".

De fait, cette illustration est loin d'être invraisemblable. Ayant sélectionné aléatoirement un échantillon $E_{GLAWI}$ de 10000 définitions de GLAWI, nous avons calculé pour chaque définition $d_i$ la distance d'édition minimale au reste de l'échantillon, c'est-à-dire :

$$d_i = \min\{D_{edit}(d_i, d_j) \text{ tel que } d_j \in E_{GLAWI} \land d_j \neq d_i\}$$

où $D_{edit}$ correspond à la distance d'édition (ou de Levenshtein), définie sur les mots pluôt que les caractères, et $d_i$ et $d_j$ sont des définitions de l'échantillon $E_{GLAWI}$. Nous avons pu observer que 77,19% des définitions de notre échantillon ne différaient que par un mot ajouté, supprimé ou remplacé d'une autre définition de l'échantillon. De manière générale, les dictionnaires utilisent avec une grande fréquence un inventaire limité de tournures spécifiques, rendant la question de l'évaluation par métriques automatiques d'autant plus prégnante.

En bref, si le problème de la paraphrase est commun à toute tâche de génération automatique, il se présente de manière encore plus épineuse dans le cadre de la génération de définitions de par l'effet conjoint de la relative pauvreté des tournures stylistiques employées et de la proéminence de l'ancrage sémantique dans ce qui constitue une bonne ou une mauvaise définition. C'est aussi cette importance primordiale de l'ancrage sémantique, paradoxalement, qui fait l'attrait de la tâche générative pour l'évaluation des plongements lexicaux.

D'autres métriques similaires à BLEU pourraient être envisagées, notamment METEOR (Banerjee & Lavie, 2005; Elloumi et al., 2015, pour l'adaptation au français);<fnref n="12" /> nous notons toutefois que ces métriques ne ciblent pas spécifiquement les éléments lexicaux clefs ("Martinique" ou "chimie" dans notre exemple), mais prennent également en compte les éléments purement stylistiques dans le calcul d'un score : aussi le problème que nous soulignons n'est pas résolu par de telles métriques.

Afin de pallier ce défaut et d'obtenir une compréhension plus détaillée des productions qu'ils génèrent, nous sélectionnons aléatoirement 100 exemples et comptabilisons (i) le nombre de productions valides pour une partie du discours autre que celle du *definiendum*, (ii) le nombre de productions où le *definiendum* est présent dans sa propre définition et (iii) le nombre de productions contenant un mot ou un syntagme répété. Ces informations supplémentaires nous permettent d'établir une vision plus fine du genre d'erreurs de génération commises par nos modèles; comme souligné plus haut, une définition peut évidemment être entièrement erronnée tout en n'enfreignant aucun de ces critères.

Les résultats correspondants sont consignés dans la table 5. Si, à première vue, les représentations aléatoires semblent autant erronées que les plongements GloVe, nous notons que les erreurs des

<footnote n="11">11. Trésor de la Langue Française informatisé. Disponible à l'adresse suivante : http://atilf.atilf.fr/.</footnote>

<footnote n="12">12. Dans le cas de Elloumi et al. (2015), la ressource lexicale exploitée afin d'établir des relations de synonymies recouvre une partie significative de notre jeu de données, car les deux sont dérivés du wikitionnaire. Si nous employions cette métrique, des exemples tirés du jeu de test pourraient par conséquent être pris en compte dans le calcul de scores sur les jeux d'entraînement et de validation.</footnote>
<table><caption>TABLE 5: Erreurs typiques de génération.</caption><thead><tr><th>Plongements</th><th>Mauvaise POS</th><th>Auto-référence</th><th>Répétitions</th></tr></thead><tbody><tr><td>aléatoires</td><td>25</td><td>1</td><td>6</td></tr><tr><td>word2vec</td><td>19</td><td>7</td><td>4</td></tr><tr><td>GloVe</td><td>24</td><td>2</td><td>5</td></tr><tr><td>FastText MC</td><td>16</td><td>7</td><td>5</td></tr><tr><td>FastText FB</td><td>22</td><td>4</td><td>0</td></tr></tbody></table>

vecteurs aléatoires sont souvent de plus grande ampleur : par exemple le nombre de répétitions dans une seule définition y est plus important. Un autre défi majeur rencontré par tous nos modèles est de distinguer les différentes parties du discours, ce que l'on peut supposer être dû à l'usage d'un unique encodeur pour le *definiendum* et l'exemple d'usage. De manière intéressante, les modèles basés sur des représentations non-aléatoires produisent davantage d'auto-références, et ce en l'absence de tout mécanisme de copie. Ceci peut être directement imputé à ce que l'espace sémantique des vecteurs distributionnels est effectivement structuré d'une manière exploitable par le réseau de neurones artificiel : bien qu'il s'agisse à proprement parler d'une erreur, l'auto-référence nous indique que la représentation contextualisée du *definiendum* influence effectivement le processus de génération, en ce que le décodeur choisit d'émettre le symbole au sens le plus similaire à cette entrée.

Penchons-nous à présent davantage sur les facteurs sémantiques qui peuvent conduire à une définition erronnée. Ceux-ci sont difficiles à étudier de manière systématique, en partie du fait que les erreurs de génération peuvent impacter ces facteurs sémantiques (notamment dans le cas fréquent où la partie du discours de la définition générée ne correspond pas à celle du *definiendum*), en partie aussi du fait du faible ancrage sémantique de nos modèles, qui conduit souvent à des productions difficiles à juger sur certains critères. Nous étudions par conséquent trois critères pour lesquels on peut espérer une certaine rigueur : (i) si le champ sémantique des éléments lexicaux présents dans la production est en lien avec le sens ciblé par l'exemple d'usage ; (ii) si le champ sémantique des éléments lexicaux présents dans la production est en lien avec un quelconque sens du *definiendum* et (iii) la proportion de productions suivant une forme *genus-differentia*<fnref n="13" /> où le *genus* est un hyperonyme du *definiendum*.

<table><caption>TABLE 6: Erreurs à caractère sémantique.</caption><thead><tr><th rowspan="2">Plongements</th><th colspan="2">Champ sémantique inapproprié</th><th colspan="3">Genus-differentia</th></tr><tr><th>à la définition visée</th><th>à tout sens</th><th># défs. concernées</th><th># avec genus incorrect</th><th>(Pourcentage)</th></tr></thead><tbody><tr><td>aléatoires</td><td>93</td><td>91</td><td>58</td><td>50</td><td>86,2 %</td></tr><tr><td>word2vec</td><td>63</td><td>56</td><td>62</td><td>35</td><td>56,5 %</td></tr><tr><td>GloVe</td><td>67</td><td>57</td><td>65</td><td>40</td><td>61,5 %</td></tr><tr><td>FastText MC</td><td>61</td><td>45</td><td>69</td><td>38</td><td>55,1 %</td></tr><tr><td>FastText FB</td><td>70</td><td>57</td><td>65</td><td>41</td><td>63,1 %</td></tr></tbody></table>

Les résultats correspondants sont consignés dans la table 6. Nous donnons les résultats pour chacun des trois aspects sémantiques discutés précédemment, ainsi que le nombre de définitions produites

<footnote n="13">13. Les définitions de forme *genus-differentium* sont composées d'un mot ou d'une expression donnant la classe générale sémantique, le *genus*, et d'une expression restreignant cette classe au sens visé par le *definiendum*. Noraset *et al.* (2017) remarquent que cette forme de définition est très fréquente : 85 % des définitions de WordNet (Fellbaum, 1998) et 50 % des définitions du GCIDE y correspondaient.</footnote>
ayant une forme *genus-differentia*. Nous soulignons que les représentations aléatoires produisent fréquemment des définitions métalinguistiques ("variante orthographique de ...", "synonyme de...", etc.), ce que nous suggérons être dû à l'incapacité de ces modèles à lier cohéremment un *definiendum* à un possible hyperonyme. De manière plus générale, la vision d'ensemble qui se dégage de cette évaluation manuelle indique clairement que l'adéquation sémantique des définitions demeure un défi majeur. Un point intéressant est que les scores attribués aux représentations aléatoires sont encore une fois nettement supérieurs à ceux attribués aux autres jeux de plongements lexicaux. En cela les résultats suggèrent encore une fois que la génération de définitions peut dans une certaine mesure servir de crible pour les représentations distributionnelles, puisque les définitions issues d'entrées sémantiquement incohérentes paraissent clairement moins acceptables. Il est intéressant de remarquer qu'ils indiquent aussi que les plongements FastText MC seraient les plus performants.

<table><caption>TABLE 7: Productions choisies du jeu de validation (*definiendum* en gras dans l'entrée ; échantillon non-représentatif).</caption><tbody><tr><td rowspan="5">1.</td><td>Entrée</td><td>la <strong>structuration</strong> de la pensée.</td></tr><tr><td>Réf.</td><td>Action de structurer, de donner une structure.</td></tr><tr><td><strong>aléatoire</strong></td><td>qualité de ce qui est net.</td></tr><tr><td><strong>word2vec</strong></td><td>action de composer.</td></tr><tr><td><strong>GloVe</strong></td><td>action de grouper.</td></tr><tr><td rowspan="4">2.</td><td>FastText MC</td><td>action de grouper.</td></tr><tr><td>FastText FB</td><td>action de structurer.</td></tr><tr><td rowspan="5">3.</td><td>Entrée</td><td><strong>chercheur</strong> d'or, <strong>chercheur</strong> d'aventures, <strong>chercheur</strong> de querelles.</td></tr><tr><td>Réf.</td><td>Personne qui cherche.</td></tr><tr><td><strong>aléatoire</strong></td><td>étoffe de soie, de coton, etc.</td></tr><tr><td><strong>word2vec</strong></td><td>spécialiste de l'étude des connaissances.</td></tr><tr><td><strong>GloVe</strong></td><td>celui qui s'occupe de statistique.</td></tr><tr><td rowspan="4">3.</td><td>FastText MC</td><td>celui, celle qui connaît.</td></tr><tr><td>FastText FB</td><td>celui, celle qui connaît.</td></tr><tr><td rowspan="5">3.</td><td>Entrée</td><td>le grand <strong>mélinet</strong> est une petite plante de la famille des bourraches qui se rencontre dans les terrains sablonneux relativement humides.</td></tr><tr><td>Réf.</td><td>Nom vulgaire de borraginées (cérinthe, tournefort), dont quelques espèces sont indigènes dans le midi.</td></tr><tr><td><strong>aléatoire</strong></td><td>espèce d'insecte lépidoptère (papillon) de la famille des géométridés (noctuidae), dont les ailes sont caduques alternes.</td></tr><tr><td><strong>word2vec</strong></td><td>plante monocotylédone de la famille des saxifragacées.</td></tr><tr><td><strong>GloVe</strong></td><td>famille de plantes dicotylédones monopétales.</td></tr><tr><td rowspan="2">3.</td><td>FastText MC</td><td>qui croît sur les écorces.</td></tr><tr><td>FastText FB</td><td>synonyme de préfloraison.</td></tr></tbody></table>

Parmi les erreurs à caractère sémantiques, d'autres que celles mentionnées dans la table 6 sont plus difficiles à annoter de manière systématique. La table 7 contient quelques exemples choisis associant une entrée à la définition attendue et aux productions de chacun des modèles. Plusieurs modèles produisent des définitions identiques pour des entrées identiques, ce qui suggère que les résultats en génération de définitions dépendent en grande partie des données lexicographiques utilisées. Certains des faits que nous mentionnons plus haut sont aussi visibles ici : par exemple, les productions sémantiquement inadéquates des représentations aléatoires ou bien la tendance générale des différents modèles à ignorer l'exemple d'usage pour se focaliser sur un sens particulier du *definiendum* (exemple 2). Enfin, un problème épineux concerne le cas de définitions en domaine de spécialité : sans une bonne connaissance de la botanique, il est difficile de juger de l'adéquation de la production du modèle word2vec pour l'exemple 3.
# 7 Conclusions

Cet article vise à adapter la tâche de génération de définitions à la langue française. À ce titre, nous proposons un jeu de données, des jeux de plongements normalisés et plusieurs éléments de comparaison pour les recherches ultérieures sur ce sujet. <fnref n="14" /> Nos expériences suggèrent que la tâche de génération de définitions permet d’évaluer des représentations vectorielles car elle distingue proprement des représentations aléatoires de plongements lexicaux préentraînés. Les aspects qu’elle mettrait en exergue diffèrent de ceux capturés par l’analogie formelle : elle permet d’évaluer si des composantes sémantiques sont encodées de manière non linéaire dans les vecteurs, et favorise les jeux de plongements lexicaux où ces composantes structurent le plus clairement l’espace vectoriel.

Nous notons toutefois que la capacité à distinguer des représentations aléatoires de représentations sémantiquement cohérentes n’est qu’un des éléments nécessaires pour établir que cette tâche puisse effectivement jouer le rôle d’outil d’évaluation que la littérature suggère. D’autres expériences sont évidemment requises. En particulier, il serait utile de mettre en correspondance les productions générées par des modèles avec les jugements de locuteurs natifs quant à leur adéquation sémantique. Un autre point qu’il sera crucial d’étudier dans des travaux futurs consiste à établir des métriques automatiques et critères d’évaluations fiables adaptés à la tâche de génération de définitions.

L’évaluation manuelle que nous avons conduite laisse penser que ces modèles sont encore loin d’être effectivement utilisables. En vue d’améliorer ces résultats, plusieurs points méthodologiques demanderaient un examen plus minutieux : notamment les effets des choix d’hyperparamètres, tant pour les jeux de plongements que pour les modèles de génération. Le point central de la présente étude concernant l’adéquation de la génération de définitions à l’évaluation des plongements lexicaux, nous avons étudié en priorité comment différentes architectures de plongements interagissaient avec la tâche en question. Il est par conséquent plus que vraisemblable que les hyperparamètres optimaux pour la génération de définitions varient pour chaque jeu de plongements ; aussi l’établissement d’un protocole de sélection des hyperparamètres est un point méthodologique important que nous comptons aborder dans nos travaux futurs.

Ces travaux suggèrent aussi plusieurs pistes de recherches futures, en particulier sur le traitement des définitions en domaine de spécialité ou bien sur l’adaptation de la tâche à d’autres langues. Étendre la tâche de la génération de définitions dans un contexte multilingue nous paraît particulièrement crucial : non seulement parce qu’enrichir les jeux de données relatives à cette tâche permettra sans doute d’avancer nos connaissances en sémantique distributionnelles et représentations neuronales, mais aussi, et surtout, parce qu’une des applications pratiques majeures de la génération de définitions consiste en la documentation de langues peu dotées.

# Remerciements

Nous remercions trois relecteurs anonymes dont les commentaires ont permis une amélioration significative du présent manuscrit. Ce travail a bénéficié d'une aide de l'État, gérée par l'Agence Nationale de la Recherche, au titre du projet Investissements d'Avenir Lorraine Université d'Excellence, portant la référence ANR-15-IDEX-04-LUE.

<footnote n="14">14. Ces éléments seront disponibles à l'adresse suivante : https://github.com/TimotheeMickus/dm-french</footnote>
Références

ARORA S., LI Y., LIANG Y., MA T. & RISTESKI A. (2018). Linear algebraic structure of word senses, with applications to polysemy. *Transactions of the Association for Computational Linguistics*, **6**, 483–495. DOI: 10.1162/tacl_a_00034.

BANERJEE S. & LAVIE A. (2005). METEOR : An automatic metric for MT evaluation with improved correlation with human judgments. In *Proceedings of the ACL Workshop on Intrinsic and Extrinsic Evaluation Measures for Machine Translation and/or Summarization*, p. 65–72, Ann Arbor, Michigan : Association for Computational Linguistics.

BARTUNOV S., KONDRASHKIN D., OSOKIN A. & VETROV D. P. (2016). Breaking sticks and ambiguities with adaptive skip-gram. In *Proceedings of the 19th International Conference on Artificial Intelligence and Statistics*, AISTATS 2016, Cadiz, Spain, May 9-11, 2016, p. 130–138.

BATCHKAROV M., KOBER T., REFFIN J., WEEDS J. & WEIR D. (2016). A critique of word similarity as a method for evaluating distributional semantic models. In *Proceedings of the 1st Workshop on Evaluating Vector-Space Representations for NLP*, p. 7–12, Berlin, Germany : Association for Computational Linguistics. DOI: 10.18653/v1/W16-2502.

BOJANOWSKI P., GRAVE E., JOULIN A. & MIKOLOV T. (2017). Enriching word vectors with subword information. *Transactions of the Association for Computational Linguistics*, **5**, 135–146. DOI: 10.1162/tacl_a_00051.

BOSC T. & VINCENT P. (2018). Auto-encoding dictionary definitions into consistent word embeddings. In *Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing*, p. 1522–1532 : Association for Computational Linguistics.

CHANG T., CHI T., TSAI S. & CHEN Y. (2018). xSense : Learning Sense-Separated Sparse Representations and Textual Definitions for Explainable Word Sense Networks. arXiv : 1809.03348.

CHODOROW M. S., BYRD R. J. & HEIDORN G. E. (1985). Extracting semantic hierarchies from a large on-line dictionary. In *23rd Annual Meeting of the Association for Computational Linguistics*, p. 299–304, Chicago, Illinois, USA : Association for Computational Linguistics. DOI: 10.3115/981210.981247.

COAVOUX M. (2017). *Discontinuous Constituency Parsing of Morphologically Rich Languages*. Thèse de doctorat, Univ Paris Diderot, Sorbonne Paris Cité.

DEVLIN J., CHANG M.-W., LEE K. & TOUTANOVA K. (2019). BERT : Pre-training of deep bidirectional transformers for language understanding. In *Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics : Human Language Technologies, Volume 1 (Long and Short Papers)*, p. 4171–4186, Minneapolis, Minnesota : Association for Computational Linguistics. DOI: 10.18653/v1/N19-1423.

ELLOUMI Z., BLANCHON H., SERASSET G. & BESACIER L. (2015). METEOR For Multiple Target Languages Using DBnary. In *MT Summit 2015*, Miami, United States. HAL : hal-01350109.

FELLBAUM C. (1998). *WordNet : An Electronic Lexical Database*. Bradford Books.

GADETSKY A., YAKUBOVSKIY I. & VETROV D. (2018). Conditional generators of words definitions. In *Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 2 : Short Papers)*, p. 266–271 : Association for Computational Linguistics.

GAUME B., HATHOUT N. & MULLER P. (2004). Word sense disambiguation using a dictionary for sense similarity measure. In *Proceedings of the 20th International Conference on Computational Linguistics*, COLING ’04, Stroudsburg, PA, USA : Association for Computational Linguistics. DOI: 10.3115/1220355.1220528.
GAUME B., NAVARRO E., DESALLE Y. & GAILLARD B. (2014). Mesurer la similarité structurelle entre réseaux lexicaux. In *TALN-20 2014, Proceedings of TALN-20 2014 : Atelier RLTLN, Réseaux Lexicaux et Traitement des Langues Naturelles, Marseille, France*. HAL: [hal-01321990](https://hal.inria.fr/01321990).

GLADKOVA A., DROZD A. & MATSUOKA S. (2016). Analogy-based detection of morphological and semantic relations with word embeddings: what works and what doesn't. In *SRWHLT-NAACL*.

GRAVE E., BOJANOWSKI P., GUPTA P., JOULIN A. & MIKOLOV T. (2018). Learning word vectors for 157 languages. In *Proceedings of the International Conference on Language Resources and Evaluation (LREC 2018)*.

HATHOUT N. & SAJOUS F. (2016). Wiktionnaire's Wikicode GLAWIfied: a Workable French Machine-Readable Dictionary. In N. C. C. CHAIR), K. CHOUKRI, T. DECLERCK, M. GROBELNIK, B. MAEGAARD, J. MARIANI, A. MORENO, J. ODIJK & S. PIPERIDIS, Éds., *Proceedings of the Tenth International Conference on Language Resources and Evaluation (LREC 2016)*, Portorož, Slovenia: European Language Resources Association (ELRA).

HILL F., CHO K. & KORHONEN A. (2016a). Learning distributed representations of sentences from unlabelled data. In *Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies*, p. 1367–1377, San Diego, California: Association for Computational Linguistics. DOI: [10.18653/v1/N16-1162](https://doi.org/10.18653/v1/N16-1162).

HILL F., CHO K., KORHONEN A. & BENGIO Y. (2016b). Learning to understand phrases by embedding the dictionary. *Transactions of the Association for Computational Linguistics*, **4**, 17–30.

KUDO T. & RICHARDSON J. (2018). SentencePiece: A simple and language independent subword tokenizer and detokenizer for neural text processing. In *Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing: System Demonstrations*, p. 66–71, Brussels, Belgium: Association for Computational Linguistics. DOI: [10.18653/v1/D18-2012](https://doi.org/10.18653/v1/D18-2012).

LE H., VIAL L., FREJ J., SEGONNE V., COAVOUX M., LECOUTEUX B., ALLAUZEN A., CRABBÉ B., BESACIER L. & SCHWAB D. (2019). FlaubERT: Unsupervised Language Model Pre-training for French. arXiv preprint: [1912.05372](https://arxiv.org/abs/1912.05372).

LENCI A. (2018). Distributional models of word meaning. *Annual review of Linguistics*, **4**, 151–171.

LEVY O. & GOLDBERG Y. (2014a). Linguistic regularities in sparse and explicit word representations. In *Proceedings of the Eighteenth Conference on Computational Natural Language Learning*, p. 171–180: Association for Computational Linguistics. DOI: [10.3115/v1/W14-1618](https://doi.org/10.3115/v1/W14-1618).

LEVY O. & GOLDBERG Y. (2014b). Neural word embedding as implicit matrix factorization. In Z. GHAHRAMANI, M. WELLING, C. CORTES, N. D. LAWRENCE & K. Q. WEINBERGER, Éds., *Advances in Neural Information Processing Systems 27*, p. 2177–2185. Curran Associates, Inc.

MARTIN L., MULLER B., ORTIZ SUÁREZ P. J., DUPONT Y., ROMARY L., VILLEMONTE DE LA CLERGERIE É., SEDDAH D. & SAGOT B. (2019). CamembERT: a Tasty French Language Model. arXiv preprint: [1911.03894](https://arxiv.org/abs/1911.03894).

MICKUS T., PAPERNO D. & CONSTANT M. (2019). Mark my Word: A Sequence-to-Sequence Approach to Definition Modeling. *Proceedings of the First NLPL Workshop on Deep Learning for Natural Language Processing*. HAL: [hal-02362397](https://hal.inria.fr/02362397).

MIKOLOV T., CHEN K., CORRADO G. & DEAN J. (2013a). Efficient estimation of word representations in vector space. arXiv: [1301.3781](https://arxiv.org/abs/1301.3781).

MIKOLOV T., YIH W.-T. & ZWEIG G. (2013b). Linguistic regularities in continuous space word representations. In *HLT-NAACL*, p. 746–751.
NORASET T., LIANG C., BIRNBAUM L. & DOWNEY D. (2017). Definition modeling: Learning to define word embeddings in natural language. In AAAI.

PAPINENI K., ROUKOS S., WARD T. & ZHU W.-J. (2002). Bleu: A method for automatic evaluation of machine translation. In *Proceedings of the 40th Annual Meeting on Association for Computational Linguistics*, ACL '02, p. 311–318, USA: Association for Computational Linguistics.
DOI: 10.3115/1073083.1073135.

PENNINGTON J., SOCHER R. & MANNING C. D. (2014). Glove: Global vectors for word representation. In *Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing (EMNLP)*.

SCHÄFER R. (2015). Processing and querying large web corpora with the COW14 architecture. In P. BAŃSKI, H. BIBER, E. BREITENEDER, M. KUPIETZ, H. LÜNGEN & A. WITT, Éds., *Proceedings of Challenges in the Management of Large Corpora 3 (CMLC-3)*, Lancaster: UCREL IDS.

SENNRICH R., HADDOW B. & BIRCH A. (2016). Neural machine translation of rare words with subword units. In *Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers)*, p. 1715–1725, Berlin, Germany: Association for Computational Linguistics. DOI: 10.18653/v1/P16-1162.

SIERRA G., TORRES-MORENO J.-M. & MOLINA A. R. (2015). Regroupement sémantique de définitions en espagnol. arXiv: 1501.04920.

SWINGER N., DE-ARTEAGA M., IV N. T. H., LEISERSON M. D. M. & KALAI A. T. (2018). What are the biases in my word embedding? arXiv preprint: 1812.08769.

VASWANI A., SHAZEER N., PARMAR N., USZKOREIT J., JONES L., GOMEZ A. N., KAISER L. U. & POLOSUKHIN I. (2017). Attention is all you need. In I. GUYON, U. V. LUXBURG, S. BENGIO, H. WALLACH, R. FERGUS, S. VISHWANATHAN & R. GARNETT, Éds., *Advances in Neural Information Processing Systems 30*, p. 5998–6008. Curran Associates, Inc.

YANG L., KONG C., CHEN Y., LIU Y., FAN Q. & YANG E. (2019). Incorporating sememes into chinese definition modeling. arXiv preprint: 1905.06512.

ZHANG H., DU Y., SUN J. & LI Q. (2019). Improving Interpretability of Word Embeddings by Generating Definition and Usage. arXiv preprint: 1912.05898.

ZHU R., NORASET T., LIU A., JIANG W. & DOWNEY D. (2019). Multi-sense Definition Modeling using Word Sense Decompositions. arXiv preprint: 1909.09483.
Du bon usage d'ingrédients linguistiques spéciaux
pour classer des recettes exceptionnelles

Elham Mohammadi ¹, ², ⁴ Louis Marceau ² Eric Charton ² Leila Kosseim ¹
Luka Nerima ³ Marie-Jean Meurs ⁴

(1) Université Concordia, Montréal, Québec Canada

(2) Banque Nationale du Canada (BNC), Montréal, Québec Canada

(3) Université de Genève (UNIGE), Genève, Suisse

(4) Université du Québec à Montréal (UQAM), Montréal, Québec Canada
{elham.mohammadi,leila.kosseim}@concordia.ca, louis.marceau@bnc.ca,
eric.charton@bnc.ca, luka.nerima@unige.ch, meurs.marie-jean@uqam.ca

RÉSUMÉ

Nous présentons un modèle d'apprentissage automatique qui combine modèles neuronaux et linguistiques pour traiter les tâches de classification dans lesquelles la distribution des étiquettes des instances est déséquilibrée. Les performances de ce modèle sont mesurées à l'aide d'expériences menées sur les tâches de classification de recettes de cuisine de la campagne DEFT 2013 (Grouin et al., 2013). Nous montrons que les plongements lexicaux (word embeddings) associés à des méthodes d'apprentissage profond obtiennent de meilleures performances que tous les algorithmes déployés lors de la campagne DEFT. Nous montrons aussi que ces mêmes classifieurs avec plongements lexicaux peuvent gagner en performance lorsqu'un modèle linguistique est ajouté au modèle neuronal. Nous observons que l'ajout d'un modèle linguistique au modèle neuronal améliore les performances de classification sur les classes rares.

ABSTRACT

Using Special Linguistic Ingredients to Classify Exceptional Recipes

We propose a joint model composed of neural and linguistic sub-models, to address classification
tasks in which the distribution of labels over samples is imbalanced. Different experiments are
performed on tasks 1 and 2 of the DEFT 2013 shared task (Grouin et al., 2013), which focused on
classification of cooking recipes based on difficulty or meal type. In one set of experiments, the joint
model is used for both classification tasks, whereas the second set of experiments involves using the
neural sub-model, independently. This allows us to measure the impact of using linguistic features in
the joint model. The results for both tasks show that adding a linguistic model to the neural model
improves classification performance on the rare classes.

MOTS-CLÉS : Classification de textes, apprentissage profond, caractéristiques linguistiques.

KEYWORDS: Text classification, deep learning, linguistic features, cooking recipes.

<figure><img src="image_23.png" /></figure>
# 1 Introduction

Différentes techniques issues du traitement automatique des langues (TAL) ont été utilisées au fil des ans pour traiter la tâche de classification de textes. Avec l'émergence de corpus de taille plus importante et l'avènement de l'apprentissage profond, les architectures de réseaux neuronaux sont devenues de plus en plus populaires dans l'exécution de différentes tâches de TAL (Amini et al., 2019). Toutefois, malgré les progrès réalisés par l'apprentissage profond et l'obtention de résultats de pointe dans de nombreuses tâches, peu d'études ont abordé le défi que représentent les tâches de classification sur des ensembles de données déséquilibrés. Ces tâches de classification correspondent pourtant à de nombreux scénarios et applications de la vie réelle (Johnson & Khoshgoftaar, 2019), et représentent toujours un défi majeur.

Dans cet article, nous nous intéressons à deux tâches de classification multi-classes avec une distribution très déséquilibrée des étiquettes sur les données et nous mesurons l'efficacité de différentes méthodes pour relever un tel défi. Les tâches considérées sont la classification des recettes de cuisine selon 4 niveaux de difficulté (Très facile, Facile, Assez difficile, Difficile – Tâche 1) et la classification en fonction du type de repas (Entrée, Plat principal, Dessert – Tâche 2). Ces tâches et les ensembles de données, tous deux très déséquilibrés, sont issus de la campagne d'évaluation DEFT (DÉfi Fouille de Textes) 2013 (Grouin et al., 2013). Nous expérimentons un modèle neuronal qui utilise des plongements lexicaux pré-entraînés comme caractéristiques d'entrée puis un modèle hybride composé de sous-modèles neuronaux et linguistiques et mesurons leur efficacité pour gérer une distribution de classe déséquilibrée. Par cette double expérimentation, nous cherchons à évaluer dans quelle mesure les plongements lexicaux pré-entraînés sont réellement en mesure de supprimer, dans une tâche de classification, tout recours au prétraitement linguistique. Nous souhaitons en particulier évaluer si l'influence du pré-traitement linguistique des données textuelles sur le caractère discriminant du classifieur demeure, en particulier lorsque ce classifieur est déjà renforcé par des plongements lexicaux.

Cet article est organisée comme suit : dans la section 2 nous passons brièvement en revue les travaux antérieurs connexes. La section 3 présente les ensembles de données utilisés et détaille les particularités de la campagne d'évaluation DEFT 2013. L'architecture globale du modèle, les sous-modèles et les différentes configurations utilisées sont décrits dans la section 5. La section 6 analyse les résultats obtenus et la section 8 conclut ce travail.

# 2 État de l'art

Selon Johnson & Khoshgoftaar (2019), en apprentissage automatique, trois types d'approches pour traiter les données déséquilibrées ont été proposées : (1) les approches au niveau des données qui consistent à modifier la distribution des classes par un sous- ou sur-échantillonnage des données limitant le déséquilibre ; (2) les approches algorithmiques qui adaptent l'apprentissage pour prendre en compte le déséquilibre en utilisant par exemple des poids sur les classes pour attribuer une pénalité plus importante à une erreur commise dans une classe rare par rapport à une classe fréquente ; (3) les approches hybrides qui combinent les approches (1) et (2) pour mieux gérer une distribution déséquilibrée.
<table><thead><tr><th rowspan="2">Tâche 1 - Niveau de difficulté</th><th colspan="2">Entraînement</th><th colspan="2">Développement</th><th colspan="2">Test</th></tr><tr><th>Nb instances</th><th>Proportion</th><th>Nb instances</th><th>Proportion</th><th>Nb instances</th><th>Proportion</th></tr></thead><tbody><tr><td>Très facile</td><td>5569</td><td>50,2%</td><td>1393</td><td>50,2%</td><td>1132</td><td>49,0%</td></tr><tr><td>Facile</td><td>4601</td><td>41,5%</td><td>1151</td><td>41,5%</td><td>968</td><td>41,9%</td></tr><tr><td>Assez difficile</td><td>855</td><td>7,7%</td><td>213</td><td>7,7%</td><td>189</td><td>8,2%</td></tr><tr><td>Difficile</td><td>64</td><td>0,6%</td><td>16</td><td>0,6%</td><td>20</td><td>0,9%</td></tr></tbody><tfoot><tr><td>Total</td><td>11089</td><td>100%</td><td>2773</td><td>100%</td><td>2309</td><td>100%</td></tr></tfoot></table>

<table><caption>TABLE 1 – Composition des ensembles de données pour les tâches 1 et 2</caption><thead><tr><th rowspan="2">Tâche 2 - Type de plat</th><th colspan="2">Entraînement</th><th colspan="2">Développement</th><th colspan="2">Test</th></tr><tr><th>Nb instances</th><th>Proportion</th><th>Nb instances</th><th>Proportion</th><th>Nb instances</th><th>Proportion</th></tr></thead><tbody><tr><td>Entrée</td><td>2599</td><td>23,4%</td><td>647</td><td>23,3%</td><td>562</td><td>24,4%</td></tr><tr><td>Plat</td><td>5167</td><td>46,6%</td><td>1280</td><td>46,1%</td><td>1084</td><td>47,0%</td></tr><tr><td>Dessert</td><td>3323</td><td>30,0%</td><td>846</td><td>30,5%</td><td>661</td><td>28,6%</td></tr></tbody><tfoot><tr><td>Total</td><td>11089</td><td>100%</td><td>2773</td><td>100%</td><td>2307</td><td>100%</td></tr></tfoot></table>

Cependant, ces méthodes peuvent être d'une efficacité limitée dans le cas de classes extrêmement déséquilibrées. Krawczyk (2016) montre qu'il est alors intéressant d'extraire les caractéristiques discriminantes, en tenant compte du déséquilibre entre classes. Utiliser ces approches parallèlement aux représentations distribuées dans une architecture profonde améliore les résultats dans plusieurs types de tâches (Bogdanova et al., 2017). De même, le modèle d'étiquetage morpho-syntaxique (POS) proposé par Bach et al. (2019) – un réseau bidirectionnel à mémoire (BiLSTM) suivi d'une couche de champs aléatoires conditionnels (CRF) prédisant les étiquettes – obtient des performances améliorées quand il est enrichi avec des caractéristiques conçues manuellement. Pour la classification des textes courts, les travaux de Wang et al. (2017) utilisent un modèle faisant appel à des représentations implicites (plongements lexicaux et plongements de caractères pré-entrainés) et explicites (concepts, extraits d'une base de connaissances). En alimentant un modèle convolutif à branches avec ces représentations, les auteurs obtiennent des résultats à l'état de l'art. Cela suggère que l'enrichissement des caractéristiques par des éléments issus d'une base de connaissances améliore les capacités de classification. Dans ce travail, nous ajoutons des caractéristiques linguistiques aux modèles neuronaux et mesurons le gain de performance obtenu, en mettant l'accent sur les classes minoritaires.

## 3 Ensembles de données

Nous avons choisi de retenir pour nos expériences le corpus de données proposé dans le cadre de la campagne d'évaluation Défi Fouille de Texte 2013 (DEFT 2013)<fnref n="1" />. DEFT est l'une des rares séries de campagnes d'évaluation annuelles à proposer à la communauté scientifique du TALN des tâches de classification en français, sur des corpus volumineux, avec des annotations originales. Elle offre également l'avantage de susciter l'intérêt de nombreux laboratoires et donc d'impliquer la contribution de plusieurs équipes qui appliquent, pour répondre à la tâche, des méthodes de classification très différenciées.

La tâche 2013 n'a pas échappé à cette tradition et a éveillé l'intérêt de 7 équipes qui représentent leurs laboratoires en France et au Canada. L'intérêt particulier de la campagne 2013 pour l'expérimentation que nous souhaitions mener est précisément sa date. Les méthodes proposées par ces 7 équipes établissent un état de l'art sur une tâche de classification de texte dé-balancée précisément quelques mois avant la généralisation, dans la littérature, de l'usage de l'apprentissage profond, puis des

<footnote n="1">1. https://deft.limsi.fr/2013/</footnote>
plongements lexicaux. Elle nous permet donc de comparer avec précision les performances de ces méthodes classiques avec les approches récentes, en bénéficiant d'un protocole expérimental rigoureux et, comme il est d'usage dans une campagne d'évaluation, fiable puisque géré par une tierce partie tant pour ce qui est de l'annotation des corpus que de la mesure de performance des systèmes proposés.

Le corpus utilisé pour le défi 2013 est composé de recettes de cuisine extraites du site Marmiton. Marmiton.org est l'un des sites culinaire francophone de large audience<fnref n="2" />. Les recettes rassemblées dans la base de données de Marmiton.org depuis 1999 sont proposées par les internautes via un formulaire validé pour publication par l'équipe de Marmiton. Lors de la soumission d'une recette, les internautes doivent indiquer le type de plat, le niveau de difficulté, le coût et le type de cuisson en sélectionnant des valeurs parmi des listes de choix pré-établies. Les paramètres numériques de la recette tels les temps de préparation et de cuisson, et le nombre de convives, sont à renseigner dans des champs contraints. Les ingrédients, les consignes de préparation et la boisson conseillée sont recueillis dans des champs en texte libre.

Le corpus d'entraînement contient 13.864 recettes pour un volume de données de 19,2 MB. Les corpus de test pour les tâches 1, 2 et 4 sont composés respectivement de 2309, 2307 et 2306 recettes pour des volumes de données de 3MB, 2,9MB et 2,2MB. Les recettes sont fournies au format XML. Chaque fichier du corpus d'entraînement contient le titre de la recette, son type, son niveau, son coût, la liste non normalisée de ses ingrédients et leur quantité d'usage, ainsi que les indications de préparation en texte libre.

Les données utilisées pour nos expériences sont celles des deux premières tâches de la campagne d'évaluation DEFT 2013 (Grouin et al., 2013). La composition de ces ensembles de données est détaillée dans le tableau 1. Les données de la tâche 1 sont des recettes de cuisine en français, étiquetées avec leur niveau de difficulté respectifs sur une échelle de 1 à 4 (1 pour *Très facile*, 4 pour *Difficile*). La répartition des étiquettes dans cet ensemble de données est très déséquilibrée, avec plus de 90% des échantillons portant une étiquette *Très facile* ou *Facile* et un nombre nettement inférieur d'échantillons portant une étiquette *Assez difficile* ou *Difficile*. Les données de la tâche 2 sont des recettes de cuisine en français, étiquetées avec le type de plat de la recette, soit *Entrée*, *Plat principal* ou *Dessert*. Bien que la distribution des étiquettes ne soit pas aussi déséquilibrée que celle de la tâche 1, près de la moitié des échantillons appartiennent à la classe *Plat principal*, ce qui pose le problème d'un ensemble de données déséquilibré dans la tâche 2 également.

Lors de DEFT 2013, les données ont été publiées en deux parties, pour l'entraînement et le test. Pour les expériences rapportées dans ce document, 20% des données d'entraînement ont été utilisées pour la mise au point du modèle (développement) et le corpus de test original de la campagne a été utilisé pour comparer les résultats finaux. Les proportions des différentes parties du corpus sont présentées dans le tableau 1.

## 4 Méthodes de classification utilisées pour la comparaison

Dans la perspective de comparer efficacement les performances des algorithmes de classification avant et après l'apparition des méthodes à base d'apprentissage profond renforcé par des plongements lexicaux, il est important que les familles d'algorithmes utilisées pour les deux tâches principales de DEFT 2013 puissent être considérées comme représentatives de l'état de l'art de cette période.

<footnote n="2">2. Avec plus de 300.000 visiteurs par jour (chiffres Smart AdServer mars 2010, source : http://www.marmiton.org/)</footnote>
Dans nos analyses, nous utiliserons en tant que référence de comparaison les résultats obtenus par les systèmes proposés par les trois premières équipes, tant pour la tâche 1 que pour la tâche 2 de DEFT 2013. Ces trois équipes ont utilisées des méthodes de pré-traitement linguistique plus ou moins sophistiquées.

Pour la tâche 1, (Collin et al., 2013) applique diverses méthodes de pré-traitement lexical et de sélection de variables. La classification est ensuite conduite avec l'algorithme d'entropie maximale. En ce qui concerne (Bost et al., 2013), un algorithme de boosting est d'abord utilisé pour la tâche 1, associé à une préparation statistique des paramètres (polygrammes et données numériques issues d'observations sur le corpus). Des algorithmes tels que le SVM ainsi qu'une méthode issue de la recherche d'information (similarité cosinus) sont également testés. Un algorithme de fusion de résultat de classificateur par combinaison linéaire est également utilisé. L'équipe (Charton et al., 2013) qui obtient les meilleurs résultats sur la tâche 1, utilise un modèle d'arbre de décision dont les feuilles sont des fonctions de régression logistique (LMT). Pour la tâche 2, (Collin et al., 2013) applique à nouveau diverses méthodes de pré-traitement lexical et de sélection de variables, accompagnées de variables numériques construites par calcul. La classification est ensuite conduite avec un algorithme propriétaire non décrit. Pour ce qui est de (Bost et al., 2013) la tâche 2 est conduite avec des modèles classiques (boosting, SVM, méthode Electre), dont les résultats sont combinés par fusion. L'équipe (Charton et al., 2013) obtient ses meilleurs résultats avec un classificateur SVM.

De manière générale, et au delà du classement final, on observe que ces trois équipes obtiennent avec leurs systèmes, appliqués sur le corpus de DEFT 2013, des résultats très proches avec les algorithmes et les techniques de pré-processing à l'état de l'art de l'époque : SVM, boosting, combinés avec une sélection fine des paramètres retenus pour l'apprentissage. On notera que des études subséquentes de (Charton et al., 2014) sur cette campagne d'évaluation, entreprennent une comparaison systématique de classificateurs (Régression Logistique, Réseau Bayésien, SVM, arbres, Naïves Bayes) sur le corpus DEFT 2013, sans remettre en cause les résultats de la campagne.

Dans notre cadre expérimental, on peut donc considérer que les résultats de systèmes de classification de texte décrits dans la littérature et appliqués sur le corpus DEFT 2013 offrent une bonne représentation de l'état de l'art en matière de classification supervisée de documents textuels avant 2014. Et qu'il est en conséquence possible d'utiliser le corpus de recherche concerné comme base de comparaison avec des techniques plus récentes.

Par commodité, dans la suite de cette communication, nous désignerons par l'expression *modèle classique* les classificateurs non neuronaux utilisés sur les corpus DEFT 2013. Nous désignerons par l'expression *modèle linguistique* l'ensemble de pré-traitements appliqués aux corpus d'apprentissage textuels.

# 5 Conception des modèles

Notre but est de conduire deux séries de comparaisons. En premier lieu, nous voulons donc déterminer si un modèle neuronal associé à des plongements lexicaux est capable de performances supérieures à un *modèle classique* associé à un *modèle linguistique*. Nous désignerons dans nos résultats cette série d'expérience par le qualificatif de *modèle neuronal*. En second lieu, nous voulons déterminer si ce même modèle neuronal associé à des plongements lexicaux et complété du *modèle linguistique* améliore ses performances. Nous désignerons, dans nos résultats, cette série d'expérience par le
qualificatif de *modèle combiné*.

Dans cette section, nous présentons tout d'abord l'architecture des modèles neuronaux. En utilisant trois modèles de plongements (BERT, FLAUBERT, CAMEMBERT) que nous exploitons avec une architecture neuronale récurrente ou convolutive, nous obtenons 6 modèles (voir Table 2). Nous présentons ensuite le *modèle linguistique* et les détails de sa conception.

## 5.1 Modèle neuronal

**Plongement lexical.** Un plongement lexical est utilisé pour transformer la concaténation du titre d'une recette et du texte de préparation en vecteurs denses. Dans ce travail, trois plongements lexicaux pré-entraînés à base de transformeurs sont utilisés : la version multilingue de BERT (Devlin et al., 2019) ainsi que CamemBERT (Martin et al., 2019) et FlauBERT (Le et al., 2020), construits sur des données françaises en utilisant un modèle BERT. Seules les caractéristiques de la dernière couche des modèles sont extraites, donnant une représentation dense de taille 768 pour chaque token.

**Architecture récurrente.** Pour la couche cachée de l'architecture récurrente, des réseaux de neurones récurrents à portes (GRUs) (Cho et al., 2014) ont été utilisés, car ayant moins de paramètres, ils sont moins sujets au sur-apprentissage (Chung et al., 2014) que les LSTM (Hochreiter & Schmidhuber, 1997). Un GRU bidirectionnel traite les plongements lexicaux consécutivement vers l'avant et vers l'arrière. La sortie de la couche GRU est ensuite transmise à une couche d'attention qui calcule sa moyenne pondérée à l'aide de l'équation $Attention = \sum_{t=1}^{n} y_t \omega_t$ où $y_t$ représente la sortie de la couche GRU au pas de temps $t$ et où $\omega_t$ est le poids attribué à $y_t$ par le mécanisme d'attention.

**Architecture convolutive.** Par soucis de comparaison, nous avons également testé une architecture convolutive. Un réseau de neurones convolutif (CNN) (LeCun et al., 1999) traite des *n*-grammes d'entrée (*n* représentations consécutives de tokens) en utilisant des filtres de convolution de taille *n*. La couche cachée est suivie d'une couche de regroupement moyen, maximum ou combinant les deux.

## 5.2 Modèle linguistique

Pour chacune des tâches de DEFT 2013 (tâche 1, identification d'une classe de difficulté de recette, et tâche 2, identification du type de plat préparé), un extracteur de caractéristiques est conçu. Les corpus d'apprentissage de la campagne DEFT 2013 sont composés de titres de recettes et de textes libres décrivant ces recettes. Le principe des extracteurs de caractéristiques est d'identifier des paramètres discriminants qui pourraient être dérivés de ces contenus textuels. Par une analyse quantitative systématique, on peut par exemple découvrir que le nombre de mots dans le titre d'une recette, ou encore le nombre d'ingrédients qu'elle contient, sont plus caractéristiques de sa difficulté que les mots (en tant qu'entités lexicales) qui composent ce titre. On espère ainsi, en utilisant ces paramètres dérivés du corpus textuel, plutôt que des sacs de mots, maximiser les performances du classifieur.

Aide des observations faites sur les corpus, on bâtit des extracteurs dont le rôle est de construire des vecteurs avec les caractéristiques identifiées. Ce sont ces vecteurs qui seront utilisés pour entraîner et faire fonctionner le classifieur. Cette démarche de construction de vecteurs d'apprentissage constitués
de paramètres finement sélectionnés, voir fabriqués de toutes pièces (comme dans le cas des comptages de mots), est classique des systèmes de classification tels qu'on les observe dans la littérature avant la généralisation de l'utilisation des réseaux de neurones et l'avènement des plongements. C'est cette même méthode d'ingénierie des paramètres d'apprentissage que la littérature récentes sur les plongements considère comme moins utile voire superflue (Liu et al. (2015); Tymoshenko et al. (2016)). L'un des buts de nos expériences est de déterminer si le caractère discriminant des plongements est effectivement suffisant pour rendre l'ingénierie de paramètres inutiles.

Ces extracteurs de caractéristiques sont détaillés dans Charton et al. (2013), et leurs grands lignes sont présentées ci-après.

**Caractéristiques pour la tâche 1 (niveau de difficulté).** Sont utilisés le nombre de tokens dans le titre de la recette et dans la partie préparation, le nombre d'ingrédients, le coût du repas sur une échelle de 3 points, la présence de 22 mots et de 48 trigrammes discriminants, et enfin, le nombre de verbes dans la recette qui appartiennent à 3 familles de verbes discriminants. L'extraction de ces caractéristiques donne un vecteur de taille 77 pour chaque recette.

**Caractéristiques pour la tâche 2 (type de plats).** Comme pour la tâche 1, le nombre de tokens dans le titre de la recette et la partie préparation, le nombre d'ingrédients et le coût associé au repas sur une échelle de 3 points sont les quatre premières caractéristiques. S'y ajoutent 1231 noms d'ingrédients, 48 trigrammes discriminants et le nombre de verbes dans la recette appartenant à chacune des trois familles prédéfinies. Un vecteur de caractéristiques de taille 1286 est extrait pour chaque recette.

Pour être utilisé par le classifieur dans les expériences menées avec les *modèles combinés*, les vecteurs de caractéristiques ainsi extraits sont ensuite transmis à un réseau neuronal à simple couche à action anticipée, en faisant correspondre chaque vecteur de caractéristiques à un vecteur de même taille pour obtenir les représentations de sortie du modèle linguistique.

## 5.3 Composante de fusion

La composante de fusion concatène la sortie des deux modèles puis applique une couche entièrement connectée sur le vecteur résultant, lui faisant correspondre un vecteur de taille 4 dans le cas de la tâche 1, et de taille 3 dans le cas de la tâche 2. Cette couche est suivie d'une fonction d'activation softmax qui produit les probabilités des classes. Afin de mesurer l'impact du modèle linguistique, certaines expériences n'utilisent que le modèle neuronal. La fusion est alors remplacée par une couche entièrement connectée faisant correspondre la sortie de la couche d'attention avec le nombre de classes, suivie d'une fonction d'activation produisant la distribution des probabilités sur les classes.

## 5.4 Entraînement

Les modèles ont été entraînés avec des lots de taille 32 et 20 passes (*epochs*). Les paramètres ont été choisis lors de la passe qui a obtenu le meilleur micro score sur les données de développement. Le tableau 2 présente les hyperparamètres des modèles et des détails sont expliqués ci-après.

**Optimiseur.** AdamW (Loshchilov & Hutter, 2019) a été utilisé pour optimiser l'apprentissage. Pour tous les modèles, le taux d'apprentissage initial est de $10^{-3}$. Il a été adapté pour les modèles CNN à $10^{-4}$ après deux passes dans la tâche 1, et après cinq passes dans la tâche 2.
<table><thead><tr><th rowspan="2">Modèle</th><th colspan="3">Tâche 1</th><th colspan="3">Tâche 2</th></tr><tr><th>#HL / #KH</th><th>#HN / #K</th><th>Regroupement</th><th>#HL / #KH</th><th>#HN / #K</th><th>Regroupement</th></tr></thead><tbody><tr><td rowspan="6">Neuronal</td><td>CNN-BERT</td><td>1, 2, 3, 4</td><td>300, 200, 100, 100</td><td>max</td><td>2</td><td>200</td><td>max</td></tr><tr><td>GRU-BERT</td><td>1</td><td>64</td><td>attention</td><td>2</td><td>32</td><td>attention</td></tr><tr><td>CNN-FlauBERT</td><td>2</td><td>200</td><td>max, moyen</td><td>1, 2</td><td>400, 200</td><td>max</td></tr><tr><td>GRU-FlauBERT</td><td>1</td><td>64</td><td>attention</td><td>2</td><td>32</td><td>attention</td></tr><tr><td>CNN-CamemBERT</td><td>2, 3</td><td>250, 50</td><td>max</td><td>2</td><td>200</td><td>max, moyen</td></tr><tr><td>GRU-CamemBERT</td><td>2</td><td>32</td><td>attention</td><td>2</td><td>64</td><td>attention</td></tr><tr><td rowspan="6">Combiné</td><td>CNN-BERT</td><td>2</td><td>250</td><td>max</td><td>2</td><td>200</td><td>max, moyen</td></tr><tr><td>GRU-BERT</td><td>1</td><td>64</td><td>attention</td><td>2</td><td>32</td><td>attention</td></tr><tr><td>CNN-FlauBERT</td><td>1, 2</td><td>300, 200</td><td>max, moyen</td><td>1, 2</td><td>300, 200</td><td>max, moyen</td></tr><tr><td>GRU-FlauBERT</td><td>1</td><td>64</td><td>attention</td><td>2</td><td>32</td><td>attention</td></tr><tr><td>CNN-CamemBERT</td><td>1</td><td>400</td><td>max, moyen</td><td>2</td><td>400</td><td>max, moyen</td></tr><tr><td>GRU-CamemBERT</td><td>2</td><td>32</td><td>attention</td><td>2</td><td>32</td><td>attention</td></tr></tbody></table>

TABLE 2 – Hyperparamètres pour chaque modèle. #HL / #KH : Nombre de couches cachées dans les modèles récurrents ou hauteur du noyau dans les CNN. #HN / #K : Nombre de noeuds cachés dans chaque couche récurrente ou nombre de noyaux dans les CNN.

**Poids des classes.** Des poids de classe ont été ajoutés dans la fonction de perte d'entropie croisée. Pour les expériences n'utilisant que le modèle neuronal, les poids ont été calculés automatiquement, en tenant compte de la proportion des échantillons de chaque classe. Dans les expériences utilisant le modèle combiné, les poids ont été manuellement réglés à 0,1, 0,1, 0,2 et 0,6 (correspondant respectivement aux classes *Très facile*, *Facile*, *Assez difficile* et *Difficile* pour la tâche 1, et à 0,6, 0,3 et 0,1 (correspondant aux classes *Entrée*, *Plat principal* et *Dessert*, respectivement) pour la tâche 2.

**Régularisation.** Afin de régulariser le réseau, l'optimiseur a été utilisé avec un taux de décroissance du poids de 0,02. De plus, une couche de décroissance (*dropout*) avec une probabilité de 0,2 a été appliquée sur la concatenation de la sortie des deux modèles dans la composante de fusion et sur la sortie de la couche attention/regroupement dans les modèles neuronaux.

**Réglage fin des modèles BERT et CamemBERT.** Comme dans les expériences qui ont fait appel à des modèles combinés et neuronaux, la couche de plongement lexical a été figée, les modèles BERT et CamemBERT ont été affinés sur les deux tâches en tant qu'expériences supplémentaires.

# 6 Résultats

Les résultats des différentes expériences pour la tâche 1, ainsi que ceux des équipes DEFT 2013 ayant obtenu les meilleurs micro scores sont présentés dans le tableau 3. Dans tous les cas, le modèle combiné a permis d'obtenir des performances (souvent très) supérieures en termes de micro et macro F1 par rapport à un modèle uniquement neuronal. L'amélioration des résultats peut être également observée en termes de macro précision et de macro rappel.

Les scores micro et macro les plus élevés (sauf pour la macro précision (Charton et al., 2014)) sont obtenus par des modèles combinés qui utilisent les plongements CamemBERT, illustrant leur efficacité sur des données en français. En outre, le tableau 3 montre que le modèle combiné CNN-CamemBERT dépasse largement tous les autres en termes de micro score, de macro F1 et de rappel dans la tâche 1. Dans 3 des 4 classes, le meilleur score F1 est également obtenu par des modèles combinés, en particulier ceux qui utilisent CamemBERT. Les résultats des modèles qui utilisent CamemBERT montrent que l'ajout de caractéristiques linguistiques améliore les performances par classe et que ces caractéristiques ont complété plus efficacement les plongements CamemBERT que BERT.
<table><caption>TABLE 3 – Résultats généraux et par classe (score F1) pour la tâche 1.</caption><thead><tr><th rowspan="2">Modèle</th><th colspan="4">Développement</th><th colspan="4">Test</th></tr><tr><th>Micro Score</th><th>Macro F1</th><th>Macro P</th><th>Macro R</th><th>Micro Score</th><th>Macro F1</th><th>Macro P</th><th>Macro R</th></tr></thead><tbody><tr><td rowspan="6">Neuronal</td><td>CNN-BERT</td><td>61,5</td><td>39,3</td><td>41,1</td><td>37,6</td><td>58,8</td><td>37,7</td><td>39,4</td><td>36,1</td></tr><tr><td>GRU-BERT</td><td>59,9</td><td>38,5</td><td>38,5</td><td>38,4</td><td>58,0</td><td>36,8</td><td>37,0</td><td>36,7</td></tr><tr><td>BERT affiné</td><td>56,9</td><td>39,3</td><td>42,9</td><td>36,2</td><td>55,9</td><td>36,0</td><td>36,8</td><td>35,3</td></tr><tr><td>CNN-FlaubERT</td><td>59,4</td><td>36,2</td><td>41,9</td><td>31,8</td><td>58,1</td><td>30,0</td><td>28,9</td><td>31,3</td></tr><tr><td>GRU-FlaubERT</td><td>56,2</td><td>37,4</td><td>39,1</td><td>35,8</td><td>54,4</td><td>33,6</td><td>33,9</td><td>33,3</td></tr><tr><td>CNN-CamemBERT</td><td>60,9</td><td>42,7</td><td>43,4</td><td>42,0</td><td>59,3</td><td>38,6</td><td>39,9</td><td>37,3</td></tr><tr><td rowspan="4">Combiné</td><td>GRU-CamemBERT</td><td>62,4</td><td>36,1</td><td>38,1</td><td>34,3</td><td>60,1</td><td>36,9</td><td>40,1</td><td>34,1</td></tr><tr><td>CamemBERT affiné</td><td>61,2</td><td>37,3</td><td>38,5</td><td>36,2</td><td>59,3</td><td>37,6</td><td>38,9</td><td>36,4</td></tr><tr><td>CNN-BERT</td><td>64,5</td><td>49,1</td><td>60,0</td><td>41,6</td><td>62,0</td><td>47,3</td><td>59,3</td><td>39,3</td></tr><tr><td>GRU-BERT</td><td>65,8</td><td>41,7</td><td>45,5</td><td>38,5</td><td>63,1</td><td>39,3</td><td>42,1</td><td>36,8</td></tr><tr><td rowspan="4">Neuronal</td><td>CNN-FlaubERT</td><td>63,7</td><td>45,1</td><td>56,7</td><td>37,4</td><td>60,6</td><td>43,3</td><td>55,1</td><td>35,7</td></tr><tr><td>GRU-FlaubERT</td><td>62,6</td><td>49,0</td><td>49,8</td><td>48,3</td><td>61,2</td><td>44,3</td><td>45,2</td><td>43,4</td></tr><tr><td>CNN-CamemBERT</td><td>66,4</td><td>50,3</td><td>58,5</td><td>44,2</td><td>63,8</td><td>50,0</td><td>62,0</td><td>42,0</td></tr><tr><td>GRU-CamemBERT</td><td>65,3</td><td>51,1</td><td>68,5</td><td>40,8</td><td>63,1</td><td>40,5</td><td>42,5</td><td>38,7</td></tr><tr><td rowspan="3">DEFT 2013</td><td>Première équipe (Charton et al., 2014)</td><td>-</td><td>-</td><td>-</td><td>-</td><td>62,5</td><td>48,4</td><td>68,2</td><td>37,5</td></tr><tr><td>Seconde équipe (Collin et al., 2013)</td><td>-</td><td>-</td><td>-</td><td>-</td><td>61,2</td><td>45,1</td><td>52,4</td><td>39,5</td></tr><tr><td>Troisième équipe (Bost et al., 2013)</td><td>-</td><td>-</td><td>-</td><td>-</td><td>59,2</td><td>45,3</td><td>63,3</td><td>35,3</td></tr><tr><th rowspan="2">Modèle</th><th colspan="4">Développement</th><th colspan="4">Test</th></tr><tr><th>Très facile</th><th>Facile</th><th>Assez difficile</th><th>Difficile</th><th>Très facile</th><th>Facile</th><th>Assez difficile</th><th>Difficile</th></tr><tr><td rowspan="6">Neuronal</td><td>CNN-BERT</td><td>66,3</td><td>61,6</td><td>25,1</td><td>0,0</td><td>63,1</td><td>59,7</td><td>23,5</td><td>0,0</td></tr><tr><td>GRU-BERT</td><td>68,0</td><td>56,0</td><td>29,9</td><td>0,0</td><td>65,8</td><td>55,2</td><td>26,1</td><td>0,0</td></tr><tr><td>CNN-FlaubERT</td><td>68,1</td><td>53,0</td><td>0,9</td><td>0,0</td><td>67,8</td><td>50,9</td><td>0,0</td><td>0,0</td></tr><tr><td>GRU-FlaubERT</td><td>66,7</td><td>47,5</td><td>22,7</td><td>9,1</td><td>65,9</td><td>44,4</td><td>22,0</td><td>0,0</td></tr><tr><td>CNN-CamemBERT</td><td>71,0</td><td>51,9</td><td>22,6</td><td>19,5</td><td>69,9</td><td>51,2</td><td>19,2</td><td>9,8</td></tr><tr><td>GRU-CamemBERT</td><td>71,1</td><td>56,7</td><td>7,3</td><td>0,0</td><td>68,7</td><td>55,0</td><td>12,6</td><td>0,0</td></tr><tr><td rowspan="6">Combiné</td><td>CNN-BERT</td><td>72,1</td><td>60,8</td><td>24,9</td><td>21,1</td><td>70,0</td><td>58,1</td><td>22,5</td><td>17,4</td></tr><tr><td>GRU-BERT</td><td>73,9</td><td>61,1</td><td>22,6</td><td>0,0</td><td>72,0</td><td>58,1</td><td>18,9</td><td>0,0</td></tr><tr><td>CNN-FlaubERT</td><td>73,6</td><td>54,9</td><td>4,5</td><td>20,0</td><td>71,5</td><td>51,1</td><td>5,8</td><td>17,4</td></tr><tr><td>GRU-FlaubERT</td><td>67,8</td><td>62,2</td><td>22,8</td><td>33,3</td><td>67,1</td><td>61,5</td><td>16,9</td><td>22,6</td></tr><tr><td>CNN-CamemBERT</td><td>74,0</td><td>61,8</td><td>27,0</td><td>27,3</td><td>72,2</td><td>59,0</td><td>25,2</td><td>25,0</td></tr><tr><td>GRU-CamemBERT</td><td>74,4</td><td>58,3</td><td>27,9</td><td>11,8</td><td>72,5</td><td>56,3</td><td>29,4</td><td>0,0</td></tr><tr><td rowspan="3">DEFT 2013</td><td>Première équipe (Charton et al., 2014)</td><td>-</td><td>-</td><td>-</td><td>-</td><td>71,7</td><td>56,2</td><td>18,8</td><td>9,5</td></tr><tr><td>Seconde équipe (Collin et al., 2013)</td><td>-</td><td>-</td><td>-</td><td>-</td><td>69,2</td><td>57,0</td><td>26,1</td><td>16,0</td></tr><tr><td>Troisième équipe (Bost et al., 2013)</td><td>-</td><td>-</td><td>-</td><td>-</td><td>68,6</td><td>52,5</td><td>15,6</td><td>9,5</td></tr></tbody></table>

Sur l'ensemble des tests, le modèle combiné CNN-CamemBERT obtient des scores F1 supérieurs au meilleur modèle de référence. Ce modèle combiné obtient également le meilleur score F1, soit 25%, dans la classe *Difficile*, qui est la plus rare. Seuls 3 des 8 modèles obtiennent un score F1 non nul dans la classe *Difficile* et deux sont des modèles combinés. Les résultats par classe montrent l'efficacité des caractéristiques linguistiques lorsque la tâche implique un ensemble de données très déséquilibré. Le tableau 4 montre les résultats obtenus pour la tâche 2. Le modèle CamemBERT affiné (miam !) a obtenu la meilleure performance globale. Toutefois, le modèle combiné CNN-CamemBERT, déjà le meilleur dans la tâche 1, fait mieux dans la phase de test. Cela montre que le modèle combiné CNN-CamemBERT semble mieux généraliser en présence de nouvelles instances.

D'après le tableau 4, tous les modèles combinés surpassent leurs homologues neuronaux en termes de micro et macro scores. Toutefois, contrairement à la tâche 1, cette amélioration n'est pas assez importante pour faire la différence en score micro moyen. Cette performance peut s'expliquer par les caractéristiques linguistiques utilisées pour la tâche 2, qui sont peut-être moins représentatives des classes que dans la tâche 1.

En examinant les résultats de la tâche 1 dans le tableau 3, on peut observer qu'après ajout du modèle linguistique, lorsqu'il y a une amélioration, celle-ci est significativement plus importante pour les classes rares. On peut donc émettre l'hypothèse que le modèle combiné gère mieux une distribution déséquilibrée des étiquettes. Sachant que cette distribution est nettement plus déséquilibrée dans la tâche 1 que dans la tâche 2, le modèle combiné est donc plus efficace dans le premier cas que dans le second. Enfin, le tableau 4 montre également les scores F1 par classe obtenus par les trois équipes les plus performantes de la campagne DEFT 2013.
<table><thead><tr><th rowspan="2"></th><th rowspan="2">Modèle</th><th colspan="4">Développement</th><th colspan="4">Test</th></tr><tr><th>Micro Score</th><th>Macro F1</th><th>Macro P</th><th>Macro R</th><th>Micro Score</th><th>Macro F1</th><th>Macro P</th><th>Macro R</th></tr></thead><tbody><tr><td rowspan="7">Neuronal</td><td>CNN-BERT</td><td>86,4</td><td>84,9</td><td>85,7</td><td>84,2</td><td>85,9</td><td>84,9</td><td>85,6</td><td>84,2</td></tr><tr><td>GRU-BERT</td><td>84,4</td><td>83,2</td><td>83,2</td><td>83,2</td><td>84,8</td><td>84,0</td><td>84,0</td><td>83,9</td></tr><tr><td>BERT affiné</td><td>86,3</td><td>85,8</td><td>85,1</td><td>86,5</td><td>86,4</td><td>86,2</td><td>85,6</td><td>86,8</td></tr><tr><td>CNN-FlauBERT</td><td>86,4</td><td>85,2</td><td>85,3</td><td>85,1</td><td>86,7</td><td>85,8</td><td>86,2</td><td>85,5</td></tr><tr><td>GRU-FlauBERT</td><td>84,2</td><td>83,3</td><td>82,6</td><td>84,0</td><td>85,1</td><td>84,6</td><td>83,8</td><td>85,4</td></tr><tr><td>CNN-CamemBERT</td><td>87,6</td><td>86,8</td><td>86,5</td><td><strong>87,2</strong></td><td>88,1</td><td>87,6</td><td>87,6</td><td>87,7</td></tr><tr><td>GRU-CamemBERT</td><td>86,5</td><td>85,6</td><td>85,5</td><td>85,6</td><td>87,1</td><td>86,5</td><td>86,6</td><td>86,4</td></tr><tr><td>CamemBERT affiné</td><td><strong>88,2</strong></td><td><strong>87,1</strong></td><td><strong>87,3</strong></td><td>86,9</td><td>88,1</td><td>87,4</td><td>87,5</td><td>87,3</td></tr><tr><td rowspan="7">Combiné</td><td>CNN-BERT</td><td>86,0</td><td>85,2</td><td>84,9</td><td>85,4</td><td>87,0</td><td>86,5</td><td>86,3</td><td>86,7</td></tr><tr><td>GRU-BERT</td><td>85,0</td><td>84,2</td><td>83,9</td><td>84,6</td><td>85,5</td><td>85,0</td><td>84,8</td><td>85,2</td></tr><tr><td>CNN-FlauBERT</td><td>86,6</td><td>85,3</td><td>85,8</td><td>84,8</td><td>87,6</td><td>86,8</td><td>87,5</td><td>86,1</td></tr><tr><td>GRU-FlauBERT</td><td>85,3</td><td>83,5</td><td>84,3</td><td>82,8</td><td>86,1</td><td>85,0</td><td>86,1</td><td>84,0</td></tr><tr><td>CNN-CamemBERT</td><td>87,5</td><td>86,8</td><td>86,4</td><td>87,1</td><td>88,6</td><td><strong>88,2</strong></td><td>88,0</td><td><strong>88,3</strong></td></tr><tr><td>GRU-CamemBERT</td><td>86,9</td><td>86,1</td><td>85,8</td><td>86,5</td><td>87,8</td><td>87,3</td><td>87,2</td><td>87,4</td></tr><tr><td>DEFT 2013</td><td>Première équipe (Bost et al., 2013)</td><td>-</td><td>-</td><td>-</td><td>-</td><td><strong>88,9</strong></td><td><strong>88,2</strong></td><td><strong>88,4</strong></td><td>88,1</td></tr><tr><td></td><td>Seconde équipe (Charton et al., 2014)</td><td>-</td><td>-</td><td>-</td><td>-</td><td>85,6</td><td>84,7</td><td>85,0</td><td>84,3</td></tr><tr><td></td><td>Troisième équipe (Hamon et al., 2013)</td><td>-</td><td>-</td><td>-</td><td>-</td><td>84,9</td><td>84,1</td><td>84,2</td><td>84,1</td></tr></tbody></table>

<table><caption>TABLE 4 – Résultats généraux et par classe (score F1) pour la tâche 2.</caption><thead><tr><th rowspan="2"></th><th rowspan="2">Modèle</th><th colspan="3">Développement</th><th colspan="3">Test</th></tr><tr><th>Entrée</th><th>Plat</th><th>Dessert</th><th>Entrée</th><th>Plat</th><th>Dessert</th></tr></thead><tbody><tr><td rowspan="6">Neuronal</td><td>CNN-BERT</td><td>70,2</td><td>86,5</td><td>97,6</td><td>71,0</td><td>86,4</td><td>96,8</td></tr><tr><td>GRU-BERT</td><td>67,9</td><td>83,8</td><td>97,8</td><td>70,5</td><td>85,0</td><td>96,4</td></tr><tr><td>CNN-FlauBERT</td><td>71,4</td><td>85,9</td><td>98,1</td><td>73,0</td><td>87,0</td><td>97,2</td></tr><tr><td>GRU-FlauBERT</td><td>69,3</td><td>83,4</td><td>96,9</td><td>72,6</td><td>85,1</td><td>95,7</td></tr><tr><td>CNN-CamemBERT</td><td><strong>75,1</strong></td><td><strong>87,1</strong></td><td>98,2</td><td>77,1</td><td>88,0</td><td>97,7</td></tr><tr><td>GRU-CamemBERT</td><td>72,8</td><td>86,4</td><td>97,4</td><td>75,4</td><td>87,8</td><td>96,4</td></tr><tr><td rowspan="6">Combiné</td><td>CNN-BERT</td><td>72,0</td><td>85,6</td><td>97,7</td><td>75,0</td><td>87,2</td><td>97,3</td></tr><tr><td>GRU-BERT</td><td>70,7</td><td>84,5</td><td>97,2</td><td>72,6</td><td>85,8</td><td>96,5</td></tr><tr><td>CNN-FlauBERT</td><td>70,9</td><td>86,7</td><td>98,0</td><td>74,4</td><td>87,8</td><td>97,9</td></tr><tr><td>GRU-FlauBERT</td><td>67,0</td><td>85,7</td><td>97,4</td><td>69,9</td><td>86,8</td><td>97,5</td></tr><tr><td>CNN-CamemBERT</td><td>74,7</td><td>86,9</td><td><strong>98,6</strong></td><td><strong>78,1</strong></td><td>88,5</td><td>98,0</td></tr><tr><td>GRU-CamemBERT</td><td>73,4</td><td>86,3</td><td>98,5</td><td>76,7</td><td>87,8</td><td>97,5</td></tr><tr><td rowspan="3">DEFT 2013</td><td>Première équipe (Bost et al., 2013)</td><td>-</td><td>-</td><td>-</td><td>-</td><td><strong>88,8</strong></td><td><strong>98,6</strong></td></tr><tr><td>Seconde équipe (Charton et al., 2014)</td><td>-</td><td>-</td><td>-</td><td>-</td><td>70,3</td><td>85,6</td></tr><tr><td>Troisième équipe (Hamon et al., 2013)</td><td>-</td><td>-</td><td>-</td><td>-</td><td>69,4</td><td>84,8</td></tr></tbody></table>

Parmi les 8 modèles que nous avons développés, les résultats montrent que le modèle conjoint CNN-CamemBERT obtient les scores F les plus élevés pour les trois classes de l'ensemble des tests. Il obtient également les meilleurs résultats sur la classe *Entrée* qui est la classe la plus rare. Ceci est en accord avec l'hypothèse selon laquelle la force du modèle combiné réside dans le traitement des classes rares.

# 7 Discussion

Il est intéressant d'observer que sur les corpus de tests, aucun des modèles neuronaux dont les plongements sont non personnalisés, n'obtient de meilleurs performances que les *modèles classiques* associés aux modèles linguistiques déployés lors de la campagne DEFT 2013. Il apparaît également que les modèles neuronaux dont les plongements sont affinés sur les corpus d'entraînement, produisent eux aussi des résultats inférieurs à ceux des *modèles classiques* associés aux modèles linguistiques.

On peut envisager ces résultats comme une indication que les modèles neuronaux à apprentissage profond, y compris lorsqu'ils sont finement entraînés ne produisent pas automatiquement de performances supérieures à celles des *modèles classiques* quand ces derniers sont finement paramétrés. Ceci semble particulièrement vrai sur des corpus textuels dé-balancés : les modèles neuronaux sont
incapables, dans toutes les configurations de nos expériences qui ne font pas appel aux modèles lin-
guistiques, de modéliser la classe difficile de la tâche 1 alors que les modèles classiques y parviennent.
Cette difficulté qu’ont les modèles neuronaux à modéliser les classes sous représentées apparaît
dans d’autres expériences (Marceau et al., 2019; Johnson & Khoshgoftaar, 2019). Il conviendrait de
mener d’autres études dans d’autres contextes pour confirmer ce point. Si l’incapacité des modèles
à apprentissage profond à modéliser une classe fortement dé-balancée venait à être confirmée plus
largement, elle les disqualifierait pour de nombreuses applications, au profit d’autres classifieurs
beaucoup plus performants dans ce contexte, tels que XGBoost (Chen & Guestrin, 2016; Nielsen,
2016).

On remarque néanmoins que les modèles neuronaux, avec très peu d'efforts de préparation, atteignent
des scores très proches (moins de 1 point d'écart pour Camembert) de ceux obtenus par les modèles
classiques, lorsque les corpus sont mieux balancés. Nous observons pour finir que tous les modèles
neuronaux, lorsqu'ils voient leur données d'apprentissage enrichies par les vecteurs de paramètres
issus du modèle linguistique, obtiennent les meilleures performances, y compris sur les classes
dé-balancés. On peut déduire de cette observation qu'un réseau de neurone à apprentissage profond —
même associé à des plongements censés lui fournir des caractères linguistiques discriminants — gagne
à voir ses données d'entraînement complétées par des paramètres complémentaires et sélectionnés
pour leurs propriétés discriminantes, obtenues via une phase d'ingénierie des paramètres.

# 8 Conclusion

Ces travaux dédiés à la classification de textes présentent un modèle combiné, composé d'un modèle
neuronal et d'un modèle linguistique. Ce modèle combiné est évalué sur les tâches 1 et 2 de la
campagne DEFT 2013 (Grouin et al., 2013), qui consistent à classer les recettes de cuisine en français
en fonction du niveau de difficulté ou du type de repas. Les résultats de ces expériences montrent que,
dans les deux tâches, les modèles combinés sont plus performants que leurs homologues uniquement
neuronaux. Dans la tâche 1, le modèle combiné a pu obtenir les meilleurs résultats en termes de micro
et macro F1 moyens, ce qui montre son efficacité dans les contextes de classes très déséquilibrées.

Dans notre contexte expérimental, la conception rapide d'un système performant est possible avec
les modèles neuronaux combinés avec des plongements, si les classes ne sont pas exagérément
débalancées. Cependant, le système le plus performant et robuste est obtenu en soumettant aux
modèles neuronaux des caractères discriminants patiemment sélectionnés.

# Reproductibilité

Pour faciliter la reproduction de nos travaux et permettre les comparaisons, nos systèmes sont
disponibles en code source libre dans le dépôt suivant :

https://github.com/cooking-classification/TALN2020.

Les données peuvent être obtenues en contactant le comité d'organisation de la campagne DEFT
2013 (voir https://deft.limsi.fr/2013/index.php)
Références

AMINI H., FARAHNAK F. & KOSSEIM L. (2019). Natural Language Processing : An Overview.
In M. BLOM, N. NOBILE & C. Y. SUEN, Éds., *Frontiers in Pattern Recognition and Artificial Intelligence*, volume 5, chapitre 3, p. 35–55. World Scientific. DOI: 10.1142/9789811203527_0003.

BACH N. X., DUY T. K. & PHUONG T. M. (2019). A POS Tagging Model for Vietnamese Social Media Text Using BiLSTM-CRF with Rich Features. In *Pacific Rim International Conference on Artificial Intelligence*, p. 206–219 : Springer.

BOGDANOVA D., FOSTER J., DZENDZIK D. & LIU Q. (2017). If You Can't Beat them Join them : Handcrafted Features Complement Neural Nets for Non-factoid Answer Reranking. In *Proceedings of the 15th Conference of the European Chapter of the Association for Computational Linguistics : Volume 1, Long Papers*, p. 121–131.

BOST X., BRUNETTI I., CABRERA-DIEGO L. A., COSSU J.-V., LINHARES A., MORCHID M., TORRES-MORENO J.-M., EL-BÈZE M. & DUFOUR R. (2013). Systèmes du LIA à DEFT 13. In *Actes du neuvième DÉfi Fouille de Textes (DEFT2013)*, atelier de la 20e conférence de la conférence sur le Traitement Automatique du Langage Naturel 2013 (TALN 2013) et de la 15ème Rencontre des Étudiants Chercheurs en Informatique pour le Traitement Automatique des Langues (RECITAL 2013), Les Sables-d'Olonne, France. HAL : hal-01313065.

CHARTON E., JEAN-LOUIS L., MEURS M.-J. & GAGNON M. (2013). Trois recettes d'ap-
prentissage automatique pour un systeme d'extraction d'information et de classification de re-
cettes de cuisines. In *Actes du neuvième DÉfi Fouille de Textes (DEFT2013)*, atelier de la 20e
conférence de la conférence sur le Traitement Automatique du Langage Naturel 2013 (TALN
2013) et de la 15ème Rencontre des Étudiants Chercheurs en Informatique pour le Traitement
Automatique des Langues (RECITAL 2013), p. 17–21, Les Sables-d’Olonne, France. https://deft.limsi.fr/actes/2013/pdf/deft13_submission_6.pdf.

CHARTON E., MEURS M.-J., JEAN-LOUIS L. & GAGNON M. (2014). Using Collaborative Tagging for Text Classification : From Text Classification to Opinion Mining. *Informatics*, **1**(1), 32–51. DOI : 10.3390/informatics1010032.

CHEN T. & GUESTRIN C. (2016). XGBoost : A scalable tree boosting system. In *Proceedings of the 22nd acm sigkdd international conference on knowledge discovery and data mining*, p. 785–794.

CHO K., VAN MERRIENBOER B., GULCEHRE C., BAHDANAU D., BOUGARES F., SCHWENK H. & BENGIO Y. (2014). Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine Translation. In *Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing (EMNLP 2014)*, p. 1724–1734, Doha, Qatar.

CHUNG J., GULCEHRE C., CHO K. & BENGIO Y. (2014). Empirical Evaluation of Gated Recurrent Neural Networks on Sequence Modeling. In *NIPS 2014 Deep Learning and Representation Learning Workshop*, Montreal, Canada.

COLLIN O., GUERRAZ A., HIOU Y. & VOISINE N. (2013). Participation de Orange Labs à DEFT 2013. In *Actes du neuvième DÉfi Fouille de Textes (DEFT2013)*, atelier de la 20e conférence de la conférence sur le Traitement Automatique du Langage Naturel 2013 (TALN 2013) et de la 15ème Rencontre des Étudiants Chercheurs en Informatique pour le Traitement Automatique des Langues (RECITAL 2013), p. 67–79, Les Sables-d’Olonne, France. https://deft.limsi.fr/actes/2013/pdf/deft13_submission_5.pdf.

DEVLIN J., CHANG M.-W., LEE K. & TOUTANOVA K. (2019). BERT : Pre-training of Deep Bidirectional Transformers for Language Understanding. In *Proceedings of the 2019 Conference of*
*the North American Chapter of the Association for Computational Linguistics : Human Language Technologies (ACL/HLT 2019)*, p. 4171–4186, Minneapolis, Minnesota.

GROUIN C., PAROUBEK P. & ZWEIGENBAUM P. (2013). DEFT2013 se met à table : présentation du défi et résultats. In *Actes du neuvième DÉfi Fouille de Textes (DEFT2013)*, atelier de la 20e conférence de la conférence sur le Traitement Automatique du Langage Naturel 2013 (TALN 2013) et de la 15ème Rencontre des Étudiants Chercheurs en Informatique pour le Traitement Automatique des Langues (RECITAL 2013), Les Sables-d'Olonne, France. https://deft.limsi.fr/actes/2013/pdf/deft13_submission_0.pdf.

HAMON T., PÉRINET A. & GRABAR N. (2013). Efficacité combinée du flou et de l'exact des recettes de cuisine. In *Actes du neuvième DÉfi Fouille de Textes (DEFT2013)*, atelier de la 20e conférence de la conférence sur le Traitement Automatique du Langage Naturel 2013 (TALN 2013) et de la 15ème Rencontre des Étudiants Chercheurs en Informatique pour le Traitement Automatique des Langues (RECITAL 2013), Les Sables-d'Olonne, France. https://deft.limsi.fr/actes/2013/pdf/deft13_submission_1.pdf.

HOCHREITER S. & SCHMIDHUBER J. (1997). Long Short-Term Memory. *Neural Computation*, **9**(8), 1735–1780.

JOHNSON J. M. & KHOSHOFTAAR T. M. (2019). Survey on Deep Learning with Class Imbalance. *Journal of Big Data*, **6**(1), 27.

KRAWCZYK B. (2016). Learning from Imbalanced Data: Open Challenges and Future Directions. *Progress in Artificial Intelligence*, **5**(4), 221–232.

LE H., VIAL L., FREJ J., SEGONNE V., COAVOUX M., LECOUTEUX B., ALLAUZEN A., CRABBÉ B., BESACIER L. & SCHWAB D. (2020). FlaubERT: Unsupervised Language Model Pre-training for French. In *Proceedings of the 12th Edition of the Language Resources and Evaluation Conference (LREC 2020)*. arXiv: 1912.05372.

LECUN Y., HAFFNER P., BOTTOU L. & BENGIO Y. (1999). Object Recognition with Gradient-based Learning. In D. A. FORSYTH, J. L. MUNDY, V. DI GESÚ & R. CIPOLLA, Éds., *Shape, contour and grouping in computer vision*, volume 1681 of *Lecture Notes in Computer Science*, p. 319–345. Springer. DOI: 10.1007/3-540-46805-6_19.

LIU P., JOTY S. & MENG H. (2015). Fine-grained opinion mining with recurrent neural networks and word embeddings. In *Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing*, p. 1433–1443.

LOSHCHILOV I. & HUTTER F. (2019). Decoupled Weight Decay Regularization. In *Proceedings of the 3rd International Conference on Learning Representations (ICLR 2019)*, New Orleans, Louisiana, USA.

MARCEAU L., QIU L., VANDEWIELE N. & CHARTON E. (2019). A comparison of deep learning performances with other machine learning algorithms on credit scoring unbalanced data. arXiv preprint: 1907.12363.

MARTIN L., MULLER B., SUÁREZ P. J. O., DUPONT Y., ROMARY L., DE LA CLERGERIE É. V., SEDDAH D. & SAGOT B. (2019). CamembERT: A Tasty French Language Model. arXiv preprint: 1911.03894.

NIELSEN D. (2016). Tree boosting with XGBoost- Why does XGBoost win "every" machine learning competition? *Mémoire de master*, NTNU.

TYMOSHENKO K., BONADIMAN D. & MOSCHITTI A. (2016). Convolutional neural networks vs. convolution kernels: Feature engineering for answer sentence reranking. In *Proceedings of the*
2016 conference of the North American chapter of the association for computational linguistics : human language technologies, p. 1268–1278.

WANG J., WANG Z., ZHANG D. & YAN J. (2017). Combining Knowledge with Deep Convolutional Neural Networks for Short Text Classification. In *International Joint Conference on Artificial Intelligence* (IJCAI), p. 2915–2921.
# Étude sur le résumé comparatif grâce aux plongements de mots

Valentin Nyzam Aurélien Bossard

Laboratoire d'Informatique Avancée de Saint-Denis, Université Paris 8
2 rue de la Liberté, 93526 Saint-Denis

valentin.nyzam@iut.univ-paris8.fr, aurelien.bossard@iut.univ-paris8.fr

## RÉSUMÉ

Dans cet article, nous présentons une nouvelle méthode de résumé automatique comparatif. Ce type de résumé a pour objectif de permettre de saisir rapidement les différences d'information entre deux jeux de documents. En raison de l'absence de ressources disponibles pour cette tâche, nous avons composé un corpus d'évaluation. Nous présentons à la fois la méthodologie de son élaboration ainsi que le corpus lui-même. Notre méthode utilise les avancées récentes dans le calcul de similarité entre phrases afin de détecter les informations comparatives. Nous montrons que sur ce corpus, notre méthode est comparable en termes de qualité de résultats à une méthode de l'état de l'art, tout en réduisant d'un facteur dix le temps de calcul, la rendant donc exploitable dans le cadre de l'aide à l'analyse de documents.

## ABSTRACT

**Comparative summarization study using word embeddings.**

This paper introduces a new method for comparative automatic summarization. This kind of summary allows to quickly identify the differences between two sets of documents. Because of the lack of evaluation resources, we built an evaluation corpus. We present both the methodology used to build this corpus, and the corpus itself. Our method makes use of recent advances in sentence similarity computation in order to detect comparative information. We show that on that corpus, our method compares to a state-of-the-art method in terms of quality and divides the computation time by a factor ten. This increase in computation speed makes automatic comparative summarization usable for support for document analysis.

**MOTS-CLÉS** : Résumé automatique, résumé comparatif, plongements de mots.

**KEYWORDS:** Automatic summarization, comparative summarization, word embeddings.

## 1 Introduction

Étant donné le nombre d'actualités disponibles en ligne, l'analyse automatique des articles de presse est devenue un enjeu important. Dans ce cadre, nous nous intéressons au résumé comparatif qui permet de regrouper les informations connexes au sein d'un groupe de documents qui traitent d'un même type de sujet pour les présenter à l'utilisateur sous la forme de courts résumés. Une telle présentation analytique est une réelle plus-value pour le lecteur du résumé. Elle met en effet en avant les informations comparables au sein de plusieurs documents, ce qui peut s'apparenter au résumé guidé par les aspects, mais de manière non supervisée. Cependant, cette tâche représente un défi pour le traitement automatique de la langue.

<figure><img src="image_24.png" /></figure>
Il est en effet nécessaire d'avoir une connaissance approfondie des sujets traités par les documents afin de trouver de bonnes comparaisons. C'est pourquoi l'analyse manuelle prend généralement beaucoup de temps et de travail. La génération automatique d'un résumé qui mette automatiquement en évidence les informations connexes entre les sujets d'actualité serait ainsi une aide primordiale afin de pouvoir effectuer des analyses de manière plus simple et efficace. Dans la suite de cet article, nous appelons "informations comparatives" deux informations qui peuvent être rapprochées l'une de l'autre d'après le thème qu'elles portent.

Le résumé comparatif d'actualités cherche ainsi à comparer une paire de documents ou une paire d'ensembles de documents. Le résumé généré est donc composé de deux "blocs", chacun résumant un seul document (ou un seul groupe de documents). De plus, les résumés doivent être composés de phrases qui transmettent des informations à la fois comparatives et représentatives de chaque document ou ensemble de documents.

Nous présentons ici une nouvelle méthode de résumé comparatif fondée sur les récentes avancées en sémantique computationnelle : les plongements de mots et la *Word Mover Distance* (WMD) (Kusner *et al.*, 2015) afin de détecter les phrases sémantiquement proches pour la comparaison. Les résultats expérimentaux démontrent l'efficacité de ce modèle en termes de temps d'exécution ainsi que de qualité d'identification et de résumé des comparaisons.

Dans un premier temps, nous présentons les travaux associés à la tâche du résumé comparatif. Nous expliquons ensuite notre méthode de résumé comparatif, ainsi que les méthodes d'évaluation de la comparativité et de l'informativité. Nous présentons alors le contexte de notre expérience ainsi que les résultats obtenus, puis les conclusions et suites que nous envisageons à cette étude.

## 2 Définition

Wang *et al.* (2009) sont les premiers à avoir défini le résumé comparatif. Ils définissent le résumé comparatif comme suit : "*Étant donnée une collection de groupes de documents, le résumé de comparaison consiste à générer un court résumé composé des différences entre ces documents en extrayant les phrases les plus discriminantes dans chaque groupe de documents.*". En n'extrayant que des phrases discriminantes, le résumé comparatif s'écarte de la définition d'une comparaison car il y manquera sûrement les aspects comparatifs. Il se rapproche en revanche de la tâche traditionnelle de résumé automatique, si ce n'est qu'au lieu d'extraire les informations les plus discriminantes d'un document ou groupe de documents, on extrait les informations les plus discriminantes d'un groupe de documents vis-à-vis des autres. En effet, l'extraction des seules phrases discriminantes sans tenir compte d'une thématique commune implique que le résumé comparatif perd alors sa cohérence et son sens. Wang *et al.* (2009) fournissent un exemple de phrases discriminantes en utilisant leur méthode *Discriminative Sentence Selection*. Le tableau 1 présente un résumé automatique tiré de l'article qui présente ce travail. Bien que l'on ne dispose pas des articles d'origine, on peut constater que cet exemple constitue difficilement un résumé. Il est même compliqué de comprendre quelle en est l'information principale. De plus, les phrases ainsi extraites de leur contexte sont difficilement interprétables, et l'intérêt de cette méthode vis-à-vis d'un utilisateur final est donc discutable.

Huang *et al.* (2014) étendent la définition précédente en déclarant que : "*Un résumé comparatif doit contenir une combinaison de deux composants (provenant de différents ensembles de documents), chacun lié au même sujet.*". Huang *et al.* (2014) fournissent un exemple de résumé de référence (écrit
<table><caption>TABLE 1 – Extraction de phrases discriminantes par Wang et al. (2009).</caption><thead><tr><td>ID</td><td>Discriminative sentences</td></tr></thead><tbody><tr><td>1</td><td>There is no cold war, there is no Saddam. Lebanon has also changed.</td></tr><tr><td>2</td><td>If hiring rap sheet-free intelligent people means they won't hire a black applicant for another five years.</td></tr><tr><td>3</td><td>He should drop the case against the lacrosse players but not the sexual assault case itself.</td></tr><tr><td>4</td><td>Rahman, who is about 41 years old, converted from islam to christianity over 16 years ago.</td></tr><tr><td>5</td><td>To be totally honest with you, we believed that there may have been a classified annex.</td></tr><tr><td>6</td><td>I suspect that his position reflects conventional wisdom among the Chinese military establishment.</td></tr><tr><td>7</td><td>In both the short and long term what those displaced by hurricane Katrina need most is money.</td></tr></tbody></table>

par un humain) présenté dans le tableau 2, qui compare la coupe du monde de football 2006 à celle de 2010. Les phrases qui traitent du même thème ne sont pas mises en vis-à-vis. Toutefois, les thèmes sont ordonnés de la même manière au sein des deux résumés, et on peut dès lors identifier les thèmes principaux mis en avant par le rédacteur. Le rapprochement entre ce type de résumé comparatif et le résumé guidé par les aspects est évident. La lecture de ces résumés apporte des éléments concrets de compréhension et fait bien ressortir les spécificités des jeux de documents source.

Nous voyons donc le résumé comparatif de la même manière que Huang et al. (2014), à savoir la mise en parallèle de phrases issues de deux ensembles différents afin de faire apparaître les similarités thématiques et les différences des informations à l'intérieur de chaque thème qui font la spécificité de chaque jeu de documents.

<table><caption>TABLE 2 – Exemple d’un résumé de référence issu de Huang et al. (2014).</caption><thead><tr><td>Ensemble de documents A</td><td>Ensemble de documents B</td></tr></thead><tbody><tr><td>Italy claimed a fourth world title in a penalty shoot-out victory over France after the two sides finished a goal apiece following extra-time in Berlin's Olympic Stadium on Sunday</td><td>Spain have won the 2010 FIFA World Cup South Africa final, defeating Netherlands 1-0 with a wonderful goal from Andres Iniesta deep into extra-time.</td></tr><tr><td>France captain Zinedine Zidane won the Golden Ball award for the tournament's best player</td><td>Uruguay star striker Diego Forlan won the Golden Ball Award as he was named the best player of the tournament at the FIFA World Cup 2010 in South Africa</td></tr><tr><td>Lukas Podolski was named the inaugural Gillette Best Young Player by FIFA's TSG after scoring three goals and contributing boundless energy to Germany's enthralling FIFA World Cup campaign</td><td>German youngster Thomas Mueller got double delight after his side finished third in the tournament as he was named Young Player of the World Cup by the FIFA Technical Study Group (TSG) and he also won the Golden Boot Award for the tournament's top-scorer.</td></tr><tr><td>Germany striker Miroslav Klose was the Golden Shoe winner for the tournament's leading scorer</td><td>The net economic benefit from hosting the World Cup for South Africa, in terms of current and future tourism impact, is unclear</td></tr><tr><td>Germany's minister of economics and technology, Michael Glos, says he is confident the World Cup will boost the economy.</td><td>South Africa will have five brand new state of the art football stadiums that seat an average of 50,400 spectators and five newly renovated stadiums that seat an average of 53,300</td></tr><tr><td>An average of 52,500 fans packed into the 12 stadiums for the 64 matches</td><td>In Berlin, about 3,50,000 people watched Germany at the FIFA fan fest on Wednesday night, while 56,836 people attended the fan fest in Durban</td></tr><tr><td>In Berlin, for example, police estimated that up to one million fans converged on the official Fan Fest public viewing venue in front of the Brandenburger Tor on Saturday to watch the host nation beat Sweden for a quarterfinal berth</td><td>A global TV audience of more than 700 million watched Sunday's World Cup final, according to the tournament's organizers</td></tr><tr><td>Television audiences for the 2006 FIFA World cupTM in Germany are being collated as the tournament progresses and it already looks as if they are heading for the record books</td><td></td></tr></tbody></table>
# 3 Travaux associés

Le résumé comparatif est étudié depuis de nombreuses années en linguistique et de nombreux travaux ont étudié la connotation, l'extension, les formes et les usages des comparaisons (Kennedy, 2007; Lerner & Pinkal, 2003). L'analyse comparative a été appliquée dans de nombreux domaines, et plusieurs sujets académiques connexes ont émergé, tels que la littérature linguistique (Anttila, 1972), la littérature (Prawer, 1973), l'histoire et la politique comparées. L'analyse comparative est également largement utilisée dans les applications web. De nombreux systèmes de commerce électronique fournissent des comparaisons de produits de base sur les prix et les fonctionnalités en se basant sur les données structurelles sous-jacentes.

Plus récemment, l'extraction d'informations comparatives à partir de données non structurées a attiré beaucoup d'attention. Plusieurs chercheurs proposent d'étudier la comparaison d'entités en utilisant des modèles linguistiques (Bao et al., 2008) ou des mesures de similarités entre distributions de probabilités (Jain & Pantel, 2011; Liu et al., 2007). Certains travaux tentent d'identifier des comparaisons linguistiques explicites et d'en extraire les éléments de comparaison (Jindal & Liu, 2006), d'autres cherchent à extraire des caractéristiques individuelles dans les phrases et à les faire correspondre (Kim & Zhai, 2009; Paul et al., 2010; Zhai et al., 2004).

D'autres encore utilisent des méthodes de résumé automatique conventionnelles telles que LSA, LDA, méthodes à base de graphe, ILP... L'intérêt des méthodes à base de LSA et LDA (Campr & Ježek, 2013) est la représentation des documents sous la forme de distributions de probabilités sur des thématiques. Les méthodes à base de graphes (Wan et al., 2011) et de programmation linéaire en nombres entiers (Huang et al., 2014) permettent de conserver simplement l'informativité présente dans les ensembles de documents, comme dans le cadre du résumé automatique classique.

Si la plupart de ces études se concentrent sur la comparaison des aspects communs au sein de phrases, il existe également certaines recherches axées sur la détection des informations uniques des sujets qui composent les documents (Wang et al., 2012) ou de la nouveauté de ces informations.

La méthode utilisée par (Huang et al., 2014) étant la plus proche de nos travaux, nous l'utiliserons comme baseline de comparaison dans nos expériences. Afin de générer les résumés, les auteurs utilisent à la fois la comparabilité, la centralité et la non-redondance dans une fonction objectif dont ils cherchent le maximum grâce à la programmation linéaire en nombres entiers (ILP). Leur méthode fait appel à une ressource sémantique exogène : WordNet (Pedersen et al., 2004) afin de capturer les similarités entre des paires de concepts (unigrammes ou bigrammes) et ainsi déterminer le poids "comparatif" d'un ensemble de paires de concepts. Une telle méthode possède deux inconvénients majeurs :

- son coût de calcul : elle nécessite le calcul de similarité entre concepts dans un arbre et ce pour tous les concepts identifiés dans le corpus à résumer;

- sa portabilité vers d'autres langues, bien que des ressources telles que BabelNet (Navigli & Ponzetto, 2012) répondent en partie à ce problème.

# 4 Méthode proposée

Dans notre étude, nous nous intéressons au résumé comparatif tel que défini dans (Huang et al., 2011, 2014). Les auteurs tentent d'identifier les phrases comparables entre deux ensembles documents, i.e.
qui partagent un thème commun, tout en véhiculant une information différente. Il faut donc extraire des paires de phrases comparables depuis les deux ensembles de documents mais également identifier parmi ces paires comparables quelles sont celles qui véhiculent un thème important. Il faut en effet éviter de présenter au lecteur du résumé des informations non essentielles. La difficulté inhérente à la tâche consiste donc à trouver un compromis entre la comparabilité des phrases à extraire dans le résumé et l'aspect central des informatios qu'elles contiennent.

Nous construisons un résumé comparatif en extrayant des phrases sémantiquement similaires. Afin d'identifier les phrases similaires, nous utilisons une mesure de distance sémantique destinée aux plongements de mots : la Word Mover Distance (WMD) (Kusner et al., 2015). La distance WMD mesure la dissimilarité entre deux documents (dans notre cas, des phrases) comme la distance minimale que les plongements de mots d'un document doivent "parcourir" pour atteindre les plongements de mots d'un autre document. Le calcul de cette distance consiste donc en une résolution d'un problème de transport.

Nous déterminons la comparabilité au niveau de la phrase afin d'améliorer le temps de traitement, contrairement à (Huang et al., 2014) qui travaillent au niveau des concepts. En effet, utiliser les concepts est problématique : Les jeux de documents sont constitués d'entre trois et cinq milles concepts différents. Pour chaque résumé, il serait donc nécessaire de calculer en moyenne 15 millions de similarités sémantiques entre paires de concepts. En travaillant au niveau des phrases, nous limitons le nombre de paires de phrases à 100 000, ce qui semble plus réaliste d'un point de vue calculatoire.

Il nous faut également une mesure de centralité des phrases, c'est-à-dire de l'importance de l'information véhiculée par les phrases vis-à-vis du jeu de documents auquel elles appartiennent. Pour cette première approche du problème, et bien que d'autres mesures plus performantes existent (Gambhir & Gupta, 2017) nous avons choisi d'utiliser, la somme du tf.idf des concepts d'une phrase afin d'évaluer sa centralité.

Ces deux scores de comparativité (entre des paires de phrases) et de centralité (pour une phrase) sont normalisés puis combinés. Cette combinaison des deux scores constitue alors une fonction objectif destinée à représenter le compromis entre comparativité et centralité, et qui peut être intégrée à un algorithme d'optimisation afin de déterminer le résumé qui la maximise.

La fonction objectif utilisée est la suivante :

$$obj(sum) = (1 - \lambda)Score_{info}(sum) + \lambdaScore_{comp}(sum) \quad (1)$$

avec $Score_{info}$ la fonction représentant l'informativité du résumé et $Score_{comp}$ la fonction représentant la comparativité du résumé.

Le score d'informativité du résumé est calculé simplement à l'aide d'une somme sur les TF-IDF des concepts présents :

$$Score_{info}(R) = \sum_{i=1}^{2} \sum_{k=1}^{|C_i|} w_{ij} \cdot \text{présent}(c_{ij}, R) \quad (2)$$

avec $C_i = \{c_{ij}\}$ l'ensemble des concepts présents dans l'ensemble de documents $D_i$. Un concept est défini comme un unigramme ou un bigramme. $\text{présent}(c_{ij}, R)$ représente la présence ou non du concept $c_{ij}$ dans le résumé $R$. Chaque concept $c_{ij}$ a un poids $w_{ij} \in \mathbb{R}$ calculé comme le score TF-IDF du concept sur l'ensemble de documents $D_i$ :
$$w_{ij} = TF(c_{ij}, D_i) \cdot IDF(c_{ij}) \qquad (3)$$

Le score de comparativité est calculé comme la somme des poids comparatifs présents dans le résumé. Un poids comparatif est le poids associé à la comparaison entre deux phrases issues des deux différents jeux de documents. Il se calcule comme la somme des similarités normalisées entre les phrases appartenant au résumé A et les phrases appartenant au résumé B, calculées avec la distance WMD.

$$Score_{comp}(R) = \sum_{s_{1j} \in R} \sum_{s_{2k} \in R} \frac{sim_{WMD}(s_{1j}, s_{2k})}{\max_{\forall m, n}(sim_{WMD}(s_{1m}, s_{2n}))} \qquad (4)$$

avec $s_{ij}$ la phrase j de l'ensemble de documents i, R le résumé (composé du résumé de chacun des deux jeux de documents) et $sim_{WMD}$ la similarité WMD calculée à partir de la Word Mover Distance. Une paire de phrases $<s_{1j}, s_{2k}>$ a ainsi un poids considéré comme égal à la distance WMD normalisée qui les sépare. Ce poids indique si la paire de phrases est porteuse d'une comparaison importante.

Nous appliquons en dernier lieu un algorithme d'extraction destiné à la résolution du problème du sac à dos (Pisinger et al., 2007), qui a déjà été utilisé avec succès pour le résumé automatique (McDonald, 2007) avec la fonction objectif définie en équation 1.

# 5 Expérience

Dans cette section, nous décrivons l'expérience mise en place afin d'évaluer notre méthode. Nous y présentons notre corpus, la chaîne de traitement de notre méthode à des fins de reproductibilité, la baseline utilisée ainsi que la mesure utilisée pour l'évaluation. En dernier lieu, nous présentons les paramètres expérimentaux et les résultats de l'expérience.

## 5.1 Corpus

En raison de la nouveauté de la tâche du résumé comparatif, il n'existe pas de jeu de données disponible pour son évaluation. Huang et al. (2014); Campr & Ježek (2013) ont chacun créé un jeu de données de dix corpus, chaque corpus étant composé d'une paire d'ensembles de dix documents sur des sujets comparables. Sur le même principe illustré en figure 1, nous avons donc créé notre propre ensemble de corpus en anglais.

Nous avons d'abord choisi dix paires de sujets comparables, présentées en figure 3. Puis nous avons récupéré les dix premiers articles de presse liés à chaque sujet en utilisant un moteur de recherche populaire. Enfin, nous avons créé manuellement le résumé humain pour chaque paire de sujets. Le résumé humain a été créé en fonction d'instructions souples : "les deux résumés doivent contenir uniquement les informations comparables issues des deux jeux de documents, et sont chacun limités à 100 mots. Informations comparables : informations participant à un même thème à l'intérieur des jeux de documents.". Il est important de noter que chaque résumé de référence contient également deux "blocs" limités à 100 mots, chacun d'entre eux comportant les phrases de l'ensemble de documents A ou B. Un résumé se compose donc d'un maximum de 200 mots.
<figure><img src="image_25.png" /><figcaption>FIGURE 1 – Schéma illustrant la création du corpus.</figcaption></figure>

## 5.2 Chaîne de traitement

La chaîne de traitement de notre méthode pour cette expérience est présentée dans la figure 2. Elle consiste tout d'abord dans les traitements classiques : tokenisation et segmentation en phrases, puis en une mise à jour, sur le corpus de résumé, des plongements de mots calculés au préalable sur un corpus issu de Wikipedia. Cette mise à jour spécifique au corpus d'évaluation vise à ajouter aux plongements de mots préexistants le vocabulaire spécifique qui n'y serait pas présent. Avoir une liste exhaustive des plongements de mots est en effet un prérequis nécessaire pour que la *Word Mover Distance* puisse délivrer des résultats satisfaisants.

Ces pré-traitements sont suivis des différents traitements visant à mettre en place la fonction objectif, suite à quoi l'algorithme d'optimisation de type résolution du problème du sac à dos décrit dans (Pisinger et al., 2007) est lancé. Notre méthode, décrite en §4, est nommée SenWE-KP.

<table><caption>TABLE 3 – Paires de sujets comparables et leur thématique constituant l'ensemble de corpus d'évaluation.</caption><thead><tr><td>ID</td><td>Thématique</td><td>Sujets</td></tr></thead><tbody><tr><td>1</td><td>Catastrophe naturelle</td><td>Tremblement de terre Haïti / Chili</td></tr><tr><td>2</td><td>Terrorisme</td><td>Attaque Paris / Nice</td></tr><tr><td>3</td><td>Politique</td><td>Élection présidentielle US / France</td></tr><tr><td>4</td><td>Politique</td><td>Mariage homosexuel US / France</td></tr><tr><td>5</td><td>Politique</td><td>Candidature Paris JO 2024 / 2012</td></tr><tr><td>6</td><td>Catastrophe naturelle</td><td>Feu Forêt Portugal / USA</td></tr><tr><td>7</td><td>Catastrophe naturelle</td><td>Inondation France / USA</td></tr><tr><td>8</td><td>Catastrophe naturelle</td><td>Tsunami Fukushima / 2004 Océan Indien</td></tr><tr><td>9</td><td>Catastrophe naturelle</td><td>Ouragan Irma / Katrina</td></tr><tr><td>10</td><td>Scandale</td><td>Affaire DSK / Affaire Weinstein</td></tr></tbody></table>

## 5.3 Baseline

Nous utilisons notre implémentation de la méthode de Huang et al. (2014) comme méthode de référence (WordNet-ILP). Malheureusement, les auteurs n'ont pas fourni le code correspondant. Nous espérons notre implémentation la plus fidèle possible à leur méthode décrite en §3 ; elle associe une similarité sémantique entre concepts issue de WordNet avec une mesure de centralité pour obtenir une
<figure><img src="image_26.png" /><figcaption>FIGURE 2 – Chaîne de traitement pour le résumé comparatif.</figcaption></figure>

fonction objectif. Cette fonction objectif est maximisée grâce à un solveur de programmation linéaire en nombres entiers, guidé par des contraintes similaires à celles décrites dans (Gillick & Favre, 2009) qui interdisent toute redondance de concepts au sein du résumé généré.

## 5.4 Évaluation

L'évaluation d'un résumé reste toujours problématique. On peut catégoriser les méthodes d'évaluation en quatre catégories :

- automatiques sans référence (Louis & Nenkova, 2013);

- automatiques avec référence (ROUGE, BLEU a aussi été utilisé dans certaines études) (Lin, 2004);

- manuelles avec score automatique : Pyramid (Nenkova & Passonneau, 2004);

- manuelles entièrement subjectives.

Huang *et al.* (2014) ont proposé une méthode d'évaluation semblable à Pyramid mais adaptée au résumé comparatif. Il s'agit d'évaluer si les résumés automatiques traitent ou non des thèmes relevés dans les résumés manuels. Cependant, les évaluations manuelles étant coûteuses en temps humain, nous souhaitons les réserver pour les étapes futures de notre étude. Les évaluations automatiques sans références, quant à elles, sont inexploitables dans notre contexte. En effet, elles s'appuient sur la similarité entre le jeu de documents à résumer et les résumés à évaluer, par le biais des distributions de probabilité. L'objectif du résumé comparatif s'éloigne de celui du résumé "traditionnel" pour lequel la centralité, bien reflétée par les mesures de divergence entre distributions de probabilité, est la notion la plus importante. Nous avons donc opté pour les mesures ROUGE.

Nous évaluons les deux résumés créés A et B pour chaque ensemble de documents vis-à-vis respectivement des résumés humains A et B. Dans cette expérience, nous utilisons les paramètres ROUGE possédant la meilleure corrélation avec les scores humains d'après Graham (2015) :

- ROUGE-2 : Précision ROUGE-2 moyenne avec racinisation et suppression des mots vides<fnref n="1" />

- ROUGE-3 : F-Mesure ROUGE-3 moyenne sans racinisation et sans suppression des mots vides<fnref n="2" />.

<footnote n="1">1. Arguments ROUGE-2 : -n 2 -x -m -s -c 95 -r 1000 -f A -p 1 -t 0</footnote>

<footnote n="2">2. Arguments ROUGE-3 : -n 3 -x -c 95 -r 1000 -f A -p 0.5 -t 0</footnote>
**Résumé A (Chili)**: Reuters now reports that 47 people have died in the quake. The earthquake struck at 3:34 a.m. in central Chile, centered roughly 200 miles southwest of Santiago at a depth of 22 miles, the United States Geological Survey reported. More than 300 people were killed, according to Chile's Office of Emergency Management, and 15 are missing. A tsunami watch has been issued for Ecuador, Colombia, Panama, Costa Rica and Antarctica. No damage was expected from possibly stronger waves to follow, Ryan said. Chilean President Michele Bachelet said that altogether two million people had been affected.

**Résumé B (Haïti)**: The headquarters of the U. N. peacekeeping mission in Port-au-Prince collapsed, a U. N. official told CNN. “We stand ready to assist the people of Haiti,” Mr. Obama said. Some said that they had been able to get through immediately after the earthquake. The World Bank forgave the country’s $36 million balance in May. “I saw people under the rubble, and people killed. A "large number" of UN personnel were reported missing by the organisation. The quake was felt in the Dominican Republic, sending people in the capital Santo Domingo running on to the streets in panic.

FIGURE 3 – Résumé comparatif issu de la méthode WordNet-KP pour le sujet “Tremblement de terre Chili / Haiti 2010”.

## 5.5 Paramètres expérimentaux

Tous les systèmes génèrent un résumé comparatif composé de deux résumés de 100 mots chacun. Toutes les expériences sont effectuées sur un processeur Intel Xeon à 2,20 GHz composé de 40 cœurs. Les résultats de l'évaluation sont présentés dans le tableau 4. Les scores présentés correspondent à la moyenne des scores ROUGE obtenus sur les deux "blocs" qui composent un résumé.

## 5.6 Résultats

La méthode SenWE-KP permet d'obtenir des résultats légèrement meilleurs en terme de scores Rouge-2 et Rouge-3. Étant donné la taille de notre corpus et la faible différence de score entre les deux méthodes, on peut considérer que leurs résultats ROUGE sont comparables. Notre méthode semble donc bien capturer les aspects comparatifs entre deux jeux de documents. Les figures 3 et 4 présentent les résumés obtenus pour le sujet "Tremblement de terre Chili / Haïti 2010" respectivement avec la *baseline* WordNet-ILP et notre méthode SenWE-KP.

Néanmoins, en étudiant manuellement les résumés générés, on peut observer que ceux-ci sont en général pollués par une certaine redondance. La méthode WordNet-ILP pallie ce problème en utilisant une optimisation sur une somme de concepts et de paires de concepts. Étant donné que chaque concept et chaque paire n'est compté qu'une seule fois, le meilleur résumé doit limiter la redondance. Dans notre méthode, même si nous ne comptons qu'une seule fois chaque score tf-idf dans la partie représentativité de la fonction objectif, nous ne pouvons pas réduire les similitudes aussi facilement.

Cependant, l'utilisation d'une granularité au niveau de la phrase améliore considérablement le temps de traitement, de plus d'un facteur 10, la rendant utilisable en application réelle ; la table 4 montre que le calcul des résumés pour l'ensemble des 10 sujets de notre corpus d'évaluation prend plus de 5h pour WordNet-ILP contre 22 minutes pour notre méthode. Le temps de traitement relativement long pour la méthode WordNet provient des traitements réalisés au niveau des concepts. D'une part, le calcul des distances de similarité entre concepts dans la taxonomie WordNet est coûteux. D'autre part, le solveur de programmation linéaire en nombre entiers possède un très grand nombre de contraintes,
**Résumé A (Chili)**: The Geological Survey said that another earthquake on Saturday, a 6.3-magnitude quake in northern Argentina, was unrelated. The magnitude-8.8 earthquake struck at 3:34 AM at a depth of 35km. It also recorded at least eight aftershocks, the largest of 6.9 magnitude at 0801 GMT. The earthquake struck at 0634 GMT, 115km (70 miles) north-east of the city of Concepcion and 325km south-west of the capital Santiago. This was in direct contrast to Haiti, which was unprepared for the Jan. 12 earthquake. The quake was followed by 76 aftershocks of 4.9 magnitude or greater. The damage from Chile's earthquake was widespread.

**Résumé B (Haïti)**: The tremor hit at 1653 (2153 GMT) on Tuesday, the US Geological Survey said. A massive 7.0-magnitude earthquake has struck the Caribbean nation of Haiti. The earthquake hit at 4:53 PM some 15 miles (25 km) southwest of the Haitian capital of Port-au-Prince. Most severely affected was Haiti, occupying the western third of the island. At least 10 aftershocks followed, including two in the magnitude 5 range, the USGS reported. The hospital in Pétionville, a well to do neighbourhood, home to diplomats and expatriates, was wrecked. In addition, less than one-third of the population was steadily employed.

FIGURE 4 – Résumé comparatif issu de la méthode SenWE-KP pour le sujet “Tremblement de terre Chili / Haiti 2010”.

dû à la nécessité d'encoder les similarités entre les concepts présents dans les jeux de documents différents.

<table><caption>TABLE 4 – Scores ROUGE et temps d'exécution pour chaque méthode.</caption><thead><tr><td>Méthodes</td><td>R2</td><td>R3</td><td>Temps d'exécution</td></tr></thead><tbody><tr><td>WordNet-ILP</td><td>0.08704</td><td>0.05207</td><td>19335s</td></tr><tr><td>SenWE-KP</td><td>0.09006</td><td>0.05410</td><td>1352s</td></tr></tbody></table>

# 6 Conclusion et perspectives

Dans cet article, nous présentons une nouvelle méthode pour le résumé comparatif de deux jeux de documents traitant de sujets comparables. Nous utilisons les plongements de mots et la mesure de distance sémantique *Word Mover Distance* au niveau de la phrase afin de découvrir celles les plus susceptibles d'être comparatives. Nous comparons notre méthode à une méthode de l'état de l'art décrite par Huang *et al.* (2014), qui utilise WordNet pour repérer les phrases comparatives. Nos résultats confirment que l'utilisation des plongements de mots et de la *Word Mover Distance* au niveau de la phrase permet d'obtenir des résultats comparables à l'utilisation de similarités dérivées de WordNet. Nous améliorons en revanche considérablement le temps de traitement par rapport à la méthode de Huang *et al.* (2014).

Nous travaillons à l'extension de nos baselines, en y ajoutant la méthode de Campr & Ježek (2013). Une évaluation manuelle est également prévue afin de confirmer les résultats obtenus avec la méthode ROUGE.

Dans la suite de nos recherches, nous devons travailler à l'élimination de la redondance au sein du résumé comparatif, par exemple en supprimant les paires de phrases trop similaires à des phrases déjà présentes dans le résumé ou en intégrant une mesure de la redondance dans notre fonction objectif. Nous avons également constaté l'importance des entités nommées dans la détection des phrases
comparables. En effet, elles sont souvent l'élément de différenciation au sein de phrases qui traitent du même thème. Nous souhaitons donc incorporer des traitements sur les entités nommées afin de mieux identifier les phrases comparables.

Les avancées dans la recherche sur les plongements de mots permettent aujourd'hui d'obtenir des plongements de mots multilingues (Conneau et al., 2017). Nous souhaitons appliquer notre méthode au résumé comparatif multilingue ou translingue, donc en travaillant sur des jeux de documents dans des langues différentes. Cela permettrait d'étendre la portée de notre travail. L'utilisation de plongements de mots multilingues nous permettrait d'appliquer directement notre méthode au résumé comparatif multilingue ou crosslingue.

## Remerciements

Ce travail a bénéficié d'une aide de l'Agence Nationale de la Recherche portant la référence ANR-16-CE38-0008 (projet ANR JCJC ASADERA).

## Références

ANTTILA R. (1972). *An introduction to historical and comparative linguistics*. Macmillan New York.

BAO S., LI R., YU Y. & CAO Y. (2008). Competitor mining with the web. *IEEE Transactions on Knowledge and Data Engineering, 20*(10), 1297–1310.

CAMPR M. & JEŽEK K. (2013). Topic models for comparative summarization. In *International Conference on Text, Speech and Dialogue*, p. 568–574 : Springer.

CONNEAU A., LAMPLE G., RANZATO M., DENOYER L. & JÉGOU H. (2017). Word translation without parallel data. In *International Conference on Learning Representations*. arXiv preprint : 1710.04087.

GAMBHIR M. & GUPTA V. (2017). Recent automatic text summarization techniques : A survey. *Artif. Intell. Rev.*, **47**(1), 1–66. DOI : 10.1007/s10462-016-9475-9.

GILLICK D. & FAVRE B. (2009). A scalable global model for summarization. In *Proceedings of the Workshop on Integer Linear Programming for Natural Language Processing*, ILP '09, p. 10–18, Stroudsburg, PA, USA : Association for Computational Linguistics.

GRAHAM Y. (2015). Re-evaluating automatic summarization with bleu and 192 shades of rouge. In *Proceedings of the 2015 conference on empirical methods in natural language processing*, p. 128–137.

HUANG X., WAN X. & XIAO J. (2011). Comparative news summarization using linear programming. In *Proceedings of the 49th Annual Meeting of the ACL*, p. 648–653.

HUANG X., WAN X. & XIAO J. (2014). Comparative news summarization using concept-based optimization. *Knowledge and information systems, 38*, 691–716.

JAIN A. & PANTEL P. (2011). How do they compare ? automatic identification of comparable entities on the web. In *2011 IEEE International Conference on Information Reuse & Integration*, p. 228–233 : IEEE.