<table><thead><tr><th></th><th>Âge</th><th>Âge bas</th><th>Âge haut</th><th>Âge moyen</th></tr></thead><tbody><tr><td>Naïve</td><td>4,46</td><td>4,29</td><td>4,63</td><td>4,46</td></tr><tr><td>Modèle B</td><td><b>2,70</b></td><td>2,53</td><td>2,65</td><td><b>2,57</b></td></tr><tr><td>Expert 1</td><td>3,14</td><td>2,95</td><td>3,45</td><td>3,14</td></tr><tr><td>Expert 2</td><td>3,38</td><td>3,48</td><td>3,39</td><td>3,38</td></tr><tr><td>Expert 3</td><td>3,07</td><td>2,93</td><td>3,54</td><td>3,07</td></tr><tr><td>Moy. experts</td><td>2,88</td><td>2,86</td><td>3,05</td><td>2,88</td></tr></tbody></table>

(a) 80 phrases isolées

<table><thead><tr><th></th><th>Âge</th><th>Âge bas</th><th>Âge haut</th><th>Âge moyen</th></tr></thead><tbody><tr><td>Naïve</td><td>4,57</td><td>4,32</td><td>4,83</td><td>4,57</td></tr><tr><td>Modèle B</td><td><b>2,39</b></td><td>2,51</td><td>2,57</td><td><b>2,53</b></td></tr><tr><td>Expert 1</td><td>2,60</td><td>2,60</td><td>2,80</td><td>2,60</td></tr><tr><td>Expert 2</td><td>3,50</td><td>3,80</td><td>3,30</td><td>3,50</td></tr><tr><td>Expert 3</td><td>2,70</td><td>2,90</td><td>2,60</td><td>2,70</td></tr><tr><td>Moy. experts</td><td>2,95</td><td>3,19</td><td>2,81</td><td>2,95</td></tr></tbody></table>

(b) 20 textes

<caption>TABLE 2 – Comparaisons entre notre approche et les experts sur une portion de l'ensemble de test.</caption>

ces résultats reflètent sans doute aussi un décalage quant à la notion de tranche d'âge entre les experts psycholinguistiques et les éditeurs ou auteurs. L'analyse des prédicitions montrent en effet que les experts tendent à utiliser une plage d'âges restreinte par rapport à celle autorisée (et utilisée par nos modèles), à savoir 4-13 ans versus 0-18 ans.

# 7 Conclusion et perspectives

Dans cet article, nous avons étudié la tâche originale de recommandation d'âge pour des textes. Plusieurs modélisations ont été proposées et les résultats ont été comparés aux recommandations de psycholinguistes. Ces résultats montrent que les prévisions de nos modèles sont meilleures que celles des experts. En outre, tout en s'appuyant sur une hypothèse forte selon laquelle toutes les phrases d'un texte peuvent être considérées comme toutes associées à une tranche d'âge unique, nos résultats sur l'agrégation des résultats au niveau des phrases sont clairement encourageants. Cela démontre la viabilité de l'approche et appelle des investigations supplémentaires.

Cependant, nous sommes conscients que ces résultats doivent être pris avec prudence car différents aspects portent de l'incertitude. En particulier, la précision et le bien-fondé scientifique des recommandations fournies par les éditeurs et les auteurs sont sans doute parfois discutables. Ensuite, considérer les erreurs absolues moyennes avec un âge cible est probablement trop dur. Il serait intéressant de comparer des tranches d'âges et non des âges dans l'évaluation. Enfin, il serait intéressant de corréler les résultats avec une campagne d'évaluation *in situ* auprès des enfants. Ceci est prévu dans les prochains mois.

# Remerciements

Ce travail a bénéficié du soutien financiers des projets ANR TREMoLo et TextToKids.

# Références

AGUERT M., BERNICOT J. & LAVAL V. (2009). Prosodie et compréhension des énoncés chez les enfants de 5 à 9 ans. *Enfance, 3*.
BARONI M., BERNARDINI S., FERRARESI A. & ZANCHETTA E. (2009). The wacky wide web: a collection of very large linguistically processed web-crawled corpora. *Language resources and evaluation, 43*(3).

BLANC N. (2010). La compréhension des contes entre 5 et 7 ans : Quelle représentation des informations émotionnelles ? *Canadian Journal of Experimental Psychology/Revue canadienne de psychologie expérimentale, 64*(4).

CANDITO M., NIVRE J., DENIS P. & ANGUIANO E. H. (2010). Benchmarking of statistical dependency parsers for french. In *Proceedings of the International Conference on Computational Linguistics : Posters, COLING '10 : Association for Computational Linguistics*.

DALE E. & CHALL J. S. (1948). A formula for predicting readability : Instructions. *Educational research bulletin, 27*.

DAVIDSON D. (2006). The role of basic, self-conscious and self-conscious evaluative emotions in children's memory and understanding of emotion. *Motivation and Emotion, 30*(3).

DE BELDER J. & MOENS M.-F. (2010). Text simplification for children. In *Proceedings of the SIGIR workshop on accessible search systems*.

FAUCONNIER J.-P. (2015). French word embeddings. http://fauconnier.github.io.

FLESCH R. (1948). A new readability yardstick. *Journal of applied psychology, 32*(3).

FRANÇOIS T. (2015). When readability meets computational linguistics : a new paradigm in readability. *Revue française de linguistique appliquée, 20*(2).

FRANÇOIS T. & FAIRON C. (2012). An "AI readability" formula for french as a foreign language. In *Proceedings of EMNLP-CoNLL*.

FRITH U. (1985). Beneath the Surface of Developmental Dyslexia. In K. PATTERSON, J. C. MARSHALL & M. COLTHEART, Éds., *Surface Dyslexia. Neuropsychological and Cognitive Studies of Phonological Reading*, Psychology Library Editions : Psychology of Reading, chapitre 13. Routledge. DOI : 10.4324/9781315108346-18.

GALA N., FRANCOIS T., JAVOUREY-DREVET L. & ZIEGLER J. C. (2018). La simplification de textes, une aide à l'apprentissage de la lecture. *Langue française, 199*(3/2018).

GATHERCOLE S. (1999). Cognitive approaches to the development of short-term memory. *Trends in cognitive sciences, 3*.

GEYER L. H. (1977). Recognition and confusion of the lowercase alphabet. *Perception & Psycho-physics, 22*(5).

GROMER D. & WEISS M. (1990). *Lire, tome 1 : apprendre à lire*. Armand Colin.

HICKMANN M. (2012). Diversité des langues et acquisition du langage : espace et temporalité chez l'enfant. *Langages, 188*(4/2012).

MOUW J. M., VAN LEIJENHORST L., SAAB N., DANEL M. S. & VAN DEN BROEK P. (2019). Contributions of emotion understanding to narrative comprehension in children and adults. *European Journal of Developmental Psychology, 16*(1).

PIOLAT A. & BANNOUR R. (2009). An example of text analysis software (emotaix-tropes) use : The influence of anxiety on expressive writing. *Current psychology letters. Behaviour, brain & cognition, 25*(2).

TARTAS V. (2010). Le développement de notions temporelles par l'enfant. *Développements, 4*.

VION M. & COLAS A. (1999). L'emploi des connecteurs en français : contraintes cognitives et développement des compétences narratives (le cas de la narration de séquences arbitraires d'événements). In *Proceedings of the Conference of the International Association for the Study of Child Language*.
# Traduire des corpus pour construire des modèles de traduction neuronaux : une solution pour toutes les langues peu dotées ?

Raoul Blin

CNRS-CRLAO, 105 Bd Raspail, 75006 Paris, France

blin@ehess.fr

## RÉSUMÉ

Nous comparons deux usages des langues pivots en traduction automatique neuronale pour des langues peu dotées. Nous nous intéressons au cas où il existe une langue pivot telle que les paires source-pivot et pivot-cible sont bien ou très bien dotées. Nous comparons la traduction séquentielle traditionnelle (source→pivot→cible) et la traduction à l'aide d'un modèle entraîné sur des corpus traduits à l'aide des langues pivot et cible. Les expériences sont menées sur trois langues sources (espagnol, allemand et japonais), une langue pivot (anglais) et une langue cible (français). Nous constatons que quelle que soit la proximité linguistique entre les langues source et pivot, le modèle entraîné sur corpus traduit a de meilleurs résultats que la traduction séquentielle, et bien sûr que la traduction directe.

## ABSTRACT

### Corpus Translation to Build Translation Models : a Solution for all Low-Resource Languages ?

We compare two uses of pivot languages in neural machine translation when a language pair is low or not resourced, but there is a pivot language such that the source-pivot and pivot-target pairs are well or very well resourced. We compare traditional sequential translation (source→pivot→target) and translation using a model trained on corpora translated with the pivot and target languages. Experiments conducted with three source languages (Spanish, German and Japanese), a pivot language (English) and a target language (French), show that the trained model on translated corpus has better results than sequential translation, and of course than direct translation.

**MOTS-CLÉS** : langues peu dotées, traduction automatique neuronale, langue pivot.

**KEYWORDS:** low-resource languages, neural machine translation, pivot language.

# 1 Introduction

Pour profiter des avantages de la traduction automatique neuronale, il est nécessaire de disposer de très volumineux corpus (Koehn & Knowles, 2017). Malheureusement, peu de paires de langues disposent de telles ressources. Une première solution très étudiée actuellement est le recours à des modèles multilingues de traduction (Rikters et al., 2018), etc.). L'inconvénient est que l'entraînement nécessite plus de données (grand corpus) et plus de puissance de calcul. Cette solution s'inscrit d'ailleurs dans une tendance générale observable tant dans le domaine académique que dans l'industrie, d'un intérêt croissant pour des systèmes toujours plus puissants (Aharoni et al., 2019; Arivazhagan et al., 2019). Pourtant, il existe aussi un besoin pour des systèmes «frugaux» avec de faibles capacités de calcul. Il est alors important de limiter la taille des corpus.

<figure><img src="image_43.png" /></figure>
Il existe quelques alternatives à cette course à la puissance pour traiter les paires de langues peu dotées. Une première piste récemment proposée est l'apprentissage par transfert de modèles existants (Kocmi & Bojar, 2019). Une autre solution est le recours aux langues pivots, technique ancienne en traduction mais qui revient sous de nouvelles formes grâce à la traduction automatique neuronale. La pratique traditionnelle consiste à traduire séquentiellement, de la langue source vers la langue pivot puis vers la langue cible. C'est une méthode encore appliquée même dans les systèmes commerciaux (Blin, 2018b). L'inconvénient majeur de la traduction séquentielle automatique avec des systèmes qui restent encore imparfaits, c'est que des informations peuvent être perdues lors de la traduction de la source vers le pivot.

Pour résoudre ce problème, (Currey & Heafield, 2019) ont proposé d'utiliser le pivot pour traduire les corpus eux-mêmes et produire des corpus synthétiques sur lesquels des modèles de traduction directe sont entraînés. Avant de décrire la procédure, nous convenons des abréviations suivantes. a, a' et a' désignent des corpus monolingues pour une langue donnée «a». an et am désignent des corpus distincts d'une même langue. m(a, b) désigne un modèle entraîné sur un corpus aligné a-b pour traduire de a vers b. «src», «piv» et «tgt» désignent respectivement les langues source, pivot et cible. La procédure est la suivante. Elle n'est envisageable que si il existe deux corpus «de base» (non traduits) alignés *piv¹-src* et *piv²-tgt*, et un corpus monolingue *piv⁰*. Supposons que l'on veuille traduire d'une langue source src vers une langue cible tgt. On génère un corpus *src'* en langue source en traduisant *piv⁰* grâce au modèle *m(piv¹, src)* (voir Fig.1). En parallèle, on génère un corpus *tgt'* en langue cible en traduisant ce même corpus *piv⁰* à l'aide du modèle *m(piv², tgt)*. On dispose ainsi d'un corpus synthétique aligné bilingue *src'*-*tgt'*. Il est utilisé pour entraîner un modèle de traduction directe de la source vers la cible (par abus de langage et pour faire simple, nous parlerons de «modèle traduit»). Les auteurs ajoutent au corpus synthétique les corpus originaux *piv¹-src* et *piv²-tgt* et obtiennent ainsi un corpus synthétique et multilingue. Cette technique a été utilisée pour traduire la paire russe-allemand avec l'anglais comme pivot et produit des résultats prometteurs (BLEU ≈ 23). Le premier intérêt est que cette technique fonctionne pour une paire de langue sans corpus aligné. Il devrait donc a fortiori fonctionner pour une paire de langues peu dotée. L'autre intérêt est que le corpus synthétique peut être aussi grand que le corpus monolingue.

<figure><img src="image_44.png" /><figcaption>FIGURE 1: Trois procédés de traduction avec langue pivot ; ici, les langues source, pivot et cible sont respectivement le japonais, l'anglais et le français ; $a \stackrel{m(x,y)}{\longrightarrow} b$ désigne une traduction de a vers b à l'aide du modèle $m(x, y)$.</figcaption></figure>
Nous nous sommes demandé si cette technique produisait une meilleure traduction que la méthode séquentielle, et dans quelle mesure la proximité entre les langues manipulées influençait les résultats. Pour répondre à cette question, nous avons effectué des comparaisons en jouant sur plusieurs variables : la proximité linguistique des langues source et pivot (les langues pivot et cible restant toujours les mêmes), la part de vocabulaire commun entre les corpus *piv¹* et *piv²*, et la qualité des traductions. Contrairement à (Currey & Heafield, 2019), nous n'avons pas intégré le multilinguisme car il pouvait affecter différemment la traduction séquentielle et la traduction par modèle traduit.

L'article est organisé en deux parties. Dans un premier temps, nous décrivons les ressources utilisées et la méthode. Puis nous présentons les résultats et les discutons.

# 2 Expériences

## 2.1 Langues observées et corpus

Pour prendre en compte la proximité linguistique et la part de vocabulaire commun tout en limitant le nombre d'expériences à mener, nous construisons un ensemble de corpus pour chaque cas extrême : un premier ensemble pour des langues sources proches de la langue pivot et un maximum de vocabulaire en commun, et un second ensemble avec une langue source éloignée et un moindre volume de vocabulaire en commun.

Nous menons les observations pour trois langues sources : espagnol (es), allemand (al) et japonais (ja). La langue cible est le français. La langue pivot est l'anglais. L'anglais a été choisi pour des questions pratiques : il existe un corpus moyen ou grand pour toutes les paires de langues incluant l'anglais et les langues ci-dessus. Les langues sources sont choisies de sorte que la proximité linguistique avec la langue pivot soit progressive. La plus éloignée est le japonais (de type SOV avec marqueurs casuels, pro-drop, non indo-européen, langue agglutinante, écriture différente). L'espagnol est la plus proche (langue SVO, indo-européenne, non agglutinante). L'allemand se situe entre les deux (partiellement SOV, indo-européenne, non agglutinante).

Nous constituons tout d'abord un corpus pour entraîner un modèle de traduction directe, de la source vers la cible. La paire de langues ja-fr est réellement peu dotée (≈ 50K phrases.) (Blin, 2018a). {al,es}-fr sont moyennement ou même bien dotées. Pour simuler des paires faiblement dotées avec l'espagnol et l'allemand, nous utilisons des corpus d'approximativement la même taille que le corpus *ja-fr*. Nous extrayons ces corpus d'Europarl (Koehn, 2005).

Nous nous dotons ensuite de corpus de taille moyenne (≈ 400-900K phrases) pour entraîner des modèles de la langue source vers la langue pivot. Pour le japonais-anglais, nous avons rassemblé l'ensemble des corpus librement disponibles. Les thématiques sont très variées. Les corpus {al, es}-en sont à nouveau extraits d'Europarl. Enfin nous nous dotons d'un grand corpus (14 millions de phrases) pour la traduction de la langue pivot vers la langue cible. Ce corpus intègre Europarl, ce qui permet d'augmenter le vocabulaire commun avec les corpus {al, es}-en de langues européennes. Au final presque 100% du vocabulaire des corpus {al, es}-en est présent dans le corpus *en-fr* contre seulement 40% pour le corpus *ja-en*.

Pour éviter les biais causés par des structures phrastiques trop différentes d'un corpus à l'autre, nous limitons les observations à des phrases structurellement «standards». L'autre intérêt de cette restriction, c'est que les segments du corpus test (PUD, voir plus loin) sont majoritairement des
<table><caption>TABLE 1: Corpus utilisés (* inclu Europarl ; ** pour entraîner les modèles améliorés)</caption><thead><tr><th>Langues</th><th>Corpus</th><th>nb phrases.</th><th>content</th><th>voc. src</th><th>voc. tgt</th></tr></thead><tbody><tr><td>ja-fr</td><td>rbjafr-191204</td><td>51 659</td><td>varia</td><td>32K</td><td>27K</td></tr><tr><td>de-fr</td><td>rbeurdefr-1.0</td><td>52 175</td><td>Europarl</td><td>28 424</td><td>43 332</td></tr><tr><td>es-fr</td><td>rbeuresfr-1.0</td><td>52 807</td><td>Europarl</td><td>29 706</td><td>33 149</td></tr><tr><td>ja-en</td><td>rbjaen-191023</td><td>752 518</td><td>varia</td><td>150 004</td><td>137 415</td></tr><tr><td>de-en</td><td>rbeurdeen-1.0</td><td>973 557</td><td>Europarl</td><td>150002</td><td>56447</td></tr><tr><td>es-en</td><td>rbeuresen-1.0</td><td>491 387</td><td>Europarl</td><td>49144</td><td>86038</td></tr><tr><td>en-fr</td><td>rbenfr-192710</td><td>14 048 795</td><td>varia*</td><td>170004</td><td>170002</td></tr><tr><td>ja-en**</td><td>rbjaen-191023</td><td>idem</td><td>idem</td><td>150004</td><td>137415</td></tr><tr><td>es-en**</td><td>rbeuresen-1.0</td><td>idem</td><td>idem</td><td>49144</td><td>86038</td></tr><tr><td>en-fr**</td><td>rbenfr-191124</td><td>14 048 795</td><td>varia*</td><td>150004</td><td>150002</td></tr></tbody></table>

phrases «standards». Cette sélection permet donc d'harmoniser les corpus d'entraînement et le corpus d'évaluation. Nous n'utilisons que des ressources librement disponibles et de bonne qualité, sans bruit. En plus, nous retenons les phrases qui finissent par un signe de ponctuation («. ? !») et contiennent moins de 10 chiffres et moins de 20 majuscules. Ce critère simple suffit à éliminer les phrases non standards sans trop d'erreurs. Ceci a réduit considérablement le nombre de phrases exploitées par rapport au nombre initialement disponibles, en particulier pour l'anglais-français.

Les techniques de pré et post-traitement des corpus varient d'une paire de langues à l'autre et peuvent biaiser les comparaisons. Pour uniformiser le traitement, nous utilisons un pré et post traitement a minima, avant tout pensés pour réduire la taille du vocabulaire. Les corpus ont été prétraités simplement en ajoutant une marque de début de phrase à chaque phrase, et en transformant les majuscules en minuscule en tête de phrase. Pour limiter la taille du vocabulaire et en particulier le nombre de mots inconnus, nous avons décomposé et balisé les numéraux et abréviations ("123" → "<num> 1 2 3 </num>"). Bien qu'elle permette de sensiblement réduire la taille du vocabulaire, nous n'avons pas utilisé de segmentation de type BPE (Sennrich et al., 2016). Nous avons en effet estimé qu'elle aurait biaisé les comparaisons en favorisant trop les paires de langues utilisant un même système d'écriture.

Pour faciliter la comparaison avec d'autres études incluant le japonais (par exemple (Sekizawa et al., 2017)), nous avons segmenté le corpus japonais en utilisant l'analyseur morphologique MeCab<fnref n="1" /> et le dictionnaire IPADIC (Asahara & Matsumoto, 2003)<fnref n="2" />. Les deux sont très utilisés pour ce type de travail.

Pour l'évaluation, nous avons utilisé le corpus multilingue PUD<fnref n="3" /> (1000 phrases). Le contenu est thématiquement très varié. Pour évaluer les modèles de base (c'est-à-dire non traduits) et les comparer à l'état de l'art, nous avons aussi extrait des corpus test de 1000 phrases, par échantillonnage des corpus d'origine.

La description des corpus de base est donnée dans le tableau 1.

<footnote n="1">1. Kudou, Taku. "MeCab : Yet Another Part-of-Speech and Morphological Analyzer". taku910.github.io (in Japanese). 23/01/2018.</footnote>

<footnote n="2">2. https://ja.osdn.net/projects/ipadic/docs/ipadic-2.7.0-manual-en.pdf/en/1/ipadic-2.7.0-manual-en.pdf</footnote>

<footnote n="3">3. https://lindat.mff.cuni.cz/repository/xmlui/handle/11234/1-2184</footnote>
## 2.2 Méthode

La procédure est la suivante (voir aussi le Fig.1). On construit les modèles de base $m(src, piv^1)$ et $m(piv^2, tgt)$ pour procéder à la traduction séquentielle. Puis on traduit le corpus $piv^1$ en $tgt^'$ à l'aide de $m(piv^2, tgt)$. On évalue alors la qualité de la traduction directe effectuée à l'aide du modèle traduit $m(src, tgt^')$.

Pour tenir compte de l'influence de la qualité de la traduction sur les performances des deux techniques de traduction par pivot, nous avons réalisé les expériences à deux reprises avec un même système de traduction, mais des réglages différents. Avec le premier réglage, l'entraînement réclamait moins de temps de calcul mais la qualité des traductions de base était globalement plus modeste. Nous avons refait l'expérience en adoptant des réglages plus gourmants en puissance de calcul, mais produisant des traductions de base de meilleure qualité. Puisque l'allemand a toujours produit des résultats intermédiaires avec la première configuration, nous sommes parti du principe qu'il en serait de même avec la seconde. En conséquence, nous ne l'avons pas observé pour les traductions de qualité améliorée.

Le système de traduction neuronale utilisé est OpenNmt-py (Klein et al., 2017). Pour la configuration «non améliorés», nous avons utilisé les réglages par défaut : réseau neuronal bi-récurrent, 2 couches, RNN de taille 500, word embedding de taille 500, 10 époques, beam de taille 5 pour la traduction. Cette configuration s'est révélée inadaptée pour traiter les corpus de grandes tailles. Pour améliorer les performances des modèles, la configuration «améliorée» différait sur les points suivant : 4 couches, RNN de taille 1000, word embedding de taille 600. En plus, les paramètres du traducteur ont été modifiés : batch de taille 20, beam de taille 8, longueur maximum 150. Les mots inconnus sont remplacés par les mots source qui ont un poids d'attention plus grand. Cette stratégie avantage les langues qui ont un même système d'écriture, et a fortiori un vocabulaire commun.

Nous avons utilisé BLEU (Papineni et al., 2002) pour l'évaluation 4. Nous avons aussi calculé le score Meteor (Denkowski & Lavie, 2014) mais il n'a pas produit d'information complémentaire. En conséquence, nous ne l'évoquons pas ici. On a aussi observé la fréquence des mots inconnus.

## 3 Résultats et discussion

La qualité des traductions fournies par les systèmes de base (voir Table 2) sont conformes aux attentes. La traduction directe avec les petits corpus obtient un score très bas. Malgré tout, BLEU est corrélé à la proximité linguistique. Plus les langues sont linguistiquement proches, meilleure est la traduction. Le fait que la qualité des traductions de PUD soit moins bonne que la traduction des corpus tests s'explique par le fait que ce corpus n'a pas de rapport thématique avec le corpus d'entraînement (et donc un faible volume de vocabulaire commun). Pour les traductions impliquant l'anglais, les scores sont inférieurs à l'état de l'art (BLEU de plus de 41.5 pour l'anglais-français dans (Shaw et al., 2018), plus de 27 pour le japonais-anglais (Cromieres et al., 2017) etc). Ces résultats s'expliquent par l'absence d'optimisation tant du côté de la préparation de nos corpus que du côté du réglage du système de traduction (entraînement et traduction). Nous avons certes amélioré la qualité des traductions avec la seconde configuration, mais sans pour autant chercher à rivaliser avec les meilleurs systèmes. En effet, il ne s'agissait pas dans ce travail de surpasser l'état de l'art mais de comparer

<footnote n="4">4. Nous avons utilisé multi-bleu.perl avec les réglages par défaut (https://github.com/moses-smt/mosesdecoder/blob/master/scripts/generic/multi-bleu.perl)</footnote>
<table><caption>TABLE 2: Evaluation des modèles de base (** configurarion améliorée) ; Comparaison à l'état de l'art tous corpus confondus (et à l'exclusion du corpus PUD).</caption><thead><tr><th rowspan="2">Langues</th><th colspan="2">Test</th><th colspan="2">PUD</th><th colspan="2">Etat de l'art</th></tr><tr><th>BLEU</th><th>% unk.</th><th>BLEU</th><th>% unk.</th><th>BLEU</th><th>source</th></tr></thead><tbody><tr><td>ja-fr</td><td>8,63</td><td>0</td><td>2,22</td><td>0</td><td>10,03</td><td>(Blin, 2018b)</td></tr><tr><td>de-fr</td><td>12,86</td><td>0</td><td>4,47</td><td>0</td><td>28,63</td><td>(Bougares et al., 2019)</td></tr><tr><td>es-fr</td><td>19,77</td><td>0</td><td>8,36</td><td>0</td><td>32,7</td><td>(Klein et al., 2017)</td></tr><tr><td>ja-en</td><td>21,68</td><td>0.61</td><td>10,16</td><td>2.73</td><td>27,66</td><td>(Cromieres et al., 2017)</td></tr><tr><td>de-en</td><td>29,64</td><td>0</td><td>16,15</td><td>0</td><td>42,5</td><td>(Popovic, 2017)</td></tr><tr><td>es-en</td><td>37,00</td><td>0</td><td>23,53</td><td>0</td><td>36,05</td><td>(Duma & Menzel, 2018)</td></tr><tr><td>en-fr</td><td>24,90</td><td>0.91</td><td>22,15</td><td>2.65</td><td>41,5</td><td>(Shaw et al., 2018)</td></tr><tr><td>ja-en**</td><td>23,18</td><td>0</td><td>10,92</td><td>0</td><td></td><td></td></tr><tr><td>es-en**</td><td>38,00</td><td>0</td><td>24,97</td><td>0</td><td></td><td></td></tr><tr><td>en-fr**</td><td>33,24</td><td>0</td><td>25,86</td><td>0</td><td></td><td></td></tr></tbody></table>

deux techniques pour des niveaux égaux de préparation des corpus et de performances des modèles.

Sans surprise, quelle que soit la qualité des traductions, la traduction par pivot (voir Tables 3 et 4) obtient de meilleurs scores que la traduction directe avec corpus de base. Nous attribuons ce résultat à la différence de taille des corpus puisque le corpus pour la traduction directe est au moins 8 fois plus petit que tous les autres corpus). Le gain est plus important pour les langues européennes (proximité et corpus en commun plus grand). Mais les résultats restent toutefois faibles. (voir Fig.2)

<table><caption>TABLE 3: Traduction séquentielle du corpus PUD (voir Table 1 pour les traductions source→pivot correspondantes) ; gain (nombre de points) par rapport à la traduction directe ; configuration non améliorée.</caption><thead><tr><th>Source</th><th>BLEU</th><th>%<unk></th><th>gain</th></tr></thead><tbody><tr><td>ja</td><td>6,74</td><td>3.33</td><td>4.52</td></tr><tr><td>de</td><td>10,26</td><td>0.38</td><td>5.79</td></tr><tr><td>es</td><td>13,49</td><td>1.38</td><td>5.13</td></tr></tbody></table>

<table><caption>TABLE 4: Evaluation des «modèles traduits» ; gain (en nombre de points) par rapport à la traduction directe ; configuration non améliorée.</caption><thead><tr><th>Source</th><th>BLEU</th><th>%<unk></th><th>gain</th></tr></thead><tbody><tr><td>ja</td><td>6,29</td><td>5.18</td><td>4,07</td></tr><tr><td>de</td><td>10,05</td><td>4.42</td><td>5,58</td></tr><tr><td>es</td><td>14,00</td><td>5.32</td><td>5,64</td></tr></tbody></table>

Comparons les deux méthodes de traduction avec langue pivot (voir Tables 3 et 4, Fig.2). Avec une traduction de qualité modeste, la méthode séquentielle et la méthode par modèle traduit sont très proches. Par contre, on observe une différence au niveau des mots inconnus, plus nombreux avec la traduction par modèle traduit.

Si l'on augmente la qualité des traductions, les deux techniques n'ont plus la même efficacité (Table 5 et Fig.2). La méthode par modèle traduit est meilleure (≈ +3). Ce constat est le même quelle que soit la proximité linguistique entre les langues source et la langue pivot, et quelle que soit la quantité de vocabulaire commun entre les deux corpus *piv¹* et *piv²*. Par extrapolation, nous pouvons avancer que ce résultat vaut quelle que soit la distance thématique entre le corpus d'entraînement et le corpus d'évaluation. La qualité des traductions est malheureusement trop basse pour faire une comparaison qualitative pertinente. On observe des erreurs dans tous les domaines, lexico, syntaxiques et logiques.
<table><caption>TABLE 5: Score BLEU pour la traduction séquentielle et par «modèle traduit», configuration améliorée</caption><thead><tr><th></th><th>Source</th><th>en</th><th>fr</th></tr></thead><tbody><tr><th rowspan="2">Traduction séquentielle</th><td>ja</td><td>10,92</td><td>8,38</td></tr><tr><td>es</td><td>24.79</td><td>16.76</td></tr><tr><th rowspan="2">Model traduit</th><td>ja</td><td>—</td><td>10,11</td></tr><tr><td>es</td><td>—</td><td>19,79</td></tr></tbody></table>

<figure><img src="image_45.png" /><figcaption>FIGURE 2: Traduction séquentielle et par modèle traduit (** Configuration améliorée)</figcaption></figure>

## 4 Conclusion

Nos résultats montrent qu’utiliser un «modèle traduit» produit de meilleurs résultats qu’une traduction séquentielle par pivot, sous réserve que les modèles de traduction source→pivot et pivot→cible soient de bonne qualité. Sinon, la traduction séquentielle reste compétitive. Ces résultats confirment les observations de (Currey & Heafield, 2019). Ils montrent en plus que les résultats vont dans le même sens quelles que soient la proximité entre les langues source et cible et la quantité de vocabulaire commun entre les corpus. Enfin, ils montrent que la supériorité de la traduction par «modèle traduit» est vraie même sans recourir à un corpus multilingue.

## Remerciements

Nous remercions chaleureusement le Centre de Calcul CNRS / IN2P3 (Lyon - France) pour la mise à disposition des moyens informatiques nécessaires à ces travaux.

## Références

AHARONI R., JOHNSON M. & FIRAT O. (2019). Massively Multilingual Neural Machine Translation. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics : Human Language Technologies, Volume 1 (Long and Short Pa-
pers), p. 3874–3884, Minneapolis, Minnesota : Association for Computational Linguistics. DOI : 10.18653/v1/N19-1388.

ARIVAZHAGAN N., BAPNA A., FIRAT O., LEPIKHIN D., JOHNSON M., KRIKUN M., CHEN M. X., CAO Y., FOSTER G., CHERRY C., MACHEREY W., CHEN Z. & WU Y. (2019). Massively Multilingual Neural Machine Translation in the Wild : Findings and Challenges. arXiv : 1907.05019.

ASAHARA M. & MATSUMOTO Y. (2003). Ipadic user manual. ipadic-2.7.0-manual-en.pdf.pdf.

BLIN R. (2018a). Automatic evaluation of alignments without using a gold-corpus - example with french-japanese aligned corpora. In S. KIYOAKI, Éd., *Proceedings of the Eleventh International Conference on Language Resources and Evaluation (LREC 2018)*, Paris, France : European Language Resources Association (ELRA). 23_W29.pdf.

BLIN R. (2018b). Traduction automatique du japonais vers le français : Bilan et perspectives. In *Traitement Automatique du Langage Naturel*, Rennes, France. HAL : hal-01796313.

BOUGARES F., WOTTAWA J., BAILLOT A., BARRAULT L. & BARDET A. (2019). LIUM's Contributions to the WMT2019 News Translation Task : Data and Systems for German-French Language Pairs. In *Proceedings of the Fourth Conference on Machine Translation (Volume 2 : Shared Task Papers, Day 1)*, p. 129–133, Florence, Italy : Association for Computational Linguistics.

CROMIERES F., DABRE R., NAKAZAWA T. & KUROHASHI S. (2017). Kyoto university participation to wat 2017. In *Proceedings of the 4th Workshop on Asian Translation (WAT2017)*, p. 146–153, Taipei, Taiwan : Asian Federation of Natural Language Processing.

CURREY A. & HEAFIELD K. (2019). Zero-resource neural machine translation with monolingual pivot data. In *Proceedings of the 3rd Workshop on Neural Generation and Translation*, p. 99–107, Hong Kong : Association for Computational Linguistics. DOI : 10.18653/v1/D19-5610.

DENKOWSKI M. & LAVIE A. (2014). Meteor Universal : Language Specific Translation Evaluation for Any Target Language. In *Proceedings of the EACL 2014 Workshop on Statistical Machine Translation*.

DUMA M.-S. & MENZEL W. (2018). Translation of Biomedical Documents with Focus on Spanish-English. In *Proceedings of the Third Conference on Machine Translation : Shared Task Papers*, p. 637–643, Belgium, Brussels : Association for Computational Linguistics. DOI : 10.18653/v1/W18-6444.

KLEIN G., KIM Y., DENG Y., SENELLART J. & RUSH A. (2017). OpenNMT : Open-Source Toolkit for Neural Machine Translation. In *Proceedings of ACL 2017, System Demonstrations*, p. 67–72, Vancouver, Canada : Association for Computational Linguistics.

KOCMI T. & BOJAR O. (2019). Transfer Learning across Languages from Someone Else’s NMT Model. arXiv : 1909.10955.

KOEHN P. (2005). Europarl : A Parallel Corpus for Statistical Machine Translation. In *Proceedings of Machine Translation Summit X*, p. 79–86.

KOEHN P. & KNOWLES R. (2017). Six Challenges for Neural Machine Translation. In *Proceedings of the First Workshop on Neural Machine Translation*, p. 28–39, Vancouver : Association for Computational Linguistics. DOI : 10.18653/v1/W17-3204.

PAPINENI K., ROUKOS S., WARD T. & ZHU W.-J. (2002). BLEU : a Method for Automatic Evaluation of Machine Translation. In *Proc. ACL*, p. 311–318.

POPOVIC M. (2017). Comparing Language Related Issues for NMT and PBMT between German and English. *The Prague Bulletin of Mathematical Linguistics*, **108**. DOI : 10.1515/pralin-2017-0021.
RIKTERS M., PINNIS M. & KRIŠLAUKS R. (2018). Training and Adapting Multilingual NMT for Less-resourced and Morphologically Rich Languages. In *Proceedings of the Eleventh International Conference on Language Resources and Evaluation (LREC 2018)*, Miyazaki, Japan : European Language Resources Association (ELRA).

SEKIZAWA Y., KAJIWARA T. & KOMACHI M. (2017). Improving Japanese-to-English Neural Machine Translation by Paraphrasing the Target Language. In *Proceedings of the 4th Workshop on Asian Translation (WAT2017)*, p. 64–69, Taipei, Taiwan : Asian Federation of Natural Language Processing.

SENNRICH R., HADDOW B. & BIRCH A. (2016). Neural machine translation of rare words with subword units. In *Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers)*, p. 1715–1725, Berlin, Germany : Association for Computational Linguistics. DOI: 10.18653/v1/P16-1162.

SHAW P., USZKOREIT J. & VASWANI A. (2018). Self-Attention with Relative Position Representations. In *Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics : Human Language Technologies, Volume 2 (Short Papers)*, p. 464–468, New Orleans, Louisiana : Association for Computational Linguistics. DOI: 10.18653/v1/N18-2074.
# Construction de plongements de concepts médicaux sans textes

Vincent Claveau

Univ. de Rennes, CNRS, IRISA
Campus de Beaulieu
35042 Rennes, France

vincent.claveau@irisa.fr

## RÉSUMÉ

Dans le domaine médical, beaucoup d'outils du TAL reposent désormais sur des plongements de concepts issus de l'UMLS. Les approches existantes pour générer ces plongements nécessitent de grandes quantités de documents médicaux. Au contraire des ces approches, nous proposons dans cet article de nous appuyer sur les traductions en japonais, plus précisément en kanjis, disponibles dans l'UMLS pour générer ces plongements. Testée sur différents jeux d'évaluation proposés dans la littérature, notre approche, qui ne requiert donc aucun texte, donne de bons résultats comparativement à l'état-de-l'art. De plus, nous montrons qu'il est intéressant de les combiner avec les plongements – contextuels – existants.

## ABSTRACT

Embedding medical concepts without texts.

In the medical field, many TAL tools are now based on embeddings of concepts from the UMLS. Existing approaches to generate these embeddings require large amounts of medical data. Contrary to these approaches, we propose in this article to rely on Japanese translations of the concepts, more precisely in Kanjis, available in the UMLS to generate these embeddings. Tested on different evaluation tasks proposed in the literature, our approach, which therefore requires no text, yields good results compared to the state of the art. Moreover, we show that it is interesting to combine them with existing — contextual-based — embeddings.

**MOTS-CLÉS** : TAL médical, plongements de concepts, CUI, UMLS, kanjis.

**KEYWORDS:** Biomedical NLP, concept embedding, CUI, UMLS, kanjis.

# 1 Introduction

De nombreuses techniques de TAL reposent désormais sur les réseaux de neurones ; ceux-ci nécessitent en entrée des représentations numériques des mots – les plongements de mots. Le domaine médical ne fait pas exception et la plupart des travaux exploitent donc désormais des approches neuronales. La question de la construction de plongements adaptés au vocabulaire médical a donc été posée depuis quelques années.

Plus particulièrement, plusieurs travaux se sont intéressés à produire des plongements des concepts médicaux identifiés dans l'UMLS (CUI - *Concept Unique Identifiers*). Le MetaTheusaurus de l'UMLS (Tuttle *et al.*, 1990) recense en effet des entités et des termes médicaux (termes simples ou complexes, voire portion de phrases) dans de nombreuses langues, et rattachés à ces identifiants uniques de

<figure><img src="image_46.png" /></figure>
concepts.

Dans cet article, nous revenons sur la question de ces représentations de CUI en proposant une
nouvelle approche pour leur construction. Au contraire des travaux existants qui exploitaient de très
grosses quantités de textes du domaine pour produire les plongements de CUI, notre approche ne
nécessite aucun texte d'entraînement et repose uniquement sur l'UMLS et en particulier les traductions
en kanjis. Deux versions de cette approche, l'une produisant une représentation creuse et l'autre dense,
sont ici décrites et comparées aux plongements existants. Enfin, nous proposons une combinaison de
nos plongements et de ceux de l'état-de-l'art, reposant sur une approche distributionnelle standard.

Nous revenons dans la section suivante sur les travaux existants cherchant à produire des plongements de CUI et sur ceux exploitant les propriété des kanjis. Nous présentons ensuite successivement nos deux représentations, dont les performances sont comparées à l'état-de-l'art en section 4. Nous terminons en donnant quels pistes de travaux qui nous semblent prometteuses.

## 2 Travaux connexes

L'UMLS est une ressource largement utilisée pour des tâches de TAL biomédical. Son MetaThesaurus rassemble de nombreuses terminologies dans plusieurs langues qui sont agrégées grâce à des identifiants de concepts : chaque terme est rattaché à un identifiant de concept ou CUI. Les CUI permettent au sein d'une langue de trouver les variantes d'un terme (plusieurs termes de la même langue ayant un même CUI), de même qu'ils permettent de trouver des traductions (un CUI partagé par des termes de langues différentes). Par ailleurs, les CUI sont rattachés à des types sémantiques organisés hiérarchiquement.

La construction de plongements de CUI a fait l'objet de plusieurs travaux (De Vine et al., 2014; Choi et al., 2016; Beam et al., 2020). Tous adoptent une approche similaire et les outils usuels de cette tâche, tels que Glove (Pennington et al., 2014) ou Word2vec (Mikolov et al., 2013). Ainsi, ils sont tous construits à partir de textes médicaux anglais. La seule particularité, par rapport à un plongement lexical standard, est la phase de pré-traitement permettant de repérer les termes de l'UMLS dans les phrases et de les associer à leur CUI. Cette étape est faite avec l'outil Metamap (Aronson, 2001).

Il est important de noter plusieurs points communs à ces travaux. Ils reposent tous sur l'anglais, du fait de l'outil MetaMap qui n'existe que pour l'anglais, et de la disponibilité de quantités de textes cliniques.

Ainsi, De Vine et al. (2014) ont utilisé 350 000 résumés de journaux du domaine médical pour générer avec word2vec (skip-gram) des plongements pour 60 000 concepts (différentes dimensionnalités ont été testées, 200 étant celle obtenant les meilleures performances).

Choi et al. (2016) utilisent également word2vec et une SVD sur 4 millions de donnés d'assurances santé et 20 millions de notes cliniques pour générer 28 000 plongements de dimension 200.

Enfin, les plongements les plus performants et les plus utilisés sont CUI2vec (Beam et al., 2020). Il s'agit de plongements dans $\mathbb{R}^{500}$ de 110 000 CUI qui ont nécessité une quantité gigantesque de textes (plus de 80 millions de documents, incluant ceux des travaux précemmet cités) pour être générés.

Utiliser des représentations par kanjis de termes médicaux a déjà été fait dans un contexte d'analyse morphologique (Claveau & Kijak, 2013). Dans ce travail, les kanjis servaient d'indices pour aider à
décomposer les termes morphologiquement complexes (eg. photochimiothérapie). Bien que pour des buts différents, notre approche repose sur la même idée d'utiliser les kanjis comme des éléments atomiques de sens.

# 3 Plongements par kanjis

Comme nous l'avons expliqué, l'idée directrice de notre travail est d'exploiter les termes en kanjis pour s'en servir comme des représentations sémantiques des concepts (CUI). De telles traductions sont disponibles directement dans le MetaThesaurus de l'UMLS dans lequel des termes en plusieurs langues sont rattachés aux identifiants de concept CUI. L'intérêt des kanjis est qu'ils offrent une représentation ayant une portée sémantique (chaque kanji pris isolément a un – ou plusieurs – sens), ne sont pas soumis à de la variation morphologique, et sont en nombre limités (moins de 2 000 dans l'UMLS) comparativement aux mots en anglais par exemple. Dans l'UMLS version 2019AB que nous utilisons pour les expériences, il y a 72 000 CUI ayant au moins un terme en japonais. Par exemple, le concept identifié par le CUI C0031740, qui concerne la photochimiothérapie, a plusieurs réalisations en kanjis dans l'UMLS : 光化学法, 光力学的法, 光力学治, 光力学的治, 光力学的治, 光力学的治法.

## 3.1 Plongements creux

Le premier plongement que nous proposons est simplement la projection des CUI dans l'espace des kanjis. C'est-à-dire qu'un CUI est décrit par le vecteur pondéré construit à partir du sac de kanjis des termes relevant de ce CUI. Le concept C0031740 est donc représenté par un vecteur nul sauf aux dimensions correspondant aux kanjis 光, 化, 学, , 法, 力, 治, ... L'espace de représentation, après suppression des kanjis n'apparaissant qu'une fois, est $\mathbb{R}^{1462}$.

Plusieurs pondérations ont été testées : binaire (ou *one-hot*), Hellinger, TF, TF-IDF, Okapi-BM25 (Robertson *et al.*, 1998). Pour des raisons de place, seule la plus performante, Okapi-BM25, est rapportée ici. Dans les expériences rapportées dans la section suivante, cette approche est appelée approche par kanjis.

## 3.2 Plongements denses

Les vecteurs obtenus par l'approche précédente sont de dimension importante, mais creux (beaucoup de dimensions à 0). Il peut être intéressant d'en proposer une version dense et de dimension inférieure, notamment si la perspective est d'utiliser ces plongements dans des réseaux de neurones pour une application donnée.

Pour ce faire, on recourt à des techniques de réductions de dimensions (Sarveniazi, 2014). Plusieurs techniques standard on été testées. Pour des raisons de place nous ne rapportons les résultats que pour l'Analyse en Composantes Principales (ACP) qui a obtenu parmi les meilleurs résultats avec des temps de calcul courts. Sauf indication contraire, dans les expériences rapportées ci-dessous, nous avons choisi de réduire en 500 dimensions, à des fins de comparaison avec CUI2vec. Dans les expériences rapportées dans la section suivante, cette approche est appelée approche par ACP.
## 3.3 Fusion de plongements

Les plongements que nous proposons reposent sur des indices très différents des indices contextuelles habituellement exploités par Glove, word2vec ou autre. Notre approche ne repose donc pas sur l'hypothèse distributionnelle pour capturer le sens des CUI. On peut ainsi espérer que les notions encodées par les plongements par kanjis et les plongements contextuels de l'état-de-l'art soient complémentaires. Pour tester cette hypothèse, nous proposons de fusionner le plongement CUI2vec (Beam et al., 2020) et nos plongements denses. Cela est fait simplement par concaténation des vecteurs ; le plongement obtenu est donc dans $\mathbb{R}^{1000}$.

Toujours dans un soucis de dimensionnalité moindre, nous proposons aussi de tester une deuxième version de plus petite dimensionnalité. Le plongement précédent, obtenu par concaténation, est donc ramené par ACP d'une dimension 1 000 à une dimension de 500. Dans les expériences rapportées dans la section suivante, cette approche est appelée approche par fusion.

# 4 Expérimentations

Dans cette section, nous évaluons les performances des plongements proposés dans la section précédente. À des fins de comparaison avec les plongements CUI2vec (Beam et al., 2020), largement employés, nous choisissons de tester des plongements obtenus par ACP avec la même dimensionnalité (500).

## 4.1 Jeux d'évaluation

Nous reprenons plusieurs jeux d'évaluation proposés dans la littérature. Nous les présentons brièvement ci-dessous, le lecteur intéressé peut se reporter à Beam et al. (2020) pour plus de détails.

**Corrélation avec des jugements humains.** Pakhomov et al. (2010) ont développé un jeu de données dans lequel des médecins ont indiqué leur perception de proximité entre 566 paires de concepts UMLS. Chaque paire de concepts a ainsi une mesure moyenne de la façon dont ils sont jugés similaires (*similarity*) ou liés (*relatedness*). Nous rapportons la corrélation $\rho$ de Spearman entre ces deux scores d'évaluation humaine (noté $\rho$ sim. et $\rho$ rel.) et la similarité (cosinus) des plongements.

**Types sémantiques.** Les types sémantiques sont des méta-informations sur la catégorie à laquelle appartient un concept, et ces catégories sont organisées hiérarchie. Comme proposé par Beam et al. (2020), nous avons extrait le type sémantique le plus spécifique disponible pour chaque concept (à partir du fichier MRSTY fourni par UMLS). Nous évaluons la capacité de nos plongements à retrouver, dans les plus proches voisins (au sens du cosinus) d'un concept donné, des concepts partageant le même type sémantique. Cela est évalué avec des mesures de précision sur la liste ordonnée des plus proches voisins des concepts. Par exemple, le concept C0031740 (photochiomiothérapie) vu précédemment est de type *Therapeutic or Preventive Procedure*, tout comme C010009 (lutéolyse), C0043308 (radiothérapie X), etc.

**Relations UMLS.** Le dernier jeu d'évaluation exploite les relations encodées entre les concepts dans l'UMLS. Ces relations sont générales (e.g. *is-a*) ou spécifiques au domaine médical (e.g. *diagnoses*), la liste complète est disponible à https://www.nlm.nih.gov/research/umls/META3_
<table><caption>TABLE 1 – Résultats des plongements proposés et de ceux de l'état-de-l'art sur les jeux d'évaluation. Les meilleurs résultats sont indiqués en gras.</caption><thead><tr><th rowspan="2">Plongements</th><th rowspan="2">ρ sim.</th><th rowspan="2">ρ rel.</th><th colspan="2">types sémantiques</th><th colspan="2">relations UMLS</th></tr><tr><th>P@5</th><th>P@10</th><th>P@5</th><th>P@10</th></tr></thead><tbody><tr><td>De Vine et al. (2014)</td><td>0,455</td><td>0,423</td><td>0,3940</td><td>0,3751</td><td>0,1631</td><td>0,1275</td></tr><tr><td>Choi et al. (2016) (claims)</td><td><b>0,552</b></td><td>0,384</td><td>0,5784</td><td>0,5559</td><td>0,2444</td><td>0,1906</td></tr><tr><td>Beam et al. (2020)</td><td>0,522</td><td>0,430</td><td>0,5095</td><td>0,4781</td><td>0,2645</td><td>0,2069</td></tr><tr><td>kanjis (sec. 3.1)</td><td>0,296</td><td>0,317</td><td>0,6378</td><td>0,6117</td><td>0,3991</td><td>0,3110</td></tr><tr><td>ACP (sec. 3.2)</td><td>0,228</td><td>0,163</td><td>0,6213</td><td>0,6051</td><td>0,3557</td><td>0,2814</td></tr><tr><td>fusion (sec. 3.3)</td><td>0,538</td><td><b>0,481</b></td><td>0,6507</td><td>0,6138</td><td><b>0,4265</b></td><td><b>0,3299</b></td></tr><tr><td>fusion ACP (sec. 3.3)</td><td>0,525</td><td>0,474</td><td><b>0,6518</b></td><td><b>0,6158</b></td><td>0,4180</td><td>0,3238</td></tr></tbody></table>

current_relations.html. Nous évaluons donc la capacités de nos plongements à retrouver, dans les plus proches voisins (au sens du cosinus) d'un concept donné, des concepts liés par n'importe quelle relation. Comme précédemment, cela est mesuré par des précisions a différents seuils sur la liste ordonnée des voisins des concepts. Par exemple, le concept C0031740 (Photochimiothérapie) est en relation is-a avec C0087111 (Traitement), et en ralation has-clinical-form avec C0034172 (Photothérapie UVA), etc.

## 4.2 Résultats

Le tableau 1 recense les résultats des différents plongements de la littérature et ceux proposés en section 3. Nous rapportons également les résultats des plongements disponibles de l'état-de-l'art, à savoir les plongements de Choi et al. (2016) appris sur les données d'assurance (claims), de De Vine et al. (2014) et CUI2vec (Beam et al., 2020).

**Approches par kanjis.** De ces résultats, on peut noter que les approches fondées sur les kanjis se comportent différemment des plongements de l'état-de-l'art. Sur les tâches de comparaison avec l'impression de proximité donnée par des médecins (deux premières colonnes), les approches par kanjis sont largement moins performantes que les autres. Il semble que pour cette tâche, les indices contextuels soient très importants. En revanche, sur les deux autres tâches, fondées sur des proximité's encodées dans l'UMLS (types sémantiques ou relations sémantiques), les approches par kanjis apportent des gains, et plus particulièrement sur les relations UMLS. Concernant la différence entre la représentation creuse et celle dense obtenue par ACP, on observe une baisse très légère sur l'ensemble des tâche, du fait de la perte d'information dans le processus de réduction de dimension.

**Intérêt de la fusion.** Les plongements construits classiquement sur l'hypothèse distributionnelle et ceux construits sur la représentation par kanjis semblent avoir des performances complémentaires. Leur fusion, par concaténation suivie ou non d'une ACP, tire le meilleur parti de chacun et permettent donc d'obtenir de bons résultats sur l'ensemble des jeux d'évaluation. Comme précédemment, la réduction de dimension dégrade très peu les résultats.
<figure><img src="image_47.png" /><figcaption>FIGURE 1 – Performances de la fusion de plongements selon la dimensionnalité obtenue par ACP.</figcaption></figure>

**Influence de la dimensionnalité.** La figure 1 présente l'évolution des performances du plongement obtenue par ACP de la concaténation de cui2vec avec notre représentation ACP/kanjis. Comme attendu, on observe une diminution des performances lorsque le nombre de dimensions retenues à l'ACP finale diminue. Cette baisse de performances reste relativement faible, sauf pour l'évaluation via l'ensemble des relations UMLS. La variété des relations prises en compte dans cette évaluation semble difficile à concilier avec de plus faibles nombres de dimensions.

# 5 Conclusion et travaux futurs

L'approche que nous proposons est conceptuellement très simple, n'exploite que des données facilement accessibles (issues de l'UMLS) et ne nécessite que peu de temps de calcul. Elle offre pourtant de bons résultats par rapport aux approches existantes qui reposaient sur d'énormes quantités de textes médicaux. Les indices exploités (kanjis vs. contextes distributionnels) étant de nature différente, les performances sont variables selon les jeux d'évaluation. Sur la base de ce constat, nous avons aussi montré l'intérêt de les combiner au sein d'un plongement.

Les plongements existants sont dépendants de l'apparition des termes UMLS dans les corpus sur lesquels ils sont appris. Bien que jouissant d'une bonne couverture, comparable aux plongements de l'état-de-l'art, notre approche est quant à elle complètement dépendante de la disponibilité des termes japonais dans l'UMLS. L'anglais étant plus largement présent dans l'UMLS, des systèmes de traductions peuvent permettre de générer une ou plusieurs traductions candidates en kanjis et ainsi générer les plongements correspondants. Pour résoudre ce problème, nous sommes en train de développer une approche neuronale de génération de représentation kanjis. Les performances des plongements obtenus tendant à être sensiblement inférieurs à ceux obtenus directement des termes en kanjis, mais cela permet d'accroître considérablement la couverture à l'ensemble des CUI de l'UMLS.

D'autres indices, comme la structure même de l'UMLS (graphe de liens typés entre les concepts) peuvent également être utilisés en plus des liens de traductions. Ils peuvent notamment efficaement exploités par des approches de plongements de graphes ou de bases de connaissances (Wang et al., 2018, inter alia). Mais cela pose alors la question de l'évaluation, puisque certains jeux d'évaluation
reposent actuellement sur ce graphe.

Récemment, le développement de plongements dynamiques tels que Bert (Devlin et al., 2019) et leurs
pendants dans le domaine biomédical (BioBert (Lee et al., 2019) ou ClinicalBert (Alsentzer et al.,
2019)...) ont ouvert de nouvelles voies de recherche sur les plongements. Ils reposent cependant sur
la même hypothèse distributionnelle et le même besoin de grandes quantités de textes. Par ailleurs,
les jeux d'évaluation actuels ne sont pas très adaptés à leur fonctionnement (puisque l'évaluation des
plongements est fait hors contexte dans les jeux de données utilisés dans cet article). Cependant, même
pour ces approches, l'adjonction d'indices autres tels que nos représentations par kanjis pourraient
potentiellement améliorer les représentations - uniquement contextuelles - apprises par ces approches.

Enfin, les différents plongements testés (incluant ceux de l'état de l'art), le code pour les générer (requiert un accès à l'UMLS), et le code pour les évaluer (requiert un accès à l'UMLS) sont disponibles pour la recherche sur demande auprès de l'auteur.

Références

ALSENTZER E., MURPHY J., BOAG W., WENG W.-H., JIN D., NAUMANN T. & MCDERMOTT M. (2019). Publicly available clinical BERT embeddings. In *Proceedings of the 2nd Clinical Natural Language Processing Workshop*, p. 72–78, Minneapolis, Minnesota, USA : Association for Computational Linguistics. DOI : 10.18653/v1/W19-1909.

ARONSON A. R. (2001). Effective mapping of biomedical text to the UMLS Metathesaurus : the MetaMap program. In *Actes de AMIA 2001*, p. 17–21.

BEAM A. L., KOMPA B., SCHMALTZ A., FRIED I., WEBER G., PALMER N. P., SHI X., CAI T. & KOHANE I. S. (2020). Clinical concept embeddings learned from massive sources of multimodal medical data. In *Proceedings of the Pacific Symposium on BioComputing*, p. 295–306, Hawaï, USA.

CHOI Y., CHIU C. Y.-I. & SONTAG D. A. (2016). Learning low-dimensional representations of medical concepts. In *Clinical Research Informatics : AMIA*.

CLAVEAU V. & KIJAK E. (2013). Analyse morphologique non supervisée en domaine biomédical. Application à la recherche d'information. *Trajetoy Automatique des Langues, 54*(1), 13–45. HAL : hal-00912301.

DE VINE L., ZUCCON G., KOOPMAN B., SITBON L. & BRUZA P. (2014). Medical semantic similarity with a neural language model. In *Proceedings of the 23rd ACM International Conference on Conference on Information and Knowledge Management*, CIKM '14, p. 1819–1822, New York, NY, USA : ACM. DOI : 10.1145/2661829.2661974.

DEVLIN J., CHANG M.-W., LEE K. & TOUTANOVA K. (2019). BERT : Pre-training of deep bidirectional transformers for language understanding. In *Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics : Human Language Technologies, Volume 1 (Long and Short Papers)*, p. 4171–4186, Minneapolis, Minnesota : Association for Computational Linguistics. DOI : 10.18653/v1/N19-1423.

LEE J., YOON W., KIM S., KIM D., KIM S., SO C. H. & KANG J. (2019). BioBERT : a pre-trained biomedical language representation model for biomedical text mining. *Bioinformatics*, **36**. DOI : 10.1093/bioinformatics/btz682.

MIKOLOV T., SUTSKEVER I., CHEN K., CORRADO G. S. & DEAN J. (2013). Distributed representations of words and phrases and their compositionality. In C. J. C. BURGES, L. BOTTOU,
Z. GHAHRAMANI & K. Q. WEINBERGER, Éds., *Advances in Neural Information Processing Systems 26 : 27th Annual Conference on Neural Information Processing Systems 2013. Proceedings of a meeting held December 5-8, 2013, Lake Tahoe, Nevada, United States*, p. 3111–3119.

PAKHOMOV S., MCINNES B., ADAM T., LIU Y., PEDERSEN T. & MELTON G. (2010). Semantic similarity and relatedness between clinical terms : An experimental study. *AMIA ... Annual Symposium proceedings / AMIA Symposium*. *AMIA Symposium*, **2010**, 572–576.

PENNINGTON J., SOCHER R. & MANNING C. D. (2014). Glove : Global vectors for word representation. In *Empirical Methods in Natural Language Processing (EMNLP)*, p. 1532–1543.

ROBERTSON S. E., WALKER S. & HANCOCK-BEAULIEU M. (1998). Okapi at TREC-7 : Automatic Ad Hoc, Filtering, VLC and Interactive. In *Proceedings of the 7th Text Retrieval Conference, TREC-7*, p. 199–210.

SARVENIAZI A. (2014). An actual survey of dimensionality reduction. *American Journal of Computational Mathematics*, **04**, 55–72. DOI: 10.4236/ajcm.2014.42006.

TUTTLE M., SHERERTZ D., OLSON N., ERLBAUM M., SPERZEL D., FULLER L. & NESLON S. (1990). Using meta-1 – the 1st version of the UMLS metathesaurus. In *Proc. of the 14th annual Symposium on Computer Applications in Medical Care (SCAMC)*, p. 131–135, Washington, USA.

WANG Z., LV Q., LAN X. & ZHANG Y. (2018). Cross-lingual knowledge graph alignment via graph convolutional networks. In *Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing*, p. 349–357, Brussels, Belgium : Association for Computational Linguistics. DOI: 10.18653/v1/D18-1032.
# Qu'apporte BERT à l'analyse syntaxique en constituants discontinus ? Une suite de tests pour évaluer les prédictions de structures syntaxiques discontinues en anglais.

Maximin Coavoux

Univ. Grenoble Alpes, CNRS, Grenoble INP, LIG,
38000 Grenoble, France

maximin.coavoux@univ-grenoble-alpes.fr

## RÉSUMÉ

Cet article propose d'analyser les apports d'un modèle de langue pré-entraîné de type BERT (bidirectional encoder representations from transformers) à l'analyse syntaxique en constituants discontinus en anglais (PTB, Penn Treebank). Pour cela, nous réalisons une comparaison des erreurs d'un analyseur syntaxique dans deux configurations (i) avec un accès à BERT affiné lors de l'apprentissage (ii) sans accès à BERT (modèle n'utilisant que les données d'entraînement). Cette comparaison s'appuie sur la construction d'une suite de tests que nous rendons publique. Nous annotons les phrases de la section de validation du Penn Treebank avec des informations sur les phénomènes syntaxiques à l'origine des discontinuités. Ces annotations nous permettent de réaliser une évaluation fine des capacités syntaxiques de l'analyseur pour chaque phénomène cible. Nous montrons que malgré l'apport de BERT à la qualité des analyses (jusqu'à 95 en $F_1$), certains phénomènes complexes ne sont toujours pas analysés de manière satisfaisante.

## ABSTRACT

**What does BERT contribute to discontinuous constituency parsing? A test suite to evaluate discontinuous constituency structure predictions in English.**

We propose to analyse the contributions of a pretrained language model such as BERT to discontinuous constituency parsing of English (Penn Treebank). To do so, we perform a comparison of a parsing model in two experimental configuration (i) BERT fine-tuning (ii) without BERT. The comparison relies on the construction of a test suite that we release publicly. We manually annotate the sentences from the development section of the Penn Treebank with information about syntactic phenomena causing discontinuities. We use these annotations to evaluate the syntactic capabilities of a parser for each target phenomenon. Our experiments show that despite the contributions of BERT to very high scores (approaching 95 $F_1$), certain complex syntactic phenomena are still not identified reliably.

**MOTS-CLÉS** : Analyse syntaxique en constituants discontinus, analyse d'erreur, discontinuités syntaxiques, suite de tests.

**KEYWORDS:** Discontinuous constituency parsing, error analysis, syntactic discontinuities, test suite.

<figure><img src="image_48.png" /></figure>
<figure><img src="image_49.png" /><figcaption>FIGURE 1 – Un arbre syntaxique discontinu issu du Discontinuous Penn Treebank (Evang, 2011). Les discontinuités sont dues à un syntagme prépositionnel (PP) extraposé et à une extraction-Qu. Les deux constituants discontinus correspondant ainsi que leurs paires d'empans respectives sont indiquées en rouge / trait plein (NP) et indigo / trait pointillé (VP).</figcaption></figure>

# 1 Introduction

Dans le cas des langues pour lesquelles on dispose de beaucoup de ressources linguistiques, les analyseurs syntaxiques en constituants qui combinent des systèmes de scorage basés sur les réseaux de neurones et des modèles de langue pré-entraînés tels que BERT (Devlin *et al.*, 2019) obtiennent d'excellents résultats (Kitaev & Klein, 2018; Kitaev *et al.*, 2019; Zhou & Zhao, 2019), atteignant fréquemment plus de 95 F₁ sur le Penn Treebank. Cependant, l'évaluation exclusivement quantitative des outils de traitement automatique des langues (TAL) peut être trompeuse. En effet, un unique score F₁ est difficile à interpréter, et pénalise de la même façon des erreurs sans importance ou des erreurs qui ont un impact sur l'interprétation de la phrase. Ainsi, pour comprendre les capacités des analyseurs actuels, il est nécessaire d'utiliser des méthodes d'évaluation alternatives qui ciblent des phénomènes spécifiques.

Dans cet article, nous construisons une suite de tests pour automatiser l'analyse des erreurs commises sur les phrases présentant des discontinuités syntaxiques du Penn Treebank. Dans un arbre en constituants discontinus (figure 1), il est possible que les tokens dominés par un nœud représentent plusieurs empans (*spans*) non contigus de la phrase. Par exemple, le groupe nominal (NP) discontinu de la figure 1 matérialise l'extraposition en fin de phrase d'un syntagme prépositionnel qui est un modifieur du NP. Ce nœud domine « *an instructional video* » et « *on how [...] efficiently* », mais pas le syntagme prépositionnel (PP) « *to processors* ». De telles structures relèvent de grammaires formelles légèrement sensibles au contexte, telles que les LCFRS (Vijay-Shanker *et al.*, 1987, *linear context-free rewriting system*), c'est-à-dire des grammaires d'une classe plus expressive que les grammaires hors-contexte (CFG). Ce type de structure est particulièrement adéquat pour représenter les phénomènes syntaxiques relatifs aux variations d'ordres des mots, et constitue donc des données intéressantes pour évaluer les analyseurs syntaxiques.

Une suite de tests similaire à celle que nous proposons existe pour l'allemand (Maier *et al.*, 2014, Discosuite). Les auteurs de Discosuite ont sélectionné les 1500 premières phrases présentant des discontuités syntaxiques issues du corpus arboré de l'allemand Tiger (Brants *et al.*, 2004), et ont
annoté pour chacune quel phénomène syntaxique est à l'origine de la discontinuité. Ce jeu de tests
permet une évaluation fine des analyseurs syntaxiques, sur des phénomènes cibles réputés difficiles à
analyser (extrapositions, scrambling, ...). À notre connaissance, un tel jeu de tests n'existe pas pour
d'autres langues. Certains travaux présentent une analyse d'erreurs sur le Penn Treebank (Evang,
2011; Coavoux et al., 2019), mais d'une part effectuent une analyse manuelle, arbre par arbre, et
d'autres part ne rendent pas publiques leurs annotations. À l'inverse, nous rendons publique notre
suite de tests ainsi que des scripts d'évaluation qui permettent d'obtenir de manière automatique une
évaluation par phénomène d'un analyseur syntaxique.

En effet, nous utilisons la suite de tests pour analyser et comparer les erreurs commises par un
analyseur à l'état de l'art dans deux configurations expérimentales distinctes : (i) entraînement
utilisant uniquement les données d'entraînement du Penn Treebank (ii) entraînement utilisant (et
affinant) les vecteurs de BERT comme source complémentaire d'information. Nous montrons que
même si BERT permet d'atteindre des scores approchant 95% de F₁, il ne permet toujours pas
d'analyser certains phénomènes cibles de manière satisfaisante.

## 2 Processus d'annotations

Nous extrayons tous les arbres présentant au moins un constituant discontinu dans le corpus de
validation<fnref n="1" /> de la version discontinue du Penn Treebank (Evang & Kallmeyer, 2011; Evang, 2011).
Nous ignorons les phrases pour lesquelles la discontinuité provient uniquement du rattachement
de la ponctuation. Cela correspond en tout à 266 phrases, c'est-à-dire environ 16% des phrases du
corpus. Ensuite, pour chaque phrase, nous annotons manuellement quels phénomènes syntaxiques
sont à l'origine des discontinuités, en suivant la classification de Evang (2011) reprise par Coavoux
et al. (2019) : (i) extractions à longue distance, (ii) citations avec proposition principale en incise,
(iii) extraposition à gauche d'une citation (iv) extraposition-it (v) autres extrapositions (vi) inversion
sujet-verbe. Nous exemplifions ces phénomènes ci-dessous, en matérialisant en gras le constituant
discontinu principal :

i [...] *the worst thing that anyone can do* [...] (phrase 53 du corpus de développement);

ii *The stock market has lost some precursory power, analysts at the Columbia center claim, because of the growing impact of international developments*. (1190);

iii *Currently, average pay for machinists is $ 13.39 an hour, Boeing said*. (238);

iv *But it remains to be seen whether their ads will be any more effective*. (64);

v [...] *as the news spread that Wall Street was moving up* [...] (300);

vi *Says James Norman, the mayor of Ava, Mo.: "I do n't invest in stocks"*. (1575).

Cette classification couvre tous les cas présents dans le corpus <fnref n="2" />.

Pour certaines phrases, les discontinuités sont dues à plusieurs occurrences de phénomènes distincts
dans la même phrase, par exemple la phrase de la figure 1 comporte une extraposition et une extraction.
Il s'agit de 21 phrases avec 2 occurrences et d'une seule phrase avec 3 occurrences. Nous rendons
disponibles ces annotations <fnref n="3" /> en ligne.

<footnote n="1">1. Nous avons choisi de travailler sur le corpus de validation pour que les phrases annotées soient distinctes du corpus d'entraînement. Cela permettra d'évaluer n'importe quel analyseur syntaxique entraîné sur le split standard de ce corpus.</footnote>

<footnote n="2">2. En pratique, il serait possible d'utiliser une granularité encore plus fine, par exemple distinguer parmi les extractions, celles qui sont dues à une question directe et celles qui sont dues à des propositions relatives.</footnote>

<footnote n="3">3. https://gitlab.com/mcoavoux/disco-eval-ptb/-/releases/v1.0_taln2020</footnote>
<table><caption>TABLE 1 – Le modèle sans BERT est le modèle pré-entraîné fourni avec le code de l’analyseur et décrit par Coavoux & Cohen (2019).</caption><thead><tr><th rowspan="2"></th><th colspan="6">Corpus de validation</th><th colspan="6">Corpus de test</th></tr><tr><th>P</th><th>R</th><th>F<sub>1</sub></th><th>Disc. P</th><th>Disc. R</th><th>Disc. F<sub>1</sub></th><th>P</th><th>R</th><th>F<sub>1</sub></th><th>Disc. P</th><th>Disc. R</th><th>Disc. F<sub>1</sub></th></tr></thead><tbody><tr><td>-BERT (Coavoux & Cohen, 2019)</td><td>91.5</td><td>91.3</td><td>91.4</td><td>76.1</td><td>66.4</td><td>70.9</td><td>91.3</td><td>90.6</td><td>90.9</td><td>73.3</td><td>62.1</td><td>67.3</td></tr><tr><td>+BERT</td><td>94.9</td><td>94.9</td><td>94.9</td><td>80.5</td><td>77.6</td><td>79.0</td><td>95.0</td><td>94.5</td><td><strong>94.8</strong></td><td>76.5</td><td>70.9</td><td><strong>73.6</strong></td></tr><tr><td>Δ</td><td>+3.4</td><td>+3.6</td><td>+3.5</td><td>+4.4</td><td>+11.2</td><td>+8.1</td><td>+3.7</td><td>+3.9</td><td>+3.9</td><td>+3.2</td><td>+8.8</td><td>+6.3</td></tr><tr><td>Corro (2020)</td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td><strong>94.8</strong></td><td>90.8</td><td>49.7</td><td>64.2</td></tr></tbody></table>

## 3 Expériences

**Analyseur syntaxique** Nous utilisons l’analyseur discontinu décrit par Coavoux & Cohen (2019) et librement disponible 4. Il s’agit d’un analyseur statistique par transitions, paramétré par un réseau de neurones modulaire :

- un mot-forme est représenté par la concaténation d’un plongement lexical standard (w) et de la sortie (c) d’un bi-LSTM basé sur la séquence de ses caractères;

- la séquence de vecteurs pour une phrase ([$w_1$; $c_1$], [$w_2$; $c_2$], ..., [$w_n$; $c_n$]) est ensuite donnée en entrée à un bi-LSTM qui calcule des représentations contextualisées de chaque token;

- enfin, à chaque étape de l’analyse, un réseau à propagation avant (feedforward) prédit une action de parsing à partir des vecteurs contextualisés de tokens extraits d’une configuration de l’analyseur (se reporter à Coavoux & Cohen, 2019, pour plus de détails).

Nous avons augmenté cet analyseur d’une option qui permet d’utiliser les vecteurs contextualisés issus de BERT comme représentation de chaque token, concaténés aux représentations lexicales originelles de l’analyseur. En d’autres termes, nous donnons la séquence ([$w_1$; $c_1$; $b_1$], [$w_2$; $c_2$; $b_2$], ..., [$w_n$; $c_n$; $b_n$]) au bi-LSTM qui calcule les représentations contextualisées, où $b_i$ est la sortie de BERT pour le token $i$.

Nous affinons les paramètres de BERT lors de l’entraînement. Nous utilisons le modèle de base de BERT qui prend en compte la casse (Devlin et al., 2019, bert-base-cased) via l’interface de la bibliothèque transformers 5 (Wolf et al., 2019).

**Évaluation générale** Nous présentons les résultats des deux modèles dans la table 1. Nous utilisons l’évaluateur discodop 6 (van Cranenburgh et al., 2016) avec ses paramètres standards. Ce paramétrage ignore la ponctuation et les racines des arbres. Il neutralise également la distinction entre ADVP (syntagmes adverbiaux) et PRT (particule). Nous présentons les précisions (P), rappels (R) et F mesures ($F_1$) calculés soit sur l’ensemble des constituants, soit uniquement sur les constituants discontinus (Disc. P/R/$F_1$). Par exemple, pour l’arbre de la figure 1, ces dernières mesures ne considèrentaient que les deux constituants discontinus. Toutes ces mesures prennent en compte les étiquettes des constituants, c’est-à-dire que pour qu’un constituant prédit soit considéré juste, il faut qu’il ait la bonne étiquette et qu’il couvre le(s) bon(s) empan(s).

Le modèle entraîné avec BERT (+BERT) obtient une mesure $F_1$ de 94.8 sur le corpus de test. Ce résultat est identique à celui publié récemment par Corro (2020), qui est le seul autre résultat utilisant

<footnote n="4">4. https://gitlab.com/mcoavoux/discoparset</footnote>

<footnote n="5">5. https://github.com/huggingface/transformers</footnote>

<footnote n="6">6. https://github.com/andreasvc/disco-dop</footnote>
<table><caption>TABLE 2 – Évaluation par phénomène pour les deux modèles d’analyse (avec ou sans BERT), sur le corpus de validation. La précision, le rappel et le score $F_1$ sont calculés uniquement sur les constituants discontinus et correspondent aux mesures Disc. P/R/$F_1$ de la table 1, décomposées par phénomène.</caption><thead><tr><th rowspan="2">Phénomène</th><th rowspan="2">Effectif</th><th colspan="2">Reconnus</th><th colspan="2">Partiellement reconnus</th><th colspan="2">Précision</th><th colspan="2">Rappel</th><th colspan="2">F<sub>1</sub></th></tr><tr><th>-BERT</th><th>+BERT</th><th>-BERT</th><th>+BERT</th><th>-BERT</th><th>+BERT</th><th>-BERT</th><th>+BERT</th><th>-BERT</th><th>+BERT</th></tr></thead><tbody><tr><td colspan="13" style="text-align: center; font-weight: bold;">Évaluation avec étiquettes</td></tr><tr><td>Extraction</td><td>93</td><td>65.6</td><td>83.9</td><td>81.7</td><td>91.4</td><td>81.6</td><td>87.3</td><td>77.2</td><td>86.2</td><td>79.4</td><td>86.7</td></tr><tr><td>Citation extraposée</td><td>73</td><td>89.0</td><td>93.2</td><td>91.8</td><td>94.5</td><td>94.4</td><td>93.4</td><td>90.7</td><td>94.7</td><td>92.5</td><td>94.0</td></tr><tr><td>Autre extraposition</td><td>39</td><td>23.1</td><td>59.0</td><td>25.6</td><td>64.1</td><td>90.9</td><td>93.1</td><td>20.0</td><td>54.0</td><td>32.8</td><td>68.4</td></tr><tr><td>Citation avec incise</td><td>16</td><td>0.0</td><td>0.0</td><td>93.8</td><td>100.0</td><td>48.9</td><td>53.7</td><td>46.0</td><td>58.0</td><td>47.4</td><td>55.8</td></tr><tr><td>Extraposition-it</td><td>12</td><td>41.7</td><td>75.0</td><td>50.0</td><td>83.3</td><td>85.7</td><td>83.3</td><td>50.0</td><td>83.3</td><td>63.2</td><td>83.3</td></tr><tr><td>Inversion sujet-verbe</td><td>6</td><td>50.0</td><td>66.7</td><td>66.7</td><td>83.3</td><td>100.0</td><td>71.4</td><td>50.0</td><td>62.5</td><td>66.7</td><td>66.7</td></tr><tr><td>Extraction et citation extraposée</td><td>6</td><td>83.3</td><td>100.0</td><td>100.0</td><td>100.0</td><td>100.0</td><td>100.0</td><td>94.1</td><td>100.0</td><td>97.0</td><td>100.0</td></tr><tr><td colspan="13" style="text-align: center; font-weight: bold;">Évaluation sans étiquettes</td></tr><tr><td>Extraction</td><td>93</td><td>65.6</td><td>84.9</td><td>81.7</td><td>91.4</td><td>81.3</td><td>89</td><td>78.7</td><td>89</td><td>80</td><td>89</td></tr><tr><td>Citation extraposée</td><td>73</td><td>89</td><td>93.2</td><td>91.8</td><td>94.5</td><td>94.4</td><td>93.4</td><td>90.7</td><td>94.7</td><td>92.5</td><td>94</td></tr><tr><td>Autre extraposition</td><td>39</td><td>23.1</td><td>61.5</td><td>25.6</td><td>66.7</td><td>90.9</td><td>96.4</td><td>20.4</td><td>55.1</td><td>33.3</td><td>70.1</td></tr><tr><td>Citation avec incise</td><td>16</td><td>81.2</td><td>87.5</td><td>93.8</td><td>100</td><td>94.4</td><td>97.4</td><td>89.5</td><td>97.4</td><td>91.9</td><td>97.4</td></tr><tr><td>Extraposition-it</td><td>12</td><td>41.7</td><td>75</td><td>50</td><td>83.3</td><td>85.7</td><td>83.3</td><td>50</td><td>83.3</td><td>63.2</td><td>83.3</td></tr><tr><td>Inversion sujet-verbe</td><td>6</td><td>50</td><td>66.7</td><td>66.7</td><td>83.3</td><td>100</td><td>85.7</td><td>50</td><td>75</td><td>66.7</td><td>80</td></tr><tr><td>Extraction et citation extraposée</td><td>6</td><td>83.3</td><td>100</td><td>100</td><td>100</td><td>100</td><td>100</td><td>93.8</td><td>100</td><td>96.8</td><td>100</td></tr></tbody></table>

BERT sur ce jeu de données. Le modèle +BERT obtient une amélioration de 4 points par rapport au modèle sans BERT (-BERT). L’apport de BERT est particulièrement fort sur les constituants discontinus (+8.1 en Disc. $F_1$ sur le corpus de développement). En particulier, nous observons un très fort effet sur le rappel : le modèle avec BERT est bien plus compétent pour détecter les phénomènes syntaxiques qui produisent des discontinuités. Cet effet est d’autant plus important que les travaux en analyse syntaxique discontinue obtiennent constamment une précision bien plus élevée que le rappel (Maier, 2015; Stanojević & G. Alhama, 2017; Coavoux et al., 2019), ce qui est lié à la rareté des constituants discontinus dans les données d’entraînement. Malgré ces améliorations, le modèle +BERT obtient une mesure $F_1$ de seulement 73.6 sur le corpus de test, signe que les phénomènes syntaxiques à l’origine des discontinuités ne sont toujours pas identifiés de manière satisfaisante. Pour cette raison, nous proposons une analyse plus fine des résultats de ces analyseurs à l’aide de la suite de tests que nous avons construite.

**Processus d’évaluation par phénomène** Nous procédons comme suit pour évaluer automatiquement les prédictions des analyseurs sur le corpus de développement. À l’aide de l’évaluateur discodoop, nous récupérons une évaluation individuelle pour chaque phrase contenant une discontinuité. En particulier, nous récupérons son score Disc. $F_1$. Nous considérons que le phénomène annoté pour une phrase donnée a été (i) reconnu si la phrase obtient 100% en Disc. $F_1$ (ii) partiellement reconnu si son Disc. $F_1$ est strictement supérieur à 0 (c’est-à-dire si au moins un constituant discontinu a été bien prédit). Dans la table 2 nous rapportons ces résultats par phénomène pour chaque modèle, ainsi que la précision, le rappel et le $F_1$ (micro-moyenne sur l’ensemble des constituants discontinus) pour ce phénomène. Nous rapportons ces valeurs dans deux cas : le cas standard où on prend en compte les étiquettes des constituants (partie supérieure de la table), et le cas non étiqueté, où il suffit de prédire les bons empans pour qu’on considère que la prédiction d’un constituant est correcte (partie inférieure de la table). Cela nous permet d’isoler les cas où le système fait simplement des erreurs d’étiquetage des constituants.

Lorsqu’il y a plusieurs occurrences de phénomènes cibles pour une phrase, nous ne pouvons pas
<figure><img src="image_50.png" /><figcaption>FIGURE 2 – Arbre prédit par le modèle -BERT pour la phrase de la figure 1, présentant des erreurs de rattachement prépositionnel. Le modèle +BERT ne fait aucune erreur sur cette phrase.</figcaption></figure>

conclure de manière automatique lequel des phénomènes a été reconnu ou non (hormis quand le $F_1$ est à 0 ou 100). Par ailleurs, comme il y a très peu d'occurrences de phrases ayant une combinaison spécifique de 2 phénomènes cibles, nous rapportons des statistiques seulement pour la combinaison la plus fréquente (c'est-à-dire les phrases qui contiennent à la fois une extraction à longue distance et une citation extraposée), et nous ignorons les autres (moins de 6 occurrences chacune).

## Résultats par phénomène
Nous rapportons l'ensemble des résultats dans la table 2. Les phénomènes produisant des discontinuités les mieux identifiés sont les extractions, les citations extraposées, ainsi que, dans le cas +BERT, les extrapositions-It. Notons qu'il s'agit de phénomènes pour lesquels l'analyseur peut s'appuyer sur des indices lexicaux forts : les mots-Qu (tels que *what*, *that*, *when*, ...) pour les extractions, les verbes de discours (*say*) pour les citations extraposées, et la présence de *it*. Ce sont également des phénomènes plutôt fréquents.

En revanche, les citations avec incise sont plutôt mal prédites (0% reconnues par les deux modèles). Leur structure est plutôt bien identifiée (> 80% de reconnaissance non étiquetée), mais les analyseurs font systématiquement au moins une erreur sur les étiquettes des constituants discontinus. Ces erreurs d'étiquetage sont sans doute liées à un manque de traits pour classifier les constituants discontinus (Coavoux & Cohen, 2019), ce que nous prévoyons de tester.

Enfin, les extrapositions et les inversions sujet-verbe sont plutôt mal identifiées (≈ 50% de reconnaissance pour le modèle -BERT). Les extrapositions sont particulièrement difficiles à prédire dans la mesure où elles nécessitent souvent des connaissances syntaxiques et sémantiques fines pour être identifiées. Par exemple, pour désambiguïser un des deux rattachements de syntagmes prépositionnels dans l'arbre de la figure 1, il faut savoir que le sujet de la video (*on how to [...]*) est un modifieur possible pour *video* mais pas pour *processors*. Le modèle +BERT ne fait aucune erreur sur cette phrase, alors que le modèle -BERT attachent les deux prépositions localement (figure 2) <fnref n="7" />.

<footnote n="7">7. Reviewer 2 nous fait également remarquer que *distributing* et *video* ont plusieurs occurrences dans le corpus d'entraînement mais jamais dans des structures syntaxiques similaires à celles que l'on trouve dans cet exemple, suggérant que BERT apporte ici avant tout des informations sur la valence et les cadres de sous-catégorisation de ces lexèmes.</footnote>
De manière générale, l'entraînement avec BERT améliore tous les résultats en terme de reconnaissance et de score $F_1$. En particulier, son effet sur la reconnaissance des extrapositions (de 23.1 à 59%) et sur les extrapositions-it (41.7 à 75%) est remarquable.

# 4 Conclusions

Cet article présente une suite de tests permettant d'évaluer automatiquement les prédictions d'un analyseur en constituants discontinus sur un ensemble de phénomènes cibles réputés difficiles à analyser. Nous rendons publique cette suite de tests. Enfin, nous présentons une analyse des erreurs d'un analyseur à l'état de l'art dans deux configurations expérimentales, selon qu'il est entraîné par affinage des paramètres de BERT ou sans BERT. L'analyse met en lumière un résultat prometteur : BERT permet d'obtenir le meilleur résultat publié à ce jour en analyse syntaxique discontinue sur le Penn Treebank, et améliore significativement la prédiction des discontuités syntaxiques présentes dans l'anglais journalistique de l'époque du PTB. Cependant, elle montre également qu'il reste une marge d'amélioration pour ces phénomènes. À l'avenir, nous prévoyons d'expérimenter avec d'autres méthodes d'apprentissage semi-supervisées pour traiter cette limitation des analyseurs actuels.

# Remerciements

Je remercie Jibril Frej, Caio Corro, ainsi que 3 relecturices anonymes pour leurs remarques et suggestions sur cet article.

# Références

BRANTS S., DIPPER S., EISENBERG P., HANSEN-SCHIRRA S., KÖNIG E., LEZIUS W., ROHRER C., SMITH G. & USZKOREIT H. (2004). Tiger : Linguistic interpretation of a german corpus. *Research on language and computation, 2*(4), 597–620.

COAVOUX M. & COHEN S. B. (2019). Discontinuous constituency parsing with a stack-free transition system and a dynamic oracle. In *Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics : Human Language Technologies, Volume 1 (Long and Short Papers)*, p. 204–217, Minneapolis, Minnesota : Association for Computational Linguistics. DOI : 10.18653/v1/N19-1018.

COAVOUX M., CRABBÉ B. & COHEN S. B. (2019). Unlexicalized transition-based discontinuous constituency parsing. *Transactions of the Association for Computational Linguistics*, 7, 73–89. DOI : 10.1162/tacl_a_00255.

CORRO C. (2020). Span-based discontinuous constituency parsing : a family of exact chart-based algorithms with time complexities from $O(n^6)$ down to $O(n^3)$. arXiv preprint : 2003.13785.

DEVLIN J., CHANG M.-W., LEE K. & TOUTANOVA K. (2019). BERT : Pre-training of deep bidirectional transformers for language understanding. In *Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics : Human Language Technologies, Volume 1 (Long and Short Papers)*, p. 4171–4186, Minneapolis, Minnesota : Association for Computational Linguistics. DOI : 10.18653/v1/N19-1423.
EVANG K. (2011). Parsing discontinuous constituents in English. Mémoire de master, University of Tübingen.

EVANG K. & KALLMEYER L. (2011). PLCFRS parsing of English discontinuous constituents. In *Proceedings of the 12th International Conference on Parsing Technologies*, p. 104–116, Dublin, Ireland : Association for Computational Linguistics.

KITAEV N., CAO S. & KLEIN D. (2019). Multilingual constituency parsing with self-attention and pre-training. In *Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics*, p. 3499–3505, Florence, Italy : Association for Computational Linguistics. DOI: 10.18653/v1/P19-1340.

KITAEV N. & KLEIN D. (2018). Constituency parsing with a self-attentive encoder. In *Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1 : Long Papers)*, p. 2676–2686, Melbourne, Australia : Association for Computational Linguistics. DOI: 10.18653/v1/P18-1249.

MAIER W. (2015). Discontinuous incremental shift-reduce parsing. In *Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing (Volume 1 : Long Papers)*, p. 1202–1212, Beijing, China : Association for Computational Linguistics. DOI: 10.3115/v1/P15-1116.

MAIER W., KAESHAMMER M., BAUMANN P. & KÜBLER S. (2014). Discosuite - a parser test suite for German discontinuous structures. In *Proceedings of the Ninth International Conference on Language Resources and Evaluation (LREC’14)*, p. 2905–2912, Reykjavik, Iceland : European Language Resources Association (ELRA).

STANOJEVIĆ M. & G. ALHAMA R. (2017). Neural discontinuous constituency parsing. In *Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing*, p. 1666–1676, Copenhagen, Denmark : Association for Computational Linguistics. DOI: 10.18653/v1/D17-1174.

VAN CRANENBURGH A., SCHA R. & BOD R. (2016). Data-oriented parsing with discontinuous constituents and function tags. *Journal of Language Modelling*, 4(1), 57–111.

VIJAY-SHANKER K., WEIR D. J. & JOSHI A. K. (1987). Characterizing structural descriptions produced by various grammatical formalisms. In *25th Annual Meeting of the Association for Computational Linguistics*, p. 104–111, Stanford, California, USA : Association for Computational Linguistics. DOI: 10.3115/981175.981190.

WOLF T., DEBUT L., SANH V., CHAUMOND J., DELANGUE C., MOI A., CISTAC P., RAULT T., LOUF R., FUNTOWICZ M. & BREW J. (2019). Huggingface’s transformers : State-of-the-art natural language processing. arXiv preprint : 1910.03771.

ZHOU J. & ZHAO H. (2019). Head-driven phrase structure grammar parsing on Penn treebank. In *Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics*, p. 2396–2408, Florence, Italy : Association for Computational Linguistics. DOI: 10.18653/v1/P19-1230.
# Sur l'impact des contraintes structurelles pour l'analyse en dépendances profondes fondée sur les graphes

Caio Corro

Université Paris-Saclay, CNRS, LIMSI, 91400, Orsay, France

caio.corro@limsi.fr

## RÉSUMÉ

Les algorithmes existants pour l'analyse en dépendances profondes fondée sur les graphes capables de garantir la connexité des structures produites ne couvrent pas les corpus du français. Nous proposons un nouvel algorithme qui couvre l'ensemble des structures possibles. Nous nous évaluons sur les corpus français FTB et Sequoia et observons un compromis entre la production de structures valides et la qualité des analyses.

## ABSTRACT

### On the impact of structural constraints for graph-based deep dependency parsing

Existing approaches for graph-based deep dependency parsing that force connexity in predicted graphs do not cover the structures observed in French treebanks. We propose a novel algorithm that covers the full set of possible structures. We evaluate our approach on the French corpora FTB and Sequoia and observe a trade-off between the validity of predicted structures and the quality of predictions.

**MOTS-CLÉS** : analyse syntaxique, analyse en dépendances profondes, optimisation combinatoire.

**KEYWORDS**: syntactic analysis, deep dependency parsing, combinatorial optimization.

## 1 Introduction

La structure en dépendances *surfaciques* d'une phrase est usuellement représentée sous forme d'un graphe dirigé où chaque mot est représenté par un nœud et chaque dépendance bi-lexicale par un arc (figure 1). Un nœud supplémentaire est introduit pour connecter le mot racine de la phrase. Le graphe ainsi construit est une arborescence couvrante : chaque nœud sauf la racine possède exactement un arc entrant et il est existe un chemin à partir de la racine jusque chaque nœud. Il en découle qu'une arborescence ne peut pas contenir de cycle. L'analyse en dépendances fondée sur les graphes d'une phrase comporte deux étapes (McDonald et al., 2005) :

1. la construction d'un graphe dirigé et pondéré complet où le poids associé à chaque arc correspond à la vraisemblance d'une relation bi-lexicale calculée par un modèle statistique;

2. la calcul de l'arborescence couvrante de poids maximal de ce graphe, c'est-à-dire la sélection d'un sous-graphe contraint de poids maximal.

Le sous-graphe calculé peut alors être directement transposé à la structure syntaxique correspondante. Le problème à résoudre lors de la seconde étape a une complexité quadratique par rapport au nombre de mots dans la phrase d'entrée et peut être résolu en utilisant la variante de Fredman & Tarjan (1987).

<figure><img src="image_51.png" /></figure>
<figure><img src="image_52.png" /><figcaption>**FIGURE 1** – Exemple d’analyse en dépendances surfaciques (arcs au-dessus de la phrase) et en dépendances profondes (combinaison des arcs pleins du dessus et des arcs en dessous) repris de Candito et al. (2014). Le mot "être" n’est pas présent dans l’analyse en dépendances profondes et il existe un cycle contenant "gros" et "œuvre".</figcaption></figure>

<table><caption>**TABLE 1** – Couverture en terme de graphes complets du FTB et de Sequoia en fonction de la complexité temporelle de l’analyseur. Le parser en O(n³) est celui proposé par Kuhlmann & Jonsson (2015), ceux en O(n⁴) et O(n⁵) sont ceux proposés par Cao et al. (2017), le NP-difficile celui proposé dans cet article.</caption><thead><tr><th>Complexité</th><th>FTB</th><th>Sequoia</th></tr></thead><tbody><tr><td>O(n<sup>3</sup>)</td><td>57.88%</td><td>65.34%</td></tr><tr><td>O(n<sup>4</sup>)</td><td>83.63%</td><td>86.99%</td></tr><tr><td>O(n<sup>5</sup>)</td><td>84.34%</td><td>87.45%</td></tr><tr><td>NP-diff.</td><td>100%</td><td>100%</td></tr></tbody></table>

de l’algorithme de Chu-Liu-Edmonds (Edmonds, 1967). D’autres contraintes sur le sous-graphe peuvent être ajoutées comme la projectivité (Eisner & Satta, 1999) ou le degré de bloc limité et la bonne imbrication (Gómez-Rodríguez et al., 2009; Corro et al., 2016) au prix d’une complexité temporelle plus élevée, voire d’une complexité rédhibitoire.

Nous nous intéressons ici à l’analyse en dépendances *profondes* fondée sur les graphes (figure 1). À la différence des dépendances surfaciques, une structure en dépendances profondes s’abstrait des variations syntaxiques pour représenter plus explicitement les relations prédicats-arguments, entre autres. Cette représentation ne contient que les mots sémantiquement pleins. Nous renvoyons le lecteur au schéma d’annotation du corpus Sequoia (Perrier et al., 2014) pour de plus amples informations. Notons qu’une analyse en dépendances profondes n’est pas une extension des dépendances surfaciques : par exemple sur la figure 1, la dépendance entre « être » et « déclaré » n’est pas présente. Pour l’analyse fondée sur les graphes, le calcul du sous-graphe de poids maximal doit donc prendre en compte les spécificités de cette représentation :

1. le sous-graphe n’est pas contraint d’être couvrant car les mots sémantiquement vides n’apparaissent pas dans la structure syntaxique;

2. un nœud peut avoir 0 ou plusieurs arcs entrants;

3. le sous-graphe peut contenir des cycles.

En d’autres termes, la seule propriété qui doit être contrainte sur le sous-graphe pour qu’il soit valide est sa faible connexité, c’est à dire qu’il doit exister un chemin à partir de la racine jusque tous les autres mots nœud du graphe sans prendre en considération la direction des arcs. Malheureusement, ce problème est NP-difficile (Ideker et al., 2002). Bien qu’il existe des algorithmes tractables permettant de calculer des sous-graphes faiblement connexes plus contraints (Kuhlmann & Jonsson, 2015; Cao et al., 2017), ceux-ci ne permettent pas de couvrir l’ensemble des structures présentes dans les jeux de données (voir table 1).

Dans cet article, nous proposons un algorithme qui garantit la connexité des analyses produites tout en couvrant l’ensemble des corpus et nous examinons empiriquement si cette contrainte est importante pour l’analyse en dépendances profondes fondée sur les graphes. En effet, dans le cadre de l’analyse en dépendances surfaciques, Zhang et al. (2017) ont montré qu’il était possible de supprimer les contraintes d’arborescence lors de la prédiction, c’est-à-dire de choisir localement un arc entrant pour chaque nœud sans garantir explicitement la contrainte globale d’arborescence. De plus, empiriquement la plupart des graphes produits par leur analyseur non contraint sont des
arborescences. Dans le cas de l'analyse en dépendances profondes, la suppression de la contrainte de connexité transforme le calcul du sous-graphe de poids maximal en la simple sélection de tous les arcs de poids positifs. Cette approche non contrainte est celle choisie par les analyseurs à l'état de l'art pour les dépendances profondes du français. En effet, si l'analyseur de Ribeyre et al. (2016) ne se limite pas à une simple sélection des arcs de poids positifs, c'est seulement dû à l'utilisation d'un modèle d'ordre supérieur<fnref n="1" />. Cependant, la connexité du graphe produit n'est pas garantie.

Nos contributions peuvent être résumées comme suit :

1. Nous proposons un nouvel algorithme pour l'analyse en syntaxe profonde qui permet de couvrir l'ensemble des structures des jeux de données tout en garantissant la connexité des graphes produits ;

2. Nous comparons expérimentalement les résultats produits par notre analyseur contraint et la simple sélection des arcs de poids positifs.

L'implémentation pour reproduire les expériences de cet article est disponible en ligne <fnref n="2" />.

# 2 Analyse en dépendances profondes fondée sur les graphes

Nous proposons de réduire le problème de l'analyse syntaxique profonde au problème du sous-graphe connexe de poids maximal (SGCPM), un problème de graphe NP-difficile ayant des applications en chimie et en biologie moléculaire (Dittrich et al., 2008; Ideker et al., 2002; Loboda et al., 2016). À la différence de l'approche proposée par Ribeyre et al. (2016), nous contraignons la bonne formation de la structure syntaxique. À la différence des approches proposées par Kuhlmann & Jonsson (2015) et Cao et al. (2017), nous pouvons couvrir l'ensemble des jeux de données (voir table 1).

## 2.1 Réduction à un problème de graphe non dirigé

Soit $s = s_0...s_n$ une phrase de $n$ mots où $s_0$ est un faux mot supplémentaire. Nous construisons un graphe dirigé complet pondéré $G = \langle V, A, w \rangle$ avec $V = \{0...n\}$ l'ensemble des nœuds, $A = V \times V$ l'ensemble des arcs et $w \in \mathbb{R}^{|A|}$ un vecteur de poids indexé par les arcs. Le problème du SGCPM sur un graphe dirigé peut se réduire à sa variante non dirigée en construisant un graphe non dirigé pondéré $G' = \langle V, E, w' \rangle$ avec $E \subset V \times V$ l'ensemble des arêtes et $w' \in \mathbb{R}^{|E|}$ de la façon suivante : pour chaque couple de nœuds $u, v \in V$ tels que $u < v$, nous ajoutons une arête $(u, v)$ au graphe $G'$ de poids : $w'_{uv} = \max(w_{uv}, w_{vu}, w_{uv} + w_{vu})$. Une solution du SGCPM sur $G$ peut alors être reconstruite à partir d'une solution du SGCPM sur $G'$ en tenant compte des arcs de $G$ qui ont contribué au poids des arêtes de $G'$.

## 2.2 Programme mathématique

Nous proposons ici une formulation sous forme de programme mathématique du problème du SGCPM, fondée sur les formulations de Haouari et al. (2013) et Loboda et al. (2016). Le programme

<footnote n="1">1. Dans un modèle du première ordre, le poids d'un graphe est la somme des poids des arcs qu'il contient. Les modèles d'ordre supérieur incluent aussi des poids pour les couples d'arcs.</footnote>

<footnote n="2">2. https://github.com/FilippoC/deep-syntactic-dependency-parsing-release</footnote>
que nous proposons est (légèrement) plus simple car il existe un nœud obligatoirement présent dans
le sous-graphe : la racine. Le sous-graphe recherché étant connexe, tous les nœuds doivent être
accessibles en suivant un chemin à partir de celle-ci : nous devons garantir l'existence d'au moins
une traversée possible à partir de la racine. Pour cela, nous représentons l'ensemble des chemins
de cette traversée par une arborescence où un arc indique que le nœud de départ est visité avant
le nœud d'arrivée dans la traversée<fnref n="3" />. Pour forcer la structure d'arborescence, nous utilisons une
variable entière qui représente la distance de la racine à chaque nœud du sous-graphe plutôt qu'une
modélisation par flot.

Nous introduisons 3 ensembles de variables binaires. Les variables $y_e$, $e \in E$, et $x_v$, $v \in V \setminus \{0\}$, représentent la sélection (valeur 1) ou non (valeur 0) des différentes arêtes et nœuds, respectivement. Les variables $z_a$, $a \in A$, représentent la sélection des arcs de la traversée utilisée pour garantir la connexité du sous-graphe produit. De plus, les variables entières $d_v$, $v \in V$, sont utilisées pour décrire les solutions faisables de l'arborescence. Nous notons $\delta(v)$ l'ensemble des arêtes incidentes au nœud $v$. Le programme mathématique pour résoudre le problème du SGCPM sur $G'$ est défini de la façon suivante :

$$ \max \sum_{e \in E} w'_{e} y_{e}, \qquad (1) $$

$$ \text{t.q.} \quad y_e \le x_v, \qquad \forall v \in V, e \in \delta(v), \qquad (2) $$

$$ z_{uv} + z_{vu} \le y_{uv}, \qquad \forall (u, v) \in E, \qquad (3) $$

$$ \sum_{(u,v) \in A} z_{uv} = x_v, \qquad \forall v \in V \setminus \{0\}, \qquad (4) $$

$$ d_0 = 1, \qquad (5) $$

$$ d_v z_{uv} = (d_u + 1) z_{uv}, \qquad \forall (u, v) \in A, \qquad (6) $$

$$ \mathbf{x}, \mathbf{y}, \mathbf{z} \in \{0, 1\}, \mathbf{d} \in [1...n+1]. \qquad (7) $$

La contrainte (2) garantit qu'une arête ne peut être sélectionnée que si ses deux nœuds incidents sont sélectionnés. La contrainte (3) s'assure que les arcs qui forment l'arborescence ne peuvent être présents que si l'arête équivalente dans le sous-graphe non-dirigé est présente. Ensuite, les contraintes (4)-(6) assurent la bonne formation de l'arborescence : chaque nœud doit avoir exactement un arc entrant s'il est sélectionné (4); la distance de la racine à elle même est égale à un (5); si un arc est présent dans l'arborescence, alors la distance de la racine de son nœud de destination est égale à la distance de la racine du nœud de départ plus un (6)<fnref n="4" />. Pour une démonstration de l'exactitude de cette formulation, nous reportons le lecteur à Haouari et al. (2013). Ce programme mathématique n'est pas un programme linéaire en nombre entiers à cause de la contrainte (6). Cependant, celle-ci peut être linéarisée en suivant la procédure décrite par Loboda et al. (2016). En pratique, nous pouvons donc résoudre ce programme mathématique avec l'outil CPLEX<fnref n="5" />.

<footnote n="3">3. Précisons bien que les arcs de cette arborescence ne représentent pas forcément des dépendances syntaxiques. Les dépendances sélectionnées sont représentées par les arêtes (non-dirigées) du sous-graphe connexe. De plus ils ne décrivent qu'une traversée possible, il peut en exister d'autres.</footnote>

<footnote n="4">4. Cette contrainte interdit les cycles dans l'arborescence.</footnote>

<footnote n="5">5. https://www.ibm.com/fr-fr/analytics/cplex-optimizer</footnote>
<table><thead><tr><th></th><th>% de struct. con.</th><th>LP</th><th>LR</th><th>LF</th><th>Exacte</th></tr></thead><tbody><tr><td colspan="6" style="text-align:center; font-weight:bold;">FULLYSUP</td></tr><tr><td>POSITIVEARCS</td><td>64.84 / 66.83</td><td>85.90 / 86.15</td><td>82.70 / 83.00</td><td><strong>84.27 / 84.55</strong></td><td>17.95 / 18.83</td></tr><tr><td>→ FTB</td><td>63.16 / 65.39</td><td>85.63 / 85.89</td><td>82.43 / 82.75</td><td>84.00 / 84.29</td><td>15.39 / 16.26</td></tr><tr><td>→ Sequoia</td><td>75.50</td><td>88.21</td><td>85.02</td><td>86.58</td><td>34.25</td></tr><tr><td>SGCPM</td><td>100 / 100</td><td>84.70 / 85.02</td><td>83.48 / 83.78</td><td>84.09 / 84.40</td><td><strong>18.40 / 19.29</strong></td></tr><tr><td>→ FTB</td><td>100 / 100</td><td>84.43 / 84.77</td><td>83.22 / 83.53</td><td>83.82 / 84.14</td><td>15.82 / 16.72</td></tr><tr><td>→ Sequoia</td><td>100</td><td>87.05</td><td>85.77</td><td>86.41</td><td>34.75</td></tr><tr><td colspan="6" style="text-align:center; font-weight:bold;">PRETRAINED</td></tr><tr><td>POSITIVEARCS</td><td>69.16 / 70.65</td><td>89.10 / 89.46</td><td>85.38 / 85.77</td><td><strong>87.20 / 87.57</strong></td><td>21.32 / 22.36</td></tr><tr><td>→ FTB</td><td>67.41 / 69.05</td><td>88.83 / 89.20</td><td>85.07 / 85.48</td><td>86.91 / 87.30</td><td>18.93 / 20.01</td></tr><tr><td>→ Sequoia</td><td>80.25</td><td>91.48</td><td>88.02</td><td>89.72</td><td>36.50</td></tr><tr><td>SGCPM</td><td>100 / 100</td><td>88.19 / 88.59</td><td>86.04 / 86.41</td><td>87.10 / 87.49</td><td><strong>22.34 / 23.43</strong></td></tr><tr><td>→ FTB</td><td>100 / 100</td><td>87.89 / 88.32</td><td>85.74 / 86.14</td><td>86.80 / 87.21</td><td>19.83 / 20.97</td></tr><tr><td>→ Sequoia</td><td>100</td><td>90.78</td><td>88.61</td><td>89.68</td><td>38.25</td></tr></tbody></table>

**TABLE 2** – Résultats de nos deux analyseurs avec les deux réseaux de neurones en terme de pourcentage de structures connexes, de précision étiquetée, rappel étiqueté, f-mesure étiquetée et de correspondance exacte. Le FTB contenant des erreurs de conversion induisant des structures non connexes, nous reportons deux scores : score sur tout le jeu de test / score sur les phrases ayant des structures de référence connexes seulement.

## 3 Pondération neuronale

Nous utilisons l'architecture neuronale de Dozat & Manning (2017) avec les mêmes hyper-paramètres. Nous expérimentons avec deux variantes qui diffèrent par la façon dont elles construisent les plongements lexicaux.

L'architecture FULLYSUP est entièrement initialisée aléatoirement et est entrainée de bout en bout. Elle est fondée sur des plongements lexicaux et des plongements de caractères.

L'architecture PRETRAINED utilise un *self-attentive encoder* (Vaswani et al., 2017) pré-entrainé pour extraire les plongements sensibles au contexte (Martin et al., 2019). Étant donné que ce modèle pré-entrainé utilise son propre tokenizer de mots, nous utilisons la sortie qui correspond au premier sous-token de chaque mot. De plus, plutôt que d'utiliser la représentation en sortie de la dernière couche d'attention, nous apprenons une combinaison convexe des couches 4 à 7, de la même façon que proposée pour l'architecture Elmo (Peters et al., 2018). Ensuite, nous concatenons cette sortie à un plongement lexical appris de bout en bout, suivi de la même architecture que Dozat & Manning (2017).

Le calcul de la fonction de perte et de sa dérivée est une étape coûteuse en prédiction structurée. Nous décomposons la fonction de perte par partie, c'est-à-dire par arc, d'une façon similaire à ce qui a été proposé par Dozat & Manning (2017) et Zhang et al. (2017) mais adapté aux dépendances profondes : pour chaque arc dans le graphe complet nous utilisons une perte de type entropie croisée binaire.

## 4 Expériences

Nous nous évaluons sur les corpus French Treebank (FTB, Abeillé et al., 2003) et Sequoia (Candito & Seddah, 2012) convertis en dépendances profondes (Perrier et al., 2014). La division du corpus
pour l'entrainement / la validation / le test comporte 14759 / 1235 / 2541 et 2202 / 497 / 400 phrases
pour le FTB et Sequoia, respectivement. Pour l'entrainement, nous concaténons les deux corpus. Le
corpus FTB contient des structures non connexes (137 phrases sur 2541 dans le test) qui semblent
dues à des erreurs de conversion automatique. Nous reportons donc les résultats à la fois sur le corpus
de test complet et sur la sous-partie des phrases dont la structure syntaxique profonde de référence
est connexe. De plus, nous utilisons deux analyseurs différents : POSITIVEARCS est un analyseur
non structuré qui sélectionne tous les arcs de poids positifs, SGCPM est notre analyseur qui ne
produit que des analyses valides, c'est-à-dire que des graphes faiblement connexes. Notons que nos
résultats sont dans les mêmes ordres de grandeur que ceux de Ribeyre et al. (2016) qui obtiennent
une f-mesure de 80.79 sans extraction de charactéristiques supplémentaires et 85.18 en utilisant des
charactéristiques extérieurs (analyse en constituants, ...)$^6$.

La première question qui nous intéresse est de savoir si les réseaux de neurones peuvent apprendre
 implicitement à ne produire que des structures connexes ou s'il est important de forcer cette contrainte
 lors de la prédiction. Nous reportons le nombre de structures connexes produites par POSITIVEARCS
dans la table 2 (partie de gauche). Notons que les structures non connexes peuvent être problématiques
lors de l'utilisation des prédictions pour des tâches cibles.

La seconde interrogation porte sur la qualité des prédictions : est ce que garantir des structures
connexes lors de la prédiction permet de corriger des erreurs ? Les scores de nos deux réseaux de
neurones sont reportés sur le Tableau 2 (partie de droite). Comme nous pouvons l'observer, forcer les
structures à être connexe diminue le score en f-mesure, mais augmente le nombre de phrases dont la
structure syntaxique est exactement prédite.

# 5 Conclusion

Dans cet article, nous proposons un nouvel algorithme pour l'analyse en dépendances profondes
fondée sur les graphes qui permet de couvrir l'ensemble des jeux de données du français. Nous
avons évalué notre approche sur le français. Nous observons que garantir ces structures impacte
négativement les résultats des prédictions. Cependant, sans cet algorithme une partie des structures
produites sont non connexes, ce qui peut poser problème pour des tâches cibles. De plus, le nombre
de structures parfaitement prédites augmente lorsque l'on force la connexité.

## Remerciements

Nous remercions les 3 relecteurces anonymes pour leurs remarques et suggestions. Nous remercions
vivement Marie Candito et Djamé Seddah pour nous avoir aidé avec la mise en place du corpus
Sequoia et FTB en dépendances profondes ainsi que pour avoir répondu à nos interrogations. Nous
remercions Corentin Ribeyre et Djamé Seddah pour nous avoir aidé à mettre en place l'évaluateur.
Nous remercions Maximin Coavoux et Matthieu Labeau pour les relectures.

<footnote n="6">6. En l'absence d'un archivage par identifiant unique et découpage commun publiquement disponible pour le jeu de données, comme réalisé par exemple pour le corpus Abstract Meaning Representation qui identifie chaque parution de façon unique (LDC2016E25, LDC2014T12, ...), nous ne savons pas à quel point ces résultats sont comparables. Nous supposons que le découpage du FTB de Ribeyre et al. (2016) suit celui de la shared task SPMRL comme nous, mais nous ne savons pas exactement si les versions sont comparables (correction des dépendances non-locales, expressions multi-mots...).</footnote>
Références

ABEILLÉ A., CLÉMENT L. & TOUSSENEL F. (2003). Building a treebank for french. In *Treebanks*, p. 165–187. Springer.

CANDITO M., PERRIER G., GUILLAUME B., RIBEYRE C., FORT K., SEDDAH D. & DE LA CLERGERIE É. (2014). Deep syntax annotation of the sequoia French treebank. In *Proceedings of the Ninth International Conference on Language Resources and Evaluation (LREC’14)*, p. 2298–2305, Reykjavik, Iceland: European Language Resources Association (ELRA).

CANDITO M. & SEDDAH D. (2012). Le corpus sequoia : annotation syntaxique et exploitation pour l'adaptation d'analyseur par pont lexical. In *Proceedings of TALN 2012*.

CAO J., HUANG S., SUN W. & WAN X. (2017). Parsing to 1-endpoint-crossing, pagenumber-2 graphs. In *Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers)*, p. 2110–2120, Vancouver, Canada: Association for Computational Linguistics. DOI: 10.18653/v1/P17-1193.

CORRO C., LE ROUX J., LACROIX M., ROZENKNOP A. & WOLFLER CALVO R. (2016). Dependency parsing with bounded block degree and well-nestedness via Lagrangian relaxation and branch-and-bound. In *Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers)*, p. 355–366, Berlin, Germany: Association for Computational Linguistics. DOI: 10.18653/v1/P16-1034.

DITTRICH M. T., KLAU G. W., ROSENWALD A., DANDEKAR T. & MÜLLER T. (2008). Identifying functional modules in protein-protein interaction networks: an integrated exact approach. *Bioinformatics*, **24**(13), i223–i231.

DOZAT T. & MANNING C. D. (2017). Deep biaffine attention for neural dependency parsing. In *Proceedings of the 5th International Conference on Learning Representations*.

EDMONDS J. (1967). Optimum branchings. *Journal of Research of the National Bureau of Standards*, **71**(4), 233–240.

EISNER J. & SATTA G. (1999). Efficient parsing for bilexical context-free grammars and head automaton grammars. In *Proceedings of the 37th annual meeting of the Association for Computational Linguistics on Computational Linguistics*, p. 457–464 : Association for Computational Linguistics.

FREDMAN M. L. & TARJAN R. E. (1987). Fibonacci heaps and their uses in improved network optimization algorithms. *Journal of the ACM (JACM)*, **34**(3), 596–615.

GÓMEZ-RODRÍGUEZ C., WEIR D. & CARROLL J. (2009). Parsing mildly non-projective dependency structures. In *Proceedings of the 12th Conference of the European Chapter of the ACL (EACL 2009)*, p. 291–299, Athens, Greece: Association for Computational Linguistics.

HAOUARI M., MACULAN N. & MRAD M. (2013). Enhanced compact models for the connected subgraph problem and for the shortest path problem in digraphs with negative cycles. *Computers & operations research*, **40**(10), 2485–2492.

IDEKER T., OZIER O., SCHWIKOWSKI B. & SIEGEL A. F. (2002). Discovering regulatory and signalling circuits in molecular interaction networks. *Bioinformatics*, **18**(suppl_1), S233–S240.

KUHLMANN M. & JONSSON P. (2015). Parsing to noncrossing dependency graphs. *Transactions of the Association for Computational Linguistics*, **3**, 559–570. DOI: 10.1162/tacl_a_00158.

LOBODA A. A., ARTYOMOV M. N. & SERGUSHICHEV A. A. (2016). Solving generalized maximum-weight connected subgraph problem for network enrichment analysis. In *International Workshop on Algorithms in Bioinformatics*, p. 210–221 : Springer.
MARTIN L., MULLER B., SUÁREZ P. J. O., DUPONT Y., ROMARY L., DE LA CLERGERIE É. V., SEDDAH D. & SAGOT B. (2019). Camembert : a tasty french language model. arXiv preprint : 1911.03894.

MCDONALD R., PEREIRA F., RIBAROV K. & HAJIČ J. (2005). Non-projective dependency parsing using spanning tree algorithms. In *Proceedings of Human Language Technology Conference and Conference on Empirical Methods in Natural Language Processing*, p. 523–530, Vancouver, British Columbia, Canada : Association for Computational Linguistics.

PERRIER G., CANDITO M., GUILLAUME B., RIBEYRE C., FORT K. & SEDDAH D. (2014). Un schéma d'annotation en dépendances syntaxiques profondes pour le français. In *Proc. of TALN 2014*, Marseille, France.

PETERS M., NEUMANN M., IYYER M., GARDNER M., CLARK C., LEE K. & ZETTLEMOYER L. (2018). Deep contextualized word representations. In *Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics : Human Language Technologies, Volume 1 (Long Papers)*, p. 2227–2237, New Orleans, Louisiana : Association for Computational Linguistics. DOI : 10.18653/v1/N18-1202.

RIBEYRE C., DE LA CLERGERIE E. V. & SEDDAH D. (2016). Accurate deep syntactic parsing of graphs : The case of French. In *Proceedings of the Tenth International Conference on Language Resources and Evaluation (LREC’16)*, p. 3563–3568, Portorož, Slovenia : European Language Resources Association (ELRA).

VASWANI A., SHAZEER N., PARMAR N., USZKOREIT J., JONES L., GOMEZ A. N., KAISER Ł. & POLOSUKHIN I. (2017). Attention is all you need. In *Advances in neural information processing systems*, p. 5998–6008.

ZHANG X., CHENG J. & LAPATA M. (2017). Dependency parsing as head selection. In *Proceedings of the 15th Conference of the European Chapter of the Association for Computational Linguistics : Volume 1, Long Papers*, p. 665–676, Valencia, Spain : Association for Computational Linguistics.
# L'expression des émotions dans les textes pour enfants :
constitution d'un corpus annoté

Aline Étienne¹,² Delphine Battistelli¹ Gwénolé Lecorvé²

(1) Univ. Paris-Nanterre, CNRS, MoDyCo, 200 av. de la République, 92001 Nanterre, France

(2) Univ Rennes, CNRS, IRISA, 6, rue de Kerampont, 22300 Lannion, France
{aline.etienne,delphine.battistelli}@parisnanterre.fr,
gwenole.lecorve@irisa.fr

## RÉSUMÉ

Cet article présente une typologie de divers modes d'expression linguistique des émotions, le schéma d'annotation sous Glozz qui implémente cette typologie et un corpus de textes journalistiques pour enfants annoté à l'aide de ce schéma. Ces travaux préliminaires s'insèrent dans le contexte d'une étude relative au développement des capacités langagières des enfants, en particulier de leur capacité à comprendre un texte selon des critères émotionnels.

## ABSTRACT

**Expressing emotions in texts for children: constitution of an annotated corpus.**

This paper presents a classification of various types of linguistic expression of emotions, the Glozz annotation schemata implementing this classification and a corpus of journalistic texts for children manually annotated with this schemata. This preliminary work fits in the broader context of a psycholinguistic study of children's language abilities development, and more precisely of their ability to understand a text depending on emotional criteria.

**MOTS-CLÉS :** émotions, schéma d'annotation, textes pour enfants.

**KEYWORDS:** emotions, annotation schemata, texts for children.

## 1 Introduction

Nous nous intéressons ici aux modes d'expression des émotions dans les textes pour enfants. Ce travail s'inscrit dans l'objectif à plus long terme du développement d'outils à même de repérer automatiquement des portions de textes difficiles à comprendre pour des enfants jeunes lecteurs. Dans la lignée de travaux en psycholinguistique comme ceux de (Zwaan et Radvansky, 1998), nous abordons la compréhension d'un texte comme la construction d'une représentation mentale de la situation décrite par le texte, intégrant plusieurs dimensions situationnelles (le temps, l'espace, la cause par exemple). À l'instar de travaux comme (Blanc, 2010), nous intégrons les émotions ressenties par les personnages (à distinguer des émotions ressenties par le lecteur (Dijkstra et al., 1995)) aux dimensions situationnelles d'un texte, et nous nous intéressons en particulier ici à leurs divers modes d'expression linguistique. Ces émotions sont en effet primordiales pour la compréhension de texte puisqu'elles permettent de saisir pourquoi les personnages agissent de telle ou telle manière et ainsi de (re)créer des liens de causalité entre des situations évoquées dans un texte. De fait, il a été montré que, rendus saillants par des émotions, certains évènements (ceux présentant un enjeu pour les personnages), sont mémorisés puis restitués plus aisément, chez les

<figure><img src="image_53.png" /></figure>
enfants (Blanc, 2010 ; Davidson et al., 2001), comme chez les adultes (Dijkstra et al., 1995). Le présent article décrit le corpus annoté en émotions constitué afin de mieux cerner l'expression linguistique des émotions dans des textes journalistiques pour enfants. Après un état de l'art du traitement des émotions en psycholinguistique, en linguistique et en TAL (section 2), nous détaillons les étapes de l'annotation manuelle du corpus (section 3). Les premiers résultats d'exploration de ce corpus annoté sont abordés en section 4.

## 2 Les émotions en psycholinguistique, en linguistique et en TAL

En psycholinguistique, l'impact favorable des émotions sur la compréhension des textes chez les enfants a été démontré, voir notamment (Blanc, 2010) et (Davidson et al., 2001). En tant qu'individus en construction (développement linguistique, cognitif etc.), les enfants ne saisissent cependant pas toujours complètement l'émotion exprimée, ce qui pourrait amoindrir l'effet positif escompté de la présence d'émotions sur l'accès au texte. Il a ainsi été montré qu'avant 10 ans, les émotions de base (colère, dégoût, joie, peur, surprise et tristesse, cf. (Ekman, 1992)) sont mieux retenues que les émotions complexes (culpabilité, embarras, fierté, jalousie, cf. (Lewis, 2008)) (Davidson, 2006 ; Blanc et Quenette, 2017). La façon dont les émotions sont exprimées influence également leur compréhension (Blanc, 2010 ; Creissen et Blanc, 2017). De 6 à 10 ans, les émotions explicitement mentionnées dans un texte, que ce soit *via* des descriptions de comportements associés à une émotion - par exemple "il éclate en sanglots" - ou *via* l'emploi d'unités lexicales désignant des émotions (heureux, effrayer, ...), sont mieux comprises que les émotions simplement suggérées par la situation exposée dans un texte (ex. "Le loup arrive"). Dans l'étude de la compréhension de textes par les enfants, l'expression linguistique des émotions occupe ainsi une place déterminante. Cette question représente par ailleurs un enjeu de taille en linguistique. Le rôle crucial que les émotions jouent dans la communication verbale (ex. persuader son auditoire lors d'une argumentation rhétorique, (Micheli, 2010)) les érige en objet d'étude de choix mais leur omniprésence dans le discours rend leur modélisation linguistique particulièrement complexe (Micheli, 2014). De nombreux travaux se focalisent alors sur l'étude du lexique émotionnel (ex. EmoBase (Diwersky et al., 2014)), délaissant les marqueurs ne relevant pas du lexique des émotions (ex. structures syntaxiques ou discursives). Lorsque ces marqueurs sont pris en compte, les travaux n'abordent le plus souvent que des catégories sémantiques restreintes (ex. analyse des expressions de la peur (Bresson et Dobrovol'skij, 1995) ; analyse des structures (morpho-)syntaxiques exprimant la joie et la rage (Gross, 1995)) ou des structures précises (ex. structures des verbes de sentiments (Mathieu, 2006)). La typologie des "modes de sémiotisation" des émotions de (Micheli, 2014) fait alors figure d'exception, puisque ce travail propose une caractérisation générale (absence de focus sur une catégorie émotionnelle spécifique) des différentes manières d'exprimer les émotions dans les textes destinés aux adultes. Cette typologie distingue les émotions dénotées directement par le lexique (appelées émotions "désignées"), celles que l'on devine grâce à la structure syntaxique d'un énoncé et aux choix des mots opérés par l'énonciateur (appelées émotions "montrées") et celles suggérées par la situation décrite par le texte (appelées émotions "étayées").

Les émotions constituent une catégorie sémantique dont les marqueurs linguistiques, impliquant plusieurs niveaux de la langue (lexique, syntaxe etc.), sont difficiles à circonscrire. Dès lors, le repérage automatique des catégories émotionnelles dans un texte paraît être une tâche délicate. Les quelques travaux de TAL qui s'y attellent ont recours à des lexiques émotionnels et n'intègrent pas, à notre connaissance, de marqueurs linguistiques autres que strictement lexicaux. (Mohammad, 2011) emploie par exemple un lexique émotionnel (le NRC Emotion Lexicon) afin de repérer et de quantifier automatiquement les termes de 8 catégories émotionnelles (colère, dégoût, joie, peur, surprise, tristesse, confiance et anticipation/attente) dans des contes de fées et romans anglophones. Il est à noter par ailleurs que, même si fortement connexes, les travaux sur la détection d'émotions
sont à différencier selon nous des travaux sur le repérage de sentiments (catégorisés principalement en positifs, négatifs ou neutres) ou d'opinions (catégorisés principalement en favorables, défavorables ou neutres). (Hamon et al., 2015) illustrent cette distinction en présentant différents travaux de l'édition 2015 du défi fouille de texte (DEFT), visant notamment à repérer automatiquement dans des tweets francophones des sentiments (satisfaction, insatisfaction), des opinions (accord, valorisation, désaccord, dévalorisation) et des émotions (plaisir, apaisement, amour, surprise positive, déplaisir, dérangement, mépris, surprise négative, peur, colère, ennui, tristesse). Ces travaux ont utilisé des lexiques et des méthodes d'apprentissage automatique. Si nous nous situons dans le champ de la détection d'émotions, des correspondances pourront malgré tout être faites entre les catégories émotionnelles que nous annotons et les polarités négatives et positives, établissant ainsi un pont avec le domaine de l'analyse de sentiments. Enfin, l'annotation des émotions se révèle également être une tâche complexe, comme le montrent (Bostan et Klinger, 2018) en comparant différentes ressources annotées en émotions. Ils mettent ainsi en évidence des divergences aussi bien dans la nature des textes annotés (contes, blogs, actualité ...) que dans le choix des catégories émotionnelles (en lien avec diverses approches psychologique des émotions, notamment celle de (Ekman, 1992)) ou les procédures d'annotations employées (annotation par experts, crowdsourcing ...) - diversité à laquelle vient s'ajouter le présent travail.

A ce jour, dans le champ du TAL, aucun travail de caractérisation linguistique fine de l'expression des émotions dans les textes pour enfants ni aucune ressource permettant d'effectuer un tel travail ne semblent avoir été produits. Notre travail vise à combler, en partie du moins, ces lacunes.

# 3 Constitution du corpus annoté en émotions

Notre méthodologie générale peut être résumée aux trois étapes suivantes : (1) Trouver des pistes théoriques issues de la littérature linguistique et psycholinguistique pour explorer l'expression des émotions dans les textes pour enfants ; (2) Procéder à des analyses linguistiques fines d'extraits de notre corpus afin de vérifier la pertinence des pistes théoriques (catégories émotionnelles, marqueurs linguistiques) ; (3) Systématiser l'étude du corpus *via* un schéma d'annotation. L'objectif de (3) est double : confirmer à l'échelle du corpus entier la pertinence des catégories et des critères retenus d'après (2) ; et obtenir des données quantitatives pour dégager des marqueurs linguistiques diversifiés (i.e. autres que strictement lexicaux) des émotions dans les textes pour enfants. Nous avons étudié un corpus de 97 numéros (octobre 2015 à mars 2019) du journal d'actualité en ligne *Le P'tit Libé*, adressé aux 7-12 ans, et qui vise à expliquer "l'actu des grands" aux enfants. Nous disposions donc de 97 fichiers (un numéro par fichier), soit environ 216K tokens.

## 3.1 Pistes théoriques explorées et choix opérés

La constitution de notre corpus annoté en émotions vise à rendre compte de la diversité des marqueurs linguistiques des émotions (ex. structures syntaxiques) mais aussi à mettre en évidence des liens entre différentes émotions (ex. apparition conjointe fréquente de la peur et de la tristesse) ou l'utilisation préférentielle de certains modes d'expression pour verbaliser certaines émotions. Comme pour toute tâche d'annotation, nous avons établi un schéma d'annotation en définissant les unités linguistiques à repérer au sein du corpus ainsi que les catégories à leur associer. Notre schéma d'annotation devait permettre le repérage de termes du lexique émotionnel (ex. le mot "triste"), mais aussi de structures syntaxiques (ex. dislocations), de marques typographiques (ex. points d'exclamation) voire de structures textuelles (ex. groupe d'énoncés averbaux). La table 1 reprend et met en regard des travaux de linguistique (Micheli, 2014) et en psycholinguistique
(Blanc, 2010, 2017) sur les modes d'expression linguistique des émotions. En nous appuyant sur ces deux types de travaux, nous avons décidé de retenir la distinction terminologique suivante pour les catégories d'émotions : "désignée", "montrée", "étayée" et "comportementale".

<table><caption>TABLE 1 : Comparatif des typologies des modes d'expression des émotions et catégories retenues</caption><thead><tr><th colspan="4">Catégories</th></tr></thead><tbody><tr><td>Micheli (2014)</td><td>Émotion « dite »<br>ex. Paul est heureux.</td><td>Émotion « montrée »<br>ex. « Ah ! Quel endroit merveilleux », dit Paul.</td><td>Émotion « étayée »<br>ex. Après un long voyage, Paul arrive enfin dans la maison de vacances de ses rêves.</td></tr><tr><td>Blanc et al. (2010 ; 2017)</td><td>Émotion « désignée »<br>ex. Paul est heureux.</td><td>« Expression comportementale de l'émotion »<br>ex. Paul sourit.</td><td>Émotion « suggérée »<br>ex. Après un long voyage, Paul arrive enfin dans la maison de vacances de ses rêves.</td></tr><tr><td>Catégories retenues</td><td>Émotion « désignée »<br>ex. Paul est heureux.</td><td>Émotion « comportementale »<br>ex. Paul sourit.</td><td>Émotion « montrée »<br>ex. « Ah ! Quel endroit merveilleux », dit Paul.</td></tr></tbody></table>

L'étude linguistique de l'expression des émotions en français souligne l'importance du schéma actanciel (i.e. qui fait quoi à qui) des segments textuels émotionnels (Mathieu, 2006 ; Bresson et al., 1995 ; Micheli, 2014). D'après ces travaux et l'analyse d'extraits de notre corpus, nous avons émis l'hypothèse que l'entité affectée par l'émotion (i.e. l'individu ressentant l'émotion) occupe une place centrale dans l'expression et la compréhension des émotions. Nous avons donc décidé d'annoter ces entités, ainsi que le lien qui les unit aux unités émotionnelles. Selon nous, des informations sur ces entités seront pertinentes pour l'analyse linguistique et doivent figurer dans notre schéma d'annotation : la nature du segment textuel désignant l'individu affecté par l'émotion ; et des caractéristiques de l'individu lui-même, avec les traits [±animé,humain] et [±collectif] (i.e. emploi générique d'un référent et non utilisation du pluriel). Ces caractéristiques pourraient fournir des pistes pour régler (en partie) le problème de la polysémie comme dans "Marie est isolée", où "isolée" prend un sens émotionnel (tristesse) grâce au trait [+animé,humain] (vs. "La maison est isolée" où "maison" est [-animé]). Un encodage plus complet du schéma actanciel des émotions nécessiterait une unité pour la cause des émotions (i.e. ce qui déclenche l'émotion chez l'individu). Cependant, d'après l'analyse d'extraits de notre corpus, nous avons supposé que la cause d'une émotion sera moins aisément délimitable que l'entité qui la ressent. Cet élément ne figure donc pas dans notre schéma. Enfin, nous avons inclus une distinction entre les émotions de base vs. complexes, pertinente pour l'étude de la compréhension de textes par les enfants. Afin d'analyser plus finement la réalisation du champ sémantique des émotions, nous avons distingué 10 catégories émotionnelles : 6 émotions "de base" (colère, dégoût, joie, peur, surprise et tristesse) et 4 émotions complexes (culpabilité, embarras, fierté et jalousie), reprises de (Davison, 2006 ; Blanc et Quenette, 2017).

## 3.2 Schéma d'annotation

Notre schéma aborde les émotions en se focalisant sur le mode d'expression linguistique, avec un type d'unité pour chacun des quatre modes d'expression des émotions et un cinquième pour l'entité qui ressent l'émotion. Des traits associés à chaque type d'unité permettent d'affiner les annotations. Pour les unités émotionnelles, il s'agit du "nom de l'émotion", soit la catégorie émotionnelle
exprimée par le segment textuel (ex. *peur* pour “apeuré”, “Quelle horreur !” et “mort”) et de la “nature du segment” textuel. Cette expression, volontairement peu précise, vise à englober la variété des marqueurs linguistiques à repérer. Cette information est particulièrement utile pour les émotions “montrées” car cette catégorie très hétérogène inclut aussi bien des mots isolés (ex. interjections), que des structures syntaxiques (ex. dislocations) ou des groupes de phrases (ex. enchaînement d’énoncés averbaux). L’unité “entité” a trois traits : [± animé,humain] ; [± collectif] ; et “Nature du segment” textuel désignant l’entité ressentant l’émotion. Enfin, notre schéma possède une relation (nommée “Affecte”), typée par le trait “Syntaxe”, servant à relier une unité émotionnelle à l’unité textuelle désignant l’individu affecté par l’émotion.

<figure><img src="image_54.png" /><figcaption>FIGURE 1 : Architecture de notre schéma d'annotation</figcaption></figure>

L'objectif de l'annotation du corpus est de croiser les informations émotionnelles (de base ou
complexe, nom de l'émotion) avec d'autres types d'informations (mode d'expression, nature du
segment textuel) pour montrer que l'expression des émotions ne repose pas uniquement sur le
lexique émotionnel. L'annotation manuelle du corpus a été effectuée via la plateforme Glozz
(Widlöcher et Mathet, 2012) qui présente plusieurs avantages pour notre travail : (i) grande liberté
de schéma d'annotation (traits pour caractériser les unités) ; (ii) diversité des annotations possibles
(unités allant du caractère au paragraphe ; chevauchement dunités ; relations entre unités) ; (iii)
pour la suite de nos travaux, calcul d'accord inter-annotateurs aisé grâce à la structure des fichiers
Glozz. Une pré-annotation automatique du lexique émotionnel a été opérée par l'application d'une
adaptation du lexique EMOTAIX (Piolat & Bannour, 2009) sur le corpus non-lemmatisé via un
script Python. L'adaptation du lexique a consisté principalement en un remaniement des catégories
(conservation des catégories liées à nos 10 émotions ; fusion de catégories proches, ex. *terreur,
inquiétude, angoisse et peur* fusionnées en *peur*) et une augmentation en formes fléchies grâce au
Lefff (Sagot, 2010) à partir des lemmes du lexique. Cette pré-annotation a ensuite été vérifiée et
affinée manuellement, sur Glozz.

4 Exploration du corpus annoté : quelques résultats

Au total, nous avons délimité 2368 unités émotionnelles dans le corpus, dont environ 41,5%
d'émotions étayées, 37,1% d'émotions désignées, 11,8% d'émotions comportementales et 9,6%
d'émotions montrées. La majorité des unités expriment une émotion de base (89,1%), notamment à
cause du nombre plus élevé de catégories d'émotions de base que complexes (6 contre 4).
Cependant, une catégorie d'émotion de base est réalisée par 351 unités en moyenne contre 65 pour
une catégorie d'émotion complexe, ces dernières sont donc ici bien moins représentées. Sur l'ensemble des données, l'émotion la plus fréquente est la peur (29,1% des unités). Viennent ensuite la colère (20,9%), la joie (15,2%) et la surprise (13,7%). Les autres catégories représentent moins de 10% des unités (tristesse 9,4%, fierté 5,3%, embarras 4,1%, culpabilité 1,4%, dégoût 0,8% et jalousie 0,1%). La répartition change lorsqu'on regarde les proportions de chaque catégorie émotionnelle selon le mode d'expression (cf. figure 2).

<figure><img src="image_55.png" /><figcaption>FIGURE 2 : Proportions des catégories émotionnelles selon le mode d'expression</figcaption></figure>

La différence de répartition observée à l'échelle du corpus et en fonction des modes d'expression laisse supposer que des modes d'expression sont utilisés de manière préférentielle pour verbaliser certaines émotions (ex. *montrer la surprise*). Nous avons délimité 1110 unités désignant une entité affectée par une émotion. Il y a moins d'entités que d'unités émotionnelles car soit l'entité n'est pas exprimée, soit plusieurs unités émotionnelles affectent la même entité. Les entités sont réalisées principalement par des pronoms (48,5%) ou des syntagmes nominaux (noms : 37%, noms propres : 11,3%) puis quelques déterminants (3,2%) et un adjectif (dans *à la surprise générale*). Les émotions du corpus affectent surtout des humains (97,3%) et des entités collectives (59,1%).

L'annotation manuelle du corpus a souligné diverses difficultés inhérentes à notre tâche : repérer l'entité qui ressent l'émotion ; identifier précisément l'émotion en jeu parmi les 10 retenues. L'annotation ayant été réalisée par une seule personne, il sera en outre nécessaire de faire une campagne d'annotation pour évaluer la pertinence du schéma d'annotation et la faisabilité de la tâche par un calcul d'accord inter-annotateurs, selon un protocole encore à définir. Nous souhaiterions par ailleurs étendre notre corpus à d'autres genres textuels (encyclopédie, roman).

# 5 Conclusion

Nous avons constitué une ressource jusqu'ici absente : un corpus de 97 textes journalistiques pour enfants annotés en 10 types d'émotions et selon divers modes d'expression linguistiques mobilisés, soit au total 2368 unités émotionnelles de taille et de nature diverse annotées. Ce corpus annoté contribuera à des travaux dans trois domaines : en linguistique, pour l'exploration de la diversité de l'expression des émotions, en dehors du lexique stricto sensu ; en TAL, pour des systèmes d'apprentissage automatique ; en psycholinguistique, comme matériau de test au sein d'un
protocole expérimental visant à évaluer la compréhension de différents types d'émotions auprès de populations d'enfants, tâche que nous poursuivons actuellement au sein du projet ANR TextToKids. De plus, nous envisageons plusieurs pistes pour approfondir notre étude préliminaire, notamment une comparaison avec l'expression des émotions dans des textes non destinés aux enfants, la mise en regard de l'expression des émotions selon les différentes thématiques des articles et selon leurs auteurs ou encore l'enrichissement de notre schéma d'annotation en intégrant la cause des émotions.

## Remerciements

Ce travail a bénéficié du soutien financier de l'Agence Nationale de la Recherche (ANR) dans le cadre du projet TREMoLo (ANR-16-CE23-0019) et du projet TextToKids (ANR AAPG 2019).

## Références

BLANC, N. (2010). La compréhension des contes entre 5 et 7 ans: Quelle représentation des informations émotionnelles?. *Canadian Journal of Experimental Psychology/Revue canadienne de psychologie expérimentale*, 64(4), 256-265. DOI: 10.1037/a0021283.

BLANC, N., & QUENETTE, G. (2017). La production d'inférences émotionnelles entre 8 et 10 ans : quelle méthodologie pour quels résultats ?. *Enfance*, 4(4), 503-511. DOI: 10.4074/S0013754517004141.

BOSTAN L.-A.-M. & KLINGER R. (2018, August). An analysis of annotated corpora for emotion classification in text. In *Proceedings of the 27th International Conference on Computational Linguistics* (pp. 2104-2119).

BRESSON, D., & DOBROVOL'SKIJ, D. (1995). Petite syntaxe de la « peur ». Application au français et à l'allemand. *Langue française*, 105, 107-119. DOI: 10.3406/lfr.1995.5297.

CREISSEN, S., & BLANC, N. (2017). Quelle représentation des différentes facettes de la dimension émotionnelle d'une histoire entre l'âge de 6 et 10 ans? Apports d'une étude multimédia. *Psychologie française*, 62(3), 263-277. DOI: 10.1016/j.psfr.2015.07.006.

DIJKSTRA, K., ZWAAN, R. A., GRAESSER, A. C., & MAGLIANO, J. P. (1995). Character and reader emotions in literary texts. *Poetics*, 23(1-2), 139-157. DOI: 10.1016/0304-422X(94)00009-U.

DAVIDSON, D., LUO, Z., & BURDEN, M. J. (2001). Children's recall of emotional behaviours, emotional labels, and nonemotional behaviours: Does emotion enhance memory?. *Cognition & Emotion*, 15(1), 1-26. DOI: 10.1080/0269993004200105.

DAVIDSON, D. (2006). The role of basic, self-conscious and self-conscious evaluative emotions in children's memory and understanding of emotion. *Motivation and Emotion*, 30(3), 232-242. DOI: 10.1007/s11031-006-9037-6.

DIWERSY, S., GOOSSENS, V., GRUTSCHUS, A., KERN, B., KRAIF, O., MELNIKOVA, E., & NOVAKOVA, I. (2014). Traitement des lexies d'émotion dans les corpus et les applications d'EmoBase. *Corpus*, 13, 269-293.

EKMAN, P. (1992). An argument for basic emotions. *Cognition and Emotion*, 6:3-4, 169-200. DOI: 10.1080/02699939208411068.

GROSS, M. (1995). Une grammaire locale de l'expression des sentiments. *Langue française*, 105, 70-87. DOI: 10.3406/lfr.1995.5294.

HAMON, T., FRAISSE, A., PAROUBEK, P., ZWEIGENBAUM, P., and GROUIN, C. (2015). Analyse des émotions, sentiments et opinions exprimés dans les tweets : présentation et résultats de
l'édition 2015 du défi fouille de texte (DEFT). Actes de la 22e conférence sur le Traitement Automatique des Langues Naturelles (TALN 2015), Jun 2015, Caen, France. HAL : [hal-01617180](https://hal.inra.fr/hal-01617180).

LEWIS, M. (2008). Self-conscious emotions: embarrassment, pride, shame and guilt. In M. Lewis, J. M. Haviland-Jones, & L.F. Barrett (Eds.), *Handbook of emotions* (pp. 742–756). The Guilford Press.

MATHIEU Y.Y. (2006) A Computational Semantic Lexicon of French Verbs of Emotion. In: SHANAHAN J.G., QU Y., WIEBE J., Éds., *Computing Attitude and Affect in Text: Theory and Applications*. The Information Retrieval Series, vol 20., chapitre 10, p. 109-124, Springer, Dordrecht. DOI: [10.1007/1-4020-4102-0_10](https://doi.org/10.1007/1-4020-4102-0_10).

MICHELI R. (2010). L'émotion argumentée. L'abolition de la peine de mort dans le débat parlementaire français, Paris : Cerf.

MICHELI, R. (2014). *Les émotions dans les discours : modèle d'analyse et perspectives empiriques*. De Boeck.

MOHAMMAD, S. (2011). From once upon a time to happily ever after: Tracking emotions in novels and fairy tales. In *Proceedings of the 5th ACL-HLT Workshop on Language Technology for Cultural Heritage, Social Sciences, and Humanities* (pp. 105-114). Association for Computational Linguistics.

PIOLAT, A., & BANNOUR, R. (2009). EMOTAIX: un scénario de Tropes pour l'identification automatisée du lexique émotionnel et affectif. *L'Année psychologique, 109*(4), 655-698. DOI: [10.4074/S0003503309004047](https://doi.org/10.4074/S0003503309004047).

SAGOT (2010). The Lefff, a freely available and large-coverage morphological and syntactic lexicon for French. In *Proceedings of the 7th international conference on Language Resources and Evaluation* (LREC 2010). Istanbul, Turkey. HAL: [inria-00521242](https://HAL.inria.fr/inria-00521242).

WIDLÖCHER, A., & MATHET, Y. (2012, September). The glozz platform: A corpus annotation and mining tool. In *Proceedings of the 2012 ACM symposium on Document engineering* (pp. 171-180). HAL: [hal-01023774](https://hal.inria.fr/hal-01023774).

ZWAAN, R. A., & RADVANSKY, G. A. (1998). Situation models in language comprehension and memory. *Psychological Bulletin*, 123(2), 162-85. DOI: [10.1037/0033-2909.123.2.162](https://doi.org/10.1037/0033-2909.123.2.162).
# Traduction automatique pour la normalisation du français du XVIIᵉ siècle

Simon Gabay¹ Loïc Barrault²

(1) Université de Neuchâtel, Espace Louis-Agassiz 1, 2000 Neuchâtel, Suisse

(2) University of Sheffield, 211 Portobello, Sheffield S1 4DP, Royaume-Uni
prenom.nom@unine.ch, initiale.nom@sheffield.ac.uk

## RÉSUMÉ

L'étude des états de langue anciens se heurte à un double problème : d'une part la distance d'avec l'orthographe actuelle, qui empêche de recourir aux solutions standards de TAL, et d'autre part l'instabilité des systèmes graphiques, qui complexifie l'entraînement de solutions directement sur le texte original. Reprenant ce problème d'un point de vue des humanités numériques, nous partons du raisonnement philologique qui sous-tend la création du corpus d'entraînement, avant de recourir aux méthodes traditionnelles de TAL pour comparer deux systèmes de traduction automatique (statistique et neuronale) et offrir un outil fonctionnel pour la normalisation du français classique qui corresponde aux besoins des philologues.

## ABSTRACT

### Machine Translation for the Normalisation of 17th c. French

The study of old state of languages is facing a double problem : on the one hand the distance with contemporary spelling prevents scholars from using standard NLP solutions, on the other hand the instability of the *scriptae* complexifies the training of solutions directly on the original source text. Returning to this problem with a DH perspective, we start with the philological reasoning behind the creation of the training corpus, and use traditional NLP methods to compare two machine translation systems (statistical and neural) and offer a functional tool for the normalisation of 17th c. French answering the needs of philologists.

**MOTS-CLÉS** : Normalisation, XVIIᵉ siècle, traduction automatique neuronale, traduction automatique statistique, humanités numériques.

**KEYWORDS** : Normalisation, 17th c. French, Neural Machine Translation (NMT), Statistical Machine Translation (SMT), digital humanities.

## 1 Introduction

Le français pré-orthographique est un problème pour deux raisons. D'une part, même si on peut le déplorer (Gabay, 2014), les lecteurs ont pris l'habitude de lire la langue de Molière avec une orthographe contemporaine. D'autre part, la variation graphique complique l'approche computationnelle de la langue : elle altère le rapport token/type (désormais TTR) pour les études stylométriques (Kestemont, 2012; Pinche et al., 2019), complique la lemmatisation (Manjavacas et al., 2019) et l'extraktion d'information (Pettersson, 2016)... Pour toutes ces raisons, plusieurs solutions ont été testées afin de normaliser les données : les systèmes à base de règles (Bollmann et al., 2011), la traduction

<figure><img src="image_56.png" /></figure>
automatique statistique (Statistical Machine Translation, désormais SMT) (Pettersson et al., 2013; Sánchez-Martínez et al., 2013; Scherrer & Erjavec, 2013) ou, plus récemment, la traduction automatique neuronale (Neural Machine Translation, désormais NMT) (Bollmann & Søgaard, 2016).

De nombreuses évaluations ont montré l'efficacité des deux dernières solutions (Pettersson et al., 2014; Bollmann, 2019), dont le défaut est cependant bien connu : la quantité de données nécessaires pour l'entraînement d'un modèle. De telles données existent pour de nombreuses langues (anglais, allemand, hongrois, islandais, portugais, slovène, espagnol ou suédois), mais pas pour le français. Nous nous proposons donc de reprendre l'approche comparatiste de Bollmann & Søgaard (2016) mais, contrairement à ces derniers, nous travaillons sur la langue française classique, et surtout nous n'opérons pas sur des mots isolés pris dans un dictionnaire mais sur des phrases entières. Il nous est ainsi possible de traiter les mots en contexte, et donc de résoudre des ambiguïtés où des homographes auraient différentes versions modernisées, mais aussi de fournir une évaluation en condition réelle d'utilisation.

Afin de mener à bien cette tâche, nous avons décidé de créer un corpus parallèle français classique/français contemporain pour entraîner un normaliseur. Ce corpus, en constante évolution, a été pensé pour être aussi représentatif que possible, et tente de couvrir le XVIIe siècle dans toute sa diversité. Après une présentation détaillée des enjeux philologiques soulevés par la question de la normalisation, nous explicitons la démarche ayant mené à la création d'un modèle immédiatement fonctionnel pour les chercheurs en humanités numériques spécialisés dans la philologie.

## 2 Normalisation

Il existe une multitude de possibilités pour normaliser un état de langue pré-orthographique : transcription interprétative (Stutzmann, 2011), canonicalisation phonétique (Jurish, 2011), lemmatisation et étiquetage morpho-syntaxique, alignement avec le français contemporain... Chacune de ces solutions a ses avantages et ses inconvénients, mais nous nous concentrerons ici, pour les raisons évoquées au tout début de cet article, sur la dernière solution.

En pratique, normaliser le français classique implique la correction de plusieurs caractéristiques : la segmentation (*sur tout* → *surtout*), le trait d'union (*long-temps* → *longtemps*), les lettres calligraphiques (*j'ay* → *j'ai*), les archaïsmes alphabétiques (*fecours* → *secours*), les accents (*Ame* → *Âme*), les lettres étymologiques (lat. *Voster* → *frm.* *voftre* → *votre*), les lettres ramistes (*vn* → *un*, *Ie* → *Je*), les changements phonétiques (*craignois* → *craignais*)...

<table><caption>TABLE 1 – Exemple de normalisation</caption><thead><tr><th>Source</th><th>Cible</th></tr></thead><tbody><tr><td><strong>Sur tout</strong> ie redoutois cette Mélancolie<br>Où j'ay veu fi long-temps voftre Ame enseuelie.<br>Ie craignois que le Ciel, par vn cruel fecours,</td><td><strong>Surtout</strong> je redoutais cette Mélancolie<br>Où j'ai vu si longtemps votre Âme ensevelie.<br>Je craignais que le Ciel, par un cruel secours,</td></tr></tbody></table>

Il est important de noter que, concernant la normalisation de sources littéraires, il ne peut y avoir un alignement complet avec le français contemporain. Certaines graphies affectant la prosodie ne peuvent être changées, comme *jusques+voyelle* (aujourd'hui *jusqu'+voyelle*) pour conserver la versification (par. exp. "Portez-vous, s'il le faut, jufques à le haïr." où "jufques à" nécessite trois voyelles : [*3ys-kə-za*]). Le problème est identique pour *encor(e)*.
Ajoutons que la liste des opérations nécessaires à la normalisation présentée *supra*, comme la fréquence des types de variation dépendent fortement de l'extension diachronique et diatopique des données d'entraînement. L'hétérogénéité du corpus source grandit donc exponentiellement avec l'extension d'un corpus censé être représentatif d'un état de langue.

## 3 Corpus

La construction d'un outil fonctionnel nécessite un travail important sur la création du corpus. Puisque l'efficacité du normaliseur dépend des données d'entraînement, elles doivent être soigneusement choisies afin de couvrir la langue classique dans toute sa diversité. Trois points ont tout particulièrement attiré notre attention :

- L'extension du lexique est extrêmement importante. Si on peut difficilement espérer traiter les textes littéraires, médicaux, théologiques... avec la même efficacité, il est possible d'éviter de grosses déconvenues en veillant à ce que ces différents genres, et donc leur lexique, soient représentés dans les données d'entraînement.

- Le système graphique est instable tout le XVIIe siècle et cette variation évolue dans le temps (Biedermann-Pasques, 2017) : en une centaine d'année, le français passe rapidement d'une multitude de *scriptae*<fnref n="1" /> à un état quasi-stable (Bonhomme, 2011). En plus de la variation diachronique, on note une importante polarisation diastratique entre les Anciens et les Modernes, qui défendent des options graphiques totalement opposées (Pellat, 1995b).

- L'utilisation des majuscules est extrêmement différente de la nôtre et ne semble pas suivre de règle claire. S'il est possible de contourner ce problème en abaissant la casse de tous les caractères, agir ainsi nous fait perdre de la lisibilité et de l'information.

Concernant le lexique, nous avons décidé de créer un corpus primaire et un corpus secondaire. Le corpus primaire se concentre sur les textes littéraires avec la poésie (Viau), le roman (La Fayette), la tragédie (Racine), la comédie (Molière), la correspondance (Guez de Balzac). Le corpus secondaire étend le lexique en ajoutant des documents traitant de physique (Pascal), de médecine (Ellain), de théologie (Sales, Bossuet), de philosophie (Descartes).

Parmi tous les textes, nous avons délibérément augmenté le nombre de pièces de théâtre pour deux raisons. La première est que les textes dramatiques utilisent plus la majuscule (acte, scène, tours de parole) que les autres genres. La seconde est que le théâtre est l'un des genres les mieux connus en ce qui concerne l'histoire des livres au XVIIe siècle (Riffaud, 2009) et que l'on connaît donc le nom de l'imprimeur pour chaque livre – une information importante pour équilibrer au mieux le corpus.

Concernant les systèmes graphiques, les textes de ce double corpus sont distribués chronologiquement, avec au moins deux imprimés par décennie. Si la plupart sont imprimés à Paris, certains proviennent des Flandres (Bussy-Rabutin à Bruxelles) ou de Hollande (Descartes à Leyde), où le système graphique est différent (Pellat, 1995a). Cette distribution chronologique et géographique n'est pas parfaite car elle dépend de documents OCRisés avec un modèle en cours de construction (Gabay, 2019).

<footnote n="1">1. Une *scripta* est une koinè graphique, i.e. une langue écrite partagée par un large groupe de scripteurs d'une même langue.</footnote>
# 4 Entraîner et évaluer les modèles

La création de données d'entraînement a été faite avec l'aide d'un système à base de règles et d'expressions régulières pour accélérer le processus (Gabay et al., 2019) : chaque phrase est pré-normalisée automatiquement avant d'être manuellement corrigée pour garantir la qualité des résultats. Ainsi, un corpus de référence de c. 140 000 tokens a pu être produit rapidement pour effectuer des premiers tests.

Deux formats de sortie sont disponibles : tsv, mais aussi XML-TMX. Ce dernier permet de consover les données dans un format aisément manipulable, mais aussi de réutiliser les données avec de logiciels acceptant des mémoires de traduction comme MateCat (Federico et al., 2014) ou des outils de textométrie comme TXM (Heiden et al., 2010). Pour l'entraînement, chaque texte a été segmenté en lignes, constituées dans la majorité des cas de phrases, mais aussi de propositions dans le cas où les phrases se sont avérées trop longues (plus de soixante mots). 10% des lignes de chaque texte a été prélevé aléatoirement pour évaluer le modèle, et le reste a été utilisé pour l'entraînement.

<table><caption>TABLE 2 – Constitution du corpus</caption><thead><tr><th></th><th>Lignes</th><th>Tokens</th><th>Caractères</th></tr></thead><tbody><tr><td>Train</td><td>8 962</td><td>128 146</td><td>571 290</td></tr><tr><td>Test</td><td>814</td><td>9 068</td><td>40 253</td></tr><tr><td>Total</td><td>9 776</td><td>137 342</td><td>611 543</td></tr></tbody></table>

Tous les résultats sont évalués avec l'exactitude de mots (word accuracy ou Wacc) selon les recommandations de M. Bollmann (Bollmann, 2018), mais nous fournissons aussi les scores BLEU (Papineni et al., 2002) et METEOR (Denkowski & Lavie, 2014) car ces mesures sont toujours utilisées par d'autres collègues (Domingo & Casacuberta, 2018b) et qu'elles permettent donc des comparaisons avec d'autres publications. Il doit aussi être noté que, dans notre corpus d'entraînement, nous avons délibérément augmenté l'hétérogénéité des données, ce qui ne peut qu'abaisser les scores finaux.

Nous avons décidé de comparer les traductions automatiques neuronale et statistique de niveau caractère (character level Statistical Machine Translation, désormais cSMT).

## 4.1 cSMT

L'efficacité de la traduction statistique de niveau caractère ayant été plusieurs fois démontrée (Ljubešić et al., 2016), nous avons décidé de ne pas tester différents degrés de granularité (mot, sous-mot, caractère...) comme avec la NMT (cf. infra) mais de tenter l'ajout de données avec un modèle de langue (Scherrer & Ljubešić, 2016) et la rétro-traduction (Domingo & Casacuberta, 2018a). Concernant les modèles de langue, nous avons utilisé deux corpus différents :

- Un premier constitué de 3 151 778 tokens tirés de textes classiques normalisés proches de ceux des données d'entraînement : du théâtre (Molière, Racine, Corneille), des recueils (Nouvelles nouvelles de Donneau de Visé), des romans (Histoire amoureuse de Bussy), des nouvelles (Historiettes de Tallemant des Réaux), des sermons (Bossuet), des essais philosophiques (les œuvres complètes de Descartes et de Pascal), de la correspondance (Sévigné, La Fayette) et des textes religieux (La Bible de Lemaître de Sacy, Saint Augustin et Saint Thomas) pour anticiper de possibles références religieuses.

- Un second corpus fait de 89 972 791 tokens en ajoutant au premier corpus la totalité des données en français du projet Gutenberg.
Nous avons aussi essayé la rétro-traduction : les données normalisées deviennent la source et les données originales la cible. Un nouveau jeu de données de 121 012 tokens (8 905 lignes) composées de pièces (Corneille), d'essais (La Rochefoucauld), de sermons (Bossuet) et textes variés (Donneau de Visé) ont ainsi été convertis en textes pseudo-anciens. Pour ce faire un troisième modèle de langue a été créé avec des transcriptions non-normalisées provenant de wikisource (La Fayette, Racine, La Fontaine, Tristan l'Hermite) et de deux grosses éditions publiées en ligne (L'Astrée d'Honoré D'Urfé et Artamène des Scudéry).

<table><caption>TABLE 3 – Evaluation des modèles avec cSMT</caption><thead><tr><th></th><th>BLEU (4-grammes)</th><th>METEOR</th><th>wAcc</th></tr></thead><tbody><tr><td>Normal</td><td>77,667</td><td>87,891</td><td>86.68496</td></tr><tr><td>+ML</td><td>77,108</td><td>87,308</td><td>86.4022</td></tr><tr><td>+trad. inv.</td><td>76,680</td><td>87,024</td><td>86.06121</td></tr><tr><td>+trad. inv.+ML</td><td>75,766</td><td>86,257</td><td>85.57052</td></tr></tbody></table>

Les résultats sont bons, mais il semble que les différentes techniques utilisées pour améliorer les scores aient un effet neutre, voire négatif sur le score final.

## 4.2 NMT

En ce qui concerne la traduction automatique neuronale, nous avons décidé d'utiliser NMTPy-Torch (Caglayan et al., 2017). Le modèle de base est composé d'un encodeur GRU bidirectionnel (Cho et al., 2014) et d'un décodeur (GRU conditionnel à deux couches (Sennrich et al., 2017)) avec mécanisme d'attention de type perceptron multicouche (Bahdanau et al., 2015). L'encodeur et le décodeur ont tous les deux 400 unités cachées et leur état initial caché est initialisé à zéro. Les plongements lexicaux ont une taille fixée à 200.

Trois versions du système ont été entraînées : une première au niveau mot, une seconde avec des unités byte pair encoding ou BPE (Sennrich et al., 2015) opérant au niveau du sous-mot, et une troisième au niveau du caractère. Le tableau 4 montre le résultat de tels pré-traitements. Chaque système a été entraîné quatre fois avec une initialisation différente, deux fois avec drop out, deux fois sans. Seuls les modèles avec les meilleurs scores BLEUS sont conservés.

Les résultats sont particulièrement encourageants, car ils améliorent de précédents tests (BLEU de 82.96) malgré un doublement du nombre de données d'entraînement (c. 60 000 vs 140 000 tokens) et une nette augmentation de leur diversité (2 imprimés vs 30) (Gabay et al., 2019).

<table><thead><tr><th>Granularité</th><th>Version</th><th>Phrase</th></tr></thead><tbody><tr><td rowspan="2">Mot</td><td>Source</td><td>Cherchons avec empreffement</td></tr><tr><td>Target</td><td>Cherchons avec empressement</td></tr><tr><td rowspan="2">BPE</td><td>Source</td><td>Ch@@ er@@ ch@@ ons avec em@@ pref@@ fement</td></tr><tr><td>Target</td><td>Ch@@ er@@ ch@@ ons avec em@@ pr@@ ess@@ ement</td></tr><tr><td rowspan="2">Caractères</td><td>Source</td><td>Cherchons • avec • empreffement</td></tr><tr><td>Target</td><td>Cherchons • avec • empressement</td></tr></tbody></table>

TABLE 4 – Exemple de phrase pré-traitée à différentes granularités. ‘@@’ après une unité sous-mot spécifie que l’unité ne termine pas le mot. ‘•’ représente un espace du texte initial pour le traitement au niveau des caractères.
<table><caption>TABLE 5 – Évaluation des modèles avec NMT</caption><thead><tr><th></th><th>BLEU (4-grammes)</th><th>METEOR</th><th>wAcc</th></tr></thead><tbody><tr><td>Word</td><td>83,647</td><td>90,783</td><td>91.41786</td></tr><tr><td>BPE</td><td>60,200</td><td>71,836</td><td>71.11808</td></tr><tr><td>characters</td><td>71,283</td><td>76,816</td><td>77.86646</td></tr></tbody></table>

# 5 Analyse des résultats

En plus des scores précédemment présentés, revenons concrètement sur le type de résultat produit par chacun des systèmes. Malgré des scores similaires, on peut noter quelques différences assez importantes :

<table><caption>TABLE 6 – Comparaison des résultats</caption><thead><tr><th>Version</th><th>Exemple</th></tr></thead><tbody><tr><td>Original</td><td>En cet état <b>la</b>, Monseigneur, il n'y a point d'apparence de fonger à la Valto-line, ny de ietter les yeux fur le bien d'autruy cependant qu'on nous <b>difpute</b> le noftre, & qu'il faut que nous le <b>tenions</b> auecque les deux mains de peur qu'il ne nous <b>efchappe</b>.</td></tr><tr><td>NMT</td><td>en cet état <b>la</b>, Monseigneur, il n'y a point d'apparence de songer à la Valto-line, ni de jeter les yeux sur le bien d'autrui cependant qu'on nous <b>dispute</b> le nôtre, et qu'il faut que nous le <b>commun</b> avec les deux mains de peur qu'il ne nous <b>apportée</b>.</td></tr><tr><td>cSMT</td><td>en cet état, monseigneur, il n'y a point d'apparence de songer à la valteline, ni de jeter les yeux sur le bien d'autrui cependant qu'on nous <b>disputer</b> le nôtre, et qu'il faut que nous le <b>contentions</b> avec les deux mains de peur qu'il ne nous <b>échappe</b>.</td></tr></tbody></table>

Phénomème attendu, les deux systèmes commettent des fautes sensiblement sur les mêmes passages. Les erreurs de NMTPyTorch (*commun*) sont néanmoins beaucoup plus éloignées de l'original (*tenions*) que celles de cSMTiser (*contentions*), dont les bévues, plus nombreuses, sont souvent peu conséquentes (*dispute* vs *disputer*). Ce dernier système a en revanche tendance à "oublier" (plus rarement "rajouter") des mots (*la*).

Ajoutons que le passage du français classique au français contemporain réduit la richesse lexicale (passage d'un TTR de 0.11 à 0.092) : la question des homographes est donc peu importante. On remarque cependant dans cet exemple que les deux systèmes ont su, comme partout ailleurs, distinguer sur la base du contexte (présence du déterminant *le*) le pronom *nôtre* de l'adjectif *notre* en dépit d'une forme unique en français classique (*noftre*).

# 6 Conclusion

Il est donc relativement simple d'approcher les 90% de wAcc avec les systèmes actuels, sans configuration spéciale. Malgré des résultats plus que satisfaisants, le cSMT est moins performant que le NMT, et cela même avec un corpus d'entraînement de petite taille. Le score de 90%, obtenu uniquement par le NMT, est proche de l'état de l'art (Bollmann, 2019) malgré des données d'entraînement
d'une grande hétérogénéité, ce qui démontre l'extrême robustesse du système.

Cette grande hétérogénéité, volontairement introduite, permet de garantir l'efficacité du modèle pour les philologues. La performance n'est en effet pas évaluée sur des listes de mots uniques, comme cela se fait souvent pour les bancs d'essai, mais sur des données proches de celle que rencontrent les philologues au quotidien.

Du point de vue informatique, les futurs recherches doivent s'orienter vers les solutions neuronales, dont l'efficacité sera clairement améliorée par les techniques que nous avons utilisées dans cet article avec le cSMT. Il conviendra donc, parallèlement à une augmentation significative des données d'entraînement, de tester la rétro-traduction et l'utilisation d'un modèle de langue pré-entraîné comme CamemBERT (Martin et al., 2019) pour améliorer encore plus les résultats.

Du point de vue philologique, il serait intéressant de tenter un partitionnement des données d'entraînement afin de tester l'efficacité de modèles entraînés sur des jeux de données plus restreints, mais plus homogènes. Les cadrages chronologiques qui produiraient les modèles les plus efficaces seraient porteurs d'une information linguistique permettant de repenser la périodisation de la langue moderne sur d'autres critères que l'histoire des idées.

Du point de vue ecdotique enfin, il conviendrait de réfléchir à l'utilité d'autres types de normalisation, car il n'est pas certain que l'alignement sur l'orthographe actuelle soit le seul choix souhaitable. La création de modèles permettant une normalisation plus légère, comme les dissimulations *i* vs *j* et *u* vs *v*, permettrait de produire facilement des textes aisément lisibles qui ne perdraient pas toute leur richesse linguistique.

## Remerciements

Merci à A. Baillot, organisatrice de la *Human-Machine Translation German-French Summer School*, et à Y. Scherrer pour son aide dans l'optimisation des résultats de cSMTiser.

## Références

BAHDANAU D., CHO K. & BENGIO Y. (2015). Neural Machine Translation by Jointly Learning to Align and Translate. In *Proceedings of the International Conference on Learning Representations (ICLR 2015)*, San Diego, CA.

BIEDERMANN-PASQUES L. (2017). *Les grands courants orthographiques au XVIIᵉ siècle et la formation de l'orthographe moderne, Impacts matériels, interférences phoniques, théories et pratiques (1606-1736)*. Berlin, Boston : De Gruyter, reprint 2017 édition. DOI: 10.1515/9783110938593.

BOLLMANN M. (2018). *Normalization of Historical Texts with Neural Network Models*. Thèse de doctorat, Ruhr-Universität Bochum, Bochum.

BOLLMANN M. (2019). A Large-Scale Comparison of Historical Text Normalization Systems. In *Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics : Human Language Technologies, Volume 1 (Long and Short Papers)*, p. 3885–3898, Minneapolis, Minnesota : Association for Computational Linguistics. DOI: 10.18653/v1/N19-1389.

BOLLMANN M., PETRAN F. & DIPPER S. (2011). Rule-Based Normalization of Historical Texts. In *Proceedings of the Workshop on Language Technologies for Digital Humanities and Cultural Heritage (DigHum 2011)*, p. 34–42, Hissar, Bulgaria.
BOLLMANN M. & SØGAARD A. (2016). Improving Historical Spelling Normalization With Bi-Directional LSTMs and Multi-Task Learning. In *Proceedings of COLING 2016, the 26th International Conference on Computational Linguistics : Technical Papers*, p. 131–139, Osaka, Japan. Anthologie ACL : C16-1013.

BONHOMME M. (2011). La standardisation du français au XVIIᵉ siècle. Le cas des observations sur la langue françoise de ménage. In *Du système linguistique aux actions langagières : Mélanges en l’honneur d’Alain Berrendonner*, Champs linguistiques. Bruxelles : De Boeck Supérieur.

CAGLAYAN O., GARCÍA-MARTÍNEZ M., BARDET A., ARANSA W., BOUGARES F. & BARRAULT L. (2017). NMTPY : A Flexible Toolkit for Advanced Neural Machine Translation Systems. *The Prague Bulletin of Mathematical Linguistics*, **109**(1), 15–28. arXiv : 1706.00457, doi : 10.1515/pralin-2017-0035.

CHO K., VAN MERRIENBOER B., GULCEHRE C., BAHDANAU D., BOUGARES F., SCHWENK H. & BENGIO Y. (2014). Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine Translation. In *Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing (EMNLP)*, p. 1724–1734, Doha, Qatar. arXiv : 1406.1078.

DENKOWSKI M. & LAVIE A. (2014). Meteor universal : Language specific translation evaluation for any target language. In *Proceedings of the EACL 2014 Workshop on Statistical Machine Translation*.

DOMINGO M. & CASACUBERTA F. (2018a). A Machine Translation Approach for Modernizing Historical Documents Using Back Translation. In *Proceedings of the 15th International Workshop on Spoken Language Translation (IWSLT 2018)*, p. 39–47, Bruges, Belgium.

DOMINGO M. & CASACUBERTA F. (2018b). Spelling Normalization of Historical Documents by Using a Machine Translation Approach. In *Proceedings of the 21st Annual Conference of the European Association for Machine Translation (EAMT 2018)*, p. 129–137, Alicante, Spain.

FEDERICO M., BERTOLDI N., CETTOLO M., NEGRI M., TURCHI M., TROMBETTI M., CATTELAN A., FAIRINA A., LUPINETTI D., MARTINES A., MASSIDDA A., SCHWENK H., BARRAULT L., BLAIN F., KOEHN P., BUCK C. & GERMANN U. (2014). The MateCat Tool. In *Proceedings of COLING 2014, the 25th International Conference on Computational Linguistics : System Demonstrations*, p. 129–132, Dublin, Ireland : Dublin City University and Association for Computational Linguistics.

GABAY S. (2014). Pourquoi moderniser l’orthographe ? Principes d’ecdotique et littérature du XVIIᵉ siècle. *Vox Romanica*, **73**(1).

GABAY S. (2019). OCRising 17th French prints. *E-ditiones*.

GABAY S., RIGUET M. & BARRAULT L. (2019). A Workflow For On The Fly Normalisation Of 17th c. French. In *DH2019*, Utrecht, Netherlands : ADHO.

HEIDEN S., MAGUÉ J.-P. & PINCEMIN B. (2010). TXM : Une plateforme logicielle open-source pour la textométrie - conception et développement. In *10th International Conference on the Statistical Analysis of Textual Data - JADT 2010*, volume 2, p. 1021–1032, Rome, Italy : Edizioni Universitarie di Lettere Economia Diritto.

JURISH B. (2011). *Finite-state canonicalization techniques for historical German*. Thèse de doctorat, Universität Potsdam, Potsdam.

KESTEMONT M. (2012). Stylometry for Medieval Authorship Studies : An Application to Rhyme Words. *Digital Philology : A Journal of Medieval Cultures*, **1**(1), 42–72. doi : 10.1353/dph.2012.0002.

LJUBEŠIĆ N., ZUPAN K., FIŠER D. & ERJAVEC T. (2016). Normalising Slovene data : historical texts vs. user-generated content. In *Proceedings of the 13th Conference on Natural Language Processing (KONVENS 2016)*, p. 146–155, Bochum, Germany.
MANJAVACAS E., KÁDÁR Á. & KESTEMONT M. (2019). Improving Lemmatization of Non-Standard Languages with Joint Learning. In *Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics : Human Language Technologies, Volume 1 (Long and Short Papers)*, p. 1493–1503, Minneapolis, Minnesota : Association for Computational Linguistics. doi: 10.18653/v1/N19-1153.

MARTIN L., MULLER B., ORTIZ SUÁREZ P. J., DUPONT Y., ROMARY L., VILLEMONTE DE LA CLERGERIE É., SEDDAH D. & SAGOT B. (2019). CamemBERT : a Tasty French Language Model. *arXiv e-prints*, p. arXiv :1911.03894. arXiv preprint : 1911.03894.

PAPINENI K., ROUKOS S., WARD T. & ZHU W.-J. (2002). BLEU : A Method for Automatic Evaluation of Machine Translation. In *Proceedings of the 40th Annual Meeting on Association for Computational Linguistics*, p. 311–318, Philadelphia, USA. doi: 10.3115/1073083.1073135.

PELLAT J.-C. (1995a). L'évolution de l'orthographe des imprimés au XVIIe s. (libraires français et hollandais). In « *Ces mots qui sont nos mots* ». *Mélanges d'Histoire de la Langue Française, de Dialectologie et d'Onomastique offerts au professeur Jacques Chaurand*, p. 83–96. Institut Charles Bruneau.

PELLAT J.-C. (1995b). Norme et variation orthographique au XVIIᵉ siècle. In *Rencontres linguis- tiques en pays rhénan 5/6*, volume 3 de Sciences Cognitives, Linguistiques & Intelligence Artifi- cielle, p. 245–260, université des sciences humaines de Strasbourg : Université des sciences hu- maines Strasbourg.

PETTERSSON E. (2016). *Spelling Normalisation and Linguistic Analysis of Historical Text for Infor- mation Extraction*. Studia Linguistica Upsaliensia. Acta Universitatis Upsaliensis.

PETTERSSON E., MEGYESI B. & NIVRE J. (2013). Normalisation of Historical Text Using Context- Sensitive Weighted Levenshtein Distance and Compound Splitting. In *Proceedings of the 19th Nordic Conference of Computational Linguistics (NODALIDA 2013)*, p. 163–179, Oslo, Norway.

PETTERSSON E., MEGYESI B. & NIVRE J. (2014). A Multilingual Evaluation of Three Spelling Norma- lisation Methods for Historical Text. In *Proceedings of the 8th Workshop on Language Technology for Cultural Heritage, Social Sciences, and Humanities (LaTeCH)*, p. 32–41, Gothenburg, Sweden. doi: 10.3115/v1/W14-0605.

PINCHE A., CAMPS J.-B. & CLÉRICE T. (2019). Stylometry for Noisy Medieval Data : Evaluating Paul Meyer's Hagiographic Hypothesis. In *Digital Humanities Conference 2019 - DH2019*, Utrecht, Netherlands : ADHO and Utrecht University.

RIFFAUD A. (2009). *Répertoire du théâtre français imprimé entre 1630 et 1660 - Librairie Droz*. Travaux du Grand Siècle. Genève : Droz.

SÁNCHEZ-MARTÍNEZ F., MARTÍNEZ-SEMPERE I., IVARS-RIBES X. & CARRASCO R. C. (2013). An open diachronic corpus of historical spanish. *Language resources and evaluation, 47*(4), 1327–1342. doi: 10.1007/s10579-013-9239-y.

SCHERRER Y. & ERJAVEC T. (2013). Modernizing Historical Slovene Words with Character-Based SMT. In *4th Biennial Workshop on Balto-Slavic Natural Language Processing (BSNLP 2013)*, p. 58–62, Sofia, Bulgaria.

SCHERRER Y. & LJUBEŠIĆ N. (2016). Automatic normalisation of the Swiss German ArchiMob corpus using character-level machine translation. In *KONVENS*.

SENNRICH R., FIRAT O., CHO K., BIRCH A., HADDOW B., HITSCHLER J., JUNCZYS-DOWMUNT M., LÄUBLI S., BARONE A. V. M., MOKRY J. & NÄDEJDE M. (2017). Nematus : a Toolkit for Neural Machine Translation. In *Proceedings of the EACL 2017 Software Demonstrations*, p. 65–68, Valencia, Spain. Anthologie ACL : E17-3017.
SENNRICH R., HADDOW B. & BIRCH A. (2015). Neural Machine Translation of Rare Words with Subword Units. In *Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics*, p. 1715–1725, Berlin, Germany.

STUTZMANN D. (2011). Paléographie statistique pour décrire, identifier, dater... Normaliser pour coopérer et aller plus loin ? *Kodikologie und Paläographie im digitalen Zeitalter 2 - Codicology and Palaeography in the Digital Age 2*, p. 247–277.
# Prédire le niveau de langue d'apprenants d'anglais

Natalia Grabar¹,² Thierry Hamon³,⁴ Bert Cappelle² Cyril Grandin²
Benoît Leclercq² Ilse Depraetere²

(1) CNRS, UMR 8163, F-59000 Lille, France

(2) Univ. Lille, UMR 8163 - STL - Savoirs Textes Langage, F-59000 Lille, France

(3) LIMSI, CNRS, Université Paris-Saclay, F-91405 Orsay, France

(4) Université Paris 13, Sorbonne Paris Cité, F-93430, Villetaneuse, France

{natalia.grabar;bert.cappelle;cyril.grandin}@univ-lille.fr

{benoit.leclercq;ilse.depraetere}@univ-lille.fr

thierry.hamon@limsi.fr

## RÉSUMÉ

L'apprentissage de la deuxième langue (L2) est un processus progressif dans lequel l'apprenant améliore sa maîtrise au fur et à mesure de l'apprentissage. L'analyse de productions d'apprenants intéresse les chercheurs et les enseignants car cela permet d'avoir une meilleure idée des difficultés et les facilités d'apprentissage et de faire des programmes didactiques plus adaptés. Cela peut également donner des indications sur les difficultés cognitives à maîtriser les notions grammaticales abstraites dans une nouvelle langue. Nous proposons de travailler sur un corpus de productions langagières d'apprenants d'anglais provenant de différents pays et donc ayant différentes langues maternelles (L1). Notre objectif consiste à catégoriser ces productions langagières selon six niveaux de langue (A1, A2, B1, B2, C1, C2). Nous utilisons différents ensembles de descripteurs, y compris les verbes et expressions modaux. Nous obtenons des résultats intéressants pour cette catégorisation multiclasse, ce qui indique qu'il existe des différences linguistiques inhérentes entre les différents niveaux.

## ABSTRACT

**Predict the language level for English learners.**

Second language (L2) learning is a progressive process during which the learner improves his/her language proficiency as the learning process progresses. The analysis of linguistic productions of learners attracts the attention of researchers and language teachers because this helps to get a better idea on learning difficulties and easiness, and to prepare more appropriate didactic programs. This can also provide indications on cognitive difficulties to master grammatical and abstract notions in a new language. We propose to work with a corpus of language productions of English learners coming from different countries and having different mother tongues (L1). Our purpose is to categorize these language productions according to six language levels (A1, A2, B1, B2, C1, C2). We exploit different sets of descriptors, including modal verbs and expressions. We obtain interesting results for this multiclass categorization, which indicates that these language levels contain inherent linguistic features.

**MOTS-CLÉS** : Catégorisation supervisée, apprentissage L2, anglais, formules de lisibilité, n-grammes, verbes et expressions modaux.

**KEYWORDS:** Supervised categorization, L2 learning, English, readability scores, n-grams, modal verbs and expressions.

<figure><img src="image_57.png" /></figure>
# 1 Introduction

Les chercheurs distinguent en général deux catégories en acquisition de langues (Robertson & Ford, 2009) : l'acquisition de la première langue (L1) et de la deuxième langue (L2). L'acquisition de la première langue est un processus universel, inconscient et indépendant de la langue. Ainsi, de jeunes enfants commencent très rapidement à imiter les productions langagières de leurs parents et de l'entourage. Cependant, l'acquisition de L2 suppose la connaissance et la maîtrise de la première langue. Ce processus suppose également que la personne apprenne consciemment les éléments d'une nouvelle langue, comme le vocabulaire, les composants phonologiques, les structures grammaticales et l'écriture. L'apprentissage de L2 est donc un processus progressif dans lequel l'apprenant améliore sa maîtrise au fur et à mesure de l'apprentissage. Les productions d'apprenants L2 intéressent les chercheurs qui veulent comprendre les difficultés d'apprentissage pour une langue donnée, faire des programmes d'apprentissage plus appropriés ou pour étudier les capacités cognitives des élèves à maîtriser les notions plus ou moins abstraites, par exemple.

Les productions langagières en L2 sont étudiées de différents points de vue : étudier un aspect langagier donné (Gibbs, 1990; Moloi, 1998; Watanabe & Iwasaki, 2009; Mortelmans & Anthonissen, 2016; Murakami et al., 2016; Ayoun & Gilbert, 2017; Römer, 2019), faire le parallèle entre l'apprentissage de L1 et de L2 (Laufer & Eliasson, 1993; Chenu & Jisa, 2009; Ipek, 2009; Rabinovich et al., 2016), identifier automatiquement la L1 des apprenants en L2 (Jiang et al., 2014; Malmasi & Dras, 2015; Nisioi, 2015) ou définir le niveau de maîtrise d'apprenants de L2 (Granfeldt & Nugues, 2007; Pilan et al., 2016; Arnold et al., 2018; Balikas, 2018). Les deux premières tâches sont en général étudiées manuellement par les linguistes et didacticiens, alors que les deux autres tâches attirent l'attention des chercheurs en TAL. Les travaux effectués manuellement concernent typiquement l'étude de catégories abstraites, comme la notion de modalité et l'usage de modaux. Tout d'abord, notons qu'il a été observé que, chez les apprenants d'anglais L1, l'usage de modaux apparaît à partir de 2 ans avec des modaux déontiques (comme *can*) et se diversifie progressivement avec l'apparition de modaux épistémiques (comme *must* ou *might*) vers 3 ans (Shatz & Wilcox, 1991; Papafragou, 1998; Cournane, 2015). En ce qui concerne l'apprentissage de modaux d'anglais L2, dans une étude (Gibbs, 1990), les chercheurs ont analysé la compréhension de la valeur des modaux principaux (*can*, *could*, *may*, *might*) par les apprenants d'anglais parlant Panjabi, une langue indienne. Les apprenants devaient définir la valeur sémantique des modaux parmi quatre valeurs possibles : capacité, permission, possibilité et possibilité hypothétique. Dans un autre travail, les chercheurs analysaient la maîtrise des fonctions grammaticale et modale des modaux chez des enfants apprenants d'anglais (Moloi, 1998). L'auteur indique entre autre qu'il existe des similarités dans l'apprentissage de l'anglais comme L1 ou L2. De rares travaux ont porté sur l'acquisition de la modalité dans d'autres langues, comme par exemple en japonais (Watanabe & Iwasaki, 2009) ou en allemand (Mortelmans & Anthonissen, 2016).

Concernant la prédiction du niveau d'apprenants, dans un travail, les productions d'apprenants de français d'origine suédoise ont été analysées du point de vue syntaxique (Granfeldt & Nugues, 2007), en mettant l'accent sur leur étiquetage et analyse syntaxique automatique. 142 descripteurs ont ainsi pu être exploités, comme par exemple le pourcentage de séquences déterminant-nom avec accord, de mots inconnus, de GNs avec accord en genre, de prépositions, de séquences nom-adjectif avec accord, d'accord sujet-verbe avec des verbes modaux et la longueur moyenne des phrases. Les productions ont ensuite été classées automatiquement en cinq stades d'apprentissage. L'utilisation des 10 meilleurs descripteurs avec C4.5 montre une F-mesure entre 0,46 et 0,53 selon les stades. Dans un autre travail, les productions d'apprenants de suédois comme L2 sont analysées de différents points de vue (lexique, syntaxe, morphologie, sémantique) grâce à leur comparaison avec des manuels de
langue (Pilan et al., 2016). Il s'avère que les descripteurs lexicaux apportent le plus de gain dans la
définition de la maîtrise du suédois. Actuellement, la plupart des travaux qui cherchent à définir le
niveau de maîtrise de L2 sont effectués sur le corpus EFCAMDAT avec six niveaux d'apprenants
(Geertzen et al., 2013; Huang et al., 2018). Ce corpus est construit et maintenu à l'université de
Cambridge. Il contient des productions d'apprenants adultes d'anglais comme L2 et de différentes
langues maternelles L1 (portugais brésilien, chinois, russe, espagnol mexicain, allemand, français,
italien, arabe saoudien, taiwanais et japonais). Plusieurs travaux qui cherchent à définir le niveau de
maîtrise de L2 ont été effectués dans le cadre de la campagne d'évaluation de la conférence CAp en
2018¹, avec une mesure d'évaluation spécifique basée sur l'erreur et une matrice de coût spécifique
(Ballier et al., 2018). L'erreur est calculée comme $E = \frac{1}{n} \sum_{i=1}^{6} \sum_{j=1}^{6} C_{ij} N_{ij}$, où N est la matrice
de confusion ($N_{ij}$ compte le nombre de fois où un exemple de la classe i a été classé j), n le nombre
d'exemples classés et C la matrice de coût, calculée comme une mesure d'entropie croisée pondérée
entre les classes. Les probabilités prises en compte sont les probabilités d'apparition des classes
telles qu'elles apparaissent dans les échantillons d'apprentissage et de test. Les poids des classes
et des erreurs ont été donnés par les experts du domaine pour prendre en compte l'importance de
chacune des classes. Sur les 14 équipes participantes de cette compétition, nous avons pu trouver la
description de deux systèmes seulement. Le système gagnant (Balikas, 2018) met en place une large
 palette de descripteurs (formules de lisibilité, modèles probabilistes de langues, plongements lexicaux,
topic model, étiquettes morpho-syntaxiques, n-grammes de mots). Avec Gradient Boosted trees et
tous les descripteurs, le système obtient 98,2 d'accuracy avec l'erreur de 4,97. Un autre système
(Arnold et al., 2018) utilise une palette plus restreinte de descripteurs (diversité lexicale, complexité
syntaxique, formules de lisibilité). Gradient Boosted trees est utilisé pour effectuer la classification
binaire entre deux niveaux de langues. Selon les paires de niveaux, l'AUC, qui est la seule métrique
présentée dans ce travail, varie entre 0,587 et 0,916.

Nous travaillons avec les productions langagières d'apprenants d'anglais comme L2 provenant de
différents pays et de différentes langues L1. Notre objectif consiste également à prédire le niveau
de ces apprenants sur la base de leurs productions écrites. Nous exploitons différents types de
descripteurs, y compris les verbes et expressions modaux. Comme les modaux sont des catégories
abstraites de la langue, ils peuvent être plus difficiles à acquérir et maîtriser par les apprenants. Selon
les observations des chercheurs, lors des étapes initiales d'apprentissage d'anglais L2, l'usage de
modaux est pauvre qu'il s'agisse de leur fréquence et diversité, les modaux déontiques sont dominants,
certains modaux peuvent être sous-utilisés ou sur-utilisés (Biewer, 2011). Par ailleurs, il existe peu de
travaux qui s'intéressent à cette catégorie d'unités linguistiques (Jabbari & Sedghi, 2015) chez les
apprenants d'anglais L2. Nous proposons donc d'étudier le rôle que les modaux pourraient jouer dans
la détection automatique du niveau de langue, à côté d'autres descripteurs.

## 2 Approche et données

Nous travaillons avec le corpus EFCAMDAT<fnref n="2" /> (Geertzen et al., 2013; Huang et al., 2018). La
partie exploitée du corpus contient 27 287 productions contenant presque 2M occurrences de mots.
Une production correspond au texte écrit par un apprenant d'anglais pour répondre à une question
donnée. Une production peut contenir une ou plusieurs phrases et véhiculer des idées plus ou moins
complexes, en fonction de la maîtrise de la langue. La figure 1 présente des exemples de productions.

<footnote n="1">1. http://cap2018.litislab.fr/competition.html</footnote>

<footnote n="2">2. https://corpus.mml.cam.ac.uk/efcamdat2/</footnote>
C2 In France, robots are commonly used in industrial fields. They replace humans for heavy duties, dangerous or repetitive tasks. Also, we find more and more robots in houses, like vacums that move by themselves, same idea for lawn mawers. But in my opinion, these kind of robots are making people lazy. I admit that we can save time by using them, but on the other hand, do we really use this spare time doing good stuff? I am not sure.

C1 In general I admire succesfull persons who keep their humility and stay simple. This kind of person are not self oriented, they have all they could wish and they are not selfish. Being focused on the others and attentive to his/her friends, relatives and colleagues give to succesful something more, making them more human and noble.

B2 I don't practise any extreme sport. I am definitely not a thrill-seeker. I'm scared of deep water, I have the vertigo... However, I am awestruck by people who pratise this kind of activities. They still search to overtook their limits. I can understand them. When I was younger, I was passionate about pacey carousels. It was fantastic to fly in the air even though I was just in a seat with a harness. I always got in them alone because my friends were so afraid. I could feel such a rush. One time, I tried one slide show that went viral. I was so scared that I phoned my parents every time. Now I always wimp out.

B1 I saw this girl at the swimming pool. I found her very attractive. She had a necklace with her first name. I introduced me and I asked her few questions to know her better. After we met, I invited her for a date the next day. Unfortunately, I was late. She left when I arrived. The next day, I tried my luck again and we had a new date for a tennis party. Of course I was careful to be on time. We played tennis but the next time she left on holiday for a week. We phoned us during this week and I welcomed her for her back at the station. It was 27 years ago. We got married since.

A2 Dear friends, excuse me but I couldn't come to a marriage. I feel awful and I think that I'm sick. I have a cold, a headache and a fever. I went to the doctor and I should stay in bed a few days. The pharmacist gave me some medecine. I'm sorry, let's go and have fun.

A1 Hi Sue, Sorry, I'm busy. Right now I'm working in my office. Then, I have to clean my house. And after, cook for my parents. See you another day. xoxo.

FIGURE 1 – Exemples de productions d’apprenants d’anglais pour chaque niveau

Ces productions sont catégorisées selon six niveaux allant de A1 (le plus bas niveau de maîtrise) à C2 (le plus haut niveau de maîtrise) selon CECRL, un cadre européen de référence pour les langues. Le tableau 1 indique le nombre de productions par niveau, le nombre d'occurrences de mots que cela représente et la longueur moyenne des productions pour un niveau donné. Nous pouvons voir que les niveaux C, et surtout le niveau C2, contiennent très peu de productions. La longueur moyenne des productions tous niveaux confondus est de 68 mots. Cependant, la longueur moyenne des productions par niveau montre une tendance à augmenter avec l'amélioration de la maîtrise de l'anglais.

Pour la prédiction du niveau d'anglais, nous exploitons les algorithmes d'apprentissage de la bibliothèque Scikit-learn<fnref n="3" /> (Pedregosa et al., 2011). Plusieurs descripteurs sont exploités :

— un ensemble de 59 formules et indicateurs de lisibilité fournis avec le corpus EFCAMDAT. Il s'agit de formules classiques de lisibilité, comme celles proposées dans les travaux existants (Flesch, 1948; McLaughlin, 1969; Kincaid et al., 1975). Leur calcul est basé le plus souvent sur des indicateurs de surface des textes (nombre de mots, nombre de phrases, nombre de

<footnote n="3">3. https://scikit-learn.org/stable/</footnote>
<table><caption>TABLE 1 – Nombre de productions selon les six niveaux d’anglais et leurs taille</caption><thead><tr><td>Niveau</td><td># productions</td><td># occurrences</td><td>Moyenne d'occurrences</td></tr></thead><tbody><tr><td>A1</td><td>11 346</td><td>432 442</td><td>38</td></tr><tr><td>A2</td><td>7 680</td><td>503 246</td><td>66</td></tr><tr><td>B1</td><td>5 383</td><td>511 356</td><td>95</td></tr><tr><td>B2</td><td>2 337</td><td>308 433</td><td>132</td></tr><tr><td>C1</td><td>491</td><td>80 786</td><td>165</td></tr><tr><td>C2</td><td>50</td><td>8 317</td><td>166</td></tr><tr><td>Total</td><td>27 287</td><td>1 844 580</td><td>68</td></tr></tbody></table>

syllabes, longueur moyenne de phrases, taille moyenne de mots, etc.). Ces formules associent les productions avec les niveaux scolaires et universitaires et reflètent la complexité des textes. Les formules de lisibilité fournissent des scores associés aux productions ;

— les n-grammes de 2, 3 et 4 mots (formes) provenant de deux corpus de référence : COCA (Corpus of Contemporary American English) (Davies, 2010) et BNC (British National Corpus) (Burnard, 2000). COCA contient plus de 560M mots et couvre la période entre 1990 et 2017. BNC contient 100M mots provenant de productions écrites et orales produites entre les années 1980 et 1990. La motivation d’utiliser des n-grammes vient du fait que les cooccurrences de mots peuvent également indiquer le niveau de connaissance d’une langue. Par exemple, on dit *commit atrocities* plutôt que *do atrocities* ou *perform atrocities*. Ainsi, plus on maîtrise une langue et plus on a tendance à utiliser des expressions standards, comme par exemple l’usage d’expressions plus ou moins figées, de prépositions ou de temps verbaux. L’utilisation de ces descripteurs va dans le même sens que l’exploitation de manuels de langue effectué dans un travail existant (Pilan et al., 2016). Les n-grammes sont extraits de la même manière à partir de corpus et à partir de chaque production, ce qui permet de calculer ensuite les n-grammes communs (en nombre et pourcentage) ;

— un ensemble de 17 verbes modaux (*may*, *might*, *can*, *could*, *shall*, *should*, *will*, *would*, *must*, *have to*, *got to*, *need to*, *be supposed to*, *had better*, *be allowed to*, *be able to*), qui véhiculent les caractéristiques modales principales en anglais. Il s’agit de verbes modaux utilisés le plus souvent par les locuteurs natifs de la langue. Les travaux existants se focalisent le plus souvent sur l’emploi de ces verbes modaux (Gibbs, 1990; Moloi, 1998; Saeed, 2009; Elturki & Salsbury, 2016). Comme déjà indiqué, nous pensons que, comme les valeurs modales sont des notions abstraites, leur maîtrise et utilisation peuvent être indicatives du niveau d’avancement dans l’apprentissage de la langue ;

— un ensemble d’autres expressions modales (verbes, adjectifs, noms, adverbes) qui véhiculent une sémantique similaire, comme par exemple *possible*, *probably* ou *seem*.

Pour les modaux, nous calculons la fréquence de leur utilisation dans les productions.

Nous exploitons ces ensembles de descripteurs séparément pour voir leur pertinence pour la tâche mais aussi en combinaison car nous pensons que les niveaux de langue correspondent aux catégories complexes et reposent sur différents aspects liés à la maîtrise de la langue.

Notre tâche consiste donc à effectuer une catégorisation multiclasse et à assigner les productions écrites d’apprenants à l’un des six niveaux de CECRL. Nous utilisons plusieurs algorithmes d’apprentissage supervisé avec leurs paramètres par défaut en validation croisée à 10 plis. Les résultats sont évalués avec trois mesures standards : précision *P*, rappel *R* et F-mesure *F* dans leur version macro au niveau des catégories.
## 3 Détection du niveau d'apprenants

<table><caption>TABLE 2 – Résultats de catégorisation selon les descripteurs exploités (version macro des mesures)</caption><thead><tr><th rowspan="2">Descripteurs</th><th colspan="3">DT</th><th colspan="3">RF</th><th colspan="3">SVM</th></tr><tr><th>P</th><th>R</th><th>F</th><th>P</th><th>R</th><th>F</th><th>P</th><th>R</th><th>F</th></tr></thead><tbody><tr><td>Lisibilité (Lis)</td><td>0,63</td><td>0,63</td><td>0,63</td><td>0,67</td><td>0,59</td><td>0,61</td><td>0,67</td><td>0,65</td><td>0,66</td></tr><tr><td>BNC</td><td>0,53</td><td>0,53</td><td>0,53</td><td>0,61</td><td>0,57</td><td>0,59</td><td>0,47</td><td>0,43</td><td>0,44</td></tr><tr><td>COCA</td><td>0,53</td><td>0,54</td><td>0,54</td><td>0,78</td><td>0,58</td><td>0,59</td><td>0,49</td><td>0,44</td><td>0,45</td></tr><tr><td>17 modaux</td><td>0,35</td><td>0,28</td><td>0,28</td><td>0,35</td><td>0,29</td><td>0,29</td><td>0,32</td><td>0,26</td><td>0,25</td></tr><tr><td>Autres modaux</td><td>0,25</td><td>0,19</td><td>0,15</td><td>0,24</td><td>0,19</td><td>0,15</td><td>0,20</td><td>0,19</td><td>0,14</td></tr><tr><td>Lis+17 modaux</td><td>0,63</td><td>0,64</td><td>0,64</td><td>0,63</td><td>0,59</td><td>0,60</td><td>0,69</td><td>0,67</td><td>0,68</td></tr><tr><td>Lis+autres modaux</td><td>0,64</td><td>0,63</td><td>0,63</td><td>0,62</td><td>0,58</td><td>0,59</td><td>0,68</td><td>0,66</td><td>0,67</td></tr><tr><td>Lis+tous les modaux</td><td>0,63</td><td>0,63</td><td>0,63</td><td>0,62</td><td>0,57</td><td>0,59</td><td>0,70</td><td>0,67</td><td>0,69</td></tr><tr><td>Tous+BNC</td><td>0,71</td><td>0,71</td><td>0,71</td><td>0,81</td><td>0,66</td><td>0,69</td><td><b>0,74</b></td><td><b>0,70</b></td><td><b>0,72</b></td></tr><tr><td>Tous+COCA</td><td>0,71</td><td>0,71</td><td>0,71</td><td>0,86</td><td>0,66</td><td>0,69</td><td>0,73</td><td>0,69</td><td>0,71</td></tr></tbody></table>

Les résultats globaux de quelques expériences obtenus avec trois algorithmes (arbres de décision *DT*, `RandomForest` *RF* et SVM linéaire *SVM*) sont présentés dans le tableau 2. Nous avons plusieurs ensembles de descripteurs : différents descripteurs utilisés séparément (*lisibilité*, *BNC*, *COCA*, 17 modaux, autres modaux) et leurs combinaisons (formules de lisibilité avec 3 ensembles de modaux (17 modaux, autres modaux et tous les modaux) et la combinaison de tous les descripteurs (*tous+BNC* et *tous+COCA*)). Nous voyons que tous les algorithmes montrent de meilleurs résultats avec la combinaison de tous les descripteurs. *SVM* se détache des autres algorithmes lorsqu'il est exploité avec les scores de lisibilité et les combinaisons de descripteurs, alors que *DT* et *RF* montrent aussi de bons résultats avec les n-grammes de mots. Les 17 modaux principaux permettent de catégoriser correctement un peu moins d'un tiers des productions (F-mesure entre 0,25 et 0,29). Les autres expressions modales, sans doute parce qu'elles sont utilisées moins fréquemment par les apprenants, montrent les performances les plus faibles (F-mesure entre 0,14 et 0,15). L'exploitation de modaux avec les formules de lisibilité améliore la F-mesure obtenue avec les formules de lisibilité seules de 0,20 points avec *DT* et de 0,25 points avec *SVM*. Cela indique donc que les modaux apportent des informations importantes sur le niveau de maîtrise de la langue.

Le tableau 3 indique les résultats par niveau de langue obtenues avec *SVM* et tous les descripteurs combinés avec les n-grammes BNC : 0,72 de F-mesure macro (pour information, cela correspond à 0,82 de F-mesure micro). Le niveau A1 montre les résultats les plus élevés (F-mesure de 0,89), ce qui peut être dû aux facteurs quantitatifs (grand nombre de productions) et qualitatifs (les apprenants ont

<table><caption>TABLE 3 – Catégorisation par niveau (*SVM* et tous les descripteurs avec les n-grammes de BNC)</caption><thead><tr><th>Niveau</th><th>P</th><th>R</th><th>F</th></tr></thead><tbody><tr><td>A1</td><td>0,89</td><td>0,90</td><td>0,89</td></tr><tr><td>A2</td><td>0,76</td><td>0,76</td><td>0,76</td></tr><tr><td>B1</td><td>0,78</td><td>0,79</td><td>0,79</td></tr><tr><td>B2</td><td>0,79</td><td>0,75</td><td>0,77</td></tr><tr><td>C1</td><td>0,72</td><td>0,66</td><td>0,69</td></tr><tr><td>C2</td><td>0,47</td><td>0,36</td><td>0,40</td></tr></tbody></table>
<table><caption>TABLE 4 – Matrice de confusion (SVM et tous les descripteurs avec les n-grammes de BNC)</caption><thead><tr><th>Ref/Predit</th><th>A1</th><th>A2</th><th>B1</th><th>B2</th><th>C1</th><th>C2</th><th></th></tr></thead><tbody><tr><td>A1</td><td><b>10 154</b></td><td>1 045</td><td>131</td><td>13</td><td>3</td><td>0</td><td>11 346</td></tr><tr><td>A2</td><td>1 238</td><td><b>5 827</b></td><td>576</td><td>36</td><td>1</td><td>2</td><td>7 680</td></tr><tr><td>B1</td><td>80</td><td>713</td><td><b>4 266</b></td><td>307</td><td>17</td><td>0</td><td>5 383</td></tr><tr><td>B2</td><td>12</td><td>31</td><td>438</td><td><b>1 763</b></td><td>85</td><td>8</td><td>2 337</td></tr><tr><td>C1</td><td>4</td><td>17</td><td>29</td><td>106</td><td><b>325</b></td><td>10</td><td>491</td></tr><tr><td>C2</td><td>1</td><td>2</td><td>2</td><td>8</td><td>19</td><td><b>18</b></td><td>50</td></tr><tr><td>tous</td><td>11 489</td><td>7 635</td><td>5 442</td><td>2 233</td><td>450</td><td>38</td><td>27 287</td></tr></tbody></table>

des productions très éloignées de la langue standard et des productions d'autres niveaux plus avancés). Le niveau C2 montre les performances les plus pauvres, sans doute à cause du très faible nombre de productions. Le niveau C1 a une F-mesure de 0,69. Les trois autres niveaux (A2, B1 et B2) montrent une F-mesure entre 0,76 et 0,79. Le tableau 4 présente la matrice de confusion de la même expérience. Nous voyons en diagonal le nombre de productions associées correctement aux niveaux de langue.

Il est difficile de comparer nos résultats avec le système de Arnold et al. (2018) car nous n'effectuons pas le même type de catégorisation (bi-classe vs multiclasse). Nos résultats (valeurs macro) sont inférieurs à ceux de (Balikas, 2018) (98,2 d'accuracy mais il n'est pas indiqué s'il s'agit de valeurs micro ou macro). Ce travail utilise les descripteurs différents des nôtres. Nous préférons cependant exploiter les descripteurs observés directement dans les productions d'apprenants (n-grammes, modaux...) car nous pensons que les modèles probabilistes ou inductifs, comme les plongements lexicaux, ne reflettent pas forcément la compétence d'un apprenant donné. À notre avis, ces modèles correspondent à la performance collective des apprenants. Par exemple, les plongements lexicaux peuvent grouper ensemble les verbes comme *commit*, *perform* et *do*. Cependant, si un apprenant n'utilise pas le bon verbe dans une expression comme *commit atrocities*, les n-grammes de mots sont plus susceptibles de refléter correctement son niveau de langue que les plongements lexicaux.

## 4 Conclusion

Nous avons présenté quelques expériences de prédiction du niveau de langue des apprenants d'anglais sur la base de leurs productions écrites. Nous exploitons pour ceci plusieurs ensembles de descripteurs : formules de lisibilité classiques, n-grammes de mots et expressions et verbes modaux. La catégorisation montre des résultats intéressants et souligne l'importance des modaux pour cette tâche. Ces résultats peuvent être améliorés par d'autres expériences (ajout d'autres descripteurs et de leurs combinaisons, exploitation d'autres algorithmes). Par ailleurs, le rôle de notions plus abstraites, comme les valeurs modales, pourra être étudié encore plus en détail dans les travaux futurs.

## Remerciements

Cette publication s'inscrit dans le projet REM (Re-thinking English Modal Constructions) financé par l'ANR franco-suisse sous la référence ANR-16-CE93-0009. Nous remercions les relecteurs pour leurs remarques constructives.
Références

ARNOLD T., BALLIER N., GAILLAT T. & LISSÓN P. (2018). Predicting CEFRL levels in learner english on the basis of metrics and full texts. In *Conférence sur l'Apprentissage Automatique (CAP)*, p. 31–38.

AYOUN D. & GILBERT C. (2017). *The acquisition of modal auxiliaries in English by advanced Francophone learners*, In M. HOWARD & P. LECLERCQ, Éds., *Tense-Aspect-Modality in a Second Language : Contemporary perspectives*, p. 183–212.

BALIKAS G. (2018). Lexical bias in essay level prediction. In *CAP*, p. 1–5.

BALLIER N., CANU S., GAILLAT T., GASSO G., PETITJEAN C. & RAKOTOMAMONJY A. (2018). *Appel à participation à la compétition « my taylor is rich » de CAP 2018. Prédiction du niveau en anglais à partir de production écrite d'apprenants*. Rapport interne, CAP 2018.

BIEWER C. (2011). *Modal auxiliaries in second language varieties of English : A learner's perspective*, In J. MUKHERJEE & M. HUNDT, Éds., *Exploring second-language varieties of English and learner Englishes : Bridging a paradigm gap*, p. 7–33. John Benjamins : Amsterdam.

BURNARD L. (2000). *The British National Corpus Users Reference Guide*. Rapport interne, Oxford university. http://www.natcorp.ox.ac.uk/docs/userManual/.

CHENU F. & JISA H. (2009). Reviewing some similarities and differences in L1 and L2 lexical development. *Acquisition et interaction en langue étrangère*, (1), 1–22.

COURNANE A. (2015). *Modal development : Input-divergent L1 acquisition in the direction of diachronic reanalysis*. Thèse de doctorat, University of Toronto, Toronto, Canada.

DAVIES M. (2010). The corpus of contemporary american english as the first reliable monitor corpus of English. *Literary and Linguistic Computing*, 25(4), 447–65.

ELTURKI E. & SALSBURY T. (2016). A cross-sectional investigation of the development of modality in English language learners' written narratives : A corpus-driven study. *Issues in Applied Linguistics*, 20(1), 51–72.

FLESCH R. (1948). A new readability yardstick. *Journ Appl Psychol*, 23, 221–233.

GEERTZEN J., ALEXOPOULOU T. & KORHONEN A. (2013). Automatic linguistic annotation of large scale L2 databases : The EF-Cambridge open language database (EFCAMDAT). In *31st Second Language Research Forum (SLRF)*.

GIBBS D. A. (1990). Second language acquisition of the English modal auxiliaries can, could, may, and might. *Applied Linguistics*, 11(3), 297–314.

GRANFELDT J. & NUGUES P. (2007). Évaluation des stades de développement en français langue étrangère. In *TALN*, p. 1–10.

HUANG Y., MURAKAMI A., ALEXOPOULOU T. & KORHONEN A. (2018). Dependency parsing of learner English. *International Journal of Corpus Linguistics*, 23(1), 28–54.

IPEK H. (2009). Comparing and contrasting first and second language acquisition : Implications for language teachers. *English Language Teaching*, 2(2), 155–163.

JABBARI A. & SEDGHI M. (2015). Acquisition of English modality by Persian EFL learners. *International Journal of Educational Investigations*, 2(5), 23–45.

JIANG X., GUO Y., GEERTZEN J., DORA ALEXOPOULOU AND L. S. & KORHONEN A. (2014). Native language identification using large, longitudinal data. In *LREC*, p. 1–4.