## 5.3 Résultats préliminaires

Nous observons, durant ces expériences, que le modèle statistique est systématiquement meilleur que le modèle neuronal, d'environ 15 points. Les réseaux de neurones sont très sensibles au bruit et aux incohérences dans les données.

Cependant, là où le modèle statistique obtient pour l'instant une performance absolue supérieure, le modèle neuronal semble apprendre une structure sous-jacente des données, qui lui permet de mieux gérer les cas d'ambiguïté. En effet, pour chacune des paires de mots de nos jeux de test, nous associons à une entrée unique une sortie unique. Ainsi, quand un modèle prédit plusieurs réponses, une seule sera correcte *par rapport au jeu de données*. Cependant, les autres ne seront pas pour autant fausses dans l'absolu, et on peut distinguer 3 cas :

1. le modèle prédit des réponses secondaires historiquement valides (par exemple, le même adjectif, accordé différemment)

2. le modèle prédit des réponses secondaires historiquement plausibles (par exemple, un nom dans un autre genre, incorrect mais plausible par rapport à la structure de la langue)

3. le modèle prédit des réponses secondaires complètement incorrectes

Observons quelques exemples de l'italien au latin. Le réseau de neurone prédit à plusieurs reprises des formes grammaticalement valides, comme [rustiko] 'rustique', venant de [rustīkus] 'de la campagne', qui voit son ancêtre prédit comme étant [rustīkus] (masc. - bonne réponse), [rustikum] (neut. — cas 1), ou [rustīkss] (aucun sens — cas 3) par MEdA, contre [rūkūsti], [ruikōst] ou [ušrtīkwūs], trois formes dépouvues de sens, par Moses (toutes cas 3). MEdA nous a d'ailleurs permis d'identifier des erreurs dans nos jeux de données : [ramo] 'branche' < [ramūs] 'branche', était relié de façon erronée à [radīks] 'racine' (qui est un cognat de [ramūs]); MEdA a prédit cet ancêtre comme étant [ramūs] (masc. — bonne réponse), [ramū] (cas 3), ou [ramūm] (forme neutre du nom, incorrecte, mais plausible, soit le cas 2), tandis que Moses a prédit [mūr], [rēam], ou [raem] (toutes le cas 3 à nouveau).

Le modèle statistique produit donc plus souvent *la* bonne réponse par rapport à nos données, obtenant ainsi un meilleur score, là où le modèle neuronal produit plus souvent plusieurs réponses plausibles.

## 6 Conclusion

Dans cet article, nous avons d'abord montré que les lexiques bilingues, bien que semblant au premier abord convenir à la tâche d'apprentissage de changements phonétiques (car porteurs de cette information et de taille raisonnable), étaient en réalité trop bruités, pour les réseaux de neurones comme les méthodes statistiques étudiées. Nous avons ensuite montré, en travaillant sur des données artificielles, que ces deux types d'algorithmes présentent des forces et faiblesses complémentaires sur des jeux de taille réaliste sans être trop restreints; les méthodes statistiques sont meilleures dans les cas ne présentant pas d'ambiguïté (direction de prédiction chronologique), et les réseaux de neurones dans les cas en présentant beaucoup (direction de prédiction chronologique inverse). Enfin, en cherchant à confirmer ces résultats sur des données réelles, nous avons montré que les méthodes statistiques sont, avec les paramètres choisis pour ces expériences, plus performantes que les méthodes neuronales, mais que ces dernières semblent faire de meilleures généralisations sur les données. Des expériences complémentaires restent à faire. Une première étape serait la création des données artificielles bruitées, ou subissant des changements phonétiques plus complexes, pour
étudier la performance respective des deux types de modèles sur celles-ci. Une seconde est l'étude plus détaillée des apprentissages des différents modèles, à l'échelle du mot et du phone; pour ce faire, il pourrait être intéressant de chercher une métrique plus pertinente pour la tâche de linguistique historique que le score BLEU, qui pénaliserait moins les phones prédits quand ils sont proches de ceux attendus<fnref n="7" />.

Références

BAHDANAU D., CHO K. & BENGIO Y. (2015). Neural machine translation by jointly learning to align and translate. In *3rd International Conference on Learning Representations, ICLR 2015, San Diego, CA, USA, May 7-9, 2015, Conference Track Proceedings*.

BEINBORN L., ZESCH T. & GUREVYCH I. (2013). Cognate production using character-based machine translation. In *Proceedings of the Sixth International Joint Conference on Natural Language Processing*, p. 883–891, Nagoya, Japan : Asian Federation of Natural Language Processing.

CSER A. (2016). *Aspects of the phonology and morphology of Classical Latin*. Thèse de doctorat, Pázmány Péter Katolikus Egyetem. DOI: 10.1111/1467-968X.12184.

DEKKER P. (2018). Reconstructing language ancestry by performing word prediction with neural networks. *Master. Amsterdam : University of Amsterdam*. DOI: 10.13140/RG.2.2.32990.33601.

DIAS G., Éd. (2015). *Actes de TALN 2015 (Traitement automatique des langues naturelles)*, Caen. ATALA, HULTECH.

DUDDINGTON J. (2015). eSpeak : Text to speech. http://espeak.sourceforge.net/index.html.

DUNN M. (2012). IELex : Indo-European Lexical cognacy database. http://ielex.mpi.nl/.

DUNN M., GARGETT A., RUNGE J. & KHAIT I. (2016). CoBL : Cognacy in Basic Lexicon. https://github.com/lingdb/CoBL-public.

FOURRIER C. & SAGOT B. (2020). Methodological Aspects of Developing and Managing an Etymological Lexical Resource : Introducing EtymDB-2.0. In *Twelfth International Conference on Language Resources and Evaluation (LREC 2020)*, Marseilles, France.

HANOKA V. & SAGOT B. (2014). YaMTG : An Open-Source Heavily Multilingual Translation Graph Extracted from Wiktionaries and Parallel Corpora. In *Language Resources and Evaluation Conference, Reykjavik, Iceland : European Language Resources Association. HAL : hal-01022306*.

KOEHN P., HOANG H., BIRCH A., CALLISON-BURCH C., FEDERICO M., BERTOLDI N., COWAN B., SHEN W., MORAN C., ZENS R. *et al*. (2007). Moses : Open source toolkit for statistical machine translation. In *Proceedings of the 45th annual meeting of the association for computational linguistics companion volume proceedings of the demo and poster sessions*, p. 177–180. DOI: 10.5555/1557769.1557821.

LIST J.-M., GREENHILL S. J. & GRAY R. D. (2017). The potential of automatic word comparison for historical linguistics. *PLOS ONE*, **12**(1), 1–18. DOI: 10.1371/journal.pone.0170046.

LUONG T., PHAM H. & MANNING C. D. (2015). Effective approaches to attention-based neural machine translation. In *Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing*, p. 1412–1421, Lisbon, Portugal : Association for Computational Linguistics. DOI: 10.18653/v1/D15-1166.

<footnote n="7">7. Prédire une autre voyelle à la place d'un [a] mérite d'être moins pénalisé que de prédire une consonne, par exemple.</footnote>
OCH F. J. & NEY H. (2003). A systematic comparison of various statistical alignment models. *Computational Linguistics*, **29**(1), 19–51. DOI: 10.1162/089120103321337421.

OSTHOFF H., OSTHOFF H. & BRUGMANN K. (2014). In *Morphologische Untersuchungen auf dem Gebiete der indogermanischen Sprachen (reprinted)*, volume 4 de Cambridge Library Collection - Linguistics, p. 418–418. Cambridge University Press. DOI: 10.1017/CBO9781139600132.006.

PAPINENI K., ROUKOS S., WARD T. & ZHU W.-J. (2002). Bleu: a method for automatic evaluation of machine translation. In *Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics*, p. 311–318, Philadelphie, Pennsylvania, USA. DOI: 10.3115/1073083.1073135.

POST M. (2018). A call for clarity in reporting BLEU scores. In *Proceedings of the Third Conference on Machine Translation : Research Papers*, p. 186–191, Brussels, Belgium : Association for Computational Linguistics. DOI: 10.18653/v1/W18-6319.

SAGOT B. (2017). Extracting an Etymological Database from Wiktionary. In *Electronic Lexicography in the 21st century (eLex 2017)*, p. 716–728. HAL: hal-01592061.

SUTSKEVER I., VINYALS O. & LE Q. V. (2014). Sequence to sequence learning with neural networks. CoRR. DOI: 10.5555/2969033.2969173.

SWADESH M. (1955). Towards greater accuracy in lexicostatistic dating. *International Journal of American Linguistics*, **21**(2), 121–137. DOI: 10.1086/464321.
# Comparing PTB and UD information for PDTB discourse connective identification

Kelvin Han¹ Phyllicia Leavitt¹ Srilakshmi Balard¹

(1) IDMC, Université de Lorraine, Pôle Herbert Simon, 13 Rue Michel Ney, 54000 Nancy, France

## RÉSUMÉ

Dans cet article, nous montrons que l'information syntaxique issue du schéma Universal Dependencies (UD) constitue une alternative viable à celle issue du schéma Penn Treebank (PTB) pour la tâche d'identification automatique des connecteurs discursifs dans le corpus du Penn Discourse Treebank. De fait, nous obtenons même des améliorations en termes de performance en utilisant des informations UD prédites par rapport à l'utilisation d'information gold PTB. Ces dernières sont traditionnellement utilisées pour cette tâche mais il existe aujourd'hui des corpus au schéma UD avec davantage de langages que le format PTB. Nos résultats sont donc prometteurs pour de futurs travaux en analyse discursive automatique multilingue ainsi que pour des applications dans un cadre réaliste où des informations PTB gold ne sont pas disponibles.

## ABSTRACT

Our work on the automatic detection of English discourse connectives in the Penn Discourse Treebank (PDTB) shows that syntactic information from the Universal Dependencies (UD) framework is a viable alternative to that from the Penn Treebank (PTB) framework. In fact, we found minor increases when comparing between the use of gold standard PTB part-of-speech (POS) tag information and automatically parsed UD information. The former has traditionally been used for the task but there are now much more UD corpora and in many more languages than that available in the PTB framework. As such, this finding is promising for areas in discourse parsing such as in multilingual as well as under production settings, where gold standard PTB information may be scarce.

**MOTS-CLÉS** : analyse discursive automatique, Universal Dependencies, identification automatique des connecteurs discursifs.

**KEYWORDS**: discourse parsing, Universal Dependencies, discourse connective identification.

## 1 Introduction

Discourse analysis is about identifying the semantico-pragmatic links between parts of a document in order to reveal a structure that organizes a given document. This enables inferences to be made about the content of the document. Within a document, each unit (termed a 'discourse unit') is a span of text; and its meaning depends on the meaning of its surrounding units, as well as the relation that holds between them. The presence of different types of relations are frequently marked by a specific set of wordforms (termed as 'discourse connectives'). For instance, 'because' is one of the markers for an expansion-reason relation, where one discourse unit serves to explain the cause for the other

<figure><img src="image_50.png" /></figure>
unit it is linked to. In natural language processing, discourse parsing corresponds to several tasks, the very first one being the identification of such discourse connectives. Therefore errors in it will cascade to later tasks and impact the overall performance of a discourse parser.

Identifying discourse connectives in a text is more complex than a simple search and find. This is because a connective may be lexicalized by different wordforms<fnref n="1" />, as well as could have a non-discourse reading. Take the following sentences with the same wordform ‘when’ in each of them :

(1) a. I was happy **when** Michele told me she was on her way.

b. She said she would arrive, but she never told me *when*.

In sentence (1-a), ‘when’ is a conjunction between two verb phrases (VPs) and serves as a discourse connective; it marks a relation of temporal succession —from the second VP to the first VP. However, in sentence (1-b), ‘when’ is not serving as a discourse connective. Syntactic information can be useful to distinguish between such instances of discourse and non-discourse usage; although ‘when’ has a ‘WHADVP’ syntactic category in both sentences, it is only in the first example that it links two VPs.

Our work focuses on detecting discourse connectives automatically, since improving and avoiding errors at this step is crucial for a parser’s performance; we leave for future work the study of the other parts of the pipeline. This task is generally done on the Penn Discourse Treebank (PDTB) (Prasad et al., 2008), the largest corpus annotated for discourse relations in English, and has typically been solved by training a classifier using lexical, morpho-syntactic as well as syntactic information (Pitler & Nenkova, 2009). In particular, part-of-speech (POS) tags and syntactic trees from the Penn Treebank (PTB) (Marcus et al., 1993) have been used.

However, the recent release of the Universal Dependencies (UD, (Nivre et al., 2016)) framework is seeing much more corpora and POS taggers made available for UD than there is available for the PTB; they are also available in comparably many more languages in UD now. It is thus crucial to understand whether the information captured within the UD framework is sufficient for the task of automatically detecting connectives, as it would enable the development of discourse parsing systems for new languages, especially those that are not currently served by PTB-styled corpora and tools.

In our work, we seek to establish the effects of using the POS tagset from UD for the task, instead of those from the PTB. There are however, important differences between the UD and PTB frameworks. Firstly, the UD POS tagset is coarser-grained compared to the one in the PTB —the PTB has 48 syntactic categories, compared to the 17 categories in UD —and could miss important distinctions necessary for the task. Our first results, focused on English, suggest that coarser-grained syntactic annotation is sufficient, and can in fact lead to performance improvements on the task. Future work could include demonstrating the same on other languages such as French and Chinese, for which moderate-sized PDTB-style corpora have been annotated (Danlos et al., 2015; Zhou & Xue, 2015).

1.1 Contribution

In the last three years, approaches to discourse parsing using manually engineered and selected features like those in Pitler & Nenkova (2009) and Lin et al. (2014) have taken a backseat to neural approaches using word embeddings. While our work draws upon these manually built features, we

<footnote n="1">1. For instance, the connective ‘afterward’, which denote a precedence relation between the units of text it joins, can be found lexicalized as ‘afterwards’, ‘shortly afterward’, and ‘shortly afterwards’ within the PDTB corpora.</footnote>
believe it contributes towards the understanding of the role of syntactic information, specifically varying levels of tagset granularity, in the task of automatic discourse connective identification. We believe that this understanding can inform choices relating to the data processing pipeline and neural network architecture for a discourse parser.

To this end, our contributions are three-fold. Firstly, we demonstrate that it is possible for coarser-grained UD syntactic parses to perform as well as finer-grained PTB-style syntactic parses when used on the task. Secondly, we provide near-complete (see Section 5) replications, from the bottom-up, of the experiments conducted by Pitler & Nenkova (2009); Lin et al. (2014); Li et al. (2016) involving the automatic detection of discourse connectives. Thirdly and finally, in the same vein as Johannsen & Søgaard (2013); Lin et al. (2014); Braud et al. (2017) –who used both gold standard syntactic information as well as automatically-parsed information in their experiments to demonstrate their discourse parsers’ performance in ‘production’ settings - our experimental set-up covers both gold-standard parses as well as predicted parses. This allows us to extend our analysis to discourse parsing under realistic settings. Although, in the absence of gold UD parses for sentences in the PDTB, we are only able to obtain approximations of such gold UD parses (see Section 4).

## 2 Related work

The PDTB consists of one million words contained in 40,600 articles obtained from the Wall Street Journal (WSJ) (Prasad et al., 2008). The annotation approach in the PDTB focuses on identifying the local elements making up a coherent text. It identifies relations between two adjacent discourse units, which are linked by a relation that may be marked by a discourse connective. Approaches based on the PDTB and similar corpora, which focus on identifying local units of coherence in a text are referred to as shallow discourse parsing (SDP). This is in contrast with ‘deep’ approaches, using corpora such as the Rhetorical Structure Theory (RST) Discourse Treebank (Carlson et al., 2001), which seeks to identify relations between discourse units extending across an entire document as well as hierarchically between groups of discourse units in the form of structured trees.

A hundred connective types and their lexicalization variants are annotated throughout the PDTB. These connective types fall in three syntactic classes, namely : subordinating and coordinating conjunctions such as *because* and *when*; as well as *and*, as well as *or* respectively, and discourse adverbials such as *for example* and *instead*. On top of these, the spans of each connective’s arguments, as well as the relation between them are also annotated. The relations marked by connectives fall within four broad classes (termed as ‘senses’) —Temporal, Contingency, Expansion, and Comparison, which are further categorized into finer types and sub-types (Prasad et al., 2008). A PDTB parser typically addresses the identification of connectives first and it is only after this that the classification of the connectives’ relations, and the spans of text they cover, are sequentially handled. Such modular approaches broadly adhere to the instructions in the annotation manual<fnref n="2" /> used in the annotation process for the PDTB version 2.0 (Polakova et al., 2017). Importantly, this is possible due to the local coherence approach taken by the PDTB, which limits but does not preclude the direct application of an automatic connective identification module on parsers for other corpora that focus on more global levels of coherence<fnref n="3" />.

<footnote n="2">2. https://www.seas.upenn.edu/~pdtb/PDTBAPI/pdtb-annotation-manual.pdf</footnote>

<footnote n="3">3. for e.g. RST-based corpora, where until recently, it was not seen as necessary to annotate connectives within the RST corpora. With the release of the RST Signaling Corpus (RST-SC) in 2015, the annotation of connectives and other information that signal a coherence relation in a text were included and could be used by researchers in the parsing of the RST corpora.</footnote>
The task of connective identification attracted attention when the PDTB was first released. Pitler & Nenkova (2009) proposed the use of simple lexical and morpho-syntactic<sup>4</sup> features in a binary classifier. They showed that simply using the connective string already leads to high performance (85.86% in accuracy), meaning that many forms are very often in discourse use. Adding morpho-syntactic information leads to a very high accuracy of 96.26%. This led to assumptions that the task was solved. However, later work, especially (Lin et al., 2014) and (Johannsen & Søgaard, 2013), demonstrate that the task was in fact easy mainly for (1) a few connectives that occur highly frequent and (2) within a fully gold setting; when considering a realistic setting with predicted (PTB) syntactic information, a performance drop of 4.5 percentage points in macro F1 was observed. They also observed that connective classifiers typically struggle to predict accurately connective strings that occur less frequently; for instance, Lin et al. (2014)'s classifier could only reach a 43.2% F1 score for the connective 'ultimately', which is in the fiftieth percentile amongst the 100 connectives in terms of frequency (Johannsen & Søgaard, 2013).

Lin et al. (2014) noted that, accordingly, “high performance [in the identification of discourse connectives] *is crucial to mitigate the effect of cascaded errors downstream*”. They found that accumulated errors (i.e. without replacing predictions from the previous module with gold standard information drawn from the corpora) in their PDTB parser pipeline led to a drop in the F1 score of the pipeline’s last module, the attribute span labeler, from 79.68% to 72.27% (a 7.41 percentage point drop). In addition, we note that although the PDTB is the largest-sized discourse corpora currently available, it is comprised of texts drawn from the financial news domain, and connectives that are infrequent in the PDTB could become frequent in another domain outside of the PDTB.

Pitler & Nenkova (2009)'s work was extended by Lin et al. (2014), who obtained improved results by adding more lexical and syntactic features (such as the strings and POS tags of the connective's neighbours). They also included information about a sentence's or clause's structural properties<sup>5</sup>. In the most recent shared task focused on the PDTB, Li et al. (2016) reported obtaining higher F1 scores compared to Lin et al. (2014) (see Table 2) and, to our knowledge, the highest published F1 scores for the task of PDTB explicit discourse connective identification. They used a similar, but smaller, set of features as Lin et al. (2014), which left out features relating to sentence/clause structure.

Other methods cast the connective identification task as a sequence labeling problem, making use of methods such as conditional random field models; although to our knowledge, the results have not reached the level obtained with binary classification approaches and have not gained traction. For instance, Stepanov & Riccardi (2016)'s CRF system only obtained an F1 score of 92.43% on the PDTB test set; compared to the 98.92% in Lin et al. (2014)'s binary classification system. Additionally, neural network approaches, leveraging word vectors, have also taken hold in recent years (Xue et al., 2015). With regards the latter, efforts have also been made to produce an end-to-end approach to parsing the PDTB dataset (covering connective identification as well as 'downstream' discourse parsing tasks such as argument identification and sense labeling) (Weiss & Bajec, 2018).

<footnote n="4">4. The features used by Pitler & Nenkova (2009) are: (a) *Self Category*: the syntactic category of the highest node on the parse tree that covers only the connective phrase; (b) *Parent Category*: the parent node of the self category; (c) *Left Sibling Category*: the syntactic category immediately to the left of the self category; (d) *Right Sibling Category*: the syntactic category immediately to the right of the self category. (e) *Right Sibling Contains a VP (verb phrase)*; and (f) *Right Sibling Contains a Trace*, as well as the interaction between these features.</footnote>

<footnote n="5">5. The features (Lin et al., 2014) added were: (a) the connective POS tag (*CPOS*); (b) the token before the connective string (*Prev1*) + the connective string (*C-string*); (c) the POS tag of *Prev1* (*Prev1POS*); (d) *Prev1POS* + *CPOS*; (e) *C-string* + the token following *C-string* (*Next1*); (f) the POS tag of *Next1* (*Next1POS*); (g) *CPOS* + *next1POS*; (h) the path of the connective's parent to the root; (i) the compressed path of the connective's parent to the root. '+' indicates interaction between features.</footnote>
Regarding studies of the impact of syntactic information in discourse parsing, *Braud et al.* (2017) analyzed the role of syntax in the discourse parsing tasks. They found that using UD syntactic information led to a loss in performance compared to when gold standard PTB syntactic information is used; albeit this was for a different task of sentence boundary identification on a different discourse corpora, the RST Discourse Treebank (RST-DT). They observed that PTB POS tags including ‘WDT’ (wh-determiner) and ‘WP$’ (possessive wh-pronoun) collapse into one single POS tag, ‘DET’ (determiner) in UD, and the decreased granularity led to an ambiguous signal that is a source of increased error when using UD information for their task.

Finally, recent work on learning representations for sentences have found relevance in using explicit discourse connectives identification as a task to guide the learning of such representations. *Nie et al.* (2019) and *Sileo et al.* (2019) trained sentence encoders using large corpora of sentence pairs with discourse markers between them and achieved state-of-the-art results on their approaches. The former worked with a corpora containing 15 of the most frequently occurring discourse connectives, whereas the latter relied on a heuristic to identify discourse connectives candidates, of which some of them have not been annotated in any dataset such as the PDTB.

# 3 Approach

Pitler & Nenkova (2009) approached the automatic connective identification task by training a binary classifier using a set of features that includes, and combines, lexical and syntactic information of the connective candidate. They observed that discourse connectives occur in “specific syntactical contexts”; many connectives take a subordinate clause as one of its arguments (for example, in the sentence “After I went to the store, I went home”) and the PTB POS tag ‘SBAR’ marks such subordinate clauses. It was observed that such syntactic information are indicators of a connective candidate being in discourse usage. However, a single POS tag alone may not be sufficient to disambiguate between whether a connective candidate is in discourse or non-discourse usage <fnref n="6" />, and Pitler & Nenkova (2009) found that extending the set of features to include syntactic information from a wider context around a connective candidate improves the performance of a classifier.

Their work have become seminal for the task and is cited by subsequent researchers working on connective identification. To study whether UD information is sufficient for the task, we adopt their general approach as the basis for our experiments. We also include the work of *Lin et al.* (2014) whose added syntactic features (see Section 2) meaningfully improved on the performance of Pitler & Nenkova (2009), as well as *Li et al.* (2016), who reported the highest F1 score on the task with the PDTB test set during the CoNLL 2016 Shared Task (Xue *et al.*, 2016).

In practical terms, we reproduced the pre-processing and feature engineering pipelines of these three authors as well as obtained approximately gold-standard UD information for the PDTB, which is not available. This allowed us to (1) validate our reconstruction of their connective identification pipelines, (2) isolate the impact of differences in our classifier and hyperparameter settings with these authors', and (3) have a broad-based set of experimental set-ups to study the impact of using UD

<footnote n="6">6. For example, the two words ‘instead’ as well as ‘and’ are discourse connective candidates in the sentence “NASA won’t attempt a rescue; instead, it will try to predict whether any of the rubble will smash to the ground and where.” (Pitler & Nenkova, 2009), though only the former is being used as a discourse connective. This is despite the syntactic category (the POS tag immediately encapsulating a connective candidate) for ‘and’ being ‘SBAR’ too; and is cited by them as demonstrating that syntactic information from a wider context is necessary for connective disambiguation.</footnote>
instead of PTB information. We describe each part of our approach in the next sections.

## 3.1 Features and data representation

For our experiments, we sought to reproduce our settings to be as similar as those in (Pitler & Nenkova, 2009; Lin et al., 2014; Li et al., 2016), based on the information from their published papers as well as code available online <fnref n="7" />. We used the same data representation as these authors; their experiments utilized a feature-based one-hot encoded approach where each data point is represented by a vector of a fixed size, which corresponds to the number of one-hot features obtained from the training set. The presence of a particular feature in a data point is marked by a value of one in its position on the vector, and zero otherwise. This results in a sparse representation of the data point. The numbers of features present in each of the three experiments mentioned in this section are listed in Table 1.

To the extent possible, we also used the feature sets they used in their experiments (see footnote 4 and footnote 5 for the list of the features they used and a description of them). However, they did use a number of PTB-related features for which there are no direct equivalents in UD. For instance, one feature used by both of Pitler & Nenkova (2009) and Lin et al. (2014), is built from the syntactic category that the connective string is constituent of <fnref n="8" />. There is no corresponding category in the UD dependency grammar approach. Similarly, Lin et al. (2014) include two other features built from the collection of syntactic categories in the path between the connective and the root of the sentence <fnref n="9" />.

As such, we conducted two groups of experiments (see Section 5) to be able to study in isolation the impact of switching between PTB and UD information. One of the group (see Section 5.2) involves the use of UD information and because there are no direct equivalents in UD of the PTB-style features in Pitler & Nenkova (2009)'s and Lin et al. (2014)'s experiments, we did not include their feature sets in our second group of experiments. Instead, we used Li et al. (2016)'s feature set there, although with two sets of modifications. The first modification is to exclude the feature relating to the parent constituent of the connective candidate <fnref n="10" />. The second modification replaces the remaining features with UD information.

In summary, after taking these into consideration, our second group of experiments were conducted with the maximal set of features that are present in Li et al. (2016)'s PTB-style features as well as where comparable information can be obtained from UD dependency-based parses. In addition, we also conducted each group of experiments with gold and automatically parsed information alternately, to study the effect of the connective classifier in 'production' settings.

## 3.2 PTB to UD conversion

UD (Nivre et al., 2016) is a syntactic framework introduced in 2016 <fnref n="11" />. The UD project seeks to establish a framework that allows a consistent syntactic annotation approach across languages around the world, while having the flexibility and capabilities to capture linguistic phenomena in these languages. As of November 2019, there are 157 UD treebanks in 90 languages <fnref n="12" />. Besides the

<footnote n="7">7. https://github.com/linziheng/pdtb-parser</footnote>

<footnote n="8">8. 'Parent Category', see footnote 4</footnote>

<footnote n="9">9. See points (h) and (i) in footnote 5</footnote>

<footnote n="10">10. 'Self Category', see footnote 4</footnote>

<footnote n="11">11. Although it traces its roots to the Stanford Dependencies framework that was released in 2008.</footnote>

<footnote n="12">12. https://universaldependencies.org/</footnote>
<table><thead><tr><th colspan="2">Experiment</th><th colspan="6">Number of dimensions</th></tr><tr><th></th><th></th><th>PTB Gold1</th><th>PTB Auto1</th><th>PTB Gold2<sup>1</sup></th><th>PTB Auto2<sup>1</sup></th><th>UD Gold</th><th>UD Auto</th></tr></thead><tbody><tr><td rowspan="2">P & N<br>2009</td><td>C*</td><td>101</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td></tr><tr><td>CSynI**</td><td>1,787</td><td>554</td><td>-</td><td>-</td><td>-</td><td>-</td></tr><tr><td colspan="2">Lin et al 2014</td><td>66,975</td><td>51,584</td><td>-</td><td>-</td><td>-</td><td>-</td></tr><tr><td colspan="2">Li et al 2016</td><td>33,308</td><td>32,971</td><td>33,216</td><td>32,945</td><td>32,015</td><td>32,050</td></tr></tbody></table>

* Connective string only.

** Connective string, syntactic features and interaction between features.

1 This excludes the Self Category feature which relates to the parent constituent of the connective candidate.

<caption>TABLE 1 – Number of dimensions in the feature sets used for each of the experiments.</caption>

difference in granularity of their POS tagsets, the manner that UD and PTB frameworks capture information about the syntactic relations between words is different; the former adopts a dependency grammar approach whereas the PTB hews to a constituency grammar approach. As a result, certain features used in PTB-based approaches to the task may not be obtainable from UD information.

The WSJ articles that make up the PDTB are the same as those in the PTB. Accordingly, gold standard PTB parses are available and we used these for the parts of our feature extraction processes with PTB-based features. However, gold standard, manually-annotated, UD parses for the sentences in the PDTB are not available and we had to approximate these. Although the organizers of the 2015 CoNLL Shared Task on discourse parsing with the PDTB provided dependency grammar-style syntactic parses, these are of the Stanford Dependencies framework and understood to be automatically parsed (instead of manually annotated). Using these would mean that we would not be able to model current use-in-production settings.

As such, to approximate gold standard UD parses, we used an earlier version of the Stanford CoreNLP package with an option that is intended to convert PTB parses to UD <fnref n="13" />. We obtained (1) gold UD version 1.0 parses <fnref n="14" /> using the gold PTB parses, as well as (2) separately, automatically generated parses using the UniversalDependenciesConverter in the Stanford CoreNLP package.

We note that these UD parses obtained are ‘approximate’ as errors have been observed in conversions from PTB to UD; although the conversion of most POS tags in PTB to UD is “almost trivial” (Peng & Zeldes, 2018), there are errors which mainly relate to the conversion of constituent categories to dependencies relations. There are certain words with PTB POS tags that are not possible to map to UD POS tags without additional UD dependency information. For instance, determiners are tagged as a ‘DT’ in the PTB framework, but may be tagged as ‘DET’ or ‘PRON’ in UD depending on whether the determiner word is used independently or not, and this requires dependency relation information during the conversion process. Peng & Zeldes (2018) note that conversion from PTB to UD dependency relations sees also errors increase on out-of-domain input, “in all genres, including when using gold constituent trees, primarily due to underspecification of phrasal grammatical functions”.

<footnote n="13">13. https://nlp.stanford.edu/software/stanford-dependencies.shtml</footnote>

<footnote n="14">14. We were not able to obtain parses with more recent versions of UD (i.e. UD2.0 and later) as there are no converters available currently to convert between PTB and UD 2.0 and later versions. However, the applicability of our experimental set-up on UD 2.0 data is not affected; our work isolates the impact of changing PTB POS tag for UD 1.0 POS tag, and the changes in the POS tagset from UD 1.0 to UD 2.0 relates to four specific tags - AUX, PRON, DET and PART, which are not in themselves signal for connectives. We also verified that none of our UD featuresets contain features with one of these four POS tags affected by changes in UD 2.0.</footnote>
# 4 Settings

In this section we outline the settings of our experiments. Our experiments were conducted with version 2.0 of the PDTB, which were made available by organisers of the CoNLL 2015 Shared Task <fnref n="15" />. We kept to the train-development-test split that were prescribed by the PDTB creators <fnref n="16" />. Pitler & Nenkova (2009); Lin et al. (2014) and Li et al. (2016) used implementations of MaxEnt classifiers in two NLP machine learning packages <fnref n="17" />. Both of these are Java-based machine learning packages with specific requirements on the format of the training data. We chose instead to implement the feature extraction and classification pipeline in Python, using a popular machine learning package scikit-learn (Pedregosa et al., 2011). We used the latter's LogisticRegressionCV classifier under a multinomial setting which makes it equivalent to a MaxEnt classifier <fnref n="18" />. To allow the results between each set of experiments to be as directly comparable as possible, we did not implement any hyperparameter optimization procedures.

# 5 Experiments

Our experiment is composed of two sub-groups. The first group is a complete reproduction of Pitler & Nenkova (2009); Lin et al. (2014); Li et al. (2016)'s pre-processing and classifier pipelines with the entire feature set that each of them used. We describe and discuss these in the following sections.

## 5.1 Replication experiments

This first group relates to our own reproduction of the experiments described in the works of Pitler & Nenkova (2009), Lin et al. (2014), and Li et al. (2016). We do this so as to: (1) validate our data pre-processing and feature extraction pipeline by checking that our subsequent results are within the range of the established standards for the task; and (2) produce results controlling for our use of a different machine learning package and parameter settings (see Section 4).

The results we obtained (see Table 2) indicate that our reproduction of the pre-processing and feature engineering pipelines are in line with the original authors'. In fact, we obtained almost across-the-board better results compared to the original authors; in one case, by 3.83 percentage points. We believe that these improved results likely stem from minor variations between our experimental set-up and theirs; for example, it could be due to the: (1) choice of the MaxEntLogistic Regression implementation, (2) hyperparameter settings such as the specification of class weights, and/or (3) choice of the type of F1 score reported on.

However, Li et al. (2016) stated that their F1 result of 98.92% on the test set was "according to official evaluation [by the shared task organizers]", but our reproduction returned a lower F1 score of

<footnote n="15">15. https://www.cs.brandeis.edu/~clp/conll15st/index.html</footnote>

<footnote n="16">16. Sections 2 to 21 are used for training, with sections 22 and 23 used for development and testing respectively</footnote>

<footnote n="17">17. Pitler & Nenkova (2009) used the Mallet package http://mallet.cs.umass.edu/, whereas Lin et al. (2014) and Li et al. (2016) used an implementation by OpenNLP https://opennlp.apache.org.</footnote>

<footnote n="18">18. MaxEnt models learn parameters that, as their suggests, maximizes the entropy of the classes within the data. They have been shown to be equivalent to multinomial logistic regression approaches (Manning & Klein, 2003). We also kept most of the default values specified in scikit-learn for the rest of the settings. The settings that we changed from the default values include specifying: (1) that ten-fold cross validation with the data, which the original authors also conducted during their training steps; and (2) the class weight, which is the distribution between the negative and positive examples in the training set.</footnote>
<table><thead><tr><th rowspan="2">Data split</th><th rowspan="2">Set-up</th><th colspan="3">Feature set</th></tr><tr><th>P & N 2009</th><th>Lin et al 2014</th><th>Li et al 2016</th></tr></thead><tbody><tr><td rowspan="2">Train</td><td>Author's</td><td>94.19%</td><td>95.36%</td><td>*</td></tr><tr><td>Ours</td><td>95.28%</td><td>99.19%</td><td>97.88%</td></tr><tr><td rowspan="2">Test</td><td>Author's</td><td>*</td><td>*</td><td>98.92%</td></tr><tr><td>Ours</td><td>95.10%</td><td>97.22%</td><td>92.52%</td></tr></tbody></table>

* Result not published.

<caption>TABLE 2 – F1 score reported by authors and obtained by our replication of their experiments. Our scores are weighted F1. None of the authors mentioned if their scores were computed as weighted, micro or macro F1.</caption>

92.52%. A summary article of the shared task by its organizers (Xue et al., 2016) lists their system as having a performance of 94.71% F1 score on the test set. We were unable to identify any further information regarding these differences, but note that our experimental set-up (see Section 3) allows us to isolate the impact of such differences when studying the effect of using UD instead of PTB information, as well as replacing gold-standard information with automatically parsed information.

## 5.2 UD vs PTB information

The second group in our experiment involves the set-up used in Li et al. (2016), which is the most recent of the three works. Here, we removed one feature, ‘Self Category’ (see footnote 4) from the set-up in order to ensure a comparability between features built with PTB and UD syntactic information. In this group, we built Li et al. (2016)’s PTB-based features with UD instead. Additionally, we conducted this set of experiment with features built from gold as well as automatically produced parses for both the PTB and UD experiments.

We found that there was no performance loss in switching from the use of PTB to UD POS tags in the task of discourse connective identification on the PDTB. In fact, we found a minor gain in F1 scores of 1.8% point on the PDTB test set when switching from gold PTB to gold UD information. We found a very minor decrease (a 0.25 percentage point drop on the test set) in moving from gold to automatically parsed UD information, which is expected.

Surprisingly, we found the move from gold PTB information to automatically parsed UD information brought about a 1.55 percentage point improvement in the weighted F1 score on the test set. Nonetheless, we have reason to believe that these changes in results are statistically significant. We conducted Wilcoxon signed rank-tests between the outputs of these models and they returned p-levels of below 0.05, which is sufficient to reject the null hypothesis that the outputs are similarly distributed. These changes in the results, from using UD instead of PTB information, are presented in Table 3, whereas a fuller report of the weighted F1, the accuracy as well as macro and micro F1 scores using the features in Li et al. (2016) can be found in Table 4.

## 5.3 Discussion

Our findings shows that a logistic classifier does not require the fine level of granularity present in the PTB in order to disambiguate whether a connective candidate is in discourse usage or not. In particular,
<table><caption>TABLE 3 – Changes in weighted F1 scores, between syntactic framework choices, on the feature set used in Li et al. (2016). The p-values reported in the table are results of Wilcoxon signed rank-tests between the outputs of each model pair. *UD Gold above refers to the use of data approximated automatically from PTB Gold data.</caption><thead><tr><th rowspan="2">Parameter</th><th colspan="2">Change in weighted F1 score, % points</th></tr><tr><th>Train</th><th>Test</th></tr></thead><tbody><tr><td>PTB Gold to UD Gold*</td><td>0.26% (97.85% to 98.11%)<br>p &lt; 0.001</td><td>1.8% | (92.21% to 94.01%)<br>p &lt; 0.001</td></tr><tr><td>UD Gold* to UD Auto</td><td><span style="color:red;">-0.08%</span> | (98.11% to 98.03%)<br>p &lt; 0.001</td><td><span style="color:red;">-0.25%</span> | (94.01% to 93.76%)<br>p &lt; 0.04</td></tr><tr><td>PTB Gold to UD Auto</td><td>0.18% | (97.85% to 98.03%)<br>p &lt; 0.001</td><td>1.55% | (92.21% to 93.76%)<br>p &lt; 0.001</td></tr></tbody></table>

we note that the move to using UD resulted in a reduction of about 1,200 features. The number of features fell from an initial 32,015 when using PTB syntactic information, to 33,216 features or about a 3.5% reduction in the feature set size when moving to the use of UD syntactic information. The granularity in the PTB POS tags set leads to an increased number of features compared to when UD information is used. It appears to us that, this in turn led to a more complex decision boundary when using PTB information, which the classifier found harder to learn.

To examine this further, we carried out a per-connective error analysis on our results on the test set. Figure 1 shows the distribution of the wrongly classified connectives when predicted with gold PTB parses compared with when gold UD parses are used. We observe that the classifier remains confused by the same connectives in both cases, but that the 1.8 percentage point improvement in weighted F1 score is due to an increase in correct predictions that are more or less evenly distributed across the connectives<fnref n="19" />. This lends support to our hypothesis that the reduction in features are helping the classifier to better model the decision boundary for the connectives. Likewise, as shown in Figure 2, we observe a similar distribution of prediction errors when comparing between the use of gold PTB and automatically parsed UD information.

We note however, that these results were based on experiments conducted on the features used in Li et al. (2016) which exclude certain PTB-style structural information (e.g. connective to root) used in Lin et al. (2014). The effect of this is a loss of 5.41 % points in the F1 weighted score<fnref n="20" /> when moving from the training set to the test set. In comparison, for Lin et al. (2014), this loss is only 1.99 % points (98.55% to 96.56%) when predicting on the test set. This suggests that the Lin et al. (2014)'s feature set produces a more robust connective identifier that generalizes better for unseen data.

While a direct replacement of such structural information is not available in UD, we note that some success have been observed in using syntactic structural information in UD ('supertags' which capture information such as incoming and outgoing dependency relations for a word), for the task of sentence segmentation in discourse parsing (Braud et al., 2017), and that this could be an area of future research to extend our findings here.

<footnote n="19">19. The table shows that about half of the increase in correct predictions are for the word 'but'; however the reduction remains proportional across all the connectives as 'but' is the most frequently present of the connective strings in the PDTB, and of its occurrences, more than 70% are as a discourse connective (Johannsen & Søgaard, 2013).</footnote>

<footnote n="20">20. From 97.88% on the training set to 92.52% the test set. This is using PTB gold parses. The same figures for PTB Auto are: 97.83% (train) and 92.42% (test).</footnote>
<table><caption>TABLE 4 – Accuracy, F1 (macro, micro and weighted) scores with features from Li et al. (2016).</caption><thead><tr><th colspan="2">Experiments</th><th>Accuracy</th><th>F1-macro</th><th>F1-micro</th><th>F1-weighted</th></tr></thead><tbody><tr><td rowspan="2">PTB Gold</td><td>train</td><td>98.87%</td><td>97.36%</td><td>97.87%</td><td>97.85%</td></tr><tr><td>test</td><td>92.37%</td><td>90.72%</td><td>92.37%</td><td>92.21%</td></tr><tr><td rowspan="2">PTB Auto</td><td>train</td><td>97.84%</td><td>97.33%</td><td>97.84%</td><td>97.83%</td></tr><tr><td>test</td><td>92.54%</td><td>90.89%</td><td>92.54%</td><td>92.37%</td></tr><tr><td rowspan="2">UD Gold</td><td>train</td><td>98.12%</td><td>97.69%</td><td>98.12%</td><td>98.11%</td></tr><tr><td>test</td><td>94.04%</td><td>92.94%</td><td>94.04%</td><td>94.01%</td></tr><tr><td rowspan="2">UD Auto</td><td>train</td><td>98.04%</td><td>97.58%</td><td>98.04%</td><td>98.03%</td></tr><tr><td>test</td><td>93.81%</td><td>92.63%</td><td>93.81%</td><td>93.76%</td></tr></tbody></table>

<figure><img src="image_51.png" /><figcaption>FIGURE 1 – Connective error count for PDTB test set, using gold PTB (yellow) and gold UD1 (blue) syntactic information and the feature set used in Li et al. (2016), without the ‘Self-Category’ feature.</figcaption></figure>
<figure><img src="image_52.png" /><figcaption>FIGURE 2 – Connective error count for PDTB test set, using gold PTB (yellow) and automatically parsed UD1 (blue) syntactic information and the feature set used in Li et al. (2016).</figcaption></figure>

# 6 Conclusion

We reproduced the experiments of Pitler & Nenkova (2009), Lin et al. (2014) and Li et al. (2016) in order to study the impact of using UD instead of PTB syntactic information. Our results, under a binary classification setting using a logistic regression classifier, show that UD syntactic information is a viable alternative to PTB information. Our analysis indicate that the improvement is likely because it is easier for the classifier to model the decision boundary when using coarser-grained UD syntactic information, as it leads to a reduction in the number of features needed to represent the data. Our code for the connective classifier can be found at : https://gitlab.inria.fr/andiamo/marta-v2.

# Acknowledgements

We thank Chloé Braud for her patient guidance, inspiration and nurturing encouragement throughout our undertaking of this work, as well as for her kind help in reviewing the manuscript for this article and the invaluable suggestions she shared with us in the process. We also thank the two anonymous reviewers for their helpful comments.

# Références

BRAUD C., LACROIX O. & SØGAARD A. (2017). Does syntax help discourse segmentation? not so much. In Proceedings of the 2017 Conference on Empirical Methods in Natural Language
*Processing*, p. 2432–2442, Copenhagen, Denmark : Association for Computational Linguistics. DOI : 10.18653/v1/D17-1258.

CARLSON L., MARCU D. & OKUROVSKY M. E. (2001). Building a discourse-tagged corpus in the framework of rhetorical structure theory. In *Proceedings of the Second SIGdial Workshop on Discourse and Dialogue*. DOI: https://doi.org/10.3115/1118078.1118083.

DANLOS L., COLINET M. & STEINLIN J. (2015). Fdtb1, première étape du projet « french discourse treebank » : repérage des connecteurs de discours en corpus. *Discours, 17*. DOI : 10.4000/discours.9065.

JOHANNSEN A. & SØGAARD A. (2013). Disambiguating explicit discourse connectives without oracles. In *Proceedings of the Sixth International Joint Conference on Natural Language Processing*, p. 997–1001, Nagoya, Japan : Asian Federation of Natural Language Processing.

LI Z., ZHAO H., PANG C., WANG L. & WANG H. (2016). A constituent syntactic parse tree based discourse parser. In *Proceedings of the CoNLL-16 shared task*, p. 60–64, Berlin, Germany : Association for Computational Linguistics. DOI: 10.18653/v1/K16-2008.

LIN Z., NG H. T. & KAN M.-Y. (2014). A pdtb-styled end-to-end discourse parser. *Natural Language Engineering, 20*(2), 151–184. DOI: 10.1017/S1351324912000307.

MANNING C. & KLEIN D. (2003). Optimization, maxent models, and conditional estimation without magic. USA : Association for Computational Linguistics.

MARCUS M. P., SANTORINI B. & MARCINKIEWICZ M. A. (1993). Building a large annotated corpus of English : The Penn Treebank. *Computational Linguistics, 19*(2), 313–330.

NIE A., BENNETT E. & GOODMAN N. (2019). DisSent : Learning sentence representations from explicit discourse relations. In *Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics*, p. 4497–4510, Florence, Italy : Association for Computational Linguistics. DOI: 10.18653/v1/P19-1442.

NIVRE J., DE MARNEFFE M.-C., GINTER F., GOLDBERG Y., HAJIČ J., MANNING C. D., MCDONALD R., PETROV S., PYYSALO S., SILVEIRA N., TSARFATY R. & ZEMAN D. (2016). Universal dependencies v1 : A multilingual treebank collection. In *Proceedings of the Tenth International Conference on Language Resources and Evaluation (LREC’16)*, p. 1659–1666, Portorož, Slovenia : European Language Resources Association (ELRA).

PEDREGOSA F., VAROQUAUX G., GRAMFORT A., MICHEL V., THIRION B., GRISEL O., BLONDEL M., PRETTENHOFER P., WEISS R., DUBOURG V., VANDERPLAS J., PASSOS A., COURNAPEAU D., BRUCHER M., PERROT M. & DUCHESNAY E. (2011). Scikit-learn : Machine learning in Python. *Journal of Machine Learning Research, 12*, 2825–2830.

PENG S. & ZELDES A. (2018). All roads lead to UD : Converting Stanford and Penn parses to English universal dependencies with multilayer annotations. In *Proceedings of the Joint Workshop on Linguistic Annotation, Multiword Expressions and Constructions (LAW-MWE-CxG-2018)*, p. 167–177, Santa Fe, New Mexico, USA : Association for Computational Linguistics.

PITLER E. & NENKOVA A. (2009). Using syntax to disambiguate explicit discourse connectives in text. In *Proceedings of the ACL-IJCNLP 2009 Conference Short Papers*, p. 13–16, Suntec, Singapore : Association for Computational Linguistics.

POLAKOVA L., MÍROVSKÝ J. & SYNKOVÁ P. (2017). Signalling implicit relations : A pdtb - rst comparison. *Dialogue and Discourse, 8*. DOI: 10.5087/dad.2017.210.

PRASAD R., DINESH N., LEE A., MILTSAKAKI E., ROBALDO L., JOSHI A. & WEBBER B. (2008). The Penn discourse TreeBank 2.0. In *Proceedings of the Sixth International Conference*
on Language Resources and Evaluation (LREC'08), Marrakech, Morocco: European Language Resources Association (ELRA).

SILEO D., VAN DE CRUYS T., PRADEL C. & MULLER P. (2019). Mining discourse markers for unsupervised sentence representation learning. In *Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers)*, p. 3477–3486, Minneapolis, Minnesota: Association for Computational Linguistics. DOI: 10.18653/v1/N19-1351.

STEPANOV E. & RICCARDI G. (2016). UniTN end-to-end discourse parser for CoNLL 2016 shared task. In *Proceedings of the CoNLL-16 shared task*, p. 85–91, Berlin, Germany: Association for Computational Linguistics. DOI: 10.18653/v1/K16-2012.

WEISS G. & BAJEC M. (2018). Sense classification of shallow discourse relations with focused rnns. In *PloS one*. DOI: https://doi.org/10.1371/journal.pone.0206057.

XUE N., NG H. T., PRADHAN S., PRASAD R., BRYANT C. & RUTHERFORD A. (2015). The CoNLL-2015 shared task on shallow discourse parsing. In *Proceedings of the Nineteenth Conference on Computational Natural Language Learning - Shared Task*, p. 1–16, Beijing, China: Association for Computational Linguistics. DOI: 10.18653/v1/K15-2001.

XUE N., NG H. T., PRADHAN S., RUTHERFORD A., WEBBER B., WANG C. & WANG H. (2016). CoNLL 2016 shared task on multilingual shallow discourse parsing. In *Proceedings of the CoNLL-16 shared task*, p. 1–19, Berlin, Germany: Association for Computational Linguistics. DOI: 10.18653/v1/K16-2001.

ZHOU Y. & XUE N. (2015). The chinese discourse treebank: a chinese corpus annotated with discourse relations. *Language Resources and Evaluation, 49*. DOI: 10.1007/s10579-014-9290-3.
# Transformations syntaxiques entre niveaux de simplification dans le corpus Newsela

Rita Hijazi¹, ²

(1) LPL, 13090 Aix-en-Provence, France

(2) LIS, 13397 Marseille, France

rita.hijazi@etu.univ-amu.fr

## RÉSUMÉ

La simplification de textes est une tâche complexe du traitement automatique des langues. Depuis quelques années, des corpus parallèles de textes originaux et simplifiés sont proposés, permettant d'apprendre différents types d'opérations de simplification à partir de corpus. Dans le but de pouvoir développer et évaluer des systèmes de simplification automatique de textes, cet article s'intéresse au corpus Newsela, un corpus parallèle de textes en langue anglaise avec quatre niveaux de simplification. Nous présentons en détail ce corpus et étudions les différentes transformations caractérisant le passage d'un niveau de simplification à l'autre sur un sous-ensemble de textes, en nous intéressant plus particulièrement aux transformations syntaxiques.

## ABSTRACT

**Syntactic transformations between simplification levels in the Newsela corpus.**

Text simplification is a complex task of Natural Language Processing. Research into this topic has many potential practical applications. For several years now, parallel corpora of complex-simple paired sentences have been developed to provide examples of structural transformations and particularly suitable for text simplification. To develop and evaluate ATS systems, this article focuses on the Newsela corpus, a parallel corpus of English texts with four levels of simplification. We present this corpus in detail, and we study the different transformations characterizing the passage from one level of simplification to another on a subset of texts. We specifically focus on syntactic transformations.

**MOTS-CLÉS** : Corpus parallèle, simplification de textes, analyse du corpus.

**KEYWORDS:** Parallel corpora, text simplification, corpus analysis.

# 1 Introduction

La simplification de textes (SAT) est un domaine du traitement automatique des langues (TAL) qui suscite l'intérêt dans la communauté depuis quelques années. L'objectif est de rendre des textes plus abordables tout en garantissant l'intégrité sémantique de leur contenu. Saggion (2017) définit la SAT comme étant le processus de transformation d'un texte en un autre texte qui véhicule le même contenu sémantique, afin de le rendre plus facile à lire et à comprendre par un public cible.

<figure><img src="image_53.png" /></figure>
La SAT peut être adressée à des lecteurs humains faisant face à différents types de difficultés de lecture, par exemple, les apprenants de langues (Petersen et Ostendorf, 2007 ; Burstein, 2009), les personnes souffrant d'aphasie (Devlin and Tait, 1998 ; Carroll et al., 1998), de dyslexie (Rello et al., 2013) ou d'autisme (Evans et al., 2014). La SAT peut aussi être utilisée comme étape de prétraitement pour d'autres tâches de TAL, telles que l'analyse syntaxique (Chandrasekar et al., 1996), le résumé automatique (Vanderwende et al., 2007 ; Silveira et Branco, 2012) et la traduction automatique (Hasler et al., 2017).

Un des problèmes majeurs pour la construction de systèmes de SAT efficaces est l’absence de
corpus annotés en niveaux de difficulté ou, tout au moins, des versions parallèles originales et
simplifiées. En effet, une étape préalable et importante vers la construction des systèmes de SAT est
l'analyse et la comparaison de versions parallèles de textes simplifiés originaux, afin d'examiner
quels types de changements doivent être appliqués et pour quel public et quelles ressources sont
nécessaires pour les mettre en place automatiquement. Nous nous intéressons ici au corpus Newsela
(Newsela, 2016) dédié à cette tâche. Il s'agit d'un corpus parallèle de textes en anglais avec quatre
niveaux de simplification. Nous présentons en détail ce corpus et étudions les différentes
transformations caractérisant le passage d'un niveau de simplification à l'autre sur un sous-
ensemble de textes, en nous intéressant plus particulièrement aux transformations syntaxiques.

Cet article est structuré de la façon suivante. Dans la section 2, nous définissons le contexte du
travail et nous présentons en détail le corpus Newsela, un corpus parallèle dédié à la simplification
de textes en anglais avec quatre niveaux de simplification. Dans la section 3 nous présentons la
méthodologie que nous avons retenue pour l'étude des différents niveaux de simplification de ce
corpus. Dans la section 4 nous proposons une analyse des opérations de simplification mises en
œuvre pour passer d'un niveau de simplification à l'autre dans le corpus Newsela. Nous concluons
en présentant plusieurs perspectives à ce travail.

2 Contexte

## 2.1 Des corpus pour la simplification des textes

Force est de constater que les corpus parallèles version originale vs version simplifiée ne sont pas
nombreux, bien que pour l'anglais, des initiatives différentes ont vu le jour dans différents domaines
(pas forcément en TAL). L'initiative Plain English<fnref n="1" />, par exemple, est née dans les années 1970 pour
faciliter la compréhension des textes officiels administratifs. Il s'agit de directives qui peuvent en
principe s'appliquer à toutes les langues, par exemple : garder le sujet, le verbe et l'objet ensemble ;
expliquer une seule idée par phrase ; utiliser des phrases courtes ; utiliser la voix active ; etc.

En TAL, des ressources existent pour le français, comme Vikidia<fnref n="2" /> (Wikipédia Junior) qui a été
utilisée par Brouwers et ses collaborateurs (2012) afin d'établir une typologie des règles de
simplification. Vikidia est un corpus destiné aux jeunes de huit à treize ans et rassemble des articles
plus accessibles, tant au niveau de la langue que du contenu (Brouwers et al., 2012). Ce corpus
comprend à ce jour plus de 29 900 articles.

Une autre ressource existante est le corpus Alector<fnref n="3" /> (Gala et al., 2020a). Il s'agit d'une collection de
79 textes littéraires (contes, histoires) et scientifiques (documentaires) originaux ainsi que leurs

<footnote n="1">1 https://www.plainlanguage.gov/</footnote>

<footnote n="2">2 http://fr.vikidia.org/</footnote>

<footnote n="3">³ https://corpusalector.huma-num.fr/</footnote>
équivalents simplifiés. Les textes ont été choisis parmi une variété de supports disponibles pour les élèves des écoles primaires françaises, particulièrement les apprenants du cours élémentaire 1 et 2 (CE1 et CE2), et cours moyen 1 (CM1). Les 79 textes originaux ont tous subi des simplifications aux niveaux lexical, morphologique, syntaxique et discursif. Les simplifications ont été faites manuellement par une équipe d’experts, les corpus ont été testés dans des écoles (plus de mille élèves) dans le but d’obtenir des résultats sur l’impact des simplifications sur la lecture et la compréhension<fnref n="4" />.

Au niveau de la SAT, on distingue plusieurs étapes. L'une des sous-tâches est également la simplification lexicale (Specia et al., 2012), qui consiste à remplacer les mots par des synonymes plus simples. La simplification est parfois une forme de paraphrase dans laquelle une phrase est reformulée en une phrase linguistiquement plus simple tout en conservant le sens de la phrase d'origine. Les paraphrases pour la simplification sont généralement extraites à partir de corpus parallèles. En anglais, Creutz (2018) a proposé Opusparcus<fnref n="5" /> (OpenSubtitleSPARaphraseCorpUS), un corpus de paraphrases pour six langues européennes : l'allemand, l'anglais, le finnois, le français, le russe et le suédois. Les ensembles de données ont été extraits d'OpenSubtitles2016⁶ (Lison et Tiedemann, 2016), qui est une collection de sous-titres traduits de films et d'émissions de télévision. Pour chaque langue, les données sont divisées en trois types d'ensembles de données apprentissage, développement et évaluation. Les données d'apprentissage sont composées de millions de paires de phrases, et ont été compilés automatiquement. Les ensembles de développement et d'évaluation sont constitués de paires de phrases qui ont été vérifiées manuellement ; chaque ensemble contient environ 1000 paires de phrases (Creutz, 2018). Ce corpus, du fait de son contenu (paraphrases) peut être utilisé à des fins de développement ou de test d'un système de SAT.

La paraphrase a déjà été prise en compte dans des systèmes de SAT à des fins éducatives. Ces systèmes reposent souvent sur des règles de transformation définies par des experts. Inui et ses collaborateurs (2003) répondent aux besoins des apprenants sourds de l'anglais et du japonais écrits en paraphrasant des textes en supprimant les structures syntaxiques difficiles pour ce groupe d'apprenants (Inui et al., 2003). Le but du projet *Practical Simplification of English Text* (PSET) est de paraphraser les textes des journaux pour les personnes aphasiques (Canning et al., 2000). Max et ses collaborateurs (2006) ciblent les rédacteurs de textes pour les lecteurs souffrant de troubles du langage avec un système de simplification de texte interactif intégré dans un traitement de texte suggérant des simplifications tout en permettant à l'auteur du texte de garder le contrôle sur son contenu (Max, 2006). Le service de test pédagogique (*Educational Test Service ETS*) a développé l'outil d'adaptation automatique de texte (*Automatic Text Adaptation ATA* ; Burstein et al., 2007). Ce système ne simplifie pas directement le texte d'origine mais fournit plutôt une aide à la lecture via des adaptations de texte en anglais et/ou en espagnol qui sont affichées avec le texte original. Ces adaptations incluent la prise en charge du vocabulaire, les notes marginales et la synthèse vocale.

Une deuxième sous-tâche de SAT est la simplification syntaxique ayant pour but d'identifier et de transformer de longues phrases contenant des phénomènes syntaxiques qui peuvent nuire à la lisibilité pour certaines personnes en paraphrases plus simples qui ne contiennent pas ces phénomènes. La majorité des méthodes de simplification syntaxique proposées reposent sur un ensemble de règles de transformation définies manuellement pour être appliquées aux phrases. Le

<footnote n="4">⁴ Plus d'informations sur le projet Alector : https://alectorsite.wordpress.com/</footnote>

<footnote n="5">⁵ https://korp.csc.fi/download/opusparcus/</footnote>

<footnote n="6">⁶ OpenSubtitles2016 est un sous-ensemble de la collection OPUS ("... the open parallel corpus") http://opus.nlpl.eu/, et fournit un grand nombre de corpus parallèles alignés sur les phrases dans 65 langues.</footnote>
processus de simplification peut ainsi être considéré comme un processus de reconnaissance de paraphrase dirigée ou d'implication textuelle, avec une contrainte de lisibilité sur le texte simplifié. La relation de simplification est donc asymétrique, contrairement à la paraphrase, elle se rapproche ainsi de l'implication textuelle. Les opérations de simplification visent à préserver la plupart des informations contenues dans le texte. Par conséquent, les informations périphériques sont supprimées, d'où le fait que les techniques de résumé jouent un rôle important dans la SAT.

Enfin, au cours des dernières années, la disponibilité des corpus parallèles de textes originaux et simplifiés a rendu possible un ensemble d'approches permettant d'apprendre différents types d'opérations de simplification à partir de corpus. Cependant, la SAT peut être appréhendée avec des méthodes de traduction automatique et d'apprentissage automatique dont les modèles statistiques sont construits à partir de corpus parallèles de textes originaux et simplifiés (Zhu et al., 2010; Specia, 2010; Woodsend et Lapata, 2011). Notamment, la disponibilité du corpus PWKP (Parallel Wikipedia Simplification Corpus) constitué par Zhu et ses collaborateurs (2010) a eu un impact considérable. Sa taille et sa disponibilité en ont fait le jeu de données de référence des travaux de simplification pour l'anglais. Il se compose d'un texte aligné de Wikipédia anglais<fnref n="7" /> et de son équivalent dans Simple English Wikipedia<fnref n="8" />. L'ensemble de données contient 108 016 paires de phrases, avec 25,01 mots en moyenne par phrase 'complexe' et 20,87 mots par phrase simple.
Cependant, Xu et ses collaborateurs (2015) ont présenté une prise de position, dans laquelle ils décrivent plusieurs lacunes de cette ressource et contient de bruits. Ils ont approfondi cette étude par une annotation manuelle de 200 alignements de phrases choisies aléatoirement. Ils ont montré que seuls 50% des paires de phrases correspondent à une simplification. Afin de répondre au problème du bruit présent dans les alignements du corpus Wikipédia anglais, les auteurs ont introduit une nouvelle ressource : le corpus Newsela<fnref n="9" /> (Xu et al., 2015). Dans ce travail, nous étudions les différentes transformations caractérisant le passage d'un niveau de simplification à l'autre sur un sous-ensemble de textes, en nous intéressant plus particulièrement aux transformations syntaxiques.

## 2.2 Le corpus Newsela

Newsela est un jeu de données pour la simplification de texte qui a comme avantage le fait de proposer différentes versions de simplification à partir d'un texte original (la plupart des corpus parallèles existants, mentionnés plus haut, sont des corpus parallèles des textes originaux et simplifiés). Il s'agit d'un corpus d'articles de presse réécrits par des éditeurs professionnels. Le public cible considéré était les enfants de différents niveaux scolaires. Le corpus contient 1.130 articles de presse, chacun d'eux réécrit 4 fois (tableau 1) pour les enfants de différents niveaux, obtenant quatre versions de simplification (simp-1 est la moins simple et simp-4 la plus simple).

<table><tr><td>Texte original</td><td>The athletic shoe and apparel maker said Thursday it will provide free design resources to schools looking to shelve Native American mascots, nicknames, imagery or symbolism. The German company also pledged to provide financial support to ensure the cost of changing is not prohibitive.</td></tr><tr><td>Simp_1</td><td>The athletic shoe and apparel maker said Thursday it will provide free design resources to schools looking to give up their Native American mascots, nicknames, imagery or symbolism. It also pledged to provide financial help to ensure the cost of changing is not excessive.</td></tr><tr><td>Simp_2</td><td>Adidas officials said Thursday it will help the schools create new mascots, nicknames, images or symbols. It also promised to help cover the cost to make sure</td></tr></table>

<footnote n="7">⁷ https://www.wikipedia.org/</footnote>

<footnote n="8">⁸ https://simple.wikipedia.org/</footnote>

<footnote n="9">⁹ https://newsela.com/data/</footnote>
<table><caption>TABLE 1. Exemple de phrases écrites à plusieurs niveaux de complexité de texte à partir de l'ensemble de données Newsela.</caption><tr><td></td><td>that the change is not too <span style="color: #ff0000;">expensive</span>.</td></tr><tr><td>Simp_3</td><td><span style="color: #ff0000;">On Thursday, Adidas</span> offered to <span style="color: #ff0000;">help</span> high schools change their mascots. A mascot is usually a person or animal. It represents a group or school, and many people think it brings good luck. Most sports teams have a mascot. <b>The shoe and clothing company</b> will also <span style="color: #ff0000;">help to pay</span> for the change. New <span style="color: #0000ff;">uniforms</span>, mascots and signs can be <span style="color: #ff0000;">expensive</span> for schools.</td></tr><tr><td>Simp_4</td><td><b>Adidas</b> said it will help schools make new mascots. A mascot can be a person or an animal. Most sports teams have a mascot. <b>Adidas</b> will <span style="color: #0000ff;">help</span> schools design new <span style="color: #0000ff;">uniforms</span>. It will also help them to design <span style="color: #0000ff;">new logos</span>. Logos are the pictures on <span style="color: #0000ff;">uniforms or signs</span>. <span style="color: #ff0000;">It costs a great deal of money</span> to change logos and mascots. Adidas will <span style="color: #0000ff;">help schools pay for it</span>.</td></tr></table>

# 3 Méthodologie

Comme nous venons de le voir, le corpus Newsela est un corpus parallèle dédié à la simplification de textes, proposant pour un texte donné, quatre niveaux de simplification. Nous nous intéressons dans cet article aux différentes transformations caractérisant le passage d'un niveau de simplification à l'autre. Xu et ses collaborateurs (2015) ont effectué une analyse systématique de l'ensemble du corpus en se focalisant sur l'aspect lexical. Notre but est d'analyser ce corpus en nous focalisant sur les aspects syntaxiques, c'est-à-dire, étudier les changements syntaxiques qui ont été faits lors du passage d'un niveau de difficulté à un autre plus simple. Une analyse qualitative a été réalisée afin de cibler différents types d'opérations de simplification.

Le travail que nous décrivons dans cette proposition est basé sur un sous-ensemble de textes composés de 107 phrases tirées de 6 textes choisis d'une façon aléatoire du corpus Newsela, en nous intéressant plus particulièrement aux transformations syntaxiques. Nous avons aligné ces originaux avec les 4 niveaux de difficulté et nous avons repéré les opérations effectuées au niveau syntaxique.

## 3.1 Analyse quantitative du corpus Newsela

Le Tableau 1 récapitule le nombre de tokens et de phrases dans l'ensemble des 6 textes étudiés. Ce tableau montre le nombre total de phrases et de mots et la longueur moyenne de la phrase (en mots) des textes simplifiés originaux et les 4 niveaux de simplification : de l'original au Simp_1, du Simp_1 au Simp_2, du Simp_2 au Simp_3 et du Simp_3 au Simp_4.

Il y a une réduction importante au niveau de la longueur du texte en passant du niveau 2 au niveau 3 et une autre plus grande (27 %) en passant du niveau 3 au niveau 4, ce qui était attendu pour ce type de public (les apprenants d'une langue seconde). Dans ce type de corpus, des ajouts sont considérés comme utiles pour améliorer la lecture et la compréhension de textes mais privilégiant la suppression des informations supplémentaires et redondantes en gardant toujours des phrases courtes.
<table><caption>TABLE 1 : Nombre de tokens et de phrases dans 6 textes du corpus Newsela : original → Simp_1, Simp_1 → Simp_2, Simp_2 → Simp_3 et Simp_3 → Simp_4</caption><thead><tr><th rowspan="2"></th><th colspan="2">Tokens</th><th colspan="2">Phrases</th><th colspan="2">Tokens/phrase</th></tr><tr><th>Total</th><th>Réduction</th><th>Total</th><th>Augmentation</th><th>Moyenne</th><th>Réduction</th></tr></thead><tbody><tr><td>Textes originaux</td><td>4.866</td><td></td><td>107</td><td></td><td>45,5</td><td></td></tr><tr><td>Simp_1</td><td>4.577</td><td>6 %</td><td>118</td><td>10 %</td><td>38,8</td><td>15 %</td></tr><tr><td>Simp_2</td><td>4.358</td><td>5 %</td><td>165</td><td>40 %</td><td>26,4</td><td>32 %</td></tr><tr><td>Simp_3</td><td>3.768</td><td>14 %</td><td>201</td><td>22 %</td><td>18,7</td><td>29 %</td></tr><tr><td>Simp_4</td><td>2.740</td><td>27 %</td><td>192</td><td>-4 %</td><td>14,3</td><td>24 %</td></tr></tbody></table>

Le pourcentage d'augmentation du nombre de phrases est clairement important en passant du niveau 1 au niveau 2 (40 %). En comparant le nombre de phrases entre le texte original et sa version la plus simplifiée (Simp_4), le nombre augmente de 79 %. Ces différences s'expliquent essentiellement par les opérations de découpage des phrases longues appliquées. Le nombre de mots par phrase diminue en passant d'un niveau à un autre, ce qui revient à des phrases plus courtes qui maintiennent la structure SVO et qui présentent une seule idée par phrase.

Nous avons utilisé l'outil CollateX<fnref n="10" /> (Dekker et Middell, 2011) pour repérer les transformations (découpage de phrases, suppression et substitution morpho-syntaxiques, insertion d'informations, réorganisation et fusion) effectuées dans les versions simplifiées par rapport au texte original (Original Simp_1, du Simp_1 au Simp_2, du Simp_2 au Simp_3 et du Simp_3 au Simp_4). CollateX est un outil utilisé dans les humanités numériques qui implémente des algorithmes d'alignement et fournit une visualisation statique pour les graphiques de variantes de texte. Dans cet outil, quatre étapes de base sont définies et appliquées dans l'ordre et/ou de manière itérative. La première est la tokenisation des textes numériques à comparer. La deuxième étape est l'alignement des tokens de différents textes et implication des opérations d'édition. La troisième étape est l'analyse de l'alignement calculé, les opérations d'édition étant désormais qualifiées (par exemple, suppression, ajout ou déplacement). La quatrième et dernière étape est la sortie ou visualisation des résultats. La figure 1 montre la fréquence des différentes opérations de transformation dans les 6 textes du corpus.

De ces résultats d'analyse, nous pouvons déduire les spécificités de chaque niveau de simplification :

- Le niveau 1 privilégie la réorganisation de la phrase et substitution morpho-syntaxique : des clauses peuvent être échangées afin que la présentation de l'information soit plus lisible. De plus, lorsque des structures complexes ne sont pas supprimées, elles sont généralement déplacées pour faciliter la compréhension. Les opérations de remplacements et de réorganisations représentent respectivement 35 % et 32 % des transformations syntaxiques dans ce niveau de difficulté.

<footnote n="10">¹⁰ https://collatex.net/demo/</footnote>
<figure><img src="image_54.png" /><figcaption>FIGURE 1 : Fréquence des opérations de transformation syntaxique dans les 6 textes du corpus
Newsela</figcaption></figure>

- Le **niveau 2** privilégie les suppressions morpho-syntaxiques (34 %) : les informations d'importance secondaire sont supprimées des phrases.

- Le **niveau 3** privilégie le découpage de phrases et les insertions : les auteurs choisissent de diviser des phrases trop longues (quand il y a coordination ou signe de ponctuation). Le découpage et les insertions représentent respectivement 30 % et 27% des transformations syntaxiques dans ce niveau de complexité.

- Le **niveau 4** privilégie les découpage et suppressions morpho-syntaxiques : les découpages des phrases complexes représentent 32 % des transformations et les suppressions 28%.

# 4 Analyse des opérations de simplification

Nous avons observé manuellement 107 phrases alignées du corpus dans ses 4 niveaux de difficultés afin d'en dégager les différents phénomènes intervenant dans la simplification de texte.

Les opérations de simplification présentées dans le corpus Newsela s'appliquent à plusieurs niveaux : lexical, morpho-syntaxique et discursif, ce qui reste classique dans le cadre de la simplification de textes (Gala et al., 2018). Dans cet article, nous présentons uniquement une caractérisation du niveau syntaxique. Sur la base de différentes classifications des opérations de simplification proposée dans la littérature (Brunato et al., 2015 ; Bott et Saggion, 2014 ; Coster et Kauchak, 2011 ; Caseli et al., 2009, Medero et Ostendorf, 2011 et Zhu et al., 2010, Gala et al. 2020b), nous avons identifié six classes principales d'opérations observées dans le corpus Newsela, à savoir : (4.1) des découpages, (4.2) des fusions, (4.3) des réorganisations, (4.4) des insertions (rajouts), (4.5) des suppressions et (4.6) des substitutions.
## 4.1 Découpage de phrases

C'est l'opération la plus fréquente en SAT, pour les applications à la fois humaines et automatiques. En règle générale, le découpage supprime les conjonctions, les deux points, les points-virgules, les énumérations et les appositives afin d'obtenir deux phrases indépendantes. Dans (1) et (2), nous donnons deux exemples de découpage. Nous pouvons observer qu'elles s'appliquent à partir du premier niveau de simplification.

(1) *Originale*. The advocacy group says about a dozen schools have dropped Native American mascots over the past two years **and** an additional 20 are considering a change.

*Simpl_1*. The advocacy group says about a dozen schools have dropped Native American mascots over the past two years. An additional 20 are considering a change.

*Simpl_2*. The advocacy group said about a dozen schools have dropped these mascots over the past two years. An additional 20 are considering a change.

*Simpl_3*. About a dozen of the schools decided to pick new mascots in the last two years. Another 20 are thinking about it.

*Simpl_4*. In the last two years, about 12 schools stopped using them. Another 20 are thinking about it.

(2) *Originale*. The company, which has its North American headquarters in Portland, Oregon, also said it will be a founding member of a coalition that addresses Native American mascots in sports.

*Simpl_1*. Adidas also said it will be a founding member of a coalition that addresses the problem of Native American mascots in sports. **The German company** has its North American headquarters in Portland, Oregon.

*Simpl_2*. Adidas also said it will be a founding member of a group that deals with the problem of Native American mascots in sports. The German company makes shoes and clothing. **Its** North American headquarters is in Portland, Oregon.

*Simpl_3*. Adidas said it will help start a new group. It will deal with the problem of Native American mascots in sports.

*Simpl_4*. *Phrases Supprimées.*

Les appositions ne sont pas supprimées, elles sont transformées en phrases indépendantes :

(3) *Originale*. Eric Liedtke, **Adidas head of global brands**, traveled to the conference. He said sports must be inclusive.

*Simpl_1*. Eric Liedtke, **Adidas head of global brands**, said sports must be inclusive.

*Simpl_2*. Eric Liedtke **is** the Adidas head of global brands. He said that sports must include everyone.

*Simpl_3*. Eric Liedtke, **who works for Adidas**, attended the Tribal Nations conference. Sports must include everyone, he said.

*Simpl_4*. Eric Liedtke **works for Adidas**. Sports must include everyone, he said.

Les exemples 2 et 3 montrent que les opérations ne sont pas indépendantes les uns des autres, puisque la substitution d'une phrase entraîne un changement syntaxique.

## 4.2 Fusion de phrases

Cette opération est conçue comme l'inverse de la division, c'est l'opération par laquelle deux (ou plusieurs) phrases originales sont fusionnées en une phrase simplifiée unique. Une telle
transformation est moins fréquente que la division des phrases (< 8% dans tous les niveaux de simplification).

(4) *Originale.* Eric Liedtke, Adidas head of global brands, traveled to the conference. **He said**
**sports must be inclusive.**

*Simpl_1.* Eric Liedtke, Adidas head of global brands, *said sports must be inclusive.*

4.3 Réorganisation

Lorsque certaines structures complexes ne sont pas supprimées, elles sont souvent déplacées ou
modifiées dans le texte dans le but de maintenir une structure SVO (Gala et al., 2020b). Cette
opération marque le changement de position de mots entre la phrase d'origine et son équivalent
simplifié (ex. 5).

(5) *Originale.* According to the group Change the Mascot, there are about 2,000 schools nationwide that have Native American mascots.

*Simpl_1.* According to the group Change the Mascot, there are about 2,000 schools nationwide that have Native American mascots.

*Simpl_2.* About 2,000 schools nationwide have Native American mascots, **according to**
the group Change the Mascot.

*Simpl_3.* Change the Mascot is a group that wants schools to stop using Native American mascots. About 2,000 American schools have them, **the group said.**

*Simpl_4.* Change the Mascot is a Native American group. **It wants** schools to drop Native American mascots. About 2,000 American schools have these mascots.

4.4 Insertion

Le processus de simplification peut entraîner une phrase plus longue, en raison de rajout de mots ou
d'expressions qui fournissent des informations de clarification (ex. 6). Nous avons observé un seul
type d'informations pour marquer les insertions : le rajout d'explications et de définitions. Ce
procédé est approprié pour les corpus destinés à des apprenants normo-lecteurs ou à des adultes
illettrés ; il ne l'est pas pour d'autres types de public cible, par exemple les enfants faibles-lecteurs
ou dyslexiques (Rello, 2014).

(6) *Originale.* The NFL's Washington **Redskins** have resisted appeals by Native American and civil rights groups to change their name and mascot.

*Simpl_1.* The NFL's Washington **Redskins** have resisted appeals by Native American and civil rights groups to change the name and mascot.

*Simpl_2.* Native American and civil rights groups have asked NFL's Washington **Redskins** to change their name and mascot. The football team has refused.

*Simpl_3.* They have repeatedly asked the Washington Redskins football team to change its name and mascot. **Redskins is an old word for Native Americans, who feel that it is unkind.** The football team has refused to change its name.

*Simpl_4.* Americans have asked the Washington Redskins to change the team's name. **The Redskins is a football team. Redskins is a very old word for Native Americans. It is not a nice word.** The football team has refused again and again.
## 4.5 Suppression morpho-syntaxique

Les informations secondaires ou redondantes, généralement considérées comme supplémentaires au niveau syntaxique, ne sont pas incluses dans les textes simplifiés (ex. 7 à 10). Un texte devrait être simplifié en éliminant les informations redondantes. Les phrases simplifiées contiennent moins d'adverbes ou d'adjectifs que les phrases originales. Certains adverbes et adjectifs, entre autres, sont omis. Nous proposons six types d'informations qui peuvent être supprimées : les informations entre parenthèses, les exemples, les constructions appositives, certains modifieurs, quelques relatives ainsi que les expressions temporelles et locatives dans certains cas.

(7) *Originale.* Some colleges kept their nicknames by obtaining permission from tribes, including the **Florida State Seminoles and the University of Utah Utes.**

*Simpl_1.* Several colleges kept their nicknames by obtaining permission from tribes, **such as the Florida State Seminoles and the University of Utah Utes.**

*Simpl_2.* Some colleges kept their nicknames by getting permission from tribes. Two teams that received permission were the **Florida State Seminoles and the University of Utah Utes.**

*Simpl_3.* Some colleges were able to keep their names, though. They received permission from tribes.

*Simpl_4.* Some colleges kept their names, though. They asked for permission from Native American groups.

(8) *Originale.* [...] Ray Halbritter applauded Adidas' move in a **joint statement**.

*Simpl_1.* [...] Ray Halbritter applauded Adidas' announcement in a **joint statement**.

*Simpl_2.* [...] Ray Halbritter applauded Adidas' announcement in a **statement**.

(9) *Originale.* In **2005**, the NCAA warned schools that they would face sanctions if they didn't change Native American logos or nicknames.

*Simpl_1.* In **2005**, the NCAA warned schools that they would face sanctions if they did not change Native American logos or nicknames.

*Simpl_2.* In **2005**, the National Collegiate Athletic Association (NCAA) warned colleges that they would face penalties if they did not change Native American logos or nicknames.

*Simpl_3.* In **2005**, the National Collegiate Athletic Association (NCAA) told colleges to stop using Native American mascots.

*Simpl_4.* It told the colleges to get new mascots. If not, the colleges could be punished.

(10) *Originale.* Adidas announced the initiative in conjunction with the White House Tribal Nations Conference on Thursday in **Washington**.

*Simpl_1.* Adidas announced the initiative in conjunction with the White House Tribal Nations Conference on Thursday in **Washington, D.C.**

*Simpl_2.* Nations Conference on Thursday in **Washington, D.C.**, on Thursday.

*Simpl_3.* The White House Tribal Nations Conference took place on Thursday.

## 4.6 Substitution morpho-syntaxique

Nous avons observé des substitutions de nature morpho-syntaxique : transformer les phrases passives en phrases actives, privilégier les propositions positives à la place des propositions négatives, ainsi que les formes personnelles à la place des formes impersonnelles.
(11) *Originale*. The NFL's Washington Redskins have resisted appeals **by** Native American and civil rights groups to change their name and mascot.
*Simpl_4*. Native Americans have asked the Washington Redskins to change the team's name.

(12) *Originale*. "Today's announcement is a great way for us to offer up our resources to schools that want to do what's right — to administrators, teachers, students and athletes who want to make a difference in their lives and in their world," Liedtke said in a statement to The Associated Press. "Our intention is to help break down any barriers to change — change that can lead to a more respectful and inclusive environment for all American athletes."
*Simpl_3*. Liedtke said that many schools want to do what is right. Teachers and students want to make a difference in their lives and in the world. Adidas wants to make it easier for them, he said. He said the new school mascots will respect all American athletes.

En plus de ces variations linguistiques, les versions simplifiées de Newsela présentent des variations typographiques<fnref n="11" /> notamment avec des variations des nombres. Ce procédé est assez courant pour alléger la charge cognitive pendant la lecture (spécialement pour les lecteurs en difficulté de lecture, voir Rello, 2014 ; Gala et al. 2020a) :

(13) *Originale*. The advocacy group says about a **dozen** schools have dropped Native American mascots over the past two years and an additional 20 are considering a change.
*Simpl_4*. In the last two years, about **12** schools stopped using them. Another 20 are thinking about it.

# 5 Conclusion

La disponibilité de corpus parallèles monolingues est fondamentale pour à la recherche en simplification automatique du texte (SAT). Ces corpus constituent, malgré leur rareté et la difficulté de leur construction, les corpus les plus appropriés et adaptés pour l'étude de la simplification de SAT. La majorité des méthodes de simplification syntaxique reposent sur un ensemble de règles de transformation définies manuellement pour être appliquées aux phrases. Dans Newsela, l'existence de quatre versions correspondant à quatre niveaux de difficulté rend le corpus intéressant à étudier dans le but de comprendre les transformations et pouvoir les implémenter plus tard dans un système de SAT.

Dans cet article, nous avons présenté une étude de transformations syntaxiques qui nous permettent de décrire 6 textes originaux en anglais et leurs simplifications. Notre étude du corpus Newsela est à la fois qualitative et quantitative, sur les transformations appliquées lors du passage d'un niveau de difficulté à un autre. Nous nous sommes basées sur un sous-ensemble de textes restreint de Newsela. Dans le but de généraliser nos résultats, il sera intéressant de mener des expériences sur la totalité du corpus.

Par la suite, notre objectif sera d'appréhender la simplification automatique de textes selon une approche à base de représentations sémantiques, en utilisant le formalisme sémantique UCCA (Universal Cognitive Conceptual Annotation ; Abend et Rappoport, 2013 ; Sulem et al., 2018). Les

<footnote n="11">¹¹ Bouamor (2012) a défini les variations typographiques dans la catégorisation des paraphrases sous-phrastiques qui peut être aussi une classe définie pour la catégorisation de la simplification syntaxique.</footnote>
informations sémantiques sont fondamentales d'où notre intérêt à déterminer automatiquement, au moyen d'un formalisme, quelles informations sont secondaires. Ce faisant elles pourront être supprimées et il sera alors possible de rendre les informations primordiales plus visibles aux lecteurs en difficulté (travaux en cours).

## Remerciement

Je tiens à remercier Núria GALA (LPL) et Bernard ESPINASSE (LIS) pour leur aide précieuse et pour leurs contributions à la réalisation de ce travail.

## Références bibliographiques

ABEND, O., & RAPPOPORT, A. (2013, August). Universal conceptual cognitive annotation (ucca). In *Proceedings of the 51st Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers)* (pp. 228-238).

ALUÍSIO, S. M., SPECIA, L., PARDO, T. A., MAZIERO, E. G., CASELI, H. M., & FORTES, R. P. (2008, September). A corpus analysis of simple account texts and the proposal of simplification strategies: first steps towards text simplification systems. In *Proceedings of the 26th annual ACM international conference on Design of communication* (pp. 15-22).

ALVA-MANCHEGO, F., BINGEL, J., PAETZOLD, G., SCARTON, C., & SPECIA, L. (2017, November). Learning how to simplify from explicit labeling of complex-simplified text pairs. In *Proceedings of the Eighth International Joint Conference on Natural Language Processing (Volume 1: Long Papers)* (pp. 295-305).

BOTT, S., & SAGGION, H. (2014). Text simplification resources for Spanish. *Language Resources and Evaluation, 48*(1), 93-120.

BOUAMOR, H. (2012). *Étude de la paraphrase sous-phrastique en traitement automatique des langues* (Doctoral dissertation).

BROUWERS, L., BERNHARD, D., LIGOZAT, A. L., & FRANÇOIS, T. (2012, June). Simplification syntaxique de phrases pour le français (Syntactic Simplification for French Sentences) [in French]. In *Proceedings of the Joint Conference JEP-TALN-RECITAL 2012, volume 2: TALN* (pp. 211-224).

BROUWERS, L., BERNHARD, D., LIGOZAT, A. L., & FRANÇOIS, T. (2014, April). Syntactic sentence simplification for French. In *Proceedings of the 3rd Workshop on Predicting and Improving Text Readability for Target Reader Populations (PITR)* (pp. 47-56).

BRUNATO, D., DELL'ORLETTA, F., VENTURI, G., & MONTEMAGNI, S. (2015, June). Design and annotation of the first Italian corpus for text simplification. In *Proceedings of The 9th Linguistic Annotation Workshop* (pp. 31-41).

BRUNATO, D., CIMINO, A., DELL'ORLETTA, F., & VENTURI, G. (2016, November). Paccess-it: A parallel corpus of complex-simple sentences for automatic text simplification. In *Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing* (pp. 351-361).

BURSTEIN, J., SHORE, J., SABATINI, J., LEE, Y. W., & VENTURA, M. (2007, April). The automated text adaptation tool. In *Proceedings of Human Language Technologies: The Annual Conference of the North American Chapter of the Association for Computational Linguistics (NAACL-HLT)* (pp. 3-4).

BURSTEIN, J. (2009, March). Opportunities for natural language processing research in education. In *International Conference on Intelligent Text Processing and Computational Linguistics* (pp. 6-27). Springer, Berlin, Heidelberg.
CANNING, Y., TAIT, J., ARCHIBALD, J., & CRAWLEY, R. (2000, September). Cohesive generation of syntactically simplified newspaper text. In *International Workshop on Text, Speech and Dialogue* (pp. 145-150). Springer, Berlin, Heidelberg.

CARROLL, J., MINNEN, G., CANNING, Y., DEVLIN, S., & TAIT, J. (1998, July). Practical simplification of English newspaper text to assist aphasic readers. In *Proceedings of the AAAI-98 Workshop on Integrating Artificial Intelligence and Assistive Technology* (pp. 7-10).

CASELI, H. M., PEREIRA, T. F., SPECIA, L., PARDO, T. A., GASPERIN, C., & ALUÍSIO, S. M. (2009). Building a Brazilian Portuguese parallel corpus of original and simplified texts. *Advances in Computational Linguistics, Research in Computer Science*, 41, 59-70.

CHANDRASEKAR, R., DORAN, C., & SRINIVAS, B. (1996, August). Motivations and methods for text simplification. In *Proceedings of the 16th conference on Computational linguistics-Volume 2* (pp. 1041-1044). Association for Computational Linguistics.

COSTER, W., & KAUCHAK, D. (2011, June). Learning to simplify sentences using wikipedia. In *Proceedings of the workshop on monolingual text-to-text generation* (pp. 1-9). Association for Computational Linguistics.

CREUTZ, M. (2018). Open Subtitles Paraphrase Corpus for Six Languages. In *Proceedings of the 11th International Conference on Language Resources and Evaluation (LREC 2018)*, Miyazaki, Japan. European Language Resources Association (ELRA). *arXiv preprint arXiv:1809.06142*.

CROSSLEY, S. A., LOUWERSE, M. M., MCCARTHY, P. M., & MCNAMARA, D. S. (2007). A linguistic analysis of simplified and authentic texts. *The Modern Language Journal*, 91(1), 15-30.

DEKKER, R. H. ET MIDDELL, G. (2011). Computer-supported collation with CollateX: Managing textual variance in an environment with varying requirements. *Supporting Digital Humanities*, (pp.17-18).

DEVLIN, SIOBHAN AND JOHN TAIT. (1998). The use of a psycholinguistic database in the simplification of text for aphasic readers. *Linguistic Databases* (pp. 161–173).

EVANS, R., ORASAN, C., & DORNESCU, I. (2014). An evaluation of syntactic simplification rules for people with autism. Association for Computational Linguistics.

FENG, L. (2008). Text simplification: A survey. *The City University of New York, Tech. Rep.*

GALA, N., FRANÇOIS, T., JAVOUREY-DREVET, L., & ZIEGLER, J. C. (2018). La simplification de textes, une aide à l’apprentissage de la lecture. *Langue française*, (3), 123-131.

GALA, N., TACK, A., JAVOUREY-DREVET, L., FRANÇOIS, T., & ZIEGLER, J. C. (2020a). Alector: A Parallel Corpus of Simplified French Texts with Alignments of Misreadings by Poor and Dyslexic Readers. In *Language Resources and Evaluation for Language Technologies (LREC)*.

GALA N., TODIRASCU, A., BERNHARD, D., WILKENS, R. ET MEYER, J.-P. (2020b) Transformations syntaxiques pour une aide à l’apprentissage de la lecture : typologie, adéquation et corpus adaptés. Actes du Congrès Mondial de Linguistique Française (CMLF 2020). Montpellier, France.

GASPERIN, C., SPECIA, L., PEREIRA, T., & ALUÍSIO, S. (2009). Learning when to simplify sentences for natural text simplification. In *Proceedings of ENIA*, 809-818.

HASLER, E., DE GISPERT, A., STAHLBERG, F., WAITE, A., & BYRNE, B. (2017). Source sentence simplification for statistical machine translation.

INUI, K., FUJITA, A., TAKAHASHI, T., IIDA, R., & IWAKURA, T. (2003, July). Text simplification for reading assistance: a project note. In *Proceedings of the second international workshop on Paraphrasing-Volume 16* (pp. 9-16). Association for Computational Linguistics.

KOPTIENT, A., CARDON, R. ET GRABAR, N. (2019) Simplification-induced transformations: typology and some characteristics. In *Proceedings of the 18th BioNLP Workshop and Shared Task, Association for Computational Linguistics*, Florence, Italy (pp. 309-318).

LISON, P. AND TIEDEMANN, J. (2016). OpenSubtitles2016: Extracting large parallel corpora from movie and tv subtitles. In *Proceedings of the 10th International Conference on Language Resources and Evaluation (LREC 2016)*.
MAX, A. (2005). Simplification interactive pour la production de textes adaptés aux personnes souffrant de troubles de la compréhension. In *Proceedings of Traitement Automatique des Langues Naturelles (TALN)*.

MAX, A. (2006). Writing for language-impaired readers. In *International Conference on Intelligent Text Processing and Computational Linguistics* (pp. 567-570). Springer, Berlin, Heidelberg.

MEDERO, J., & OSTENDORF, M. (2011). Identifying targets for syntactic simplification. In *Speech and Language Technology in Education*.

NEWSELA. (2016). Newsela article corpus. https://newsela.com/data. Version : 2016-01-29.

PETERSEN, S. E., & OSTENDORF, M. (2007). Text simplification for language learners: a corpus analysis. In *Workshop on Speech and Language Technology in Education*.

RELLO, L., BAYARRI, C., GÒRRIZ, A., BAEZA-YATES, R., GUPTA, S., KANVINDE, G., ... & TOPAC, V. (2013, May). DysWebxia 2.0! More accessible text for people with dyslexia. In *Proceedings of the 10th International Cross-Disciplinary Conference on Web Accessibility* (pp. 1-2).

RELLO, L. (2014). *DysWebxia: a text accessibility model for people with dyslexia* (Doctoral dissertation, Universitat Pompeu Fabra).

SAGGION, H. (2017). Automatic Text Simplification: Synthesis Lectures on Human Language Technologies, vol. 10 (1). California, Morgan & Claypool Publishers.

SIDDHARTHAN, A. (2006). Syntactic simplification and text cohesion. *Research on Language and Computation, 4*(1), 77-109.

SILVEIRA, S. B., & BRANCO, A. (2012). Enhancing multi-document summaries with sentence simplification. In *Proceedings on the International Conference on Artificial Intelligence (ICAI) (p. 1). The Steering Committee of The World Congress in Computer Science, Computer Engineering and Applied Computing (WorldComp).*

SPECIA, L. (2010, April). Translating from complex to simplified sentences. In *International Conference on Computational Processing of the Portuguese Language* (pp. 30-39). Springer, Berlin, Heidelberg.

SPECIA, L., JAUHAR, S. K., & MIHALCEA, R. (2012, June). Semeval-2012 task 1: English lexical simplification. In *Proceedings of the First Joint Conference on Lexical and Computational Semantics-Volume 1: Proceedings of the main conference and the shared task, and Volume 2: Proceedings of the Sixth International Workshop on Semantic Evaluation* (pp. 347-355). Association for Computational Linguistics.

SULEM, E., ABEND, O., & RAPPOPORT, A. (2018). Simple and effective text simplification using semantic and neural methods. *arXiv preprint arXiv:1810.05104*.

VAJJALA, S., & MEURERS, D. (2014). Readability assessment for text simplification: From analysing documents to identifying sentential simplifications. *ITL-International Journal of Applied Linguistics, 165*(2), 194-222.

VANDERWENDE, L., SUZUKI, H., BROCKETT, C., & NENKOVA, A. (2007). Beyond SumBasic: Task-focused summarization with sentence simplification and lexical expansion. *Information Processing & Management, 43*(6), 1606-1618.

WOODSEND, K., & Lapata, M. (2011, July). Learning to simplify sentences with quasi-synchronous grammar and integer programming. In *Proceedings of the conference on empirical methods in natural language processing* (pp. 409-420). Association for Computational Linguistics.

XU, W., CALLISON-BURCH, C., & NAPOLES, C. (2015). Problems in current text simplification research: New data can help. *Transactions of the Association for Computational Linguistics, 3*, 283-297.

ZHU, Z., BERNHARD, D., & GUREVYCH, I. (2010, August). A monolingual tree-based translation model for sentence simplification. In *Proceedings of the 23rd international conference on computational linguistics* (pp. 1353-1361). Association for Computational Linguistics.
# La désambiguïsation des abréviations du domaine médical

Anaïs Koptient¹

(1) CNRS, UMR 8163, Univ. Lille, UMR 8163 - STL - Savoirs Textes Langage, F-59000 Lille, France
anais.koptient.etu@univ-lille.fr

## RÉSUMÉ

Les abréviations, tout en étant répandues dans la langue, ont une sémantique assez opaque car seulement les premières lettres sont transparentes. Cela peut donc empêcher la compréhension des abréviations, et des textes qui les contiennent, par les locuteurs. De plus, certaines abréviations sont ambiguës en ayant plusieurs sens possibles, ce qui augmente la difficulté de leur compréhension. Nous proposons de travailler avec les abréviations de la langue médicale dans un cadre lié à la simplification automatique de textes. Dans le processus de simplification, il faut en effet choisir la forme étendue des abréviations qui soit correcte pour un contexte donné. Nous proposons de traiter la désambiguïsation d'abréviations comme un problème de catégorisation supervisée. Les descripteurs sont construits à partir des contextes lexical et syntaxique des abréviations. L'entraînement est effectué sur les phrases qui contiennent les formes étendues des abréviations. Le test est effectué sur un corpus construit manuellement, où les bons sens des abréviations ont été définis selon les contextes. Notre approche montre une F-mesure moyenne de 0,888 sur le corpus d'entraînement en validation croisée et 0,773 sur le corpus de test.

## ABSTRACT

### Disambiguation of abbreviations from the medical domain.

Abbreviations, although commonly used, have quite opaque semantics because only their first letters are transparent. This may prevent from understanding of abbreviations, and of texts they occur within, by speakers. Besides, some abbreviations are ambiguous and have more than one meaning, which increases their understanding difficulty. We propose to work with abbreviations from the medical domain as part of the automatic text simplification. During the simplification process, it is indeed necessary to chose the right expanded form of abbreviations satisfying a given context. We propose to address disambiguation of abbreviations as supervised categorization problem. Descriptors are built from lexical and syntactic contexts of the abbreviations. Training is done on sentences containing expanded forms of the abbreviations. Test is done on corpus built manually, in which the correct senses of abbreviations have been defined according to their contexts. The average F-measure of our approach is 0.888 in cross-validation on the training corpus and 0.773 on the test corpus.

**MOTS-CLÉS** : Désambiguïsation sémantique, domaine biomédical, abréviations, simplification.

**KEYWORDS:** Word sense disambiguation, Medical domain, Abbreviations, Simplification.

# 1 Introduction

Les abréviations sont assez répandues dans les informations et les situations qui nous entourent. Les quelques exemples en (1) illustrent la variété de ces situations.

<figure><img src="image_55.png" /></figure>
(1) CAF => Caisse des Allocations Familiales
PC => Personal Computer
ADP => Aéroports de Paris
TGV => Train à grande vitesse
AVC => Accident Vasculaire Cérébral
IRM => Imagerie par Résonance Magnétique
DP => Dialyse Péritonéale
ACP => analgésie contrôlée par le patient
AC => anhydrase carbonique

Notre compétence linguistique face aux abréviations varie en fonction de la nature de ces abréviations. Ainsi, la signification de certaines abréviations peut nous être connue du fait de leur fréquence d'emploi dans la langue et de leur implication dans le quotidien, comme c'est le cas de CAF, PC, TGV, ADP ou même AVC et IRM. Avec d'autres abréviations, la compréhension est beaucoup moins aisée, comme par exemple avec DP, ACP ou AC. Dans ces cas, il est nécessaire de disposer de la forme étendue des abréviations pour mieux les comprendre. En effet, les abréviations ont une sémantique très opaque car seulement les premières lettres sont transparentes alors que le reste des mots ne l'est pas. De plus, les abréviations et les mots qui les composent peuvent être spécifiques aux domaines de spécialité, comme le domaine médical dans les exemples que nous utilisons. La sémantique devient alors encore plus opaque. Pour aider le lecteur à bien comprendre la signification des abréviations, et des textes qui les comportent, il est nécessaire de fournir au moins les formes étendues des abréviations. Notons que, dans ce qui suit, nous utilisons de manière équivalente les termes suivants : forme étendue, forme développée, développement et sens des abréviations.

La simplification, automatique ou manuelle, de textes a justement pour objectif de rendre un texte plus lisible et compréhensible. Ainsi, différents guides d'aide à la rédaction de documents simples et accessibles (OCDE, 2015; Ruel J. & L., 2011; UNAPEI, 2019) préconisent, entre autres, de fournir les formes étendues des abréviations. Cela correspond au cadre dans lequel s'inscrit notre travail : simplifier automatiquement les documents en langue française pour les rendre plus faciles à comprendre. Nous nous intéressons ici plus particulièrement à l'explicitation et la simplification d'abréviations. Une autre particularité est que la simplification est effectuée avec les documents techniques du domaine médical. Ce domaine, tout en touchant intimement à notre vie, manipule typiquement de nombreux termes et abréviations spécialisés.

La simplification d'abréviations repose sur la disponibilité et l'exploitation de ressources dédiées, où les abréviations sont associées avec leurs formes étendues, comme dans les exemples en (1). Cependant, de nombreuses abréviations peuvent être ambiguës et avoir plusieurs développements possibles. Par exemple, dans la langue générale, l'abréviation PC peut signifier *Personal Computer* mais aussi *Parti Communiste*, et seul le contexte pourra indiquer quel sens et quelle forme étendue correspondante sont corrects pour une occurrence donnée de cette abréviation. La même situation se vérifie dans les langues de spécialité : les abréviations techniques peuvent également être ambiguës et avoir plusieurs développements possibles. C'est notamment le cas des abréviations en (2).

(2) DP : Dialyse Péritonéale, Dilatation Pneumatique, Dysménorrhée Primaire;
ACP : amplification en chaîne par polymérase, analgésie contrôlée par le patient;
AC : ablation par cathéter, âge corrigé, acétate de cyprotérone, anhydrase carbonique, anthracycline et cyclophosphamide;
ADP : accès douloureux paroxystiques, adénosine diphosphate.
Le nombre d'abréviations ambiguës est potentiellement élevé et peut donc concerner un nombre assez important de phrases. Le fait qu'une abréviation ait plusieurs développements possibles devient donc problématique, car le système de simplification doit sélectionner la forme développée correcte pour une abréviation étant donné le contexte. Il est donc nécessaire d'effectuer la désambiguïsation pour simplifier une phrase donnée correctement.

Dans ce qui suit, nous présentons d'abord un état de l'art sur la désambiguïsation de mots et termes (section 2). Ensuite, nous décrivons notre démarche pour désambiguïser les abréviations du domaine médical en français (section 3). Les résultats sont présentés et discutés dans la section 4. Nous concluons avec quelques pistes d'amélioration et les perspectives pour les travaux futurs.

# 2 État de l'art

L'intérêt pour la désambiguïsation sémantique a été manifesté très tôt par la communauté de TAL : dès l'arrivée des premiers programmes informatiques au début des années 50 (Ide & Véronis, 1998). Actuellement, la désambiguïsation est utilisée en pré-traitement de plusieurs autres programmes et applications, comme par exemple :

- la traduction automatique car un mot de la langue source peut avoir plusieurs traductions possibles dans la langue cible, en fonction de sa sémantique (Vickrey et al., 2005; Miháltz, 2005; Li & Li, 2004; Specia, 2005; Lim & Tang, 2004; Marvin & Koehn, 2018; Tang et al., 2018; Parameswarappa & Narayana, 2011; Brown et al., 1991);

- l'extraction d'information car, lors de la recherche de mots-clés, il est important de pouvoir éliminer les mots-clés qui n'ont pas le sens recherché (Stokoe et al., 2003; Zhong & Ng, 2012; Whaley, 1999; Krovetz, 2002; Stokoe & Tait, 2002);

- l'analyse grammaticale lors de l'annotation en parties du discours, par exemple pour éviter d'annoter de manière erronée un mot dont l'homonyme n'a pas la même partie du discours (Bikel, 2000).

Les travaux que nous mentionnons ici concernent la désambiguïsation effectuée essentiellement sur les données de la langue médicale, y compris sur les abréviations du domaine médical, car c'est dans ce domaine que nous positionnons notre travail.

Pour la présentation de travaux existants, nous différencions les méthodes non supervisées (section 2.1) et les méthodes supervisées (section 2.2). L'avantage de méthodes non supervisées est qu'elles ne demandent pas de gros corpus annotés pour l'entraînement de systèmes et sont donc plus faciles à mettre en place. En revanche, elles obtiennent théoriquement de moins bons résultats que les méthodes supervisées car elles utilisent moins de connaissances et disposent d'une plus petite fraction de la vérité de terrain (Zhou & Han, 2005). Nous verrons cependant que les chercheurs mettent en place différentes approches afin de réduire l'effort nécessaire à la création de données annotées pour l'entraînement, grâce à l'exploitation de corpus parallèles, de corpus faiblement annotés ou encore de connaissances fournies par des ressources existantes, comme l'UMLS (Lindberg et al., 1993).

## 2.1 Méthodes non supervisées

Dans un travail, les chercheurs utilisent un corpus parallèle anglais-allemand (Spinger Corpus of Medical Abstracts) pour effectuer la désambiguïsation de termes médicaux (Widdows et al., 2003). L'avantage de ce type de corpus est qu'un mot ambigu dans une langue ne l'est pas toujours dans
une autre langue : la mise en parallèle de ces deux langues permettrait donc de désambiguïser les occurrences dans l'une des langues. L'annotation est effectuée automatiquement en utilisant les CUI<fnref n="1" /> de l'UMLS. Ainsi, pour un terme ambigu dans le résumé en anglais, les auteurs cherchent sa traduction dans le résumé correspondant en allemand. Les traductions sont gardées uniquement si (1) seulement un CUI est assigné à n'importe quel terme du résumé en allemand et (2) au moins un des termes, auquel le CUI est assigné dans le résumé en allemand, n'est pas ambigu. De cette manière, la désambiguïsation est effectuée pour les termes ambigus en anglais et les termes ambigus en allemand, tout en utilisant le même corpus de textes parallèles. Pour les termes en anglais, cette méthode donne une précision de 81 % et un rappel de 18 %. Pour la désambiguïsation des termes en allemand, elle donne une précision de 66 % et un rappel de 22 %.

Une autre méthode proposée par le même groupe de chercheurs (Widdows et al., 2003) repose sur les collocations. En effet, il a été observé que les mots et termes ambigus ont tendance à avoir plusieurs collocations, parmi lesquelles une collocation donnée peut correspondre à un sens donné (Yarowsky, 1993). Pour rendre cette propriété totalement non supervisée, les auteurs utilisent également les CUI de l'UMLS, associés alors aux sens (un CUI est supposé correspondre à un sens), pour chaque mot ambigu afin de déterminer ses collocations. Cette méthode ne fournit pas un très bon rappel (3 % sur le corpus en anglais et 1 % sur le corpus en allemand), mais elle donne une précision assez élevée : 79 % pour les termes en anglais et 82 % pour les termes en allemand.

Enfin, une dernière méthode proposée par ce groupe de chercheurs (Widdows et al., 2003) consiste en l'utilisation de termes qui sont liés par des relations conceptuelles contenues dans les tables MRREL et MRCXT de l'UMLS. Ainsi, pour chaque sens d'un mot ambigu *w*, la méthode cherche les termes qui sont liés à ce sens (également représenté par un CUI) dans les fichiers MRREL et MRCXT. Ensuite, pour chaque occurrence du terme ambigu *w*, le contexte est identifié et chaque mot du contexte est recherché dans les fichiers liés à chaque sens de *w* : si le mot du contexte fait partie du sens en particulier alors le score de ce sens est incrémenté. À la fin du processus, le sens qui a le score le plus haut est considéré comme celui qui correspond au sens du mot ambigu *w*. Cette méthode montre une précision entre 71 et 74 % pour la désambiguïsation de termes en anglais, et une précision entre 77 et 79 % pour la désambiguïsation de termes en allemand. Concernant le rappel, il est entre 32 et 49 % pour les termes en anglais, et entre 31 et 58 % pour les termes en allemand.

## 2.2 Méthodes supervisées

Un travail, effectué sur les données de la langue médicale exploite une méthode en deux étapes (Liu & Lussier, 2001). Lors de la première étape, pour un terme *w* ambigu, les auteurs définissent automatiquement un corpus étiqueté sémantiquement grâce à trois ressources (*UMLS Metathesaurus*, *MEDLINE* (NLM, 2015) et *Clinical Data Repository*). La seconde étape correspond alors à la construction d'un classifieur dédié à la désambiguïsation avec plusieurs algorithmes d'apprentissage supervisé (*Naive Bayes*, *Decision List* et *Exemplar-based*). Il s'agit donc d'une méthode mixte. Cette méthode montre une *accuracy* entre 75 et 99 %.

D'autres chercheurs utilisent également les informations sur les CUI de l'UMLS (McInnes et al., 2007). La méthode proposée consiste à obtenir les CUI des termes qui se trouvent dans la même fenêtre contextuelle que le terme ambigu. Dans ce travail, la fenêtre peut correspondre à la phrase dans laquelle se trouve le mot ambigu ou même au résumé complet. Lorsque les CUI contextuels sont

<footnote n="1">1. *Concept Unique Identifier* : il s'agit d'un code unique qui représente un concept (ensemble de termes sémantiquement équivalents) défini dans le *Metathesaurus* de l'UMLS.</footnote>
définis, ils sont assignés manuellement au terme ambigu. Ensuite, le système calcule la fréquence qui correspond au nombre de fois où ce CUI apparaît dans le même contexte que le terme ambigu. Les chercheurs utilisent l’algorithme d’apprentissage Naive Bayes en validation croisée, tel qu’implémenté dans la plateforme WEKA (Witten & Frank, 2005).

Une autre approche proposée (Miháltz, 2005) détermine d'abord, pour chaque terme ambigu, les informations syntaxiques d'autres mots se trouvant dans la même phrase que ce terme ambigu. Ensuite, le système détermine le domaine sémantique, ou le sujet, du paragraphe dans lequel se trouve le terme ambigu, ce qui permet de définir le sens de ce terme. Ce travail, effectué sur les données en hongrois et en anglais, montre une précision de 76,39 % pour l'anglais et de 84,2 % pour le hongrois.

Un autre chercheur (Pedersen, 2001) assigne un sens à un terme ambigu en exploitant les bigrammes qui se trouvent dans le contexte de ce terme. Différents algorithmes de WEKA sont alors utilisés (les arbre de décision J48, Decision Stump et Naive Bayes).

Une autre méthode exploite le bilingual bootstrapping (Li & Li, 2004). Cette méthode consiste à utiliser un petit volume de données annotées et un grand volume de données non annotées dans deux langues (langue source et langue cible). La méthode construit des classificateurs dans ces deux langues en parallèle et renforce la performance des classificateurs, d'une part en classifiant les données de chaque langue et, d'autre part, en échangeant des informations sur les données classifiées dans les deux langues.

Enfin, dans un dernier travail que nous voulons présenter, les chercheurs travaillent spécifiquement sur la désambiguïsation des abréviations du domaine médical (Stevenson et al., 2009). Ils utilisent plusieurs algorithmes d’apprentissage supervisé (Vector Space Model, Naive Bayes et Support Vector Machines). Plusieurs descripteurs et paramètres sont pris en compte pour créer les modèles de désambiguïsation :

- les collocations avec les bi-grammes et tri-grammes (de lemmes, de formes et de parties du discours), de même que les couples forme/lemme se trouvant dans la même phrase que l'abréviation ambiguë,

- les CUI, selon l'approche de (McInnes et al., 2007),

- l'utilisation de termes de Medical Subject Headings (MeSH), qui sont exploités pour indexer les documents médicaux dans MEDLINE. Ces termes sont associés manuellement aux différents résumés. Ainsi, sont utilisés comme descripteurs les termes MeSH qui sont associés aux résumés dans lesquels se trouvent les termes ambigus.

Cette méthode montre une performance entre 0,954 et 0,990.

## 3 Méthodologie

Notre méthode est une méthode supervisée qui s’appuie sur cinq classificateurs tels qu’implémentés dans la librairie ScikitLearn (Pedregosa et al., 2011). Nous décrivons les données exploitées, les paramètres de la méthode et les principes de l’évaluation.

Les abréviations, le corpus d’entraînement et le corpus de test sont issus du corpus CLEAR (Grabar & Cardon, 2018). Il s’agit d’un corpus composé de trois sous-corpus de textes comparables : un sous-corpus de notices de médicaments, un sous-corpus de résumés de revues systématiques et un sous-corpus d’articles d’encyclopédies en ligne gratuites. Ce corpus contient en effet de nombreuses abréviations du domaine médical. Nous avons également constaté que plusieurs de ces abréviations
sont ambiguës, comme les exemples en (2) présentés dans la section 1.

## 3.1 Ensemble d'abréviations pour la désambiguïsation

Parmi les 1 638 abréviations détectées dans ce corpus, 138 sont ambiguës. Nous travaillons donc avec ces 138 abréviations. Chaque abréviation est associée avec l'ensemble de ses développements connus.

Sur les 138 abréviations ambiguës, 34 ne sont pas exploitables parce que le nombre d'occurrences est trop faible :

- 11 abréviations n'ont qu'une seule occurrence d'un des développements possibles,

- 7 abréviations n'ont que deux occurrences d'un des développements possibles,

- 16 abréviations n'ont que 3 à 5 occurrences d'un des développements possibles.

Les expériences sont donc effectuées avec 104 abréviations.

Les abréviations ont des niveaux d'ambiguïté différents avec 2 à 7 sens possibles. Le tableau 1 indique le nombre de développements possibles pour ces 104 abréviations. Nous pouvons voir que les abréviations avec 2 sens sont les plus fréquentes mais qu'il n'est pas rare d'avoir des abréviations avec plus de 2 sens.

<table><caption>TABLE 1: Ambiguïté des abréviations : nombre de sens ou de développements possibles.</caption><thead><tr><td></td><td>Nombre</td><td>Exemple</td></tr></thead><tbody><tr><td>2 développements</td><td>72</td><td>VC (ventilation conventionnelle, volume courant)</td></tr><tr><td>3 développements</td><td>18</td><td>TRC (taux rémission complète, taux réponse complète, temps recoloration cutanee)</td></tr><tr><td>4 développements</td><td>10</td><td>TSA (traitement suppression androgénique, traumatisme sonore aigu, travailleur santé autochtone, Trouble Spectre Autisme)</td></tr><tr><td>&gt;4 développements</td><td>4</td><td>RC (réadaptation cardiaque, régime cétogène, rémunération conditionnelle, réponse conditionnelle, rythme cardiaque, rapport des cotes, rémission complète)</td></tr></tbody></table>

## 3.2 Données de référence

Les documents du corpus CLEAR sont annotés par l'étiqueteur et l'analyseur syntaxique Cordial (Laurent et al., 2009). Les phrases qui comportent les abréviations ambiguës sont exploitées. Nous avons construit deux corpus de référence :

- Corpus d'entraînement. Le corpus d'entraînement contient les phrases avec les formes étendues des abréviations ambiguës. Au total, le corpus contient 174 099 phrases. Ces données de référence sont créées automatiquement car les formes étendues des abréviations ne sont pas ambiguës. Cela représente une moyenne de 1 674 phrases par abréviation. Le minimum d'exemples (n=11) est observé avec l'abréviation TRA (techniques de reproduction assistée, traitement restaurateur atraumatique, traitement de restauration atraumatique). Le maximum d'exemples (n=25 885) est observé avec l'abréviation PA (phosphatase alkaline, pression
artérielle, *Pseudomonas aeruginosa*). Concernant les sens des abréviations, nous avons une moyenne de 662 phrases par sens, avec un minimum d'une seule occurrence (19 formes étendues concernées) et un maximum de 25 455 occurrences pour la forme étendue *pression artérielle*. Nous pouvons voir que, selon les abréviations et les sens, le nombre d'exemples disponibles est plus ou moins élevé. Les données d'entraînement ne sont donc pas équilibrées. Les formes étendues des abréviations sont lemmatisées en même temps que les phrases. Ainsi, lorsqu'il existe plus d'une forme flexionnelle possible (comme *groupes hospitaliers* et *groupe hospitalier* pour *GH*) elles sont groupées ensemble. En revanche, les formes dérivationnelles (comme *traitement restaurateur atraumatique* et *traitement de restauration atraumatique* pour *TRA*) ne sont pas groupées ensemble;

— *Corpus de test*. Le corpus de test comporte les phrases avec les abréviations ambiguës. Au total, le corpus contient 1 665 phrases. 92 des 104 abréviations ambiguës sont présentes dans le corpus de test mais avec des contextes différents. Ces données de référence sont créées manuellement. Pour chaque phrase, la décision sur le bon sens (forme développée) d'une abréviation est prise grâce au contexte de la phrase et, lorsque cela n'est pas suffisant, nous consultons le document duquel est extraite la phrase.

Ainsi, dans le corpus d'entraînement, nous avons les phrases avec les formes étendues (exemple en (3)), alors que, dans le corpus de test, nous avons les phrases avec les abréviations (exemple en (4)).

(3) Déterminer l'efficacité des interventions comportementales pour traiter une dysménorrhée primaire ou secondaire les unes par rapport aux autres, par rapport à un placebo, à l'absence de traitement ou à des traitements médicaux conventionnels, par exemple les anti-inflammatoires non stéroïdiens (AINS).

(4) En raison du caractère limité des résultats soutenant le recours à la neurectomie antéro-sacrée pour la prise en charge de la DP, les risques doivent être rigoureusement mis en balance avec les avantages attendus.

Pour la création de descripteurs, nous n'utilisons pas de connaissances externes mais uniquement les informations contextuelles contenues dans les phrases du corpus. Ainsi, pour chaque sens de chaque abréviation ambiguë, nous cherchons ses contextes dans une fenêtre de cinq mots à gauche et de cinq mots à droite. Lorsque le sens de l'abréviation est suivi de l'abréviation elle-même entre parenthèses, nous ne prenons pas en compte les parenthèses et l'abréviation se trouvant entre parenthèses dans le contexte de cinq mots à droite, mais passons directement au premier mot se trouvant après la parenthèse. Ainsi, dans la phrase *la différence moyenne entre les groupes était de -0,18 LogMAR (intervalle de confiance (IC) à 95 % statistiquement significatif de -0,32 à -0,04)*, les mots du contexte de droite seront à, 95 %, statistiquement, significatif et de. Les mots lexicaux et les mots grammaticaux sont pris en compte. Le contexte est représenté par les lemmes et par les étiquettes syntaxiques des co-occurrences des abréviations. De plus, la position de chaque co-occurrence est également retenue. Par exemple, pour illustrer cette transformation, nous utilisons la phrase en (3) pour la forme étendue *dysménorrhée primaire* de l'abréviation *DP*. Cette phrase produit les descripteurs suivants pour les contextes gauche et droit : *posi1-gauche_un*, *posi1-gaucheDETIFS*, *posi2-gauche_traiter*, *posi2-gauche_VINF*, *posi3-gauche_pour*, *posi3-gauche_PREP*, *posi4-gauche_comportemental*, *posi4-gauche_ADJFP*, *posi5-gauche_intervention*, *posi5-gauche_NCFP*, *posi1-droite_ou*, *posi1-gauche_COO*, *posi2-droite_secondaire*, *posi2-gauche_ADJSIG*, *posi3-droite_le*, *posi3-gauche_DETDPIG*, *posi4-droite_un*, *posi4-gauche_PIFP*, *posi5-droite_par_rapport_aux*, *posi5-gauche_PREP*. Ensuite, pour l'ensemble de descripteurs, nous calculons si un scripteur donné se trouve dans le contexte concerné
d'une occurrence d'une abréviation donnée. Si c'est le cas, la valeur du descripteur est 1 et si non sa valeur est 0. Le même calcul de descripteurs est effectué sur les phrases du corpus de test.

## 3.3 Algorithmes pour l'apprentissage supervisé

Nous exploitons les algorithmes implémentés dans la librairie ScikitLearn (Pedregosa et al., 2011) destinée à l'apprentissage supervisé et non supervisé. Nous avons choisi d'utiliser cinq classificateurs pour un apprentissage supervisé :

- SVM Linear et SVM RBF (Platt, 1998). SVM est un algorithme d'apprentissage supervisé qui peut être utilisé à la fois pour la classification et pour la régression. Ici, nous l'utilisons pour la classification. Il s'agit d'un algorithme qui cherche un hyperplan pour mieux séparer les paramètres des classes. Nous utilisons deux noyaux : linéaire et Gaussien (RBF);

- Decision Tree (Quinlan, 1993). Un arbre de décision est représenté sous la forme d'un arbre, où une décision possible est située à chaque embranchement. Elle est atteinte ou non en fonction des choix effectués à chaque étape de l'arbre;

- MultiLayer Perceptron (Rosenblatt, 1961). Un perceptron multicouche est composé de plusieurs couches dans lesquelles circule une information. Les dernières couches représentent la sortie du système;

- RandomForest (Breiman, 2001). Les forêts d'arbres décisionnels fonctionnent grâce à un apprentissage effectué sur différents arbres de décision entraînés sur des sous-ensembles de données.

L'ensemble de descripteurs (contextes gauche et droit) est exploité avec les algorithmes. Les algorithmes doivent prédire le sens d'une abréviation ambiguë en fonction du contexte où elle apparaît.

## 3.4 Évaluation

L'entraînement est effectué sur le corpus d'entraînement et le test est effectué avec les 1 665 phrases du corpus de test. Sur le corpus d'entraînement, pour chaque abréviation, nous effectuons une validation croisée à 10 plis. En fonction du nombre de sens, les modèles sont bi-classes ou multi-classes. Les modèles créés sur ce corpus d'entraînement sont appliqués et testés sur le corpus de test. Sur le corpus de test, nous gardons uniquement la première prédiction, dont la probabilité est la plus grande, pour chaque occurrence d'abréviation et la comparons avec les données de référence. Nous calculons les mesures d'évaluation classiques (Sebastiani, 2002) : Précision, Rappel et F-mesure dans leurs versions micro. Nous calculons également la moyenne de ces mesures pour chaque algorithme.

Notre *baseline* correspond à la catégorisation des sens dans la catégorie majoritaire. Les résultats de la baseline sont également évalués en termes de Précision, Rappel et F-mesure.

# 4 Résultats

Le tableau 2 indique les résultats obtenus avec une validation croisée à 10 plis sur le corpus d'entraînement. Nous pouvons constater que ces résultats sont assez élevés et que l'algorithme Multi-Layer Perceptron (MLP) obtient de meilleurs résultats avec une F-mesure de 0,888. Les valeurs de Précision et de Rappel sont équilibrées pour les différents algorithmes testés. Ces résultats en validation croisée
sont comparables avec les résultats de l'état de l'art (Liu & Lussier, 2001; Miháltz, 2005). La dernière colonne du tableau indique les performances obtenues avec la *baseline*. Nous voyons que tous les algorithmes exploités montrent des résultats supérieurs à la *baseline*.

<table><caption>TABLE 2: Résultats obtenus sur le corpus l'entraînement par chaque algorithme en validation croisée.</caption><thead><tr><th>Mesure</th><th>SVM Linear</th><th>SVM RBF</th><th>Decision Tree</th><th>MLP</th><th>RandomForest</th><th>Baseline</th></tr></thead><tbody><tr><td>Rappel</td><td>0,885</td><td>0,878</td><td>0,897</td><td>0,905</td><td>0,887</td><td>0,822</td></tr><tr><td>Précision</td><td>0,880</td><td>0,849</td><td>0,887</td><td>0,892</td><td>0,871</td><td>0,822</td></tr><tr><td>F-mesure</td><td>0,877</td><td>0,856</td><td>0,888</td><td>0,895</td><td>0,873</td><td>0,822</td></tr></tbody></table>

Les résultats de désambiguïsation des abréviations dans le corpus de test, obtenus avec différents algorithmes testés, sont présentés dans le tableau 3. Nous voyons que Decision Tree présente les meilleurs résultats avec 0,773 de F-mesure et les valeurs de Précision et de Rappel assez équivalentes. Les autres algorithmes montrent un Rappel beaucoup plus bas, ce qui diminue leurs performances globales. Nous remarquons que les résultats de la *baseline* sont supérieurs aux résultats fournis par les algorithmes.

<table><caption>TABLE 3: Résultats de la désambiguïsation dans le corpus de test.</caption><thead><tr><th>Mesure</th><th>SVM Linear</th><th>SVM RBF</th><th>Decision Tree</th><th>MLP</th><th>RandomForest</th><th>Baseline</th></tr></thead><tbody><tr><td>Rappel</td><td>0,402</td><td>0,398</td><td>0,788</td><td>0,424</td><td>0,402</td><td>0,822</td></tr><tr><td>Précision</td><td>0,797</td><td>0,755</td><td>0,759</td><td>0,763</td><td>0,728</td><td>0,822</td></tr><tr><td>F-mesure</td><td>0,534</td><td>0,524</td><td>0,773</td><td>0,545</td><td>0,518</td><td>0,822</td></tr></tbody></table>

Le tableau 4 indique le nombre d'abréviations qui ont été correctement traitées et désambiguïsées par les différents algorithmes. Nous pouvons voir que Decision Tree arrive à traiter correctement le plus grand nombre d'occurrences (547).

<table><caption>TABLE 4: Nombre total d'occurrences des abréviations classifiées correctement dans le corpus de test.</caption><thead><tr><th>SVM Linear</th><th>SVM RBF</th><th>Decision Tree</th><th>MLP</th><th>RandomForest</th></tr></thead><tbody><tr><td>441</td><td>516</td><td>547</td><td>523</td><td>492</td></tr></tbody></table>

Parmi les abréviations qui sont correctement désambiguïsées avec 100 % de prédictions correctes, nous avons par exemple DIU (diplôme inter universitaire, dispositif intra utérin) et GH (groupe hospitalier, growth hormone). Nous voyons deux raisons principales à cela : (1) les sens de ces deux abréviations ont des sémantiques très éloignées et donc des contextes très différents et (2) ces abréviations ont de nombreux exemples dans les données d'entraînement. Pour ces deux raisons, leur désambiguïsation est facilitée. 18 autres abréviations sont dans ce cas également. De plus, leur désambiguïsation s'avère aisée pour tous les algorithmes testés. Plusieurs autres abréviations montrent des performances variées selon les algorithmes, dont les valeurs peuvent aller de 0 à 100 %. Finalement, pour plusieurs abréviations (comme APS, ASA, HE et TRA), nous n'obtenons
malheureusement pas de bons résultats. Il nous semble que la raison principale est que les exemples pour ces abréviations sont insuffisants voire même absents dans le corpus d'entraînement. Il est donc nécessaire de compléter le corpus d'entraînement avec d'autres occurrences de formes étendues.

Globalement, même si les résultats obtenus sur le corpus de test sont inférieurs à ceux obtenus sur le corpus d'entraînement, ils restent comparables avec les résultats obtenus par d'autres chercheurs dans les travaux existants. Nous pensons que le rappel baisse autant entre la validation croisée dans le corpus d'entraînement et le corpus de test parce que les contextes dans lesquels se trouvent les abréviation et leurs versions étendues sont différents. Ces contextes permettent cependant d'effectuer la désambiguïsation de manière très efficace. Étant donné les résultats obtenus, l'algorithme Decision Tree semble être le plus approprié pour effectuer la tâche de désambiguïsation. Un de ses points forts est de garder les valeurs équilibrées pour la Précision et le Rappel. Nos résultats indiquent cependant qu'il est nécessaire d'apporter plusieurs améliorations à ce travail. L'amélioration la plus importante consiste à enrichir le corpus d'entraînement avec d'autres exemples pour les abréviations et les sens qui n'en disposent pas suffisamment actuellement.

# 5 Conclusion et discussion

Nous avons présenté notre travail sur la désambiguïsation d'abréviations du domaine médical. Après étude des différents moyens pour effectuer la désambiguisation, nous avons proposé d'utiliser une approche par catégorisation supervisée. L'exploitation de ressources sémantiques, comme la terminologie MESHS utilisée dans un travail existant (Stevenson et al., 2009), reste une perspective pour les travaux futurs. De plus, nous disposons d'un nombre assez importants d'exemples. Ainsi, l'entraînement est effectué sur des phrases, obtenues à partir du corpus CLEAR, qui contiennent les formes étendues, et donc non ambiguës, des abréviations. Le test est effectué sur un corpus construit manuellement, où les bons sens des abréviations ont été définis selon leurs contextes phrastiques ou, si nécessaire, la consultation du document d'origine. L'utilisation de ces deux types d'évaluation (validation croisée et corpus de test) montre que, bien que les résultats en validation croisée soient prometteurs, ce n'est pas forcément le cas lorsque le corpus de test est utilisé. L'approche d'apprentissage supervisé (algorithme Decision Tree) montre actuellement une F-mesure moyenne de 0,888 sur le corpus d'entraînement en validation croisée et 0,773 sur le corpus de test. Les résultats montrés par la *baseline*, où l'on assigne les sens à la catégorie majoritaire, sont supérieurs dans le corpus de test. Nous pensons que le déséquilibre entre les catégories devrait être réduit pour disposer de plus d'exemples et obtenir de meilleurs résultats.

Nous avons ainsi plusieurs pistes pour le travail à venir :

- compléter le corpus d'entraînement avec d'autres exemples, notamment tirés de documents médicaux autre que le corpus CLEAR, ce qui permettraient d'améliorer les résultats pour plusieurs abréviations actuellement sous-représentées,

- compléter l'ensemble d'abréviations avec d'autres développements possibles, ce qui peut conduire à l'augmentation de l'ambiguïté de certaines abréviations (plus de sens connus) et à l'augmentation du nombre d'abréviations ambiguës,

- mettre à jour les modèles et créer de nouveaux modèles pour la désambiguïsation d'abréviations.

Finalement, ce système de désambiguïsation sera intégré dans un système plus global dédié à la simplification de textes techniques du domaine médical.
# Remerciements

La présente publication s'inscrit dans le projet CLEAR (*Communication, Literacy, Education, Accessibility, Readability*) financé par l'ANR sous la référence ANR-17-CE19-0016-01. Nous remercions les relecteurs pour leurs remarques constructives.

# Références

BIKEL D. M. (2000). A statistical model for parsing and word-sense disambiguation. In *Proceedings of the 2000 Joint SIGDAT Conference on Empirical Methods in Natural Language Processing and Very Large Corpora: Held in Conjunction with the 38th Annual Meeting of the Association for Computational Linguistics - Volume 13*, EMNLP '00, p. 155–163, USA : Association for Computational Linguistics. DOI: 10.3115/1117794.1117814.

BREIMAN L. (2001). Random forests. *Machine Learning*, **45**(1), 5–32.

BROWN P. F., DELLA PIETRA S. A., DELLA PIETRA V. J. & MERCER R. L. (1991). A statistical approach to sense disambiguation in machine translation. In *Speech and Natural Language : Proceedings of a Workshop Held at Pacific Grove, California, February 19-22, 1991*.

GRABAR N. & CARDON R. (2018). Clear – simple corpus for medical French. In *Workshop on Automatic Text Adaption (ATA)*, p. 1–11.

IDE N. & VÉRONIS J. (1998). Introduction to the special issue on word sense disambiguation : The state of the art. *Computational Linguistics*, **24**(1), 1–40.

KROVETZ R. (2002). On the importance of word sense disambiguation for information retrieval.

LAURENT D., NÈGRE S. & SÉGUÉLA P. (2009). L'analyseur syntaxique Cordial dans Passage. In *Traitement Automatique des Langues Naturelles (TALN)*.

LI H. & LI C. (2004). Word translation disambiguation using bilingual bootstrapping. *Computational Linguistics*, **30**(1), 1–22. DOI: 10.1162/089120104773633367.

LIM L. T. & TANG E. K. (2004). Building an ontology-based multilingual lexicon for word sense disambiguation in machine translation.

LINDBERG D., HUMPHREYS B. & MCCRAY A. (1993). The Unified Medical Language System. *Methods Inf Med*, **32**(4), 281–291.

LIU H. & LUSSIER Y. (2001). Disambiguating ambiguous biomedical terms in biomedical narrative text : An unsupervised method. *Journal of Biomedical Informatics*, **34**, 249–261. DOI: 10.1006/jbin.2001.1023.

MARVIN R. & KOEHN P. (2018). Exploring word sense disambiguation abilities of neural machine translation systems (non-archival extended abstract). In *Proceedings of the 13th Conference of the Association for Machine Translation in the Americas (Volume 1: Research Papers)*, p. 125–131, Boston, MA : Association for Machine Translation in the Americas.

MCINNES B. T., PEDERSEN T. & CARLIS J. (2007). Using umls concept unique identifiers (cuis) for word sense disambiguation in the biomedical domain. *AMIA ... Annual Symposium proceedings. AMIA Symposium*, **2007**, 533–537.

MIHÁLTZ M. (2005). Towards a hybrid approach to word-sense disambiguation in machine translation.
NLM (2015). *Medline : medical literature on-line*. National Library of Medicine, Bethesda, Maryland. www.ncbi.nlm.nih.gov/sites/entrez.

OCDE (2015). *Guide de style de l'OCDE Troisième édition : Troisième édition*. OECD Publishing.

PARAMESWARAPPA S. & NARAYANA V. (2011). Article : Kannada word sense disambiguation for machine translation. *International Journal of Computer Applications*, **34**(10), 1–8. Full text available.

PEDERSEN T. (2001). A decision tree of bigrams is an accurate predictor of word sense. In *Second Meeting of the North American Chapter of the Association for Computational Linguistics*.

PEDREGOSA F., VAROQUAUX G., GRAMFORT A., MICHEL V., THIRION B., GRISEL O., BLONDEL M., PRETTENHOFER P., WEISS R., DUBOURG V., VANDERPLAS J., PASSOS A., COURNAPEAU D., BRUCHER M., PERROT M. & DUCHESNAY E. (2011). Scikit-learn : Machine learning in Python. *Journal of Machine Learning Research*, **12**, 2825–2830.

PLATT J. C. (1998). Fast training of support vector machines using sequential minimal optimization. In *Advances in Kernel Methods - Support Vector Learning* : MIT Press.

QUINLAN J. (1993). *C4.5 Programs for Machine Learning*. San Mateo, CA : Morgan Kaufmann.

ROSENBLATT F. (1961). *Principles of Neurodynamics : Perceptrons and the Theory of Brain Mechanisms*. Washington DC : Spartan Books.

RUEL J., KASSI B. M. A. C. & L. M.-M. S. (2011). *Guide de rédaction pour une information accessible*. Gatineau : Pavillon du Parc.

SEBASTIANI F. (2002). Machine learning in automated text categorization. *ACM Computing Surveys*, **34**(1), 1–47.

SPECIA L. (2005). A hybrid model for word sense disambiguation in english-portuguese machine translation. In *IN PROCEEDINGS OF THE 8TH RESEARCH COLLOQUIUM OF THE UK SPECIAL-INTEREST GROUP IN COMPUTATIONAL LINGUISTICS*, p. 71–78.

STEVENSON M., GUO Y., ALAMRI A. & GAIZAUSKAS R. (2009). Disambiguation of biomedical abbreviations. In *Proceedings of the BioNLP 2009 Workshop*, p. 71–79, Boulder, Colorado : Association for Computational Linguistics.

STOKOE C., OAKES M. P. & TAIT J. (2003). Word sense disambiguation in information retrieval revisited. In *Proceedings of the 26th Annual International ACM SIGIR Conference on Research and Development in Informaion Retrieval*, SIGIR ’03, p. 159–166, New York, NY, USA : Association for Computing Machinery. DOI : 10.1145/860435.860466.

STOKOE C. & TAIT J. (2002). Trec 2002 web track "automated word sense disambiguation for internet information retrieval".

TANG G., SENNRICH R. & NIVRE J. (2018). An analysis of attention mechanisms : The case of word sense disambiguation in neural machine translation. *CoRR*, abs/1810.07595.

UNAPEI (2019). *L'information pour tous*. UNAPEI.

VICKREY D., BIEWALD L., TEYSSIER M. & KOLLER D. (2005). Word-sense disambiguation for machine translation. In *Proceedings of the Conference on Human Language Technology and Empirical Methods in Natural Language Processing*, HLT ’05, p. 771–778, USA : Association for Computational Linguistics. DOI : 10.3115/1220575.1220672.

WHALEY J. M. (1999). An application of word sense disambiguation to information retrieval.
WIDDOWS D., PETERS S., CEDERBERG S., CHAN C.-K., STEFFEN D. & BUITELAAR P. (2003).
Unsupervised monolingual and bilingual word-sense disambiguation of medical documents using
umls. In *Proceedings of the ACL 2003 Workshop on Natural Language Processing in Biomedicine*
- *Volume 13*, BioMed '03, p. 9–16, USA : Association for Computational Linguistics. DOI :
10.3115/1118958.1118960.

WITTEN I. & FRANK E. (2005). *Data mining : Practical machine learning tools and techniques*.
Morgan Kaufmann, San Francisco.

YAROWSKY D. (1993). One sense per collocation. In *Proceedings of the Workshop on Human
Language Technology*, HLT '93, p. 266–271, USA : Association for Computational Linguistics. DOI
: 10.3115/1075671.1075731.

ZHONG Z. & NG H. T. (2012). Word sense disambiguation improves information retrieval. In *Proceedings of the 50th Annual Meeting of the Association for Computational Linguistics : Long Papers - Volume 1*, ACL '12, p. 273–282, USA : Association for Computational Linguistics.

ZHOU X. & HAN H. (2005). Survey of word sense disambiguation approaches.
Apprentissage de plongements de mots sur des corpus en langue
de spécialité : une étude d'impact

Valentin Pelloin Thibault Prouteau

LIUM, Avenue Laennec, 72085 LE MANS, France

valentin.pelloin.etu@univ-lemans.fr,

thibault.prouteau.etu@univ-lemans.fr

RÉSUMÉ

Les méthodes d'apprentissage de plongements lexicaux constituent désormais l'état de l'art pour la représentation du vocabulaire et des documents sous forme de vecteurs dans de nombreuses tâches de Traitement Automatique du Langage Naturel (TALN). Dans ce travail, nous considérons l'apprentissage et l'usage de plongements lexicaux dans le cadre de corpus en langue de spécialité de petite taille. En particulier, nous souhaitons savoir si dans ce cadre, il est préférable d'utiliser des plongements préappris sur des corpus très volumineux tels Wikipédia ou bien s'il est préférable d'apprendre des plongements sur ces corpus en langue de spécialité. Pour répondre à cette question, nous considérons deux corpus en langue de spécialité : OHSUMED issu du domaine médical, et un corpus de documentation technique, propriété de SNCF. Après avoir introduit ces corpus et évalué leur spécificité, nous définissons une tâche de classification. Pour cette tâche, nous choisissons d'utiliser en entrée d'un classifieur neuronal des représentations des documents qui sont soit basées sur des plongements appris sur les corpus de spécialité, soit sur des plongements appris sur Wikipédia. Notre analyse montre que les plongements appris sur Wikipédia fournissent de très bons résultats. Ceux-ci peuvent être utilisés comme une référence fiable, même si dans le cas d'OHSUMED, il vaut mieux apprendre des plongements sur ce même corpus. La discussion des résultats se fait en interrogeant les spécificités des deux corpus, mais ne permet pas d'établir clairement dans quels cas apprendre des plongements spécifiques au corpus.

ABSTRACT

Learning word embeddings on domain specific corpora : an impact study

Word embedding approaches are state of the art in Natural Language Processing (NLP). In this work, we focus on learning word embeddings for small domain-specific corpora. In particular, we would like to know whether word embeddings learnt over large corpora such as Wikipedia perform better than word embeddings learnt on domain specific corpora. In order to answer this question, we consider two corpora : OHSUMED from the medical field, and SNCF, a technical documentation corpus. After presenting the corpora and evaluating their specificity, we introduce a classification task. We use word embeddings learnt on domain-specific corpora or Wikipedia as input for this task. Our analysis demonstrates that word embeddings learnt on Wikipedia achieve excellent results, even though, in the case of OHSUMED, domain specific word embeddings perform better.

MOTS-CLÉS : langue de spécialité, plongements de mots, catégorisation de documents.

KEYWORDS: domain specific, word embeddings, documents categorization.

<figure><img src="image_56.png" /></figure>
# 1 Introduction

Les approches contemporaines en traitement automatique des langues privilégient une représentation des mots au travers de plongements de mots (ou plongements lexicaux) décrits notamment par Mikolov et al. (2013) et Bojanowski et al. (2017). Les plongements lexicaux sont des représentations vectorielles compactes des mots, qui encapsulent les liens sémantiques et syntaxiques présents dans les textes des corpus sur lesquels ils ont été appris. L'apprentissage de plongements de mots s'effectue le plus souvent sur un corpus comportant une grande quantité de documents en langue générale comme Wikipédia (Huang et al., 2012; Liu et al., 2015; Yamada et al., 2018).

Dans notre cas, nous nous concentrons sur la langue de spécialité. La langue de spécialité est celle qui est utilisée pour rendre compte de connaissances sur un sujet ou une discipline spécialisée (Charnock, 1999; Van Der Yeught, 2016; Schmitt, 2002; Condamines, 1997; Chujo & Utiyama, 2006; Paltridge & Starfield, 2016). Par conséquent, le lexique employé est la plupart du temps imposé par la discipline abordée et le vocabulaire employé diffère donc de celui que l'on retrouve dans un corpus non spécialisé. Ainsi, il semble nécessaire, pour représenter efficacement le vocabulaire et les documents de tels corpus, d'apprendre les plongements lexicaux sur ces mêmes corpus. Cependant, la taille de ces corpus est très nettement inférieure à celle de corpus comme Wikipédia, ce qui peut nuire à l'apprentissage des plongements qui repose sur les cooccurrences du vocabulaire. Or, plus le nombre de cooccurrences est faible, moins l'algorithme dispose d'informations pour apprendre une représentation du lexique. De ce fait, on cherche à savoir quelle représentation adopter lorsque l'on traite des données en langue de spécialité : est-il préférable d'utiliser des plongements lexicaux appris sur une grande quantité de données non spécialisés ou sur une faible quantité de données spécialisées ?

Plusieurs études s'intéressent à l'apprentissage de plongements lexicaux sur un corpus spécialisé du domaine médical (El Boukkouri et al., 2019; Lee et al., 2020) en adaptant des modèles appris sur des données en langue générale au domaine médical. Wang et al. (2018) étudient l'apprentissage de plongements lexicaux sur des corpus médicaux et concluent que les plongements lexicaux appris sur un corpus spécialisé capturent mieux les liens sémantiques et syntaxiques que ceux appris sur un corpus non spécialisé. Cet article s'inscrit dans la continuité de ces travaux en proposant une étude sur deux corpus en langue de spécialité : OHSUMED, un corpus issu du domaine médical, et SNCF, un corpus ad hoc de documents techniques. À la différence des approches proposées par (El Boukkouri et al., 2019; Lee et al., 2020) nous décidons de comparer les performances des modèles appris sur des données en langue générale et spécialisée ainsi qu'une spécialisation aussi bien à une tâche de classification de document qu'au domaine spécialisé.

Dans un premier temps, nous tentons d'estimer la spécificité de ces deux corpus automatiquement, à travers plusieurs indicateurs extraits de la littérature et décrits Section 2.1. Ensuite, Section 2.2, nous détaillons le protocole d'apprentissage des plongements de mots sur les corpus spécialisés OHSUMED et SNCF, et sur les corpus non spécialisés. Dans cette même section, nous présentons le protocole mis en oeuvre pour évaluer les performances des différents plongements appris. Ce protocole repose sur une tâche de classification en classes multiples par un réseau neuronal convolutif. Puis, nous décrivons les corpus OHSUMED et SNCF Section 3. Enfin, nous détaillons Section 4 les résultats avant de conclure et de discuter des perspectives de ce travail en cours.

# 2 Méthodologie

L'objectif de ce travail est de savoir, si utiliser des plongements de mots préappris sur des corpus très volumineux tels que Wikipédia est préférable à l'utilisation de plongements lexicaux appris sur nos
corpus en langue de spécialité.

Avant de détailler nos expérimentations sur les plongements lexicaux dans le cadre d'une utilisation
sur un corpus spécialisé, nous commençons par définir ce qu'est un corpus spécialisé et présentons
quelques indicateurs de la spécialité d'un corpus.

## 2.1 Estimer la spécificité

Le contenu des textes d'un corpus spécialisé correspond à un domaine particulier et s'adresse aux
initiés dudit domaine. De plus, le domaine impose le vocabulaire et le style employé (Charnock, 1999;
Van Der Yeught, 2016).

**Analyse du destinataire.** Les corpus spécialisés ont la particularité d'être à destination d'un groupe limité d'individus. Dans le cas du corpus SNCF les documents sont destinés aux agents de l'entreprise. Concernant le corpus OHSUMED, les documents sont des *abstracts* d'articles scientifiques sur des maladies, ceux-ci sont destinés à des médecins et chercheurs en médecine.
Cette observation faite, on peut s'interroger sur le niveau d'expertise de la cible et son impact sur le lexique employé. Les documents à destination d'un public expert contiennent-ils plus de termes apparentés au jargon que ceux destinés à des néophytes ? Nous présentons ci-après plusieurs indicateurs sur le lexique.

**Analyse du lexique.** D'après Cressot & James (1996), le style d'un corpus peut se résumer aux choix réalisés par les auteurs lors de l'écriture des documents du corpus, ainsi, la lexicologie, la grammaire et la syntaxe peuvent entre autres permettre de décrire ce style. Nous étudions le style des documents en choisissant une approche lexicale restreinte au vocabulaire employé et à la taille des phrases.

Nous calculons pour un corpus spécialisé (resp. non spécialisé) la couverture de son vocabulaire par un dictionnaire en langue commune (Éq. 1 et 2). Cela constitue un indicateur permettant d'évaluer à quel point le vocabulaire d'un corpus supposé spécialisé est différent du vocabulaire d'un corpus non spécialisé. Cette méthode est un premier estimateur facile à calculer. Néanmoins, il ne prend pas en compte la terminologie employée pouvant avoir un sens ou une connotation différente dans la langue de spécialité (Cabré, 2002).

Pour calculer la *couverture*, nous nous dotons d'un dictionnaire de mots pour la langue commune. Dans notre cas, nous utilisons les livres français de la bibliothèque du projet Gutenberg<fnref n="1" />, composée de 60.000 livres numérisés. Un dictionnaire a été construit à partir de ces textes par Pythoud (1998). Concernant le vocabulaire anglais, nous utilisons le vocabulaire fourni par le modèle de langage EN_CORE_WEB_LG de Honnibal & Montani (2017) présent dans SPACY. La mesure de couverture peut se calculer à deux niveaux : soit en ne considérant qu'une seule occurrence de chaque mot (vocabulaire, Éq. 1), soit en considérant chaque occurrence d'un mot (Éq. 2). Le ratio de couverture pour un corpus *C* par rapport à un dictionnaire *D* est calculé comme suit :

<footnote n="1">1. https://www.gutenberg.org</footnote>
$$ \text{Couv}_{\text{voc}}(C|D) = \frac{|V_C \cap V_D|}{|V_C|} \qquad (1) $$
$$ \text{Couv}_{\text{occ}}(C|D) = \frac{\sum_{w_i \in V_C \cap V_D} \#w_i C}{\#C} \qquad (2) $$

avec $V_X$ le vocabulaire du corpus $X$, $\#X$ le nombre d'unités lexicales du corpus $X$ et $\#_m X$ le nombre d'occurrences de l'unité lexicale $m$ dans le corpus $X$.

Cet indicateur permet de comparer deux corpus selon leur couverture lexicale. Ainsi, si la couverture au niveau vocabulaire ou au niveau occurrence d'un corpus $C_A$ est plus élevée que celle d'un autre corpus $C_B$, cela indique que le corpus $C_B$ fait appel à moins de mots non spécialisés que le corpus $C_A$.

Étudier la couverture du vocabulaire par un dictionnaire donne une première idée du lexique utilisé dans un corpus. Néanmoins, cette mesure demeure relativement naïve puisqu'elle est dépendante du dictionnaire utilisé. On propose donc d'étudier la diversité du lexique qui peut être estimée à partir du type-token ratio (TTR) : le ratio entre la taille du vocabulaire d'un document et le nombre d'unités lexicales. Cependant, si le nombre d'unités lexicales d'un corpus croît linéairement selon sa taille, la taille du vocabulaire suit une loi différente, la Heap law (Herdan, 1960). Le TTR ne permet ainsi pas de comparer deux corpus de taille différente. Pour corriger cela, l'indice measure of textual lexical diversity (MTLD) permet d'estimer la diversité lexicale des documents d'un corpus indépendamment de la taille de ces corpus (Mccarthy, 2006; McCarthy & Jarvis, 2010; Torruella & Capsada, 2013). Pour ce faire, le document est divisé en $n$ échantillons d'unités lexicales consécutives de façon à obtenir un seuil de TTR fixé (usuellement $TTR = 0.72$). La valeur de MTLD est ensuite le ratio entre $n$ et la taille $|D|$ du document. Plus l'indice de diversité lexicale est important, plus le lexique employé dans les documents est large.

**Analyse de la lisibilité.** La lisibilité est définie comme la facilité avec laquelle un lecteur peut comprendre un texte écrit. Son contenu (complexité du vocabulaire et de la syntaxe) et sa présentation permettent de la mesurer. Plusieurs mesures de lisibilité de textes existent. Ces métriques n'utilisent pas les mêmes informations pour qualifier la lisibilité d'une phrase. Nous avons donc décidé d'utiliser les métriques SMOG et ARI qui sont complémentaires : cela permet de mesurer l'influence de la longueur des mots et des phrases sur la lisibilité.

La mesure de lisibilité SMOG définie par GH (1969) pour caractériser la readability, c.-à-d. la difficulté qu'aura un lecteur à comprendre un document, fait l'hypothèse qu'il est possible d'estimer la complexité du document à partir du nombre de mots polysyllabiques. SMOG repose sur le nombre de mots contenant trois syllabes ou plus dans chaque échantillon (Éq. 3). Cette mesure correspond au nombre théorique d'années d'éducation nécessaire pour comprendre un texte. Nous calculons le score SMOG en sélectionnant aléatoirement 1000 échantillons de 30 phrases dans le corpus. Le résultat obtenu est la moyenne des scores SMOG pour ces 1000 échantillons.

$$ \text{SMOG}(S) = 1.0430\sqrt{|\text{polysyllabes}_S|} + 3.1291 \qquad (3) $$

avec $S \subset C$ un échantillon du corpus $C$ pour lequel nous calculons le score SMOG, polysyllabes$_S$ les mots avec 3 syllabes ou plus dans $S$.
D'une langue à l'autre, il existe des variations dans l'utilisation des mots polysyllabiques. Par exemple, Contreras et al. (1999) montrent que sur des corpus parallèles en français et en anglais, le score SMOG est toujours plus faible en anglais. À partir de ce constat, ils introduisent un cadre permettant de comparer le score SMOG obtenu sur deux corpus qui ne sont pas écrits dans la même langue. Ainsi, pour comparer un score SMOG obtenu sur un corpus français avec celui d'un corpus anglais, on applique la formule 4.

$$ SMOG(En) = -1,35 + 0,17 \times SMOG(Fr) \quad (4) $$

La mesure de lisibilité ARI telle que définie par Senter & Smith (1967) fournit, comme SMOG, une estimation du nombre d'années d'éducation nécessaire pour comprendre un document. Cette métrique est calculée à partir du nombre de caractères, de mots, et de phrases pour un corpus C :

$$ ARI(C) = 4.71 \left( \frac{\text{caractères}_C}{\text{mots}_C} \right) + 0.5 \left( \frac{\text{mots}_C}{\text{phrases}_C} \right) - 21.43 \quad (5) $$

Cette mesure a été construite pour des documents en anglais, les résultats pour les documents du corpus SNCF en français sont donc donnés à titre indicatif.

## 2.2 Apprentissage de plongements lexicaux et classification

**Plongements lexicaux.** Pour chaque corpus spécialisé (OHSUMED et SNCF) ou corpus non spécialisé, on apprend un ensemble de plongements de mots à l'aide de l'algorithme CBOW, tel que présenté par Mikolov et al. (2013). Chaque mot est représenté par un vecteur de dimension 300. Ces vecteurs sont construits à partir d'une fenêtre de contexte de 5 mots, avec un minimum de 1 ou 2 occurrences de chacun des mots du vocabulaire des corpus, selon la taille du corpus utilisé. Nous utilisons un échantillonnage négatif (negative sampling). Les autres paramètres sont ceux recommandés et initialisés par défaut dans l'implémentation Gensim (Řehůřek & Sojka, 2010). On désigne dans la suite de l'article les plongements appris sur les corpus non spécialisés comme plongements génériques.

**Classification.** Les documents des corpus OHSUMED et SNCF à notre disposition sont catégorisés en classes spécifiant le thème du document en question (voir Section 3). L'objectif est d'apprendre un classifieur capable de retrouver ces classes automatiquement. Nous choisissons un classifieur de type réseau de neurones convolutif particulièrement adapté à la classification de documents représentés par des plongements lexicaux. Nous faisons l'hypothèse que le réseau de neurones obtiendra de meilleures performances si les plongements en entrée sont les plus adaptés à la tâche. Ainsi, nous comparons Section 4.4 les résultats obtenus avec le classifieur en fonction des plongements utilisés : spécialisés ou génériques. L'architecture de ce réseau est détaillée ci-dessous. Les corpus sont séparés en corpus d'apprentissage (TRAIN), en corpus de développement afin d'adapter les hyperparamètres (DEV), et en corpus d'évaluation (TEST). Cette séparation est réalisée de façon stratifiée : les proportions de chacune des classes sont préservées dans les corpus de TRAIN, DEV et TEST.
**Architecture des modèles.** L'architecture des modèles de classification appris est similaire à celle introduite par Kim (2014) et décrite Figure 1. Chaque document est représenté par la concatenation verticale des plongements des mots du document. Cette représentation est de taille fixe, il s'agit des 3 000 premiers mots de chaque document. Si un document est plus long que cette limite il sera tronqué, s'il est plus court, alors la matrice sera complétée par des 0 (padding). Ensuite, l'architecture intègre deux blocs de convolution. Chacun de ces blocs contient : une convolution, une normalisation par lot (batch normalisation), une couche d'activation ReLU (Hahnloser et al., 2000) et une couche de max-pooling. En sortie des convolutions, le réseau est constitué de trois couches linéaires (feed forward), suivies d'une fonction softmax afin d'obtenir une distribution de probabilité pour les classes possibles. La dernière couche linéaire comporte autant de neurones que le niveau de classification comporte de classes. Les deux premières comportent respectivement 250 et 100 neurones. Un abandon (dropout, (Hinton et al., 2012)) de $p = 0.2$ est réalisé sur ces deux couches. Nous utilisons un optimiseur ADAM (Kingma & Ba, 2015). Afin de réduire le taux de surapprentissage, nous réalisons une régularisation des poids (weight decay, Weigend et al. (1991)), ainsi qu'un early stopping qui arrête l'apprentissage lorsque l'erreur sur le corpus de DEV augmente. Enfin, le pas d'apprentissage est réduit au fil du temps.

<figure><img src="image_57.png" /><figcaption>FIGURE 1 – Architecture de nos modèles de classification.</figcaption></figure>

Lors de l'étape de *rétropropagation* (backpropagation en anglais) du gradient, deux choix sont possibles : faire la mise à jour des poids sur les couches linéaires et sur les blocs de convolution sans toucher aux plongements (non *trainable*), ou faire la mise à jour des poids jusqu'à la couche des plongements de mots afin de spécialiser ces plongements pour la tâche (*trainable*). Ces deux méthodes de *rétropropagation* sont utilisées dans nos expérimentations.

Nous apprenons un modèle pour chaque corpus, en utilisant en entrée soit les plongements appris sur le corpus spécialisé, soit les plongements appris sur Wikipédia (générique), et avec les deux modes de rétropropagation. Cela représente ainsi 12 modèles distincts, dont nous avons adapté les hyperparamètres à l'aide du corpus DEV.

**Métriques utilisées.** Nous utilisons le F1-score, qui est la moyenne harmonique du rappel et de la précision. Notre classification étant en classes multiples, nous reportons la moyenne des résultats obtenus individuellement pour chaque classe. Les deux méthodes les plus courantes sont les moyennes *Micro* et les moyennes *Macro*. Les *Micro*-moyennes accordent autant de poids à chacun des documents, tandis que les *Macro*-moyennes ne pondèrent que par le nombre de classes. Ainsi, dans le cas d'un corpus comportant des classes disproportionnées, le modèle obtiendra facilement une *Micro*-moyenne équivalente à la proportion de la classe la plus probable. Nos classes étant disproportionnées, nous utilisons la mesure *Macro*-moyenne.
**Significativité des résultats.** Notre apprentissage est non déterministe. Ainsi, pour garantir la pertinence des résultats reportés, les expérimentations sont réalisées 10 fois pour chaque configuration. Nous calculons ensuite des intervalles de confiance à 95% pour chaque métrique pour toutes les expériences. Au total, nous avons construit 120 modèles de classification pour l'ensemble de nos corpus, 10 pour chacune des 12 configurations décrites dans le paragraphe précédent.

# 3 Corpus utilisés

Nous disposons de deux corpus de documents en langue de spécialité annotés en classes : le corpus SNCF (Section 3.1) et le corpus OHSUMED (Section 3.2). Nous utilisons le corpus Wikipédia comme un corpus en langue non spécialisée (Section 3.3).

## 3.1 Le corpus SNCF

Il s'agit d'un corpus de documents textuels introduit par Dugué *et al.* (2019), en français, privé, appartenant à SNCF. Les documents ont été rédigés par des agents SNCF ou des acteurs du domaine ferroviaire. Ce corpus contient 7 255 documents techniques sur deux domaines : les ressources humaines (définition des différents régimes indemnitaires ou de congés, gratifications, bilan social, etc.) et les opérations (description des manoeuvres dans les gares, consignes de desserte des trains, service de circulation, etc.). Initialement au format PDF, ces documents ont été convertis en documents texte à l'aide de l'outil PDFTOTEXT. Au total, 19 millions d'unités lexicales sont présentes au sein de ce corpus, pour un vocabulaire de 77 mille mots.

Afin de mieux structurer son fonds documentaire, SNCF possède un système de classification hiérarchique de ces documents. Dans nos expérimentations, nous considérons deux niveaux de classification différents. Le premier niveau contient 8 classes, indiquant le thème général du document. Nous notons que la répartition des documents selon ces huit classes est déséquilibrée. En effet, 4 de ces 8 classes représentent 99.8% des documents. Le second niveau de classification, quant à lui, caractérise le sous-thème du document. Celui-ci est composé de 49 classes, avec une distribution très déséquilibrée des documents au sein de ces classes : 97.2% des documents sont représentés par seulement 11 classes.

Nous divisons le corpus SNCF en 3 sous-corpus de façon stratifiée : entraînement TRAIN, développement DEV et TEST, selon les proportions respectives suivantes : 0.60, 0.20, 0.20.

## 3.2 Le corpus OHSUMED

Le corpus OHSUMED (Hersh *et al.*, 1994) est un corpus public extrait de la base de données MEDLINE, disponible librement et composé de documents textuels en anglais. Ce corpus contient 23 166 abstracts d'articles scientifiques relatifs à différents types de maladies (maladies cardiovasculaires, infections bactériennes, maladies du système digestif, etc.). Ces abstracts ont été rédigés par et à destination de médecins et chercheurs en médecine.

Le corpus contient 23 classes, 16 classes couvrent 90% des documents du corpus. Au total, 4 millions d'unités lexicales sont présentes dans le corpus pour un vocabulaire de 49 mille mots.
Les données du corpus OHSUMED sont séparées en 3 sous-corpus : entraînement TRAIN, développement DEV et TEST selon les proportions décrites dans Joachims (1998) : 0.45, 0.05, 0.50.
## 3.3 Corpus génériques

Les documents des corpus spécialisés à notre disposition sont en français (SNCF) et anglais (OHSUMED). Ainsi, il est nécessaire de disposer également de deux corpus non spécialisés composés pour l'un de documents en français et pour l'autre de documents en anglais. Nous avons pour cela utilisé deux corpus provenant de dumps Wikipédia. Un dump de Wikipéda est une sauvegarde complète de toute la base de données du site à un instant t. Ces données sont par la suite prétraitées, afin de ne garder que le texte. Ces corpus sont, en comparaison avec les corpus SNCF et OHSUMED, considérés en langue courante : leur contenu se veut non spécialisé, et n'est pas restreint à un domaine en particulier.

Le premier dump provient de la version anglaise de Wikipédia, enregistrée en mars 2006. Il s'agit du corpus TEXT8². Celui-ci n'est composé que des 100 premiers méga-octets du dump original au format texte. Il contient ainsi 17 millions d'occurrences de mots, et un vocabulaire de 253 mille mots. Le second provient d'un dump du Wikipédia français de 2015. Ce corpus s'appelle FR_WIKI_NONLEM (Fauconnier, 2015). Il contient 600 millions d'occurrences de mots, avec un vocabulaire de 191 mille mots.

Afin d'uniformiser les noms de ces corpus, nous nommons par la suite le corpus non spécialisé anglais Wiki-EN et le corpus non spécialisé français Wiki-FR.

# 4 Expériences et Résultats

## 4.1 Mesure de la couverture du corpus par dictionnaire

Les dictionnaires choisis pour étudier le vocabulaire d'après l'approche décrite Section 2.1 sont : un dictionnaire français (Pythoud, 1998) pour SNCF, et un dictionnaire anglais issu du modèle de langage EN_CORE_WEB_LG de SPACY (Honnibal & Montani, 2017) pour le corpus OHSUMED. Le dictionnaire français est extrait du corpus Gutenberg et possède un nombre de mots dans son vocabulaire trois fois supérieur au dictionnaire en anglais issu du modèle de langage de SPACY.

<table><caption>TABLE 1 – Couverture du vocabulaire des corpus par deux dictionnaires génériques.</caption><thead><tr><th rowspan="2"></th><th colspan="2">Dictionnaire Français</th><th colspan="2">Dictionnaire Anglais</th></tr><tr><th>SNCF</th><th>Wiki-FR</th><th>Ohsumed</th><th>Wiki-EN</th></tr></thead><tbody><tr><th>Couv<sub>occ</sub></th><td>93.2%</td><td>93.8%</td><td>96.8%</td><td>98.8%</td></tr><tr><th>Couv<sub>voc</sub></th><td>32.6%</td><td>72.7%</td><td>60.4%</td><td>54.8%</td></tr></tbody></table>

Les comparaisons des couvertures des unités lexicales des corpus spécialisés et corpus non spécialisés par rapport aux dictionnaires sont données dans la Table 1.

La même expérience a été réalisée en utilisant le vocabulaire appris lors de la construction des plongements sur les corpus non spécialisés. Ce vocabulaire ne contient que les mots apparaissant au moins 2 fois pour le corpus Wiki-FR, 3 pour Wiki-EN. Ces résultats sont présentés dans la Table 2.

<footnote n="2">2. Matt Mahoney 2006; About the Test Data – http://mattmahoney.net/dc/textdata.html</footnote>
<table><caption>TABLE 2 – Couverture du vocabulaire des corpus par les plongements de mots génériques. Les valeurs notées d'un astérisque* sont directement liées au nombre minimum d'occurrences défini pour qu'un mot soit comptabilisé dans l'espace de représentation.</caption><thead><tr><th rowspan="2"></th><th colspan="2">Plongements Wiki-FR</th><th colspan="2">Plongements Wiki-EN</th></tr><tr><th>SNCF</th><th>Wiki-FR</th><th>Ohsumed</th><th>Wiki-EN</th></tr></thead><tbody><tr><th>Couv<sub>occ</sub></th><td>91.6%</td><td>99.9%*</td><td>93.3%</td><td>98.9%*</td></tr><tr><th>Couv<sub>voc</sub></th><td>34.0%</td><td>88.3%*</td><td>47.7%</td><td>39.4%*</td></tr></tbody></table>

D'après les calculs de couverture, le corpus OHSUMED est bien couvert (vocabulaire et nombre d'occurrences) par le dictionnaire et les plongements lexicaux génériques au regard des résultats obtenus pour le corpus non spécialisé (Wiki-EN). Il semble donc que le corpus OHSUMED comporte principalement du vocabulaire commun. Cette part plus importante de vocabulaire commun peut-être liée au fait que le corpus est composé d'abstracts scientifiques contenant les termes principaux utilisés dans chaque article. Concernant le corpus SNCF, la couverture du vocabulaire est faible au regard des résultats obtenus pour le corpus non spécialisé (Wiki-FR) aussi bien lors de la comparaison au dictionnaire que celle avec les plongements lexicaux. Le vocabulaire SNCF semble donc spécialisé. Par ailleurs, on observe que le vocabulaire du corpus non spécialisé français (Wiki-FR) est mieux couvert que celui du corpus non spécialisé anglais (Wiki-EN), alors que la couverture en occurrences est plus forte sur le corpus non spécialisé anglais (Wiki-EN) (Table 1). Cela peut provenir de la différence de taille des deux corpus.

**Exemples de mots hors vocabulaires les plus fréquents.** Les mots hors vocabulaires du dictionnaire les plus fréquents dans le corpus SNCF sont surtout des acronymes, spécialisés du domaine SNCF : AC, PN, SGTC, etc. Ceux non couverts issus du corpus Wiki-FR portent eux sur des noms propres : France, Europe, Charles, Paul, etc. En ce qui concerne le corpus OHSUMED, les mots non couverts par le dictionnaire anglais portent sur des noms de maladies ou de termes médicaux : postoperatively, immunohistochemical, ou encore histopathologic. Les unités lexicales non couvertes du corpus Wiki-EN sont en grande majorité des commandes LATEX. Cela semble montrer un problème de nettoyage des données du corpus anglais générique utilisé.

Nous retrouvons globalement les mêmes termes lors de l'analyse en utilisant un dictionnaire extrait des plongements lexicaux. Ces unités lexicales non couvertes sont donc en majorité des termes propres au domaine du corpus spécialisé en question.

## 4.2 Mesure de diversité lexicale

Nous calculons dans un second temps le score de diversité lexicale MTLD (Tab. 3) décrit dans la Section 2.1 : plus ce score est élevé, plus le vocabulaire employé dans les documents du corpus est varié. Tout d'abord, la diversité lexicale du corpus SNCF est faible, ce corpus devrait donc être plus aisément couvert par le dictionnaire. Or, nous montrons (Tab. 1) que le vocabulaire du corpus SNCF n'est pas bien couvert par le dictionnaire français (pourtant 3 fois plus grand que celui de l'anglais). Cela semble indiquer que de nombreux termes spécialisés sont employés dans le corpus SNCF. Dans le cas du corpus OHSUMED, la diversité lexicale est importante. Néanmoins, la couverture du vocabulaire du corpus OHSUMED par le dictionnaire anglais est bonne. Le vocabulaire employé est donc peut-être moins spécialisé que celui des documents du corpus SNCF. Le corpus SNCF semble donc plus spécialisé en termes de lexique

<table><caption>TABLE 3 – Scores de diversité lexicale MTLD pour chaque corpus.</caption><thead><tr><th>Corpus</th><th>MTLD</th></tr></thead><tbody><tr><td>SNCF</td><td>39.7</td></tr><tr><td>Wiki-FR</td><td>42.9</td></tr><tr><td>Wiki-EN</td><td>54.2</td></tr><tr><td>OHSUMED</td><td>66.5</td></tr></tbody></table>
qu'OHSUMED, de par son vocabulaire moins couvert et moins diversifié.

## 4.3 Mesure de lisibilité des corpus

Les scores de lisibilité ont été calculés à l'aide de la bibliothèque python PY-READABILITY-METRICS<fnref n="3" />. La mesure SMOG définie Section 2.1 pour le corpus SNCF est ensuite convertie pour obtenir le score équivalent en anglais (Éq. 4). Les indices SMOG et ARI sont présentés pour les deux corpus dans la table 4. Le corpus SNCF et le corpus OHSUMED obtiennent des scores SMOG et ARI aussi élevés, ce qui indique qu'ils sont difficilement lisibles. Le score SMOG pour le corpus SNCF est converti en anglais (score brut en français : SMOG(FR) = 22). La mesure ARI ne possède pas de coefficients de conversion du français vers l'anglais. Nous présentons ainsi les résultats bruts pour ARI. À titre de comparaison, nous donnons les scores SMOG et ARI pour la Déclaration universelle des droits de l'homme (DUDH) ainsi que SMOG pour plusieurs ouvrages en anglais. On observe que les phrases sont en moyenne plus longues dans le cas du corpus SNCF (≈29 mots/phrase) mais les mots contiennent en moyenne moins de syllabes (≈1.5 syllabe/mot). Le nombre de syllabes est en moyenne plus important pour le corpus OHSUMED (≈1.9 syllabe/mot) ce qui explique que le score SMOG plus important. Les scores de lisibilité semblent montrer que les corpus SNCF et OHSUMED sont bien spécialisés par le style utilisé dans la rédaction des documents qui les composent (longueur des phrases et nombre de syllabes des termes utilisés).

## 4.4 Résultats de classification

Nous présentons dans les Figures 2 et 3 les résultats de la classification en Macro-F1-score en au cours de l'apprentissage sur le corpus SNCF, tandis que la Figure 4 concerne la classification sur le corpus OHSUMED.

Ces résultats sont présentés sur les corpus de DEV afin de présenter l'évolution de l'apprentissage et non les résultats finaux. En fin d'apprentissage, les résultats obtenus sur les corpus DEV sont proches, et suivent la même tendance que ceux obtenus sur les corpus TEST.

<table><caption>TABLE 4 – Scores SMOG et ARI pour les corpus SNCF (FR) et OHSUMED (EN).
*Conversion du score FR-EN, † résultats issus de Jakobsen & Skardal (2007), ‡ résultats issus de Contreras et al. (1999).</caption><thead><tr><th>Corpus</th><th>SMOG</th><th>ARI</th></tr></thead><tbody><tr><td>SNCF</td><td>15.6*</td><td>16.4</td></tr><tr><td>OHSUMED</td><td>17</td><td>15.6</td></tr><tr><td><i>DUDH</i> †</td><td>13</td><td>9.3</td></tr><tr><td>Don Quichote‡</td><td>11.24</td><td>-</td></tr><tr><td>La Bible‡</td><td>9.35</td><td>-</td></tr><tr><td>Blanche-Neige‡</td><td>6.72</td><td>-</td></tr></tbody></table>

### 4.4.1 Sur le corpus SNCF

Nous pouvons tout d'abord observer qu'apprendre un classifieur en utilisant les plongements de mots spécialisés– ceux appris sur SNCF – sans faire la rétropropagation sur ces plongements conduit aux plus mauvais résultats (courbes discontinues avec des marqueurs losanges). Ceux-ci convergent moins vite, et obtiennent des résultats inférieurs aux autres.

Ensuite, les classifieurs entraînés avec les plongements génériques (appris sur le corpus Wikipédia français, marqueurs en forme de croix) convergent globalement rapidement, mais pas aussi bien que les modèles de classification appris avec les représentations spécialisées qui bénéficient de l'option trainable. Ces modèles convergent plus rapidement vers un meilleur Macro-F1-score. Dans le cas du premier niveau de classification, ce modèle n'apporte cependant pas de résultats finaux meilleurs que ceux appris avec les plongements lexicaux non spécialisés (marqueurs en forme de croix), ceux-ci

<footnote n="3">3. https://pypi.org/project/py-readability-metrics/</footnote>
<figure><img src="image_58.png" /><figcaption>FIGURE 2 – *Macro-F1-score* sur le corpus DEV au cours de l’apprentissage du premier niveau de la classification du corpus SNCF. Intervalle de confiance à 95%.</figcaption></figure>

sont équivalents.

Il faut donc faire la rétropropagation de l’erreur en *trainable*. Apprendre des représentations spécialisées n’apporte pas de gain notable, il semble donc préférable d’utiliser des plongements pré-appris.

<figure><img src="image_59.png" /><figcaption>FIGURE 3 – *Macro-F1-score* sur le corpus DEV au cours de l’apprentissage du second niveau de la classification du corpus SNCF. Intervalle de confiance à 95%.</figcaption></figure>

### 4.4.2 Sur le corpus OHSUMED

Les modèles appris avec les plongements de mots spécialisés obtiennent des résultats significativement meilleurs que ceux obtenus avec des plongements génériques. Cette différence est bien plus prononcée sur le corpus OHSUMED qu’elle ne l’est sur le corpus SNCF. Pourtant, le corpus OHSUMED est cinq fois plus petit que le corpus SNCF, et apprendre une représentation correcte du vocabulaire de ce corpus semble intuitivement plus difficile que pour le corpus SNCF.

D’après l’indicateur de *couverture* (Section 2.1), le corpus SNCF semble plus spécialisé que le corpus OHSUMED, et pourtant c’est pour OHSUMED qu’il

est plus pertinent d’apprendre des plongements spécialisés. Ces résultats vont donc à l’encontre des intuitions que nous pouvons avoir à l’issue de la Section 2.1. En revanche, ces résultats confirment qu’il est préférable de mettre à jour les plongements de mots lors de l’apprentissage de la tâche de classification (courbes continues *trainable*).

<figure><img src="image_60.png" /><figcaption>FIGURE 4 – *Macro-F1-score* sur le corpus DEV au cours de l’apprentissage de la classification du corpus OHSUMED. Intervalle de confiance à 95%.</figcaption></figure>

## 5 Conclusion et perspectives

Dans cet article, nous cherchons à déterminer quels types de plongements utiliser lorsque l’on considère des documents issus d’un corpus en langue de spécialité. En effet, il est possible d’utiliser des plongements préappris sur un corpus plus volumineux tel que Wikipédia, ou bien d’apprendre des plongements sur le corpus spécialisé de taille réduite. Pour mener à bien nos expérimentations, nous utilisons deux corpus en langue de spécialité, OHSUMED et SNCF. Nous détaillons dans un
premier temps quelques indicateurs pour tenter d'estimer le degré de spécialité de ces corpus, par ex. la *couverture* du vocabulaire, la diversité du lexique et des scores de lisibilité. On constate que le vocabulaire du corpus SNCF semble particulièrement *spécialisé*, il est très peu couvert par les dictionnaires alors qu'il est moins varié. Le corpus OHSUMED est lui plutôt bien couvert. Par ailleurs, nous montrons avec les scores de lisibilité que ces corpus semblent complexes, c.-à-d. construits avec des phrases longues et de nombreux mots polysyllabiques, en particulier pour OHSUMED. Enfin, le corpus OHSUMED est cinq fois plus petit que le corpus SNCF au regard du nombre d'unités lexicales, il semble donc plus difficile d'obtenir des plongements de bonne qualité sur ce corpus.

Nous apprenons ensuite à catégoriser les documents de ces corpus en utilisant en entrée de nos classifieurs soit des plongements appris sur des corpus Wikipédia (générique), soit des plongements appris sur le corpus considéré *spécialisé*. Il s'agit de voir quels types de plongements sont les plus efficaces pour résoudre ce problème. Les résultats confirment les travaux de Wang *et al.* (2018) sur les corpus médicaux : dans le cas d'OHSUMED, les résultats sont meilleurs avec des plongements appris sur ce même corpus. Pourtant, ce corpus est plus petit que SNCF et son vocabulaire mieux couvert avec un dictionnaire classique. En revanche, dans le cas de SNCF, les plongements appris sur ce dernier ne sont pas plus performants que ceux appris sur Wikipedia. Le corpus est pourtant moins bien couvert, et de plus grande taille.

Il est donc difficile de conclure avec ces résultats préliminaires. Nous pouvons tout de même dire que des plongements appris sur un corpus non spécialisé permettent d'obtenir une *baseline* de bonne qualité, même si dans le cas d'OHSUMED, réapprendre les plongements améliore les résultats. Par ailleurs, il est nécessaire de faire la *rétropropagation* jusqu'à la couche de plongements lexicaux. Spécialiser les plongements pour la tâche garantit de bons résultats pour la classification. Enfin, la *couverture*, la *lisibilité* ou la *taille* du corpus ne semblent pas être des indicateurs suffisants pour pouvoir décider s'il faut ou non apprendre des plongements *spécialisés*. Par exemple, de façon contre-intuitive, même si l'on dispose de peu de cooccurrences sur OHSUMED, il vaut mieux apprendre des plongements sur ce corpus pour classifier ses documents. Et même si le vocabulaire de SNCF semble plus *spécialisé*, contre-intuitivement, des plongements appris sur un corpus non spécialisé obtiennent de bons résultats.

En perspective, il s'agirait bien entendu de reproduire cette étude sur d'autres corpus. Dans notre étude, nous disposons de deux corpus en langue différente, et cela peut fragiliser nos conclusions : les dictionnaires sont différents, les corpus Wikipédia également. De plus, pour mieux caractériser la spécificité des corpus, nous pourrions utiliser d'autres indicateurs. Par exemple, la couverture des acronymes et abréviations à l'aide d'un lexique, la distribution des étiquettes morphosyntaxiques (POS), ou encore la distribution des transitions entre ces étiquettes semblent être des estimateurs utiles (Campbell & Johnson, 2001). Par ailleurs, il serait également intéressant d'étudier les effets possibles de la terminologisation en nous basant sur des ontologies spécialisées au domaine des corpus traités. Enfin, il serait également intéressant de comparer les espaces appris par la méthode de plongements afin d'étudier de manière qualitative ce qui différencie les plongements appris sur les corpus *spécialisés*, des plongements appris sur les corpus non *spécialisés*.

# 6 Remerciements

Ces travaux ont été financés dans le cadre du partenariat entre SNCF I&R et le LIUM. Nous remercions particulièrement L. Lefeuvre de nous avoir autorisé à mener ces travaux et l'équipe du LIUM (N. Dugué, N. Camelin et J. Wottawa) pour leurs conseils avisés.
Références

BOJANOWSKI P., GRAVE E., JOULIN A. & MIKOLOV T. (2017). Enriching Word Vectors with Subword Information. *Transactions of the Association for Computational Linguistics*. DOI: 10.1162/tacl_a_00051.

CABRÉ M. T. (2002). Terminologie et dictionnaires. *Meta*. DOI: 10.7202/002182ar.

CAMPBELL D. A. & JOHNSON S. B. (2001). Comparing syntactic complexity in medical and non-medical corpora. In *Proceedings / AMIA ... Annual Symposium. AMIA Symposium*, p. 90–94 : American Medical Informatics Association.

CHARNOCK R. (1999). Les langues de spécialité et le langage technique : considérations didactiques. *ASp*. DOI: 10.4000/asp.2566.

CHUJO K. & UTIYAMA M. (2006). Selecting level-specific specialized vocabulary using statistical measures. *System*, **34**(2), 255–269. DOI: 10.1016/j.system.2005.12.003.

CONDAMINES A. (1997). Langue spécialisée ou discours spécialisé ? In L. LAPIERRE, I. OORE & H. RUNTE, Éds., *Mélanges de linguistique offerts à Rostislav Kocourek*, p. 171–184. Les presses d’Alfa. HAL : halshs-01380935.

CONTRERAS A., GARCÍA-ALONSO R., ECHENIQUE M. & DAYE-CONTRERAS F. (1999). The SOL formulas for converting SMOG readability scores between health education materials written in Spanish, English, and French. *Journal of Health Communication*. DOI: 10.1080/108107399127066.

CRESSOT M. & JAMES L. (1996). *Le Style et ses Techniques*. Presses Universitaires de France - PUF.

DUGUÉ N., CAMELIN N., LEFEUVRE L., LI X., REUTENAUER C. & VAUDAPIVIZ C. (2019). Apprentissage et évaluation de plongements lexicaux sur un corpus SNCF en langue spécialisée. In *Extraction et Gestion des Connaissances*, Metz, France. HAL : hal-01982661.

EL BOUKKOURI H., FERRET O., LAVERGNE T. & ZWEIGENBAUM P. (2019). Embedding Strategies for Specialized Domains : Application to Clinical Entity Recognition. p. 295–301. DOI: 10.18653/v1/p19-2041.

FAUCONNIER J.-P. (2015). French Word Embeddings.

GH M. (1969). SMOG grading : A new readability formula. *Journal of Reading*.

HAHNLOSER R., SARPESHKAR R., MAHOWALD M., DOUGLAS R. & SEUNG H. (2000). Digital selection and analogue amplification coexist in a cortex-inspired silicon circuit. *Nature*, **405**, 947–51. DOI: 10.1038/35016072.

HERDAN G. (1960). *Type-token mathematics : A textbook of mathematical linguistics*, volume 4. Mouton.

HERSH W., BUCKLEY C., LEONE T. J. & HICKAM D. (1994). OHSUMED : An interactive retrieval evaluation and new large test collection for research. In *Proceedings of the 17th Annual International ACM SIGIR Conference on Research and Development in Information Retrieval, SIGIR 1994*, SIGIR '94, p. 192–201, New York, NY, USA : Springer-Verlag New York, Inc. DOI: 10.1007/978-1-4471-2099-5_20.

HINTON G. E., SRIVASTAVA N., KRIZHEVSKY A., SUTSKEVER I. & SALAKHUTDINOV R. R. (2012). Improving neural networks by preventing co-adaptation of feature detectors. *arxiv.org*.

HONNIBAL M. & MONTANI I. (2017). spaCy 2 : Natural language understanding with Bloom embeddings, convolutional neural networks and incremental parsing.
HUANG E. H., SOCHER R., MANNING C. D. & NG A. Y. (2012). Improving word representations via global context and multipleword prototypes. In *50th Annual Meeting of the Association for Computational Linguistics, ACL 2012 - Proceedings of the Conference*.

JAKOBSEN T. & SKARDAL T. (2007). Readability index. *Agder University*.

JOACHIMS T. (1998). Text categorization with support vector machines: Learning with many relevant features. In *Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics)*. DOI: 10.1007/s13928716.

KIM Y. (2014). Convolutional Neural Networks for Sentence Classification. In *Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing (EMNLP)*, p. 1746–1751, Doha, Qatar: Association for Computational Linguistics. DOI: 10.3115/v1/D14-1181.

KINGMA D. P. & BA J. L. (2015). Adam: A method for stochastic optimization. In *3rd International Conference on Learning Representations, ICLR 2015 - Conference Track Proceedings*.

LEE J., YOON W., KIM S., KIM D., KIM S., SO C. H. & KANG J. (2020). BioBERT: A pre-trained biomedical language representation model for biomedical text mining. *Bioinformatics*, **36**(4), 1234–1240. DOI: 10.1093/bioinformatics/btz682.

LIU Q., JIANG H., WEI S., LING Z. H. & HU Y. (2015). Learning semanticword embeddings based on ordinal knowledge constraints. In *ACL-IJCNLP 2015 - 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing of the Asian Federation of Natural Language Processing, Proceedings of the Conference*. DOI: 10.3115/v1/p15-1145.

MCCARTHY P. M. (2006). An assessment of the range and usefulness of lexical diversity measures and the potential of the measure of textual, lexical diversity (MTLD). *Dissertation Abstracts International Section A: Humanities and Social Sciences*.

MCCARTHY P. M. & JARVIS S. (2010). MTLD, vocd-D, and HD-D: A validation study of sophisticated approaches to lexical diversity assessment. *Behavior Research Methods*. DOI: 10.3758/BRM.42.2.381.

MIKOLOV T., CHEN K., CORRADO G. & DEAN J. (2013). Efficient estimation of word representations in vector space. In *1st International Conference on Learning Representations, ICLR 2013 - Workshop Track Proceedings*.

PALTRIDGE B. & STARFIELD S. (2016). English for specific purposes. In *Handbook of Research in Second Language Teaching and Learning*, volume 3, p. 56–67. Taylor and Francis. DOI: 10.4324/9781315716893.

PYTHOUD C. (1998). Français-GUTenberg: un nouveau dictionnaire français pour ISPELL. Problèmes résolus et intégration de contributions extérieures. *Cahiers GUTenberg*. DOI: 10.5802/cg.237.

SCHMITT D. (2002). Learning Vocabulary in Another Language. I.S.P. Nation. *ELT Journal*. DOI: 10.1093/elt/56.1.91.

SENTER R. J. & SMITH E. A. (1967). *Automated readability index*. Rapport interne, CINCINNATI UNIV OH.

TORRUELLA J. & CAPSADA R. (2013). Lexical Statistics and Tipological Structures: A Measure of Lexical Richness. *Procedia - Social and Behavioral Sciences*. DOI: 10.1016/j.sbspro.2013.10.668.

VAN DER YEUGHT M. (2016). Protocole de description des langues de spécialité. *Recherche et Pratiques Pedagogiques en Langues de Specialité - Cahiers de l'APLIUT*. DOI: 10.4000/apliut.5549.
WANG Y., LIU S., AFZAL N., RASTEGAR-MOJARAD M., WANG L., SHEN F., KINGSBURY P. & LIU H. (2018). A comparison of word embeddings for the biomedical natural language processing. *Journal of Biomedical Informatics*. DOI: 10.1016/j.jbi.2018.09.008.

WEIGEND A. S., RUMELHART D. E. & HUBERMAN B. A. (1991). Generalization by Weight-Elimination with Application to Forecasting. In R. P. LIPPMANN, J. E. MOODY & D. S. TOURETZKY, Éds., *Advances in Neural Information Processing Systems 3*, p. 875-882. Morgan-Kaufmann.

YAMADA I., ASAI A., SAKUMA J., SHINDO H., TAKEDA H., TAKEFUJI Y. & MATSUMOTO Y. (2018). Wikipedia2Vec: An Efficient Toolkit for Learning and Visualizing the Embeddings of Words and Entities from Wikipedia.

ŘEHŮŘEK R. & SOJKA P. (2010). Software framework for topic modelling with large corpora. p. 45-50. DOI: 10.13140/2.1.2393.1847.
# Représentation vectorielle de paires de verbes pour la prédiction de relations lexicales

Etienne Rigaud¹, ²

(1) LORIA, 615 Rue du Jardin-Botanique, 54506 Vandœuvre-lès-Nancy

(2) École des Mines de Nancy, 54000 Nancy

etienne.rigaud6@etu.univ-lorraine.fr

## RÉSUMÉ

Dans cet article, nous proposons un modèle de représentations vectorielles de paire de mots, obtenues à partir d'une adaptation du modèle Skip-gram de Word2vec. Ce modèle est utilisé pour générer des vecteurs de paires de verbes, entraînées sur le corpus de textes anglais Ukwac. Les vecteurs sont évalués sur les données ConceptNet & EACL, sur une tâche de classification de relations lexicales. Nous comparons les résultats obtenus avec les vecteurs paires à des modèles utilisant des vecteurs mots, et testons l'évaluation avec des verbes dans leur forme originale et dans leur forme lemmatisée. Enfin, nous présentons des expériences où ces vecteurs paires sont utilisés sur une tâche d'identification de relation discursive entre deux segments de texte. Nos résultats sur le corpus anglais *Penn Discourse Treebank*, démontrent l'importance de l'information verbale pour la tâche, et la complémentarité de ces vecteurs paires avec les connecteurs discursifs des relations.

## ABSTRACT

### Verb-pairs embeddings for discourse relation prediction

This paper proposes a model to obtain vector representations of pairs of words, obtained from an adaptation of the Word2vec Skip-gram Model. This model is used to generate embeddings for pairs of verbs, trained on the english corpus Ukwac. The pair-embeddings are then evaluated on a classification task, where the goal is to predict the lexical relation between the input pair of words. The scores obtained on this task with the pair-embeddings are compared with the scores obtained with individual word-embeddings and with pairs of lemmatized verbs. Finally, the pair-embeddings are used on the discourse relation prediction task, on the *Penn Discourse Treebank* dataset, revealing the relevance of verbs for this task, and the complementarity between the verbs and the discourse connective.

**MOTS-CLÉS** : Vecteur mot, vecteur relation de verbes, analyse de texte, prédiction de relation du discours.

**KEYWORDS:** Word embedding, relation embedding between verbs, text analysis, discourse relation prediction.

# 1 Introduction

Dans le domaine du traitement automatique des langues, l'apprentissage de relations entre deux mots donnés est extrêmement important, pour des tâches telles que répondre à des questions, la recherche d'antonymes ou de synonymes, ou bien simplement pour mieux comprendre comment les langages se construisent. Cela motive les recherches présentées dans cet article, qui ont pour

<figure><img src="image_61.png" /></figure>
objectif de construire des représentations de relations entre une paire de mots, et d'évaluer la qualité de ces représentations dans différentes tâches. Pour ce faire, nous présentons un modèle permettant d'entraîner des représentations vectorielles de relations entre des paires de mots.

Les représentations vectorielles de mots sont très utilisées en traitement automatique des langues depuis les années 1990, l'idée étant que les mots sémantiquement proches se retrouvent proches dans l'espace vectoriel des mots. On retrouve souvent dans la littérature le terme *word embedding* ou "plongement lexical" pour qualifier ces représentations vectorielles. Ces représentations sont fondées sur l'hypothèse distributionnelle (Harris, 1954) : "les lexèmes possédant un contexte linguistique similaire ont un sens similaire.". On peut par exemple obtenir des représentations vectorielles de mots en construisant une matrice de co-occurrences, en comptant le nombre d'occurrences de mots dans le contexte d'autres mots (Turney & Pantel, 2010). L'inconvenant de cette méthode étant néanmoins la taille importante des vecteurs obtenus, et leurs composantes qui sont majoritairement nulles.

Outre ce modèle distributionnel, les modèles utilisant des réseaux de neurones se sont fortement développés, un des modèles populaires étant Word2vec (Mikolov et al., 2013a). Ce modèle consiste à entraîner une matrice de plongements de mots, qui se trouve être une des matrices de poids du réseau, à travers une tâche précise. Le modèle Skip-gram de Word2vec prend un mot en entrée et cherche à prédire la probabilité qu'a un autre mot d'apparaître dans le contexte du mot donné en entrée. Le modèle utilisé dans cet article est une adaptation du modèle Skip-gram à des paires de mots, qui génère des embeddings pour des paires de mots.

Dans un premier temps, nous présentons les précédents travaux sur la représentation de relations sémantiques, puis développons une approche particulière de représentation, appliquée aux relations entre des paires de verbes en anglais. Enfin, les expériences menées ainsi que les résultats sont détaillés pour comparer la qualité de ce modèle à d'autres approches. Le code et les données seront rendus disponibles à la communauté.

## 2 État de l'art

L'apprentissage de représentations vectorielles pour des relations lexicales est très utile pour de nombreuses tâches, comme l'inférence, la recherche d'analogie ou la classification de relations du discours (Braud & Denis, 2016). Des modèles basés sur la composition de vecteurs mots permettent d'apprendre des relations complexes. En effet, ces vecteurs vérifient des relations algébriques qui traduisent des relations sémantiques. Par exemple $\vec{v}_{France} - \vec{v}_{Paris} + \vec{v}_{Madrid} \approx \vec{v}_{Espagne}$ (Mikolov et al., 2013b).

De cette équation, on peut déduire que $\vec{v}_{France} - \vec{v}_{Paris} \approx \vec{v}_{Espagne} - v_{Madrid} \approx \vec{v}_{est capitale de}$.

Des travaux récents montrent des modèles de représentations de relations entre plusieurs mots, voire de *sentence embeddings* fonctionnant en composant les vecteurs de chaque mot de la phrase (Weston et al., 2013; Hill et al., 2016). Les vecteurs relations peuvent être appris en adaptant les modèles d'apprentissage de vecteur mot Word2vec, comme cela a été fait dans Chingacham & Paperno (2018) : ces auteurs proposent une adaptation de Skip-gram aux paires de noms, et en entraînant un réseau de mapping avec des vecteurs mots pré-entraînés pour régler le problème des données éparses. Similairement, Jameel et al. (2018) ont adapté le modèle GloVe (Pennington et al., 2014) pour apprendre des représentations de relations entre une paire de mot, sans l'utilisation de vecteurs mots pré-entraînés.