<figure><img src="image_74.png" /><figcaption>FIGURE 2: Performance du MRQA pour chaque type de question</figcaption></figure>

ont servi pour générer les question manuelles.

Le tableau 1 présente les performances obtenues selon les corpus d'apprentissage utilisés. Pour le corpus d'apprentissage issu de l'analyse automatique, nous considérons les 3 points de fonctionnement suivants : maxP, maxF et maxR. maxP est le point de fonctionnement favorisant la précision de l'annotation en cadre sémantique (80%), maxF celui favorisant la Fmesure (73%) et maxR celui favorisant le rappel (80%). Pour maxP, le corpus est relativement restreint mais avec peu d'erreurs, tandis que pour maxR, le corpus est plus gros mais avec plus d'erreurs. On constate qu'il vaut mieux ne pas favoriser la précision de l'analyse en cadres sémantiques pour la génération du corpus, et qu'il est préférable d'avoir plus de questions, même entachées d'erreurs. En effet, les points de fonctionnement maxF et maxR donnent des performances sensiblement équivalentes. Finalement, les performances obtenues avec un corpus d'apprentissage issu de l'annotation automatique ne sont que faiblement dégradées par rapport aux performances obtenues par le corpus d'apprentissage Gold. Les résultats sur la configuration Gold montrent que même si le corpus de Frames induit un biais sur l'annotation du corpus de test, le corpus obtenu est loin d'être trivial car les modèles de MRQA BERT ont encore une marge d'amélioration considérable.

<table><caption>TABLE 1: Performance de réponse aux questions selon la qualité du corpus d'apprentissage</caption><thead><tr><td>point de fonctionnement analyseur</td><td>#nbtrain</td><td>Exact-Match</td><td>F-mesure</td></tr></thead><tbody><tr><td>maxP</td><td>8779</td><td>62.6</td><td>75.6</td></tr><tr><td>maxF</td><td>12254</td><td>67.4</td><td>78.6</td></tr><tr><td>maxR</td><td>13692</td><td>67.0</td><td>78.7</td></tr><tr><td>Gold</td><td>17423</td><td>69.9</td><td>80.6</td></tr></tbody></table>

La figure 2 montre le détail de ces performances de compréhension de lecture selon le type de questions. Le type de question est obtenu par le même protocole d'association que celui présenté à la section 3.1. Il s'agit en effet de la catégorie associée au FE répondant à la question. Les types de questions sont triés par fréquence décroissante et seuls ceux ayant plus de 30 occurrences dans le corpus de test sont présentés ici. La figure permet de comparer, pour chaque type de question, les performances obtenues par apprentissage sur annotations Gold et par apprentissage sur annotations
automatiques. On peut constater que les performances pour chaque type de questions sont assez proches, que le corpus d'apprentissage soit manuel ou automatique.

Une analyse plus détaillée des erreurs produites par le modèle d'analyse en Frames peut permettre d'expliquer pourquoi les performances ne sont que peu dégradées avec le corpus produit automatiquement. Pour le point de fonctionnement maxF par exemple, les erreurs commises sur l'identification des FE sont pour 54.2% d'entre elles des insertions et pour 32.0% d'entre elles des omissions. Seules 13.8% des erreurs sont des substitutions dues principalement à des confusions entre deux cadres sémantiques, or les substitutions sont les erreurs les plus enclines à générer des questions erronées. Les erreurs d'omission sont présentes pour tous les types de FE, mais sont plus fréquentes pour les arguments sémantiques abstraits et difficiles. Les omissions n'ayant d'autre impact sur le processus d'apprentissage que de réduire le nombre d'exemples d'apprentissage, les conséquences sur ces types de questions sont moindres.

# 4 Conclusion

Nous avons présenté un nouveau modèle d'analyse en cadres sémantiques basé sur un modèle bi-GRU associé à des embeddings contextuels de type BERT. Une évaluation intrinsèque détaillée originale sous l'angle de questions prototypiques a permis de révéler une typologie de rôles sémantiques plus ou moins difficiles à détecter et identifier. De façon complémentaire, une évaluation extrinsèque est proposée ou le corpus analysé automatiquement est utilisé pour générer un corpus d'apprentissage pour une tâche de compréhension de lecture. Les expériences montrent qu'une analyse automatique en Frames peut permettre efficacement de générer un corpus d'apprentissage conduisant à des modèles faublement dégradés par rapport à l'utilisation d'une annotation manuelle. Ces résultats encourageants pourront être confortés par la suite par des expériences complémentaires sur des données issues de domaines applicatifs différents, au delà des textes encyclopédiques.

# Références

BÉCHET F., ALOUI C., CHARLET D., DAMNATI G., HEINECKE J., NASR A. & HERLEDAN F. (2019a). CALOR-QUEST : generating a training corpus for Machine Reading Comprehension models from shallow semantic annotations. In *MRQA : Machine Reading for Question Answering - Workshop at EMNLP-IJCNLP 2019 - 2019 Conference on Empirical Methods in Natural Language Processing*, Hong Kong, China. HAL : hal-02317018.

BÉCHET F., ALOUI C., CHARLET D., DAMNATI G., HEINECKE J., NASR A. & HERLEDAN F. (2019b). CALOR-QUEST : un corpus d'entraînement et d'évaluation pour la compréhension automatique de textes. In *TALN 2019*, Toulouse, France. HAL : hal-02377119.

BÉCHET F., ALOUI C., CHARLET D., DAMNATI G., HEINECKE J., NASR A. & HERLEDAN F. (2019c). Calor-quest : generating a training corpus for machine reading comprehension models from shallow semantic annotations. In *MRQA2019, second workshop on machine reading comprehension, satellite workshop EMNLP2019*.

DEVLIN J., CHANG M.-W., LEE K. & TOUTANOVA K. (2019). Bert : Pre-training of deep bidirectional transformers for language understanding. arXiv preprint : 1810.04805.
FILLMORE C. J., BAKER C. F. & SATO H. (2004). FrameNet as a "net". In *Proceedings of the Fourth International Conference on Language Resources and Evaluation (LREC'04)*, Lisbon, Portugal: European Language Resources Association (ELRA). Anthologie ACL L04-1221.

HE L., LEE K., LEWIS M. & ZETTLEMOYER L. (2017). Deep semantic role labeling: What works and what's next. In *Proceedings of the Annual Meeting of the Association for Computational Linguistics*.

KOLOMIYETS O. & MOENS M.-F. (2011). A survey on question answering technology from an information retrieval perspective. *Information Sciences*, **181**(24), 5412-5434.

MARZINOTTO G., AUGUSTE J., BECHET F., DAMNATI G. & NASR A. (2018a). Semantic Frame Parsing for Information Extraction: the CALOR corpus. In *LREC2018*, Miyazaki, Japan. HAL: [hal-01959187](https://hal.inria.fr/hal-01959187).

MARZINOTTO G., BÉCHET F., DAMNATI G. & NASR A. (2018b). Sources of Complexity in Semantic Frame Parsing for Information Extraction. In *International FrameNet Workshop 2018*, Miyazaki, Japan. HAL: [hal-01731385](https://hal.inria.fr/hal-01731385).

NGUYEN T., ROSENBERG M., SONG X., GAO J., TIWARY S., MAJUMDER R. & DENG L. (2016). Ms marco: A human generated machine reading comprehension dataset. arXiv preprint: [1611.09268](https://arxiv.org/abs/1611.09268).

PETERS M. E., NEUMANN M., IYYER M., GARDNER M., CLARK C., LEE K. & ZETTLEMOYER L. (2018). Deep contextualized word representations. In *Proc. of NAACL*.

RAJPURKAR P., ZHANG J., LOPYREV K. & LIANG P. (2016). Squad: 100,000+ questions for machine comprehension of text. In *Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing*, p. 2383-2392: Association for Computational Linguistics. DOI: [10.18653/v1/D16-1264](https://doi.org/10.18653/v1/D16-1264).

SHEN D. & LAPATA M. (2007). Using semantic roles to improve question answering. In *Proceedings of the 2007 joint conference on empirical methods in natural language processing and computational natural language learning (EMNLP-CoNLL)*, p. 12-21.

STRAKA M. & STRAKOVÁ J. (2017). Tokenizing, pos tagging, lemmatizing and parsing ud 2.0 with udpipe. In *Proceedings of the CoNLL 2017 Shared Task: Multilingual Parsing from Raw Text to Universal Dependencies*, p. 88-99, Vancouver, Canada: Association for Computational Linguistics.

TAN S.-S. & NA J.-C. (2019). Positional attention-based frame identification with bert: A deep learning approach to target disambiguation and semantic frame selection.
# Analyse de sentiments des vidéos en dialecte algérien

Mohamed Amine Menacer¹ Karima Abidi¹ Nouha Othman¹,² Kamel Smaïli¹

(1) LORIA, Campus Scientifique, BP 239, 54506 Vandoeuvre-lès-Nancy, France

(2) LARODEC, Institut Supérieur de Gestion de Tunis, 2000 Bardo, Tunisia

{mohamed-amine.menacer,karima.abidi,nouha.othman,kamel.smaili}@loria.fr

## RÉSUMÉ

La plupart des travaux existant sur l'analyse de sentiments traitent l'arabe standard moderne et ne prennent pas en considération les spécificités de l'arabe dialectal. Cet article présente un système d'analyse de sentiments de textes extraits de vidéos exprimées en dialecte algérien. Dans ce travail, nous avons deux défis à surmonter, la reconnaissance automatique de la parole pour le dialecte algérien et l'analyse de sentiments du texte reconnu. Le développement du système de reconnaissance automatique de la parole est basé sur un corpus oral restreint. Pour pallier le manque de données, nous proposons d'exploiter des données ayant un impact sur le dialecte algérien, à savoir l'arabe standard et le français. L'analyse de sentiments est fondée sur la détection automatique de la polarité des mots en fonction de leur proximité sémantique avec d'autres mots ayant une polarité prédéterminée.

## ABSTRACT

### Sentiment analysis of videos in Algerian dialect

Most of the existing works on sentiment analysis deal only with Modern Standard Arabic (MSA), and do not take into account the dialects. This article presents a system for analyzing the sentiments of the utterances extracted from videos, in which the language used is Algerian dialects. We have two challenges to overcome, the automatic speech recognition for the Algerian dialect and the sentiment analysis of the recognized text. A spoken corpus has been recorded in order to develop a baseline system for recognizing the videos. This system is then improved by taking advantage of the acoustic data having an impact on the Algerian dialect, namely standard Arabic and French. The sentiment analysis is based on the automatic detection of the polarity of words according to their semantic proximity to other words with a predetermined polarity.

**MOTS-CLÉS** : Analyse de sentiments, Dialecte algérien, Vidéos, Reconnaissance automatique de la parole.

**KEYWORDS:** Sentiment analysis, Algerian dialect, Videos, Automatic speech recognition.

## 1 Introduction

Plusieurs recherches ont été conduites sur la langue arabe. En revanche, la majorité des travaux destinés au traitement automatique de la langue arabe écrite s'est focalisée, de façon presque exclusive, sur l'arabe moderne standard, en laissant de côté les formes vernaculaires. En effet, l'arabe moderne standard est la langue officielle dans le monde arabe. Elle se trouve principalement dans les livres, les journaux, les magazines, et les médias officiels. Elle représente la forme de l'arabe universel enseignée dans les écoles et utilisée dans les discussions formelles. Cependant, la communication

<figure><img src="image_75.png" /></figure>
dans la vie quotidienne se fait à travers le dialecte qui est propre à chaque région du monde arabe. Cette forme parlée est essentiellement basée sur l'arabe moderne standard en relâchant plusieurs contraintes morpho-syntaxiques de la langue d'origine pour laisser place à une langue informelle plus simple d'usage. Le dialecte est parfois combiné avec d'autres langues étrangères comme le français ou l'anglais et il ne s'agit pas de simples emprunts, mais d'utilisation de phrases entières en langues étrangères.

Depuis l'apparition des réseaux sociaux, la communauté TAL s'est lancée dans une activité de recherche accrue sur les dialectes arabes. En effet, les internautes expriment leurs sentiments et opinions à propos de différents sujets dans les réseaux sociaux essentiellement en dialecte. L'analyse de sentiments qu'elle soit parlée ou textuelle est un domaine riche en publications (Kiritchenko et al., 2016; Barhoumi et al., 2018; Brahimi et al., 2019). Néanmoins, très peu de travaux dans ce domaine ont été réalisés sur les dialectes.

Dans ce travail, nous nous intéressons à l'étude de sentiments dans les réseaux sociaux où le dialecte algérien est utilisé comme support de communication. Pour ce faire, nous proposons un système de détection de la polarité (sentiment positif ou négatif) pour une collection de vidéos en dialecte algérien. Ces vidéos sont collectées à partir des chaînes algériennes disponibles sur YouTube. Les vidéos sont transcrites à l'aide d'un système de reconnaissance automatique de la parole (SRAP) pour le dialecte algérien, et ensuite l'étude de sentiments est effectuée sur les transcriptions.

Le dialecte algérien est l'un des dialectes les plus difficiles à reconnaître par un SRAP. Cela est dû au fait que cette variante de la langue arabe utilise de nombreuses séquences de mots empruntées (principalement de la langue française). En outre, dans ce dialecte les mots de l'arabe standard sont altérés phonologiquement afin d'en faciliter la prononciation (Harrat et al., 2017, 2018). Par ailleurs, les mots empruntés peuvent être utilisés tels quels, ou ils peuvent être modifiés afin de respecter la structure morphologique de la langue arabe.

Pour construire un SRAP robuste, il faut disposer d'une grande quantité de données orales et écrites de la langue à reconnaître. Malheureusement, ce type de données n'existe pas pour le dialecte algérien puisqu'il est principalement parlé de plus, il n'existe pas de normes ni de règles pour l'écrire ce qui rend le traitement des textes existant plus complexe. Notre approche pour reconnaître le dialecte algérien est d'exploiter des données d'autres langues ayant un impact sur le dialecte, à savoir le MSA et le français. Une autre ressource primordiale dans les SRAP est le dictionnaire de prononciation. L'approche la plus simple pour le générer se base sur la décomposition en caractères de chaque mot pour avoir sa prononciation (Le & Besacier, 2009; Killer et al., 2003; Gizaw, 2008). Une autre approche consiste à utiliser des méthodes statistiques pour convertir les graphèmes en phonèmes (Cucu et al., 2011; Karanasou & Lamel, 2010; Harrat et al., 2014; Masmoudi et al., 2018). C'est cette approche que nous avons adoptée pour notre système.

Une fois la transcription des vidéos est générée par le SRAP, nous procédons ensuite à l'analyse de sentiments qui est basée sur la détection de polarité des mots dialectaux composant cette transcription. Cette polarité est déterminée en fonction des mots proches ayant une orientation prédéterminée.

## 2 Les corpus

Afin de développer et évaluer un système permettant l'analyse de sentiments de vidéos en dialecte algérien, nous avons utilisé plusieurs sources de données qui sont décrites ci-dessous :
**YouTubAlg** : nous utilisons ce corpus pour calculer l'orientation sémantique des mots du dialecte algérien et pour apprendre le modèle de langage du SRAP. Il comporte des commentaires collectés à partir de YouTube en utilisant l'API<fnref n="1" /> de Google. Pour récupérer un maximum de données correspondant au dialecte algérien, nous avons utilisé une liste de mots-clés spécifiques dressée au préalable. Ces mots-clés correspondent principalement à des évènements ou à des personnalités connues relatives à l'actualité algérienne et ne présentant aucun intérêt au niveau international. En effet, ce principe a été utilisé pour éliminer l'éventualité de collecter des commentaires d'arabophone autres qu'algériens. Le corpus obtenu est composé de 18,3M de mots (Abidi et al., 2017)).

**ADIC** : l'apprentissage du modèle acoustique dans les SRAP est basé sur une collection de données orales avec leur transcription. ADIC (Algerian DIAlect Corpus) a été construit en enregistrant, à l'aide d'un microphone unidirectionnel professionnel, 4,6k phrases par 7 locuteurs natifs algériens. Les phrases ont été sélectionnées à partir de deux corpus : YouTubAlg et PADIC (Meftouh et al., 2015, 2018). Ce dernier est une collection de 6,4K phrases en arabe standard avec leurs traductions dans plusieurs dialectes arabes dont deux dialectes algériens. Le corpus obtenu contient 6 heures de parole réparties comme suit : 240 minutes sont utilisées pour l'apprentissage, 40 minutes pour la validation et 70 minutes pour le test.

**SentAlgVid** : nous utilisons ce corpus pour l'évaluation finale de notre modèle d'analyse de sentiments de vidéos en dialecte. SentAlgVid est une collection de vidéos en dialecte diffusées par des chaînes de télévision algériennes comme *Ennahar TV*, *Echorouk TV*, et *El Bilad TV*. Le nombre total de vidéos est égale à 30 vidéos d'une durée moyenne de 2 minutes. Les vidéos de ce corpus ont été annotées manuellement en termes de polarité (positive et négative) par des locuteurs natifs.

# 3 Modèles proposés

Dans ce travail, nous avons deux défis à surmonter, la RAP du dialecte algérien et l'analyse de sentiments de ce dernier. Le modèle final est basé sur une architecture *pipeline* où la sortie du SRAP est utilisée comme entrée de système de l'analyse de sentiments. Dans ce qui suit, nous présentons chaque composant du modèle final proposé.

## 3.1 Reconnaissance automatique de la parole pour le dialecte algérien

Le développement d'un SRAP est basé sur trois composants : le modèle acoustique modélisant le système phonologique de la langue, le modèle de langage assurant le respect des règles grammaticales et le modèle de prononciation définissant le vocabulaire et les différentes variantes de prononciation.

### 3.1.1 La modélisation acoustique

Le modèle acoustique est basé sur les réseaux de neurones de type perceptrons multicouches. Ces modèles sont entraînés pour estimer la probabilité d'associer chaque observation acoustique à un triphone. Les observations acoustiques sont des vecteurs fMLLR (feature-space Maximum Likelihood

<footnote n="1">1. Disponible sur : https://developers.google.com/YouTube</footnote>
Linear Regression) (Gales, 1998) de dimension 40. Ces observations sont souvent utilisés pour l'apprentissage adaptatif (speaker Adaptive Training (SAT) (Anastasakos et al., 1996)) qui vise à rapprocher les observations acoustiques initiaux et cibles par une transformation linéaire. L'architecture est basée sur 6 couches cachées de 2048 neurones chacune. La couche en entrée est composée de 440 neurones représentant la concatenation de 11 observations acoustiques. L'estimation des paramètres du réseau de neurones nécessite une grande quantité de données acoustiques, en revanche, on ne dispose que de 4 heures du dialecte pour l'apprentissage. Pour cette raison, nous avons décidé de tirer profit des langues influençant le dialecte algérien, à savoir : le MSA et le français. C'est pourquoi, ADIC a été étendu en ajoutant progressivement 4 heures de chaque langues jusqu'à arriver à 44 heures. Les données de l'arabe standard sont extraites de deux corpus NEMLAR (Yaseen et al., 2006) et NetDC (Choukri et al., 2004), tandis que les données de la langue française ont été collectées à partir du corpus ESTER (Galliano et al., 2005). La quantité optimale de données acoustiques de chaque langue a été déterminée en minimisant le WER (Word Error Rate) sur la partie de validation de ADIC. Nous sommes arrivés à la conclusion qu'en ajoutant plus de 12 heures du MSA et plus de 12 heures du français aux données dialectales, les performances du SRAP se dégradent.

## 3.1.2 La modélisation du langage

L'apprentissage du modèle de langage pour le dialecte algérien n'est pas limitée aux données dialectales (les deux corpus PADIC et YouTubAlg), nous utilisons également des données de l'arabe standard. Comme la quantité des différentes données textuelles est déséquilibrée, le modèle de langage, que nous proposons, est une combinaison linéaire de quatre modèles bi-grammes. Deux d'entre eux ont été entraînés sur des données textuelles de l'arabe standard : la version arabe de Gigaword (1 milliard de mots) et la transcription des données acoustiques utilisées pour enrichir ADIC (315 000 mots), les deux autres ont été entraînés sur des données dialectales : PADIC et YouTubAlg. Les poids de l'interpolation linéaire ont été estimés pour maximiser la probabilité d'un corpus de développement composé d'un mélange de données du MSA et du dialecte. Les poids de pondération, calculés sur le corpus de développement, pour chaque corpus sont les suivants : 0,48 pour YouTubAlg, 0,22 pour Gigaword, 0,19 pour la transcription des données orales du MSA et 0,11 pour PADIC.

## 3.1.3 La modélisation de la prononciation

Le lexique de prononciation est composé de l'union des mots les plus fréquents extraits à partir de chaque ensemble de données utilisé pour l'apprentissage du modèle de langage. Pour chaque mot du lexique, il faut disposer de toutes ses variantes de prononciation. La question est de savoir comment produire toutes les variantes de prononciation possibles pour les mots arabes, et plus particulièrement les mots dialectaux, sachant que les textes arabes sont écrits sans aucune diacritique. Nous avons utilisé un lexique externe (Ali et al., 2014) comme une table de recherche à partir de laquelle les prononciations des mots arabes sont extraites. Malheureusement, nous ne disposons pas de l'équivalent de cette ressource pour le dialecte algérien. Pour remédier à ce problème, nous avons adopté une approche de type G2P (grapheme-to-phoneme) afin de produire les variantes de prononciation pour les mots dialectaux. Pour ce faire, nous avons adapté l'approche proposée dans (Harrat et al., 2014). Le processus de conversion G2P commence par la restitution des diacritiques avec un processus automatique basé sur une approche statistique. Ce problème est considéré comme un problème de traduction automatique où la langue source est un ensemble de phrases non voyellées et la langue cible est un ensemble de phrases avec voyelles. Une fois que les diacritiques sont
restituées, un ensemble de règles est utilisé pour produire la prononciation de mots dialectaux (Harrat et al., 2014). Le lexique final contient 125k mots et 538k variantes de prononciation.

## 3.2 L'analyse de sentiments

Pour déterminer la polarité des mots dialectaux, nous nous sommes basés sur la proximité de leur orientation avec celle de mots de base que nous appellerons des mots-germes. Pour ce faire, nous proposons une méthode qui s'inspire des travaux de (Turney & Littman, 2003) et (Htait et al., 2017) tous deux appliqués à l'anglais. La méthode que nous proposons est composée de deux sous-tâches.

### 3.2.1 L'identification des mots germes

L'idée consiste à estimer la polarité d'un mot en se basant sur celles des mots d'une liste établie en amont (mots-germes) (Turney & Littman, 2003). Dans ce travail, les mots germes sont ceux dont la polarité est évidente. Dans (Htait et al., 2017), en plus des mots identifiés par Turney, les auteurs ont ajouté une liste d'une quarantaine de mots-germes identifiés à partir des mots les plus fréquents. Ces mots ont été étiquetés, en termes de polarité, manuellement par les auteurs.

Pour ce qui nous concerne, nous avons choisis 80 mots germes à partir d'une liste des mots les plus fréquents de *YouTubAlg*. Dans le tableau 3.2.1 nous donnons quelques exemples de ces mots-germes retenus.

<table><caption>TABLE 1 – Quelques exemples de mots germes positifs et négatifs.</caption><tr><td>Mots-germes positifs</td><td>chaba (jolie), bravo, فايل (super), الصحة (la santé), belle, شكرًا (merci)</td></tr><tr><td>Mots-germes négatifs</td><td>شيّات (lèche botte), harki ( traître), جاهل (ignorant), زعفان (énervé), mafia</td></tr></table>

### 3.2.2 L'estimation de la polarité des mots du lexique

Dans (Turney & Littman, 2003) les auteurs estiment qu'un mot positif est plus proche des mots germes positifs que des mots germes négatifs s'il est proche des mots-germes positifs et inversement. L'orientation d'un mot est calculée sur la base de la différence entre sa similitude avec les mots-germes positifs et les mots-germes négatifs, comme le montre l'équation 1 :

$$SO(w) = \sum_{w_p \in MGP} sim(w, w_p) - \sum_{w_n \in MGN} sim(w, w_n) \quad (1)$$

Où *MGP* et *MGN* correspondent respectivement à la liste des mots-germes positifs et négatifs. Le calcul de la similarité est effectué par les auteurs de (Turney & Littman, 2003) en utilisant l'information mutuelle. Pour ce qui nous concerne, nous avons utilisé une représentation distribuée (word embedding) apprise sur le corpus YouTubAlg. Ensuite, nous avons calculé la similarité cosinus entre les vecteurs représentatifs de ces mots. La méthode proposée nous a permis de construire un lexique de polarité pour le dialecte algérien comportant 11,2k entrées.
# 4 Expérimentations

La démarche expérimentale que nous mettons en place consiste à évaluer chaque composant séparément, à savoir : le SRAP et le système d'analyse de sentiments, pour évaluer enfin la sortie finale.

## 4.1 La reconnaissance automatique de la parole

L'évaluation de notre système de reconnaissance de la parole est basée sur la partie test de ADIC (70 minutes de parole). Nous n'avons pas utilisé le corpus *SentAlgVid* qui est destiné pour l'évaluation de la sortie finale car on ne dispose pas de la transcription de vidéos de ce corpus. Les résultats en terme du WER sont présentés dans le tableau 2.

<table><caption>TABLE 2 – Les résultats de reconnaissance de la parole sur la partie test de ADIC.</caption><thead><tr><td>Système</td><td>Données acoustiques</td><td>WER(%)</td><td>OOV (%)</td></tr></thead><tbody><tr><td>S<sub>base</sub></td><td>ADIC</td><td>40.0</td><td></td></tr><tr><td>S<sub>1</sub></td><td>ADIC+44hMSA+40hFr</td><td>38.8</td><td>6.8</td></tr><tr><td>S<sub>2</sub></td><td>ADIC+12hMSA+12hFr</td><td><b>37.7</b></td><td></td></tr></tbody></table>

Le WER du système de base $S_{base}$ entraîné avec seulement les 4 heures de la partie d'apprentissage de ADIC est de 40%. En intégrant toutes les données acoustiques (système $S_1$) du MSA (44 heures) et du français (40 heures), les performances de S1 sont meilleures de 1,2% par rapport au système de base. Mieux encore, en optimisant la taille des données acoustiques provenant du MSA et du français, nous avons obtenu une amélioration absolue de 2,3% ($S_2$). Il est à noter que l'intervalle de confiance pour le système de base est de $\pm 1,2\%$, ce qui signifie que $S_2$ atteint une amélioration significative par rapport au système de base. Cela montre également que la taille des données utilisées pour apprendre le modèle acoustique pour le dialecte algérien affecte les performances du système de reconnaissance.

Il est à noter que les travaux de recherches sur la RAP pour le dialecte algérien sont relativement moins nombreux pour pouvoir comparer nos résultats. Cependant, dans la dernière édition de la compétition MGB, MGB5 (Ali et al., 2019), il y avait une tâche de RAP pour le dialecte marocain. Ce dernier est relativement proche du dialecte algérien, ils partagent plusieurs aspects linguistiques et acoustiques. Le meilleur système a obtenu un WER de 37,6%, sachant que 13 heures de la parole dialectale ont été utilisées avec 1200 heures de l'arabe standard pour apprendre le modèle acoustique. Cela montre la difficulté de reconnaître les dialectes maghrébins en particulier le dialecte algérien et que les résultats de notre système sont acceptables.

## 4.2 L'analyse de sentiments

Afin d'évaluer le lexique que nous avons construit d'une manière automatique, il faut disposer d'un corpus de commentaires en dialecte algérien où chacun d'entre eux est associé à une polarité. Ensuite, il faut utiliser le lexique de polarité que nous avons développé pour calculer la polarité sur ce corpus. Malheureusement, ce type de corpus n'existe pas pour le dialecte algérien. Par conséquent, nous avons dû en construire un. Pour ce faire, nous avons annoté manuellement 750 commentaires extraits de YouTube. Cela a donné lieu à 390 commentaires positifs et à 360 commentaires négatifs, avec une
moyenne de 9 mots par commentaire. Nous avons ensuite estimé la qualité du lexique construit en utilisant ce corpus que nous avons nommé *SentAlg*. Pour calculer la polarité d'un commentaire nous sommons la polarité de chacun de ses termes. Dans le tableau 4 nous donnons les résultats obtenus en terme de rappel et de précision. De ces résultats on peut constater que la méthode proposée est

<table><caption>TABLE 3 – Résultats expérimentaux sur le corpus *SentAlg*.</caption><thead><tr><td>Corpus</td><td>Rappel</td><td>Précision</td></tr></thead><tbody><tr><td>SentAlg</td><td>88.11%</td><td>88.64%</td></tr></tbody></table>

pertinente et a conduit à la construction d'un lexique de polarité pertinent.

Nous avons testé ce lexique également sur les transcriptions automatiques des vidéos de *SentAlgVid*. Les résultats du tableau 4 sont intéressants, même s'ils ne sont pas de la même qualité que ceux obtenus sur des corpus de textes simples. En effet, rappelons que ces résultats sont calculés sur des transcriptions automatiques obtenus à l'aide d'un SRAP dont le WER du système de reconnaissance de la parole est de 37,7%. Nous considérons ce résultat comme très encourageant étant donné le taux d'erreur élevé.

<table><caption>TABLE 4 – Résultats expérimentaux sur le corpus de vidéos de dialecte algérien *SentAlgVid*.</caption><thead><tr><td>Corpus</td><td>Rappel</td><td>Précision</td></tr></thead><tbody><tr><td>SentAlgVid</td><td>60%</td><td>64.28%</td></tr></tbody></table>

## 5 Conclusion

Dans cet article, nous avons proposé un système d'analyse de sentiments de vidéos en dialecte algérien. Nous y avons abordé deux problèmes critiques, à savoir la reconnaissance automatique de la parole pour le dialecte algérien et l'analyse de sentiments du texte reconnu. Pour surmonter le problème de manque de données dialectales nécessaires aux différents modèles du SRAP, nous avons exploité des données de langues ayant un impact sur le dialecte, à savoir l'arabe standard et le français. Nous avons montré qu'il est important de doser la quantité de données à utiliser de chaque langue étrangère afin d'améliorer le SRAP. En ce qui concerne l'analyse de sentiments, une méthode a été proposée pour construire automatiquement un lexique de polarité qui a permis d'analyser le contenu de vidéos en dialecte algérien.

## Références

ABIDI K., MENACER M. A. & SMAILI K. (2017). CALYOU : A Comparable Spoken Algerian Corpus Harvested from YouTube. In *18th Annual Conference of the International Communication Association (Interspeech)*, Conference of the International Communication Association (Interspeech), Stockholm, Sweden.

ALI A., SHON S., SAMIH Y., MUBARAK H., ABDELALI A., GLASS J., RENALS S. & CHOUKRI K. (2019). The mgb-5 challenge : Recognition and dialect identification of dialectal arabic speech.
ALI A., ZHANG Y., CARDINAL P., DAHAK N., VOGEL S. & GLASS J. (2014). A complete KALDI recipe for building Arabic speech recognition systems. In *Spoken Language Technology Workshop (SLT), 2014 IEEE*, p. 525–529. DOI: 10.1109/SLT.2014.7078629.

ANASTASAKOS T., McDONOUGH J., SCHWARTZ R. & MAKHOUL J. (1996). A compact model for speaker-adaptive training. In *Proceeding of Fourth International Conference on Spoken Language Processing. ICSLP '96*, volume 2, p. 1137–1140 vol.2. DOI: 10.1109/ICSLP.1996.607807.

BARHOUMI A., ALOULOU C., CAMELIN N., ESTÈVE Y. & BELGUITH L. (2018). Arabic Sentiment analysis: an empirical study of machine translation's impact. In *Language Processing and Knowledge Management international conference (LPKM2018)*, Sfax, Tunisia.

BRAHIMI B., TOUAHRIA M. & TARI A. (2019). Improving sentiment analysis in arabic: A combined approach. *Journal of King Saud University - Computer and Information Sciences*.

CHOUKRI K., NIKKHOU M. & PAULSSON N. (2004). Network of data centres (NetDC) : BNSC - an Arabic broadcast news speech corpus. In *Proceedings of the Fourth International Conference on Language Resources and Evaluation (LREC'04)*, Lisbon, Portugal : European Language Resources Association (ELRA).

CUCU H., BESACIER L., BURILEANU C. & BUZO A. (2011). Investigating the role of machine translated text in ASR domain adaptation: Unsupervised and semi-supervised methods. In *2011 IEEE Workshop on Automatic Speech Recognition Understanding*, p. 260–265. DOI: 10.1109/ASRU.2011.6163941.

GALES M. J. (1998). Maximum likelihood linear transformations for HMM-based speech recognition. *Computer speech & language*, **12**(2), 75–98.

GALLIANO S., GEOFFROIS E., MOSTEFA D., CHOUKRI K., BONASTRE J.-F. & GRAVIER G. (2005). The ester phase ii evaluation campaign for the rich transcription of french broadcast news. In *Ninth European Conference on Speech Communication and Technology*.

GIZAW S. (2008). Multiple pronunciation model for Amharic speech recognition system. In *Workshop on Spoken Language Technologies for Under-resourced Languages (SLTU)*.

HARRAT S., MEFTOUH K., ABBAS M. & SMAÏLI K. (2014). Grapheme to phoneme conversion - an Arabic dialect case. In *Spoken Language Technologies for Under-resourced Languages*.

HARRAT S., MEFTOUH K. & SMAÏLI K. (2017). Creating Parallel Arabic Dialect Corpus: Pitfalls to Avoid. In *18th International Conference on Computational Linguistics and Intelligent Text Processing (CICLING)*, Budapest, Hungary.

HARRAT S., MEFTOUH K. & SMAÏLI K. (2018). Maghrebi Arabic dialect processing: an overview. *Journal of International Science and General Applications*, **1**.

HTAIT A., FOURNIER S. & BELLOT P. (2017). Identification semi-automatique de mots-germes pour l'analyse de sentiments et son intensité. In *COnférence en Recherche d'Informations et Applications - CORIA 2017, 14th French Information Retrieval Conference, Marseille, France, March 29-31, 2017. Proceedings.*, p. 415–424.

KARANASOU P. & LAMEL L. (2010). Comparing SMT methods for automatic generation of pronunciation variants. In *International Conference on Natural Language Processing*, p. 167–178 : Springer.

KILLER M., STUKER S. & SCHULTZ T. (2003). Grapheme based speech recognition. In *Eighth European Conference on Speech Communication and Technology*.
KIRITCHENKO S., MOHAMMAD S. & SALAMEH M. (2016). Semeval-2016 task 7: Determining sentiment intensity of english and arabic phrases. In S. BETHARD, D. M. CER, M. CARPUAT, D. JURGENS, P. NAKOV & T. ZESCH, Eds., *Proceedings of the 10th International Workshop on Semantic Evaluation, SemEval@NAACL-HLT 2016, San Diego, CA, USA, June 16-17, 2016*, p. 42–51: The Association for Computer Linguistics.

LE V.-B. & BESACIER L. (2009). Automatic speech recognition for under-resourced languages: application to Vietnamese language. *IEEE Transactions on Audio, Speech, and Language Processing*, **17**(8), 1471–1482.

MASMOUDI A., BOUGARES F., ELLOUZE M., ESTÈVE Y. & BELGUITH L. (2018). Automatic speech recognition system for Tunisian dialect. *Language Resources and Evaluation*, **52**(1), 249–267.
DOI: 10.1007/s10579-017-9402-y.

MEFTOUH K., HARRAT S., JAMOUSSI S., ABBAS M. & SMAILI K. (2015). Machine translation experiments on PADIC: A parallel arabic dialect corpus. In *Proceedings of the 29th Pacific Asia Conference on Language, Information and Computation*, p. 26–34.

MEFTOUH K., HARRAT S. & SMAÏLI K. (2018). PADIC: extension and new experiments. In *7th International Conference on Advanced Technologies ICAT*, Antalya, Turkey. HAL: hal-01718858.

TURNEY P. D. & LITTMAN M. L. (2003). Measuring praise and criticism: Inference of semantic orientation from association. *ACM Transactions on Information Systems*, **21**(4). DOI: 10.1145/944012.944013.

YASEEN M., ATTIA M., MAEGAARD B., CHOUKRI K., PAULSSON N., HAAMID S., KRAUWER S., BENDAHMAN C., FERSØE H., RASHWAN M., HADDAD B., MUKBEL C., MOURADI A., AL-KUFAISHI A., SHAHIN M., CHENFOUR N. & RAGHEB A. (2006). Building annotated written and spoken Arabic LRs in NEMLAR project. In *Proceedings of the Fifth International Conference on Language Resources and Evaluation (LREC’06)*, Genoa, Italy: European Language Resources Association (ELRA).
# VerNom : une base de paires morphologiques acquise sur très gros corpus

Alice Missud¹, ² Pascal Amsili² Florence Villoing¹

(1) Modyco (UMR 7114 CNRS/Paris Nanterre)

(2) Lattice (UMR 8094 CNRS/Paris 3/ENS)

missud.a@parisnanterre.fr, pascal.amsili@gmx.fr, villoing@parisnanterre.fr

## RÉSUMÉ

Alors qu'une part active de la recherche en morphologie dérivationnelle s'intéresse à la compétition qui oppose les suffixations construisant des noms d'événement à partir de verbes (-age, -ment, -ion, -ure, -ance, -ade, -aison), l'accès à des données en large quantité devient nécessaire pour l'application de méthodes quantitatives. Dans l'optique de réunir des paires de verbes et de noms morphologiquement reliés dans le cadre de ces suffixations rivales, nous présentons VerNom, une base morphologique comprenant 25 857 paires verbe-nom, construite automatiquement à partir d'un corpus massif issu du web.

## ABSTRACT

VerNom : a French derivational database acquired on a massive corpus

While a significant part of the literature in word formation revolves around the competition between suffixations that construct event nouns from verbs in French (-age, -ment, -ion, -ure, -ance, -ade, -aison), accessing massive data is necessary for applying quantitative methods. With the purpose of gathering pairs of verbs and nouns that are morphologically related in the case of this competition, we present VerNom, a lexical database consisting of 25 875 verb-noun pairs acquired automatically from a massive web corpus.

MOTS-CLÉS : morphologie dérivationnelle, compétition morphologique, nominalisation, base lexicale.

KEYWORDS: word formation, morphological rivalry, nominalization, lexical database.

## 1 Introduction

Nous présentons VerNom, une ressource morphologique comprenant un ensemble de paires verbe-nom (et leurs fréquences d'apparition) collectées dans un large corpus issu du web. Les paires ont été appariées morphologiquement de façon automatique, et elles recouvrent les principales dérivations construisant des noms d'événement à partir de verbes : les suffixations en -ion, -age, -ment, -ure, -ance, -ade et -aison.

Les données utilisées proviennent de frCOW (Schäfer & Bildhauer 2012, Schäfer 2015), un corpus de 9 milliards de mots issu du web francophone. La constitution de cette ressource a pour objectif de donner accès à une grande quantité de données "authentiques" du français écrit, pour permettre

<figure><img src="image_76.png" /></figure>
une analyse quantitative et qualitative de la compétition entre nominalisations rivales du français (construisant des noms déverbaux événementiels), qui constitue une part active de la recherche actuelle en morphologie dérivationnelle (Lüdtke 1978; Martin 2010; Ferret et al. 2010; Uth 2010; Ferret & Villoing 2012; Uth 2016; Fradin 2014, 2019; Dal et al. 2018 : Wauquier et al. 2018, 2019).

VerNom s'inscrit dans un contexte marqué par une relative carence, pour le français, de ressources purement dérivationnelles permettant des recherches avec des méthodes de modélisation quantitative. En effet, alors que les travaux sur la compétition morphologique tendent de plus en plus à s'appuyer sur ce type de méthode (par exemple, Wauquier et al. 2018, Bonami & Thuilier 2019), on recense principalement deux ressources exploitables pour le français, le corpus Nomage (Balvet et al. 2011) et la base lexicale Démonette (Hathout & Namer 2014, Namer et al. 2019), qui s'appuie elle-même sur Verbaction (Hathout & Tanguy 2002). Bien que ces ressources soient extrêmement précieuses, en particulier parce qu'elles fournissent des annotations fines tant syntaxiquement que sémantiquement, voire morphologiquement et phonologiquement pour la seconde (qui en outre construit tout un réseau dérivationnel), elles ne répondent pas entièrement aux besoins d'une analyse quantitative à gros grain. En effet, la minutie des informations renseignées par ces ressources les conduit à traiter un jeu de données assez réduit (736 noms événementiels et 679 verbes pour Nomage et 8848 paires V/N d'action pour Démonette). Par ailleurs, leurs lexiques n'enregistrent que peu de néologismes, indispensables au calcul de la productivité des schémas morphologiques. Cette lacune tient au fait qu'ils sont issus soit du journal *Le Monde* (cf. Nomage, basé sur le French Treebanck d'Abeillé et al. 2003), soit de dictionnaires (cf. Démonette qui compte 6765 paires V/N d'action tirées de TLFnome). L'ensemble de ces contraintes nous a conduit à élaborer une nouvelle ressource qui réponde à ces objectifs spécifiques.

À la suite de Hathout et al. (2009), qui ont exploité le web pour collecter une liste extensive de paires verbe-nom d'action (notamment les suffixations en -age, -ment et -ion) en procédant à l'aide de règles, nous proposons de réactualiser les méthodes en nous basant sur un corpus plus massif et plus récent (2016) afin de récolter une plus grande quantité de données, plus diverses, regroupant toutes les suffixations déverbales construisant des noms d'événement, et qui permette en outre d'explorer de nombreux néologismes.

Dans cet article, nous décrivons la ressource en détail, les méthodes d'extraction des noms et des verbes et leur appariement, ainsi que l'évaluation des paires collectées. Enfin, nous présentons une brève étude de la productivité des schémas morphologiques basée sur la ressource.

# 2 Méthodologie

## 2.1 Extraction des données

La base a été constituée à partir de frCOW16 (Schäfer & Bildhauer 2012, Schäfer 2015), un corpus massif du français issu du web datant de 2016 et comprenant 9 milliards de mots. Les corpus COW sont catégorisés et lemmatisés, généralement avec TreeTagger, de telle sorte que tous les tokens reçoivent une catégorie (il n'y a pas de POS-tag 'unknown') mais pas forcément toujours un lemme. Nous avons fait le choix d'exploiter directement ces informations de catégorie et lemmatisation, sans en contrôler au préalable la qualité. Puisque nous cherchions à apparier des verbes et des noms reliés morphologiquement, nous avons extrait toutes les formes catégorisées 'verbe' ou 'nom', que ces formes aient été lemmatisées ou non (les formes non lemmatisées nous intéressent particulièrement
puisqu'elles peuvent correspondre à des néologismes qui échappent aux lexiques construits à partir de dictionnaires). La table 1 présente des exemples d'entrées du corpus frCOW comprenant des formes lemmatisées et non lemmatisées. Ces deux groupes de données ont été traités séparément dans les phases suivantes.

<table><caption>TABLE 1 – Exemples d'entrées de frCOW</caption><thead><tr><td>forme</td><td>catégorie</td><td>lemme</td></tr></thead><tbody><tr><td>mangera</td><td>VER</td><td>manger</td></tr><tr><td>voiture</td><td>NOM</td><td>voiture</td></tr><tr><td>pourcenter</td><td>VER</td><td>(unknown)</td></tr><tr><td>pipolisation</td><td>NOM</td><td>(unknown)</td></tr></tbody></table>

## 2.2 Nettoyage des formes

Nous avons dû procéder à toutes les étapes à l'élimination de lemmes/formes contenant des caractères spéciaux, de la ponctuation ou des séquences impossibles.

**Formes lemmatisées** Pour les verbes lemmatisés, les formes associées à des lemmes se terminant en -er, -ir ou -re ont été récupérées. Pour les noms lemmatisés, les formes extraites ont un lemme se terminant par l'une des 7 suffixations constructrices de noms d'événement à savoir -age, -ment, -ion, -ure, -ance, -ade et -aison. La suffixation en -erie, susceptible de construire des noms d'événement également, a cependant été mise de côté en raison de la difficulté de différencier automatiquement son homonyme plus productif dérivant des noms de lieux à partir de noms. Au total, 25 209 verbes et 23 200 noms lemmatisés ont été extraits.

**Formes non lemmatisées** La non-lemmatisation de certaines formes dans frCOW peut dépendre de plusieurs problèmes : les formes peuvent être mal catégorisées, et donc ne pas correspondre avec un lemme (par exemple : *expressément*, catégorisé 'nom' plutôt que 'adverbe'), elles peuvent également correspondre à des variantes orthographiques qui les distancient d'un lemme (par exemple : *develloppé* plutôt que *développé*), ou encore constituer des néologismes non répertoriés (comme *pipolisation*). Nous avons tenté d'une part de rassembler les variantes orthographiques avec les bons lemmes, et d'autre part de lemmatiser les formes susceptibles de correspondre à des néologismes.

Seules les formes étiquetées 'verbe' avec une finale en -er ont été extraites parmi les verbes non lemmatisés, car la construction de verbes irréguliers du deuxième et troisième groupe est peu probable parmi les néologismes. Pour les noms, seules les formes en -ion, -age, -ment, -ure, -ance, -ade et -(a)ison ont été récoltées. Afin d'obtenir les fréquences des formes fléchies de ces entrées, nous avons utilisé des expressions régulières pour retrouver dans frCOW des formes fléchies pour chaque verbe et chaque nom. Les fréquences des formes fléchies trouvées ont été ajoutées aux lemmes. Ceci a permis, par exemple pour *wikifier*, de passer d'une fréquence de 11 à 18. Pour réunir les variantes orthographiques d'un même lemme, nous avons d'abord tenté d'ignorer les diacritiques, sujets à de nombreuses erreurs d'orthographe en français, afin de regrouper ensemble les formes non lemmatisées avec les bons lemmes. Nous avons supprimé tous les diacritiques des deux lexiques, et avons regardé si parmi les formes non préalablement lemmatisées se trouvait un équivalent identique chez les formes
lemmatisées. Ceci a permis d'ajouter des fréquences aux noms et verbes lemmatisés comme étudier par exemple, dont la fréquence a été augmentée de 5 occurrences. Au total, 96 770 verbes et 130 341 noms non préalablement lemmatisés ont été récoltés. L'ensemble des verbes et des noms décrits a ensuite servi à l'appariement morphologique. L'influence des différentes étapes de nettoyage sur les proportions des lexiques des formes non lemmatisées est détaillée dans la table 2.

<table><caption>TABLE 2 – Nettoyage des formes non lemmatisées</caption><thead><tr><td>Mots-forme non lemmatisés</td><td>VERBES</td><td>NOMS</td></tr></thead><tbody><tr><td>Se terminent en -er</td><td>140 036</td><td>-</td></tr><tr><td>Se terminent en -ion, -age, -ment, -ure, -ance, -ade, -aison</td><td>-</td><td>225 177</td></tr><tr><td>Retrait des caractères spéciaux</td><td>97 275</td><td>132 498</td></tr><tr><td>Regroupement des lemmes doublons</td><td>96 937</td><td>132 300</td></tr><tr><td>Regroupement des lemmes mal orthographiés (diacritiques)</td><td>96 770</td><td>130 341</td></tr></tbody></table>

## 2.3 Appariement morphologique

De nombreux travaux se sont intéressés à la question de l'appariement morphologique automatique, en particulier dans le domaine de la recherche d'information. Les méthodes consistent principalement à constituer des ensembles de formes partageant les mêmes racines, en réunissant à la fois les formes fléchies, les lexèmes simples et les lexèmes construits (dérivation ou composition). Par exemple, il s'agira de regrouper chanter avec chant, chanteur et leurs formes fléchies. Etant donné la prise en compte d'allomorphes et de multiples schémas de construction morphologique (préfixation, suffixation, conversion, composition), les travaux proposent l'utilisation de règles symboliques (Gaussier 1999, pour la dérivation en français), de mesures de similarité sémantique entre lexèmes (Schone & Jurafsky 2000), ou encore d'algorithmes de clusterisation non-supervisés (Singh & Gupta 2019) qui ne nécessitent pas de connaissances linguistiques préalables. En ce qui concerne la constitution de ressources dérivationnelles, les approches à base de règles induites à partir de connaissances ont montré leur intérêt pour l'allemand (Zeller et al. 2013).

Dans notre cas, nos objectifs sont moins ambitieux ; nous ciblons des suffixes de nominalisation spécifiques et cherchons à extraire des paires plutôt que des ensembles. En ce sens, et parce que nous cherchons à réunir un très large ensemble de paires avec le moins de bruit possible, pour l'appariement morphologique, nous optons pour une approche à base de règles.

**Troncation des formes** Afin d'apparier les noms et les verbes, nous avons tronqué les formes de leurs suffixes (-age, -ment, -ion, -ure, -ance, -ade et -(a)ison) ou de leur finale verbale (-er, -ir ou -re) dans le but de faire correspondre leurs radicaux. Nous avons également généré des radicaux susceptibles d'être sujets à allomorphie. Toutes les troncations possibles ont été gardées pour un même lemme, à condition que la longueur de la forme tronquée ne soit pas inférieure à 2 caractères.

**Appariement** Les formes tronquées verbales et nominales ont été appariées sur la base d'une identité immédiate. De nombreux noms en -ion correspondant à des verbes à la deuxième personne du pluriel de l'imparfait (entendion plutôt que entendions) ont été évincés en cherchant pour chaque forme en -ion si un équivalent avec un -s existait parmi les formes fléchies du verbe base dans le
Glàff (Sajous et al. 2013). Pour les formes en -ment qui se trouvaient être des adverbes faussement étiquetés 'nom', nous nous sommes servis de l'ensemble des formes étiquetées 'adverbe' dans frCOW. Si la fréquence de la forme étiquetée 'adverbe' était plus élevée que la fréquence de la forme étiquetée 'nom', nous avons supprimé la paire comprenant le nom en -ment de la base. Afin de récupérer des paires incluant des radicaux allomorphiques et supplétifs que nos méthodes ne parvenaient pas à collecter, nous avons exploité la base lexicale Démonette (Hathout & Namer, 2014). Seules les paires qui ne figuraient pas déjà dans notre base ont été conservées. L'ajout de ces données a permis d'enrichir la base de 1 380 nouvelles paires (avec leurs fréquences dans frCOW quand les verbes et noms s'y trouvent). Enfin, en raison de nombreuses paires appariées à la suite d'erreurs orthographiques, nous avons retiré toutes les paires comprenant des noms non préalablement lemmatisés lorsque des équivalents lemmatisés avec une distance de Levenshtein de 1 étaient présents dans la base. Le détail des proportions de paires obtenues selon les étapes est décrit dans la table 3.

<table><caption>TABLE 3 – Etapes pour l'appariement verbe-nom</caption><thead><tr><td></td><td>Nombre de paires</td></tr></thead><tbody><tr><td>Identité immédiate</td><td>40 940</td></tr><tr><td>Nettoyage des lemmes mal orthographiés</td><td>36 519</td></tr><tr><td>Retrait des noms en -ment mal étiquetés</td><td>33 478</td></tr><tr><td>Ajout des paires de Démonette</td><td>34 858</td></tr><tr><td>Distances de Levenshtein (1)</td><td>27 857</td></tr></tbody></table>

## 3 Description de la ressource

Au total, la base est constituée de 25 857 paires verbe-nom dont les dérivés nominaux sont issus des suffixations en -ion, -age, -ment, -ance, -ure, -ade et -aison. Pour chaque paire sont données les fréquences du verbe et du nom dans frCOW, leur provenance (préalablement lemmatisé 'lemmatized' ou non 'nolemma' dans frCOW ou bien issu de Démonette) ainsi que le suffixe à l'origine de la dérivation. La table 4 présente 2 entrées : la paire comprenant le dérivé le plus fréquent, et une paire comprenant un verbe et un nom n'apparaissant chacun qu'une fois dans le corpus.

<table><caption>TABLE 4 – Exemples d'entrées de la base</caption><thead><tr><td>verbe</td><td>freq_verbe</td><td>origine_verbe</td><td>nom</td><td>freq_nom</td><td>suffixe</td><td>origine_nom</td></tr></thead><tbody><tr><td>former</td><td>662730</td><td>lemmatized</td><td>formation</td><td>3966933</td><td>ion</td><td>lemmatized</td></tr><tr><td>kikouloler</td><td>1</td><td>nolemma</td><td>kikoulolage</td><td>1</td><td>age</td><td>nolemma</td></tr></tbody></table>

**Distribution** Le détail des proportions de paires par suffixe est donné dans la table 5. La base réunit une majorité de dérivés en -ion, -age et -ment, ceux-ci étant à eux-seuls à l'origine de 85% des paires. Les suffixations en -ance et -ure, bien moins nombreuses, représentent un peu plus de 10% des données, tandis que seuls 4,3% des paires concernent les suffixations en -ade et -aison.

**Evaluation** La base a été évaluée en procédant à 4 tirages aléatoires de 100 paires (table 6, gauche). Pour chaque tirage, les paires ont été annotées "correcte" ou "incorrecte" par un seul annotateur. Deux
<table><caption>TABLE 5 – Distribution des paires selon le suffixe</caption><thead><tr><th></th><th>Nombre de paires</th><th>Proportion</th></tr></thead><tbody><tr><td>-ion</td><td>10 558</td><td>40,8%</td></tr><tr><td>-age</td><td>6 588</td><td>25,4%</td></tr><tr><td>-ment</td><td>4 865</td><td>18,8%</td></tr><tr><td>-ance</td><td>1 439</td><td>5,5%</td></tr><tr><td>-ure</td><td>1 252</td><td>4,8%</td></tr><tr><td>-ade</td><td>771</td><td>2,9%</td></tr><tr><td>-aison</td><td>384</td><td>1,4%</td></tr><tr><td><strong>Total</strong></td><td>25 857</td><td>100%</td></tr></tbody></table>

évaluations différentes ont été réalisées sur chaque tirage. Pour la première (évaluation stricte), les paires incorrectes pouvaient répondre à des erreurs de catégorisation de la base (nom plutôt que verbe, le plus souvent), à des erreurs d'orthographe sur l'une des deux formes ou sur les deux, des erreurs de langue (italien, créoles à base française, anglais, latin, ancien ou moyen français), ou encore à une correspondance sémantique trop opaque. Pour la deuxième évaluation (évaluation relâchée), nous avons considéré que les fautes d'orthographe ne constituaient pas des erreurs d'appariement si les deux formes comportaient les mêmes erreurs (par exemple : anhiler → anhilation). Les mêmes évaluations ont également été réalisées pour chaque suffixe (table 6, droite, 100 paires par suffixe).

<table><thead><tr><th></th><th>évaluation stricte</th><th>évaluation relâchée</th></tr></thead><tbody><tr><td>1</td><td>75%</td><td>88%</td></tr><tr><td>2</td><td>79%</td><td>90%</td></tr><tr><td>3</td><td>84%</td><td>89%</td></tr><tr><td>4</td><td>78%</td><td>81%</td></tr><tr><td><strong>moyenne</strong></td><td>79%</td><td>87%</td></tr></tbody></table>

<table><caption>TABLE 6 – Scores d'exactitude selon le type d'évaluation</caption><thead><tr><th></th><th>évaluation stricte</th><th>évaluation relâchée</th></tr></thead><tbody><tr><td>-ion</td><td>75%</td><td>89%</td></tr><tr><td>-age</td><td>86%</td><td>96%</td></tr><tr><td>-ment</td><td>77%</td><td>91%</td></tr><tr><td>-ance</td><td>54%</td><td>72%</td></tr><tr><td>-ure</td><td>62%</td><td>68%</td></tr><tr><td>-ade</td><td>48%</td><td>62%</td></tr><tr><td>-aison</td><td>53%</td><td>61%</td></tr></tbody></table>

**Productivité des schémas morphologiques** Grâce à la quantité de paires qu'elle regroupe, la base permet en outre de calculer la productivité globale des suffixes, notamment en appliquant la mesure de Baayen (1994). Avec l'idée que les suffixes les plus productifs vont former de nombreux dérivés peu fréquents, cette mesure calcule la productivité d'un suffixe E en calculant le rapport entre le nombre d'hapax suffixés par E et le nombre total d'hapax dérivés dans le même corpus. Plutôt que de donner cette mesure de productivité, nous donnons à la figure 1 les comptages des différents hapax dans notre base, ce qui permet de dessiner les premiers contours de la répartition du lexique par ces schémas en compétition : les suffixations en -ion, -age et -ment apparaissent comme les plus productives dans nos données, tandis que les suffixations en -ance, -ure, -ade et -aison se démarquent par leur faible productivité en comparaison.
<figure><img src="image_77.png" /><figcaption>FIGURE 1 – Productivité des suffixes (Baayen (1994), hapax)</figcaption></figure>

## 4 Conclusion

Cette ressource a été constituée dans le but d'explorer quantitativement les raisons de la coexistence de schémas morphologiques rivaux en français dans le cadre de la compétition entre les suffixes constructeurs de noms d'événement à partir de verbes. A notre connaissance, il s'agit de la base lexicale la plus large construite intégralement à partir de données issues du web pour les nominalisations issues du français écrit. Sa qualité pourrait toutefois faire l'objet d'améliorations. Les évaluations de la base ont montré que les erreurs orthographiques constituaient la majorité des erreurs uniquement pour les suffixations les plus fréquentes et les plus productives, à savoir -ion, -age et -ment. En ce sens, le nettoyage des lexiques pourrait être amélioré afin de rassembler au mieux les diverses variantes orthographiques d'une forme sous un même lemme. L'appariement morphologique pourrait en outre bénéficier de méthodes issues de la sémantique distributionnelle (Schone & Jurafsky 2000, Wauquier et al. 2018 pour les suffixations en -age, -ment et -ion). Etant donné les analyses proposées dans la littérature (Tribout 2010, Tribout & Villoing 2014), la base mériterait également d'être enrichie par l'ajout de paires verbe-nom issues de la conversion (marcher → marche, découvrir → découverte, arriver → arrivée), elle aussi en compétition dans la construction de noms d'événement en français. La conversion, non régulière sur le plan formel, pose d'autres enjeux pour l'extraction et l'appariement automatiques, qui constitueront la prochaine étape de ce travail. La ressource est disponible sur le site d'Ortolang sous le nom VerNom.

## Références

ABEILLÉ A., CLÉMENT L. & TOUSSENEL F. (2003). Building a treebank for french. In A. ABEILLÉ, Éd., *Treebanks : Building and Using Parsed Corpora*, p. 165–187. Dordrecht : Springer Netherlands. DOI : 10.1007/978-94-010-0201-1_10.

BAAYEN R. H. (1994). Productivity in language production. *Language and Cognitive Processes*, **9**(3), 447–469. DOI : 10.1080/01690969408402127.
BALVET A., BARQUE L., CONDETTE M.-H., HAAS P., HUYGHE R., MARÍN R. & MERLO A. (2011). Nomage : an electronic lexicon of French deverbal nouns based on a semantically annotated corpus. In *WoLeR 2011 at ESSLLI, International Workshop on Lexical Resources*, p. 8–15, Ljubljana, Slovenia. HAL: [halshs-01078047](https://halshs-01078047)

BONAMI O. & THUILIER J. (2019). A statistical approach to rivalry in lexeme formation : Frenchiser and-ifier. *Word Structure*, **12**(1), 4–41.

DAL G., HATHOUT N., LIGNON S., NAMER F. & TANGUY L. (2018). Toile versus dictionnaires : Les nominalisations du français en-age et en-ment. In *SHS Web of Conferences*, volume 46, p. 08003 : EDP Sciences.

FERRET K., SOARE E. & VILLOING F. (2010). Rivalry between french-age and-ée : the role of grammatical aspect in nominalization. In M. ALONI, H. BASTIAANSE, T. DE JAGER & K. SCHULTZ, Éds., *Logic, language and meaning, 17th Amsterdam Colloquium, The Netherlands, December 2009, Revised Selected Papers, Lecture Notes in Computer Science (Vol. 6042)*, p. 284–295. Berlin : Springer.

FERRET K. & VILLOING F. (2012). L’aspect grammatical dans les nominalisations en français : les déverbaux en -age et -ée. *Lexique (20)*, p. 73–127.

FRADIN B. (2014). La variante et le double. In F. VILLOING, S. DAVID & L. SARAH, Éds., *Foisonnements morphologiques. Études en hommage à Françoise Kerleroux*, p. 109–147. Presses Universitaires de Paris Ouest.

FRADIN B. (2019). Competition in derivation : What can we learn from french doublets in-age and-ment? In F. RAINER, F. GARDANI, W. U. DRESSLER & H. C. LUSCHÜTZKY, Éds., *Competition in Inflection and Word-Formation. Studies in Morphology*, vol 5., p. 67–93. Springer, Cham.

GAUSSIER É. (1999). Unsupervised learning of derivational morphology from inflectional lexicons. In *Proceedings of the ACL Workshop on Unsupervised Learning in Natural Language Processing*, p. 24–30.

HATHOUT N. & NAMER F. (2014). Démonette, a French derivational morpho-semantic network. *Linguistic Issues in Language Technology*, **11**(5), 125–168.

HATHOUT N., SAJOUS F. & TANGUY L. (2009). Looking for french deverbal nouns in an evolving web (a short history of wac). In *Proceedings of the fifth workshop on Web As Corpus (WAC), San Sebastian, September 7th*, p. 37–44.

HATHOUT N. & TANGUY L. (2002). Webaffix : Discovering Morphological Links on the WWW. In *LREC 2002, Proceedings of LREC, Las Palmas, Spain*. HAL: [halshs-01322326](https://halshs-01322326)

LÜDTKE J. (1978). *Prädikative Nominalisierungen mit Suffixen im Katalanischen, Spanischen und Französischen*. Tübingen : Niemeyer.

MARTIN F. (2010). The semantics of eventive suffixes in French. In M. RATHERT & A. ALEXIA-DOU, Éds., *The Semantics of Nominalizations across Languages and Frameworks*, p. 109–141. Berlin : Mouton de Gruyter.

NAMER F., BARQUE L., BONAMI O., HAAS P., HATHOUT N. & TRIBOUT D. (2019). Demonette2 – A large scale derivational database for French : first results. In *TALN, Toulouse, France*. HAL: [halshs-02275652](https://halshs-02275652)

SAJOUS F., HATHOUT N. & CALDERONE B. (2013). GLÁFF, un Gros Lexique Á tout Faire du Français. In *Actes de la 20e conférence sur le Traitement Automatique des Langues Naturelles (TALN’2013)*, p. 285–298, Les Sables d’Olonne, France.
SCHONE P. & JURAFSKY D. (2000). Knowledge-free induction of morphology using latent semantic analysis. In *Proceedings of the 2nd workshop on Learning language in logic and the 4th conference on Computational natural language learning*–Volume 7, p. 67–72: Association for Computational Linguistics.

SCHÄFER R. (2015). Processing and querying large web corpora with the COW14 architecture. In P. BANSKI, H. BIBER, E. BREITENEDER, M. KUPIETZ, H. LÄNGEN & A. WITT, Éds., *Proceedings of Challenges in the Management of Large Corpora 3 (CMLC-3)*, Lancaster: UCREL IDS.

SCHÄFER R. & BILDHAUER F. (2012). Building large corpora from the web using a new efficient tool chain. In N. C. C. CHAIR), K. CHOUKRI, T. DECLERCK, M. U. DOÄÝAN, B. MAEGAARD, J. MARIANI, A. MORENO, J. ODIJK & S. PIPERIDIS, Éds., *Proceedings of the Eight International Conference on Language Resources and Evaluation (LREC’12)*, p. 486–493, Istanbul, Turkey: European Language Resources Association (ELRA).

SINGH J. & GUPTA V. (2019). A novel unsupervised corpus-based stemming technique using lexicon and corpus statistics. *Knowledge-Based Systems*, **180**, 147–162.

TRIBOUT D. (2010). *Noun to verb and verb to noun conversions in French*. Thèse de doctorat, Université Paris Diderot (Paris 7). HAL: tel-01577528.

TRIBOUT D. & VILLOING F. (2014). La composition VN et la conversion V>N en français : un nouveau cas de concurrence morphologique ? In F. VILLOING, S. DAVID & S. LEROY, Éds., *Foisonnements morphologiques. Etudes en hommage à Françoise Kerleroux*. Presses Universitaires de Paris Ouest. HAL: halshs-01690227.

UTH M. (2010). The rivalry of the French nominalization suffixes -age and -ment from a diachronic perspective. In M. RATHERT & A. ALEXIADOU, Éds., *The Semantics of Nominalizations across Languages and Frameworks*, p. 215–244. Berlin: Mouton de Gruyter.

UTH M. (2016). The competition of event nominalization procedures of French, in comparison with German. *Zeitschrift für Romanische Philologie*, **132**(1), 58–89.

WAUQUIER M., FABRE C. & HATHOUT N. (2018). Différenciation sémantique de dérivés morphologiques à l'aide de critères distributionnels. In *Congrès Mondial de Linguistique Française (CMLF)*, volume 46 de 6e Congrès Mondial de Linguistique Française, Mons, Belgium: EDP Sciences. DOI: 10.1051/shsconf/20184608006, HAL: hal-01876027.

WAUQUIER M., HATHOUT N. & FABRE C. (2019). Contributions of distributional semantics to the semantic study of french morphologically derived agent nouns. In *Mediterranean Morphology Meetings*, volume 12, p. 111–121.

ZELLER B., ŠNAJDER J. & PADÓ S. (2013). Derivbase: Inducing and evaluating a derivational morphology resource for german. In *Proceedings of the 51st Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers)*, p. 1201–1211.
# Étude des variations sémantiques à travers plusieurs dimensions

Syrielle Montariol¹, ² Alexandre Allauzen³

(1) LIMSI, CNRS, Univ. Paris-Sud, Univ. Paris-Saclay, F-91405 Orsay, France

(2) Société Générale, 17 Cours Valmy 92043 Puteaux, France

(3) ESPCI, Univ. Paris Dauphine - PSL, 75016 Paris

syrielle.montariol@limsi.fr, alexandre.allauzen@espci.psl.eu

## RÉSUMÉ

Au sein d'une langue, l'usage des mots varie selon deux axes : diachronique (dimension temporelle) et synchronique (variation selon l'auteur, la communauté, la zone géographique... ). Dans ces travaux, nous proposons une méthode de détection et d'interprétation des variations d'usages des mots à travers ces différentes dimensions. Pour cela, nous exploitons les capacités d'une nouvelle ligne de plongements lexicaux contextualisés, en particulier le modèle BERT. Nous expérimentons sur un corpus de rapports financiers d'entreprises françaises, pour appréhender les enjeux et préoccupations propres à certaines périodes, acteurs et secteurs d'activités.

## ABSTRACT

### Studying semantic variations through several dimensions

In a language, word usage can vary across two axis : diachronic (time evolution), and synchronic (variation across sources, authors, communities...). In this work, we propose to leverage the capacity of contextualised embeddings models to analyse financial texts along these two axes of variation. Starting from a corpus of annual company reports spanning 20 years, we explore the ability of the language model BERT to extract interpretable variations in word usage in order to understand the stakes and concerns of specific periods, financial actors and sectors.

**MOTS-CLÉS** : Diachronie, Variation sémantique, Plongements lexicaux contextualisés, Clustering.

**KEYWORDS** : Diachrony, Semantic variation, Contextualised Embeddings, Clustering.

# 1 Introduction

L'usage des mots varie selon deux axes : diachronique (dimension temporelle) (Aitchison, 2001) et synchronique (en fonction de l'auteur, la communauté, la zone géographique... ). Ces variations peuvent être d'envergure et d'ordre générationnel et culturel; ou d'ampleur plus réduite, pour des variations à court terme et entre individus ou entités. Dans ce cas, elles peuvent être le résultat d'événements qui, sans altérer la signification du mot, changent ponctuellement son usage et sa connotation. Elles révèlent alors des divergences d'intérêts et de préoccupations entre les individus.

Dans cet article, nous nous concentrons sur le domaine financier et un corpus de rapports financiers d'entreprises. Dans ce cadre, modéliser les évolutions temporelles d'usage des mots peut permettre une meilleure appréhension des enjeux et préoccupations de chaque période (Matthew Purver & Pollak, 2018) tandis que les opinions, comportements et préoccupations des différents acteurs financiers peuvent transparaître à travers la façon dont ils utilisent les mots. En d'autres termes, nous cherchons

<figure><img src="image_78.png" /></figure>
à détecter des "signaux faibles" en analysant les variations d'usage des mots. Un signal faible est une information observée à partir de données, qui peut avoir une interprétation et des conséquences ambiguës, mais peut revêtir de l'importance pour la compréhension d'événements présents ou futurs. Les variations diachroniques et synchroniques au sein d'un corpus de documents sont difficilement repérables par les analystes financiers; mais elles peuvent révéler des informations précieuses en tant que potentiels signaux faibles de changement dans l'opinion ou la situation d'un acteur financier. Par exemple, l'évolution de la connotation du vocabulaire employé dans les communications des banques centrales (BCE et Fed) est liée à la situation économique de la période (Buechel et al., 2019).

Avec la numérisation de textes historiques, les méthodes de traitement automatique des langues (TAL) pour l'analyse diachronique se sont développées rapidement ces dernières années (Tahmasebi et al., 2018). De nombreux modèles reposent sur des plongements de mots statiques comme Word2Vec (Mikolov et al., 2013). Ils rassemblent les différents usages d'un mot dans un unique vecteur, ce qui rend difficile une analyse des variations de contexte et d'usage. Plus récemment, les plongements de mot contextualisés sont apparus comme BERT (Devlin et al., 2019) ou ELMO (Peters et al., 2018). Ce type de modèles renouvel lent les perspectives pour l'analyse des variations sémantiques. Dans cet article, nous utilisons le modèle BERT qui montre une nette supériorité pour la tâche de désambiguïsation sémantique par rapport à ELMO et Flair (Wiedemann et al., 2019). Nous nous appuyons sur FlaubERT, une version de BERT pour le français, pour proposer une méthode de détection et d'interprétation des variations d'usages de mots dans un corpus selon plusieurs dimensions. La méthode est décrite dans la section 3 puis appliquée (section 4) sur un corpus français de rapports financiers annuels d'entreprises (section 4.1).

## 2 État de l'art

Avant que l'emploi de représentations vectorielles de mots ne se généralise, la mesure de changement sémantique reposait sur la détection de variation dans les co-occurences de mots (Sagi et al., 2009). Puis des modèles de plongements de mots diachroniques se sont développés, reposant sur l'hypothèse qu'un changement dans le contexte d'un mot reflète une évolution de sa signification et son usage. Le plus souvent, ils impliquent de diviser un corpus en strates temporelles puis d'apprendre des plongements lexicaux (Mikolov et al., 2013) pour chaque mot, dans chaque strate. Pour cela, deux méthodes populaires sont l'apprentissage incrémental (Kim et al., 2014) et l'alignement d'espaces vectoriels (Hamilton et al., 2016). Néanmoins, ces méthodes rassemblent l'ensemble des significations et usages possibles d'un mot dans un unique vecteur, à chaque strate temporelle.

En parallèle, l'analyse de variations sémantiques dans le cas synchronique est faite en majorité à partir de méthodes de désambiguïsation sémantique. Certains auteurs utilisent des mesures de similarité entre plongements de mots pour analyser les variations de vocabulaire entre plusieurs communautés (Tredici & Fernández, 2017). Plus récemment, Schlechtweg et al. (2019) analysent à la fois les variations synchroniques et diachroniques dans des corpus en utilisant des plongements lexicaux et une méthode d'alignement d'espaces de représentations.

Les plongements de mots contextualisés comme BERT (Devlin et al., 2019) et ELMO (Peters et al., 2018) permettent à chaque occurrence d'un mot d'être représentée par un vecteur dépendant de son contexte. Pré-entraînés sur des corpus volumineux, ils améliorent l'état de l'art dans de nombreuses tâches de TAL et commencent à être utilisés pour la détection de changement sémantique. Dans un premier temps, BERT fut utilisé de façon supervisée (Hu et al., 2019) pour déterminer l'évolution de
la distribution des sens d'un mot au cours du temps. Néanmoins, cette méthode implique de travailler
sur un nombre réduit de mots dont l'ensemble des sens est connu l'avance. Nous explorons l'usage
de méthodes de partitionnement sur l'ensemble des représentations des occurrences d'un mot pour
extraire automatiquement ses sens possibles (Giulianelli et al., 2019; Martinc et al., 2020a).

3 Modélisation des variations avec FlauBERT

BERT (Bidirectional Encoder Representations from Transformers) est un modèle de représentation des mots dans leurs contextes d'utilisation (typiquement une phrase). Son utilisation repose sur l'apprentissage par transfert : pré-entraîner un modèle sur une tâche non-supervisée à partir d'un très grand volume de données, avant de le raffiner sur une nouvelle tâche. Ici, nous utilisons ce type de modèle directement pour représenter l'occurrence d'un mot dans une séquence. Notre étude portant sur des données français, nous utilisons le modèle FlauBERT (Le et al., 2020) qui est une variante des modèles BERT et RoBERTa (Liu et al., 2019) entraînée sur des textes français.

3.1 Détection des variations

FlaubERT permet de prédire la représentation spécifique au contexte de chaque occurrence d'un mot.
Afin d'en détecter les variations d'usage, nous proposons une méthode en quatre étapes.

Extraction des plongements contextualisés

Le corpus est d'abord segmenté en phrases, chacune d'elle étant assortie de méta-données décrivant
son document d'origine, l'auteur et la date. Pour chaque mot du vocabulaire sélectionné, nous
extrayons l'ensemble des plongements lexicaux contextualisés de ses occurrences dans le corpus à
l'aide de FlaubERT. Le vecteur extrait correspond à la dernière couche du modèle pré-entraîné.

Détection des mots subissant des variations

Les travaux précédents sélectionnent manuellement une faible quantité de mots à analyser (Giulianelli et al., 2019; Hu et al., 2019). À l'inverse, nous souhaitons détecter automatiquement les mots qui subissent une variation significative. Pour cela, nous utilisons une approche similaire à celle de Martinc et al. (2020b). Pour chaque dimension, nous calculons une métrique reposant sur la moyenne des représentations vectorielles des occurrences d'un mot calculée sur l'ensemble du corpus. Prenons le cas des variations diachroniques, la moyenne des représentations observées sur tous le corpus $u_{corpus}$ est comparée à la moyenne estimée sur chaque strate temporelle $u_t$ en utilisant la distance cosinus. La sélection se fait par seuillage sur la moyenne des distances.

Partitionnement des usages

Pour chaque mot sélectionné, nous appliquons un algorithme de partitionnement sur l'ensemble des
représentations vectorielles de ses occurrences. Nous retenons pour ce faire deux algorithmes en
particulier : K-Means et propagation par affinité. La méthode de propagation par affinité (Frey &
Dueck, 2007), moins classique que la méthode K-Means, a fait ses preuves dans la littérature de la
désambiguïsation du sens des mots (Alagić et al., 2018), une tâche proche de notre objectif. Elle a
l'avantage de ne pas nécessiter de sélectionner manuellement le nombre de clusters.

On notera que les représentations inférées par FlaubERT contiennent des informations sémantiques
mais aussi syntaxiques (Coenen et al., 2019). Par construction, les clusters obtenus ne regroupent
donc pas les différents sens d'un mot, mais plus largement les différentes manières dont il est utilisé.
## Matrice de distributions d'usages

Pour chaque mot, une matrice est déduite afin de représenter les distribution normalisée des clusters (donc des usages) au travers d'une dimension de variation. Par exemple, la figure 1 représente une telle matrice pour les variations temporelles et sectorielles.

## 3.2 Interprétation des variations

Les matrices de distributions d'usages de mots permettent d'extraire différentes informations :

1) À quel point l'usage d'un mot varie pour une dimension donnée ?

2) À quelle période, pour quel auteur, quelle classe, se produit la variation ?

3) Quel usage apparaît / disparaît ? Comment interpréter ce changement ?

Pour le premier élément, nous utilisons la divergence de Jensen-Shannon (JSD), une mesure de comparaison de deux distributions de probabilité, ainsi que sa généralisation à n distributions de probabilités $d_1, d_2, \dots, d_n$ proposée par Ré & Azad (2014) (H est la fonction entropie) :

$$ \mathrm{JSD}(d_1, d_2, \dots, d_n) = H \left( \frac{\sum_{i=1}^{n} d_i}{n} \right) - \frac{\sum_{i=1}^{n} H(d_i)}{n} \quad (1) $$

Pour le second élément, chaque distribution des usages est comparée avec la distribution moyenne de toute la dimension. Par exemple dans le cadre diachronique, la moyenne élément-à-élément des distributions de l'ensemble des périodes est calculée. Cette distribution moyenne est comparée à celle de chaque période à l'aide de la JSD. Puis il convient de déterminer les clusters / usages concernés : ceux qui varient le plus, apparaissent ou disparaissent au cours du temps, ou sont propres à certains acteurs uniquement. Pour cela, on recherche les clusters qui se répartissent de manière inégale selon la dimension de variation.

Pour finir, une fois les clusters cibles identifiés, interpréter les usages qui y sont associés se fait de deux façons. Tout d'abord, nous faisons l'hypothèse que l'exemple (la phrase, dans notre cas) le plus proche du centroïde est représentatif du contexte des occurrences du mot dans le cluster analysé. Nous comparons donc ces phrases entre les différents clusters pour avoir une idée préliminaire de l'usage du mot dans son contexte.

Ensuite, nous mettons en place une méthode de détection de mots-clés pour caractériser les différents clusters les uns par rapport aux autres. La méthode repose sur le principe du tf-idf (Term Frequency - Inverse Document Frequency). Un cluster étant constitué d'un ensemble de phrase, nous considérons chaque cluster comme un document et l'ensemble des clusters comme un corpus. Le but est de déterminer les mots ayant de l'importance pour un document mais pas dans le reste du corpus, c'est-à-dire les mots les plus discriminants pour chaque cluster. Les mots-outils sont exclus ; nous éliminons aussi tous les mots qui apparaissent déjà dans plus de 50% des clusters. Nous calculons ensuite les scores de tf-idf des mots dans chaque cluster. Les mots ayant les scores les plus importants sont utilisés comme mots-clés pour caractériser et faciliter l'interprétation des clusters.

## 4 Expérimentation

Nous appliquons la méthode décrite à un corpus du domaine financier, pour détecter les variations d'usages de mots à travers plusieurs dimensions en plus de celle du temps. Pour nos expériences, nous
utilisons le modèle pré-entraîné et librement disponible FlauBERT-base-uncased (Le et al., 2020).

## 4.1 Corpus

Les données utilisées sont issues du corpus financier CoFiF<fnref n="1" /> (Daudert & Ahmadi, 2019). Il est composé des rapports financiers des 60 plus grandes entreprises françaises appartenant aux indices boursiers CAC40 et CAC Next 20. Il comporte plus de 5 millions de phrases dans 2655 rapports de différents types (rapports trimestriel, semestriel, annuel, et document de référence), de 1995 à 2018. Une particularité du corpus est la présence de tableaux de données au format brut dans le texte. Afin d'écarter ces éléments de l'analyse, lors de la division du corpus en phrases, nous excluons les phrases composées de moins de 70% de lettres (plus de 30% de chiffres, symboles et espaces). Pour finir, nous nous concentrons sur les documents de référence (DR), qui constituent presque 85% du volume de données. Ils sont publiés chaque année par les entreprises et résument leur situation financière et perspectives. Ainsi, nous aboutissons à un corpus constitué d'environ 2.7 millions de phrases. Chacune de ces phrases est associée aux méta-données du document dont elle est extraite : le nom de l'entreprise, et l'année de publication du rapport. Ce sont deux dimensions pour l'analyse de variations d'usage des mots : diachronique (par année) et synchronique (par entreprise). L'axe synchronique est étoffé en collectant des informations sur les entreprises : leur domaine d'activité (luxe, transport, chimie, ...) et leur secteur (secondaire ou tertiaire). Les deux secteurs sont équilibrés (1.4 millions de phrases pour le secteur tertiaire, et 1.3 millions pour le secondaire).

Parmi l'ensemble du vocabulaire, nous conservons les 10 000 mots les plus fréquents. Nous en excluons les mots-outils et sélectionnons les mots qui sont uniquement des noms<fnref n="2" />. En effet, le modèle BERT est fortement influencé par la catégorie grammaticale d'un mot (Coenen et al., 2019); réduire ainsi l'analyse permet de limiter l'impact de la catégorie grammaticale lors du partitionnement.

## 4.2 Résultats

Certains mots ont plus de 500 000 occurrences dans le corpus ; c'est autant de phrases dont il faut extraire le plongement lexical avec FlauBERT. Pour alléger ce processus, nous échantillonnons 5000 phrases pour chaque mot, à partir desquelles nous mesurons la variation pour chaque dimension (par année, entreprise, domaine d'activité et secteur) en se ramenant à des plongements lexicaux statiques. Pour chaque dimension, nous conservons comme mots-cibles les 10% de mots ayant la mesure de variation la plus élevée.

Puis pour chaque mot-cible retenu, nous appliquons les algorithmes de partitionnements K-means et propagation par affinité sur l'ensemble des représentations vectorielles de ses occurrences. Afin d'évaluer la qualité du partitionnement, nous calculons le coefficient de silhouette pour chaque mot et algorithme. Puis, nous nous extrayons les distributions de probabilité pour chaque strate temporelle (analyse diachronique) et pour chaque entreprise / secteur d'activité (analyse synchronique). Enfin, pour chaque dimension, nous calculons la JSD généralisée sur l'ensemble des distributions de probabilité afin de mesure le niveau de variation sémantique du mot dans la dimension étudiée. Les valeurs moyenne pour tous les mots-cibles du coefficient de silhouette et de la JSD par secteur et par année figurent en Table 1. Rappelons que le coefficient de silhouette se situe entre 0 et 1 (proche de

<footnote n="1">1. https://github.com/CoFiF/Corpus</footnote>

<footnote n="2">2. En utilisant l'outil Wolf (Sagot & Fišer, 2008), une ressource lexicale et sémantique pour le français.</footnote>
<table><caption>TABLE 1: Valeurs moyenne pour tous les mots-cibles du coefficient de silhouette et de la JSD par secteur et par année</caption><thead><tr><td>Method</td><td>S-score</td><td>JSD-secteur</td><td>JSD-année</td></tr></thead><tbody><tr><td>aff-prop</td><td>0.118</td><td>1.722</td><td>1.265</td></tr><tr><td>kmeans3</td><td>0.094</td><td>0.137</td><td>0.075</td></tr><tr><td>kmeans5</td><td>0.088</td><td>0.234</td><td>0.124</td></tr><tr><td>kmeans7</td><td>0.071</td><td>0.230</td><td>0.167</td></tr></tbody></table>

<table><caption>TABLE 2: Top 5 des mots ayant les plus fortes JSD selon les dimensions temporelle et sectorielle, avec la propagation par affinité.</caption><thead><tr><td></td><td>Année</td><td>Secteur</td></tr></thead><tbody><tr><td>1</td><td>écologie</td><td>magasin</td></tr><tr><td>2</td><td>climat</td><td>écologie</td></tr><tr><td>3</td><td>biodiversité</td><td>luxe</td></tr><tr><td>4</td><td>syndicats</td><td>syndicats</td></tr><tr><td>5</td><td>gouvernement</td><td>publicité</td></tr></tbody></table>

zéro indique une faible qualité); et que si la JSD se situe entre 0 et 1 pour deux distribution, la version généralisée à n distributions est bornée par $log_2(n)$. Pour la dimension temporelle par exemple, notre période de 18 ans mène à une borne supérieure valant $log_2(18) \approx 4.17$.

Selon la table 1, l'algorithme de propagation par affinité mène au coefficient de silhouette moyen le plus élevé. Nous utilisons donc cet algorithme de partitionnement pour comparer les variations des mots-cibles entre eux. Les 5 mots-cibles ayant les plus fortes JSD selon les dimensions temporelle et sectorielle dans le corpus sont listés dans la Table 2. On note que les 3 mots les plus variables par année font tous partie du champs lexical du climat. De plus, le mot *écologie* varie fortement dans les deux dimensions; nous allons analyser et interpréter ses variations.

## Étude de cas : le mot *écologie*.

Pour ce mot, le coefficient de silhouette le plus élevé est obtenu à partir de l'algorithme K-Means avec $k = 7$, pour un score de 0.231. La distribution normalisée des clusters issus de ce partitionnement pour les dimensions sectorielle et temporelle est représentée sur la Figure 1. En comparant les distributions de chaque période ou secteur avec la distribution moyenne sur le corpus pour la dimension associée, nous repérons les périodes et secteurs qui se démarquent. Puis nous quantifions la variation de chaque cluster au sein d'une dimension. Cela nous mène à la dernière étape : l'interprétation des clusters. Nous extrayons les phrases les plus proches des centroïdes; puis à partir de la méthode d'extraction de mots-clés, nous associons un thème à chaque cluster (Table 3).

Par exemple, le cluster 6 connaît une forte variation temporelle, avec une proportion croissante à partir de 2007; il est associé à des problématiques de financement et de coût (Figure 1). Le cluster 2 n'est propre qu'à quelques secteurs et se concentre sur les idées de métier propre à l'écologie; il apparaît assez tardivement dans les documents. À l'inverse, les clusters 1 et 5 propres aux transports et à l'aménagement des territoires pour l'un, et à l'énergie pour l'autre, sont communs à la plupart des secteurs. Le cluster 1 est bien résumé par sa phrase-centroïde, "ces obligations concernent pour l'essentiel l'écologie, l'aménagement du paysage et l'archéologie pour les sites de développement associés". Le cluster 3, plutôt associé au territoire du point de vue des ressources, est présent sur toute la période étudiée mais n'est propre qu'à quelques secteurs tels ceux du pétrole et de la chimie. Pour finir, le cluster 4 qui contient le champs lexical du risque et du danger, apparaît et prend progressivement de l'ampleur mais reste minoritaire, probablement dû au fait que les analystes financiers évitent d'employer des termes négatifs lors de la rédactions des rapports d'activité afin de ne pas inquiéter les investisseurs.
<table><caption>TABLE 3: Liste des clusters et interprétations pour le mot écologie.</caption><thead><tr><td>N°</td><td>Titre</td><td>Exemple de mots-clés</td></tr></thead><tbody><tr><td>0</td><td>pratique</td><td>éco, concept, logement, économique, raisonné, préservant, préfabrication</td></tr><tr><td>1</td><td>transport</td><td>directeur, énergie, impacts, transports, aviation, initiatives, territoire, aménagement</td></tr><tr><td>2</td><td>métier</td><td>apprendre, structure, métiers, collaborateurs, réseau, professionnels, management</td></tr><tr><td>3</td><td>territoire</td><td>industrielle, sites, flux, déchets, échanges, territoriale, eaux, circulaire, ressources</td></tr><tr><td>4</td><td>danger</td><td>groupe, fondation, prix, intégrer, péril, polluante, excessive, concernés</td></tr><tr><td>5</td><td>énergie</td><td>émissions, énergie, fessenheim, industrielle, biodiversité, slovénie, co2, nucléaire</td></tr><tr><td>6</td><td>coût</td><td>énergie, arrêté, coût, mer, prix, stockage, économiques, milliards, aménagement</td></tr></tbody></table>

Dans l'ensemble, les disparités d'usage et de connotation des mots que nous détectons sont encourageantes. La détection de variations propres à une période temporelle permettrait à un analyste de relier le résultat avec des événements de la vie réelle, tandis que les variations de connotation entre les clusters ouvrent la voie à une analyse de sentiments plus poussée.

<figure><img src="image_79.png" /><figcaption>FIGURE 1: Distribution des clusters pour le mot écologie, par secteur d'activité (à gauche) et par année (à droite).</figcaption></figure>

## 5 Conclusion

Cet article est une investigation préliminaire de la capacité des plongements lexicaux contextualisés de BERT à détecter des variations diachroniques et synchroniques d'usages de mots. Nous montrons sur une étude de cas que notre méthode permet de détecter et d'interpréter de façon fine les variations d'usage dans plusieurs dimensions.

L'étape suivante est de proposer une méthode d'évaluation de notre processus. Peu de corpus annotés de variations sémantiques étant disponibles, nous nous tournons vers la génération de variations synthétiques (Shoemark et al., 2019). Nous définissons différents scénarios de variations d'usage d'un mot selon différentes dimensions, puis les simulons en générant des corpus comportant ces variations. Le but est d'évaluer les capacités de détection de notre méthode sur ces données synthétiques, pour chaque scénario.
Références

AITCHISON J. (2001). Language change : Progress or decay? In *Cambridge Approaches to Linguistics*. Cambridge University Press.

ALAGIĆ D., ŠNAJDER J. & PADÓ S. (2018). Leveraging lexical substitutes for unsupervised word sense induction. In *Thirty-Second AAAI Conference on Artificial Intelligence* : link.

BUECHEL S., JUNKER S., SCHLAAK T., MICHELSEN C. & HAHN U. (2019). A time series analysis of emotional loading in central bank statements. In *Proceedings of the Second EcoNLP Workshop*, Hong Kong : D19-5103.

COENEN A., REIF E., YUAN A., KIM B., PEARCE A., VIÉGAS F. B. & WATTENBERG M. (2019). Visualizing and measuring the geometry of bert. In *NeurIPS* : NIPS2019_9065.

DAUDERT T. & AHMADI S. (2019). CoFiF : A corpus of financial reports in French language. In *Proceedings of the First Workshop on Financial Technology and Natural Language Processing*, p. 21–26, Macao, China : W19-5504.

DEVLIN J., CHANG M.-W., LEE K. & TOUTANOVA K. (2019). Bert : Pre-training of deep bidirectional transformers for language understanding. In *NAACL-HLT* : N19-1423.

FREY B. J. & DUECK D. (2007). Clustering by passing messages between data points. *Science*, **315**(5814), 972–976. DOI : 10.1126/science.1136800.

GIULIANELLI M., FERNANDEZ R. & DEL TREDICI M. (2019). Contextualised word representations for lexical semantic change analysis. In *EurNLP* : link.

HAMILTON W., LESKOVEC J. & JURAFSKY D. (2016). Diachronic word embeddings reveal statistical laws of semantic change. p. 1489–1501. DOI : 10.18653/v1/P16-1141.

HU R., LI S. & LIANG S. (2019). Diachronic sense modeling with deep contextualized word embeddings : An ecological view. p. 3899–3908. DOI : 10.18653/v1/P19-1379.

KIM Y., CHIU Y.-I., HANAKI K., HEGDE D. & PETROV S. (2014). Temporal analysis of language through neural language models. DOI : 10.3115/v1/W14-2517.

LE H., VIAL L., FREJ J., SEGONNE V., COAVOUX M., LECOUTEUX B., ALLAUZEN A., CRABBÉ B., BESACIER L. & SCHWAB D. (2020). Flaubert : Unsupervised language model pre-training for french. In *Proceedings of LREC 2020* : arXiv : 1912.05372.

LIU Y., OTT M., GOYAL N., DU J., JOSHI M., CHEN D., LEVY O., LEWIS M., ZETTLEMOYER L. & STOYANOV V. (2019). Roberta : A robustly optimized BERT pretraining approach. *arXiv* : 1907.11692.

MARTINC M., MONTARIOL S., ZOSA E. & PIVOVAROVA L. (2020a). Capturing evolution in word usage : Just add more clusters? In *Companion Proceedings of the Web Conference 2020*, WWW ’20, p. 343–349, New York, NY, USA : Association for Computing Machinery. DOI : 10.1145/3366424.3382186.

MARTINC M., NOVAK P. K. & POLLAK S. (2020b). Leveraging contextual embeddings for detecting diachronic semantic shift. In *Proceedings of LREC 2020* : arXiv : 1912.01072.

MATTHEW PURVER, ALJOŠA VALENTINČIČ M. P. & POLLAK S. (2018). Diachronic lexical changes in company reports : An initial investigation. In M. EL-HAJ, P. RAYSON & A. MOORE, Éds., *Proceedings of the Eleventh International Conference on Language Resources and Evaluation (LREC 2018)*, Paris, France : lrec2018-9_W27.
MIKOLOV T., SUTSKEVER I., CHEN K., CORRADO G. S. & DEAN J. (2013). Distributed representations of words and phrases and their compositionality. In *Advances in Neural Information Processing Systems* 26, p. 3111–3119. NIPS2013_5021.

PETERS M. E., NEUMANN M., IYYER M., GARDNER M., CLARK C., LEE K. & ZETTLEMOYER L. (2018). Deep contextualized word representations. *arXiv : 1802.05365*.

RÉ M. A. & AZAD R. K. (2014). Generalization of entropy based divergence measures for symbolic sequence analysis. *PLoS ONE*, **9**. DOI: 10.1371/journal.pone.0093532.

SAGI E., KAUFMANN S. & CLARK B. (2009). Semantic density analysis: Comparing word meaning across time and phonetic space. In *Proceedings of the Workshop on Geometrical Models of Natural Language Semantics*, Athens, Greece: W09-0214.

SAGOT B. & FIŠER D. (2008). Building a free French wordnet from multilingual resources. In *OntoLex*, Marrakech, Morocco. HAL: inria-00614708.

SCHLECHTWEG D., HÄTTY A., DEL TREDICI M. & SCHULTE IM WALDE S. (2019). A wind of change: Detecting and evaluating lexical semantic change across times and domains. In *Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics*, p. 732–746, Florence, Italy: Association for Computational Linguistics. DOI: 10.18653/v1/P19-1072.

SHOEMARK P., LIZA F. F., NGUYEN D., HALE S. & MCGILLIVRAY B. (2019). Room to Glo: A systematic comparison of semantic change detection approaches with word embeddings. In *Proceedings of the 2019 EMNLP-IJCNLP Conference*, p. 66–76, Hong Kong, China: Association for Computational Linguistics. DOI: 10.18653/v1/D19-1007.

TAHMASEBI N., BORIN L. & JATOWT A. (2018). Survey of computational approaches to diachronic conceptual change. *arXiv : 1811.06278*.

TREDICI M. D. & FERNÁNDEZ R. (2017). Semantic variation in online communities of practice. In *IWCS 2017 - 12th International Conference on Computational Semantics - Long papers*: W17-6804.

WIEDEMANN G., REMUS S., CHAWLA A. & BIEMANN C. (2019). Does bert make any sense? interpretable word sense disambiguation with contextualized embeddings. In *Proceedings of KONVENS 2019*, Erlangen, Germany: link.
# Identification des problèmes d'annotation pour l'extraction de relations

Tsanta Randriatsitohaina¹ Thierry Hamon¹,²

(1) LIMSI, CNRS, Université Paris-Saclay, Campus universitaire d'Orsay, 91405 Orsay cedex, France

(2) Université Paris 13, 99 avenue Jean-Baptiste Clément, 93430 Villetaneuse, France

tsanta@limsi.fr, hamon@limsi.fr

## RÉSUMÉ

L'annotation d'un corpus est une tâche difficile et laborieuse, notamment sur des textes de spécialité comme les textes biomédicaux. Ainsi, dans un contexte comme l'extraction des interactions aliment-médicament (FDI), l'annotation du corpus POMELO a été réalisée par un seul annotateur et présente des risques d'erreur. Dans cet article, nous proposons d'identifier ces problèmes d'annotation en utilisant un corpus Silver Standard (CSS) que nous établissons à partir d'un vote majoritaire parmi les annotations proposées par des modèles entraînés sur un domaine similaire (interaction médicament-médicament – DDI) et l'annotation manuelle à évaluer. Les résultats obtenus montrent que l'annotation dans POMELO est considérablement éloignée du CSS. L'analyse des erreurs permet d'en identifier les principales causes et de proposer des solutions pour corriger l'annotation existante.

## ABSTRACT

**Identification of annotation problem for the relation extraction.**

Annotating a corpus is a difficult and time-consuming task, especially on texts of specific field such as biomedical texts. Thus, in the context of the extraction of food-drug interactions (FDI), the POMELO corpus annotation has been performed by a single annotator and presents risks of errors. In this article, we propose to identify these annotation problems by referring to a Silver Standard (CSS) corpus that we establish from a majority vote among the annotations proposed by models trained on a similar domain (drug-drug interaction ) and the manual annotation to be evaluated. The obtained results show that the annotation in POMELO is far from the CSS. Error analysis helps to identify the main causes and to suggest solutions to correct the existing annotation.

**MOTS-CLÉS** : Annotation, extraction de relation, corpus biomédical, interaction aliment-médicament.

**KEYWORDS:** Annotation, relation extraction, biomedical corpus, food-drug interaction.

## 1 Introduction

Il peut être difficile dans de nombreuses circonstances d'établir un corpus selon les pratiques habituelles, c'est-à-dire une double annotation avec un consensus. C'est notamment le cas dans les domaines spécialisés où mobiliser plusieurs experts pour réaliser des annotations peut être compliqué. En pratique, les corpus annotés sont développés lors des travaux préliminaires, comme preuve de concept ou pour définir le guide d'annotation. Étant donné qu'aucun consensus n'a été effectué, on peut s'attendre à ce que de tels corpus comportent des problèmes d'incohérence ou d'ambiguïté.

<figure><img src="image_80.png" /></figure>
Dans ce contexte, il est possible d'envisager d'améliorer l'annotation effectuée par un seul annotateur pour réduire le coût de l'annotation. Pour atteindre cet objectif, nous considérons la tâche d'extraction de relations spécifiques au domaine, en particulier l'extraction de l'interaction entre aliments et médicaments (*Food-drug interaction* – FDI) pour laquelle il existe très peu de corpus annotés ou de modèles d'extraction automatique.

À l'instar des interactions entre médicaments (*Drug-drug interaction* – DDI), les FDI correspondent à l'absorption, distribution ou l'effet inattendu d'un médicament, provoqués par l'ingestion d'un aliment (Doogue & Polasek, 2013). Par exemple, le pamplemousse est connu pour avoir un effet inhibiteur sur une enzyme impliquée dans le métabolisme de plusieurs médicaments (Hanley *et al.*, 2011).

Toutefois, à la différence des DDI (Aagaard & Hansen, 2013) ou les effets indésirables des médicaments (Aronson & Ferner, 2005) qui sont répertoriés dans des bases de données telles que DrugBank<fnref n="1" /> ou Thériaque<fnref n="2" />, les FDI figurent rarement dans les bases de connaissances et sont généralement dispersées dans des sources hétérogènes (Wishart *et al.*, 2017). En outre, dans DrugBank par exemple, les informations sont principalement stockées sous forme de phrases.

Des travaux précédents ont été réalisés pour l'extraction automatique de ces informations (Hamon *et al.*, 2017) et ont conduit à la définition d'un ensemble de 639 résumés Medline (corpus POMELO) annotés par un externe en pharmacie selon 21 types de relation avec un grand déséquilibre en termes de nombre d'exemples par type. Les tentatives d'entraînement d'un système de détection automatique des interactions entre aliments et médicaments sur ce corpus ont conduit à de faibles performances. ((Randriatsitohaina & Hamon, 2019)) Nous émettons l'hypothèse que l'annotation du corpus, étant faite par une seule personne, peut présenter des incohérences. Afin de les identifier, nous proposons de tirer parti du corpus existant sur les DDI qui est un domaine similaire afin d'évaluer l'annotation POMELO selon un schéma d'annotation de plus haut niveau (4 types de relations DDI). Nos contributions se concentrent sur la définition d'un corpus Silver Standard (CSS) à partir d'un consensus avec les annotations des modèles d'extraction des DDI, l'analyse de l'annotation POMELO par rapport au CSS, l'identification des incohérences et la proposition de solutions pour corriger l'annotation existante.

## 2 État de l'art

Le développement d'un corpus Silver Standard (CSS) a été introduit pour réduire les coûts d'annotation de corpus. L'idée est d'appliquer des systèmes d'annotation sur un corpus et d'harmoniser l'annotation finale en utilisant un système de vote. Rebholz-Schuhmann *et al.* (2010) a produit un corpus pour l'identification des entités nommées à partir de textes biomédicaux. Lu *et al.* (2011) utilisent un algorithme espérance-maximisation (Expectation Maximisation) pour déduire la vérité terrain, basé uniquement sur les soumissions des équipes participantes à un défi sur le normalisation de gènes. Suivant le même principe, nous établissons un CSS obtenu par un système de vote sur les annotations des modèles d'extraction des DDI pour identifier ensuite les problèmes d'annotation des relations.

Certaines approches utilisent l'apprentissage actif afin d'améliorer l'annotation d'un corpus bruyant

<footnote n="1">1. https://www.drugbank.ca/</footnote>

<footnote n="2">2. http://www.theriaque.org</footnote>
((Rehbein & Ruppenhofer, 2017)). Le processus est basé sur le choix d'une instance mal étiquetée par détection d'erreur, en donnant les instances sélectionnées à l'oracle (l'annotateur humain), pour être manuellement désambiguïsées et ajoutées aux données d'apprentissage.

Une approche de détection des erreurs d'annotation est proposée par Ménard & Mougeot (2019), basée sur le regroupement des instances correspondant à chaque valeur d'étiquette "silver" unique, puis sur la considération des valeurs aberrantes comme des étiquettes éventuellement bruyantes qui doivent être ré-annotées par l'expert. Dans notre cas, nous utilisons le résultat de modèles entraînés sur les DDI pour identifier les éventuelles erreurs d'annotation.

Différents types d'approches ont été explorés pour extraire les DDI. Parmi elles, Kolchinsky et al. (2015) se concentrent sur l'identification des phrases pertinentes et des résumés pour l'extraction des preuves pharmacocinétiques. Étant donné que nous nous concentrons sur la correction d'annotations, nous proposons de travailler sur les phrases du corpus POMELO qui ont été annotées comme pertinentes. Ben Abacha et al. (2015) proposent une approche basée sur un SVM combinant : (i) les caractéristiques décrivant les mots dans le contexte des relations à extraire, (ii) les noyaux composites utilisant des arbres de dépendance. Leur approche permet d'obtenir des F1-mesures de 0,53 et 0,40 sur des résumés Medline et 0,83 et 0,68 sur des documents de DrugBank. Dans notre tâche, nous utilisons un SVM linéaire combiné avec des descripteurs sémantiques et syntaxiques qui nous permettent d'obtenir des résultats comparables. Kim et al. (2015) ont construit deux classificateurs pour l'extraction DDI : un classifieur binaire pour extraire les paires de médicaments en interaction et un classifieur de types DDI pour identifier les catégories de l'interaction. Cejuela et al. (2018) considèrent l'extraction de la relation de localisation des protéines comme une classification binaire. Liu et al. (2016) proposent une méthode basée sur un CNN pour l'extraction des DDI. D'autres travaux utilisent un modèle de réseau neuronal récurrent avec plusieurs couches d'attention pour la classification DDI (Yi et al., 2017; Zheng et al., 2017), ou utilisant des récurrences au niveau des mots et des caractères (Kavuluru et al., 2017) produisant une performance de 0,72. Sun et al. (2019) proposent une méthode hybride combinant un réseau de neurones récurrent et convolutif induisant une amélioration de 3%. Le réseau convolutif profond de (Dewi et al., 2017) permet de couvrir de longues phrases qui ont des jeux de données de DDI typiques et d'obtenir une performance de 0,86. BERT (Devlin et al., 2019), un modèle de représentation de mots contextualisés permet obtenir les meilleurs résultats sur les tâches de TAL y compris l'extraction de relations. Lee et al. (2019) ont entraîné et adapté BERT sur des corpus biomédicaux pour être efficaces dans les tâches d'exploration de textes biomédicaux. Nous avons adapté BioBert pour l'extraction des DDI.

## 3 Corpus

Notre approche est mise en œuvre sur le corpus POMELO qui contient des annotations de FDI mais dont la qualité doit être améliorée, et le corpus DDI fournissant des annotations d'interactions entre médicaments et dont la qualité est avérée suite à son utilisation dans des campagnes d'évaluation.

**Corpus POMELO** Des études ont déjà été menées sur les FDI durant lesquelles l'ensemble de données POMELO a été développé (Hamon et al., 2017). Ce corpus est constitué de 639 résumés d'articles scientifiques du domaine médical (269 824 mots, 5 752 phrases) en anglais, collectés à partir
du portail PubMed<fnref n="3" />. Les 639 résumés sont annotés selon 9 types d'entités et 21 types de relations avec Brat (Stenetorp et al., 2012) par un étudiant en pharmacie. Les annotations se concentrent sur des informations sur la relation entre aliments, médicaments et pathologies. Étant donné que nous examinons les interactions aliment-médicament, nous avons construit notre ensemble de données en tenant compte de tous les couples de drug et food ou food-supplement à partir des données POMELO. L'ensemble de données qui en résulte est composé de 900 phrases étiquetées avec 13 types de relations (avec le nombre d'instances) : *decrease absorption* (53), *slow absorption* (15), *slow elimination* (15), *increase absorption* (39), *speed up absorption* (1), *new side effect* (4), *negative effect on drug* (88), *worsen drug effect* (8), *positive effect on drug* (21), *improve drug effect* (6), *no effect on drug* (109), *without food* (13), *unspecified relation* (528).

**Corpus DDI** Le corpus DDI<fnref n="4" /> est composé de 4 037 instances de relations issues de la base de données DrugBank et des résumés Medline. Il a été utilisé lors de SemEval 2013 (Segura-Bedmar et al., 2013) et propose quatre types d'annotation : *Conseil* (819 instances) pour une recommandation concernant l'utilisation concomitante de deux médicaments, *Effet* (1 700 instances) pour l'effet de la DDI, *Mécanisme* (1322 instances) pour la pharmacodynamique et la pharmacocinétique du médicament, *Interaction* (188 instances) si aucune information sur l'interaction n'est fournie.

# 4 Méthode

Afin d'évaluer la qualité de l'annotation du corpus POMELO, nous proposons une approche en trois étapes décrite à la figure 1.

<figure><img src="image_81.png" /><figcaption>FIGURE 1 – Architecture de l’approche.</figcaption></figure>

**Étape 1 : Apprentissage sur le corpus DDI** Nous proposons de tirer parti des méthodes d'extrac-
tion de DDI pour obtenir des annotations sur le corpus POMELO. Pour ce faire, nous avons entraîné
3 types de modèles sur le corpus DDI :

- SVM. SVM (Vapnik, 1995) ayant montré de bonnes performances dans l'état de l'art, nous proposons d'entraîner un modèle SVM linéaire avec les TF/IDF des formes fléchies, lemmes,

<footnote n="3">3. https://www.ncbi.nlm.nih.gov/pubmed/</footnote>

<footnote n="4">4. https://github.com/dbmi-pitt/public-PDDI-analysis/blob/master/PDDI-Datasets/DDI-Corpus2013</footnote>
catégories morpho-syntaxiques des mots, catégories sémantiques des termes (aliment, médica-
ment, supplément alimentaire) des contextes avant, entre et après les deux arguments de la
relation.

- **BiLSTM.** Nous entraînons un modèle récurrent BiLSTM (Gers et al., 2000) avec les plongements de mots Skipgram fastText (Bojanowski et al., 2017) de taille 300 et les plongements de position.

- **BioBert.** Nous utilisons BioBert version 1.1 Lee et al. (2019) entraîné avec un vocabulaire de 4,5 milliards de mots issus de PubMed.

Étape 2 : Application des modèles sur le corpus POMELO Une fois les modèles entraînés sur les données DDI, nous les appliquons sur le corpus POMELO. Cette étape permet d'obtenir des annotations dites artificielles des phrases pertinentes de POMELO selon les types de relations DDI. À ce niveau, il nous faut une correspondance des types de relations DDI et FDI pour pouvoir évaluer les annotations manuelles faites sur POMELO. Pour ce faire, nous avons établi une correspondance entre les types de DDI et les types de FDI, validée par les experts, comme suit : les interactions impliquant la pharmacocinétique des médicaments (absorption, élimination, métabolisme) sont étiquetées Mécanisme (123 instances), les interactions impliquant les effets des médicaments (positifs, négatifs, effet secondaire) sont étiquetées Effet (236 instances), le type de relation Without food qui est une contre-indication à la prise d'aliment avec un médicament est étiqueté Conseil (13 instances) et les interactions Unprecised relation sont étiquetées Interaction (528 instances). Nous appellerons cette correspondance POMELO-DDI.

Étape 3 : Vote majoritaire parmi les annotations obtenues Dans cette section, nous proposons d'établir une annotation de corpus Silver Standard (CSS) en appliquant un système de vote majoritaire sur les annotations obtenues par les modèles SVM, BiLSTM et BioBert ainsi que l'annotation POMELO-DDI décrite à la section 4. Nous prenons en compte l'annotation POMELO-DDI étant donnée qu'elle a été faite par un expert donc peut apporter des informations pertinentes sur certains types de relation. Ainsi, pour chaque instance de relation, nous gardons le type de relation le plus fréquent parmi les quatre types d'annotations. En cas d'absence d'accord, nous privilégions l'annotation POMELO-DDI qui est basée sur l'annotation humaine.

Étape 4 : Analyse des erreurs d'annotation dans POMELO-DDI Nous utilisons l'annotation Silver Standard obtenue à la section 4 comme pré-annotation et nous identifions les problèmes d'annotation des relations où l'annotation manuelle et le Silver Standard diffèrent.

5 Expériences et résultats

Pour l'étape d'apprentissage sur les données DDI, nous évaluons les modèles selon la macro-moyenne des F1-mesures obtenues par validation croisée en 3 échantillons. De manière générale, les résultats obtenus par les modèles sont prometteurs, avec des F1-mesures allant de 0,78 avec SVM à 0,91 avec BioBert. C'est d'autant plus important que ces performances décriront la fiabilité des annotations que les modèles fourniront. Les performances du modèle BioBert surpassent de loin celle des autres modèles. Cela confirme l'efficacité des plongements de mot contextualisé appris sur des documents du domaine spécifique.
Une fois les modèles entraînés, nous les appliquons sur le corpus POMELO en gardant les mêmes configurations (paramètres et descripteurs). Cela nous permet d'obtenir 4 annotations de type DDI sur les données POMELO selon les modèles SVM, BiLSTM et BioBert ainsi que l'annotation POMELO-DDI décrite à la section 4. Le vote majoritaire appliqué sur ces 4 annotations nous permet d'avoir une sorte de consensus (corpus Silver Standard) que nous utilisons comme annotation de référence pour évaluer la performance des modèles obtenu à l'étape 1 sur l'annotation du corpus POMELO selon les types DDI. Les résultats de cette évaluation indiquent que BioBert fournit l'annotation la plus en accord avec le consensus (kappa de Cohen 0,86) tandis que les annotations manuelles POMELO-DDI en semblent être les plus éloignées (kappa de Cohen 0,15).

Nous proposons alors d'effectuer une analyse des erreurs afin d'identifier la source de ces différences d'annotation. Une des erreurs les plus fréquentes est l'annotation des titres ou des descriptifs des expériences avec le type *interaction* alors que la phrase contient des vocabulaires spécifiques au mécanisme ou aux effets de médicaments, d'où la faible précision (cf. tableau 1. Par exemple l'instance "Nous décrivons ici deux études pharmacocinétiques pour quantifier l'impact des *aliments* sur l'absorption de la *ziprasidone* chez des volontaires sains." a été annotée manuellement *interaction* et mécanisme par le vote. Étant donné que la conclusion de l'étude qui devrait fournir plus d'information sur le médicament et l'aliment considérés est donnée un peu plus tard dans le résumé, il est possible de ne pas annoter les titres ou les descriptifs réduisant ainsi l'ambiguïté qui peut avoir lieu. Nous avons également observé que le type *interaction* est utilisé comme type par défaut et n'est pas précisé dans certains cas alors qu'il est préférable de privilégier des types plus précis, ce que font les modèles. Par exemple, l'instance "Bloc cardiaque auriculo-ventriculaire complet développé en raison de l'utilisation du vérapamil et de la consommation de miel" a été annoté manuellement *interaction* et *effet* par le vote. Dans certains cas, l'annotateur utilise le type *interaction* faute de type plus précis plus adapté. Par exemple l'instance "En ce qui concerne les autres facteurs alimentaires pouvant interagir avec les anticoagulants oraux, le patient doit être mis en garde concernant les suppléments de vitamines A, E et C et d'alcool utilisés de façon chronique ou ingérés en grande quantité." a été annoté manuellement *interaction* et *conseil* par le vote. Ce type de relation pourrait donc être intégré dans le guide d'annotation, ce qui permettrait d'améliorer le rappel (cf. tableau 1).

Nous avons également observé que certaines instances impliquent plusieurs types de relation simultanément, ce qui provoque une divergence entre les différentes annotations. Par exemple l'instance "Ces résultats démontrent que l'administration de *ziprasidone* avec des *aliments* est cruciale pour assurer une biodisponibilité optimale, fiable et dépendante de la dose et donc un contrôle et une tolérabilité prévisibles des symptômes." mentionne à la fois le mécanisme du médicament (biodisponibilité) ainsi que son effet (contrôle, tolérabilité). Les 2 types de relation ont généralement un lien de cause à effet, donc plusieurs solutions sont possibles : (1) privilégier une relation par rapport aux autres, (2) annoter les différents types en même temps (multi-étiquette), (3) scinder l'instance en plusieurs instances de relation différentes.

# 6 Conclusion

Dans cet article, nous proposons d'identifier les problèmes durant l'annotation des relations dans des textes biomédicaux, en particulier les interactions médicament-aliment (FDI) rassemblées dans le corpus POMELO. Pour ce faire, nous proposons de tirer parti des données d'un domaine similaire (interactions médicament-médicament – DDI) afin d'établir un corpus Silver Standard CSS) obtenu par
<table><caption>TABLE 1 – Macro précision, rappel, F1-mesure entre le corpus POMELO-DDI et le corpus Silver Standard.</caption><thead><tr><th>Relation</th><th>P</th><th>R</th><th>F1</th><th>Nb instance</th></tr></thead><tbody><tr><td>Conseil</td><td>0,54</td><td>0,11</td><td>0,19</td><td>61</td></tr><tr><td>Effet</td><td>0,64</td><td>0,57</td><td>0,60</td><td>264</td></tr><tr><td>Interaction</td><td>0,12</td><td>0,98</td><td>0,22</td><td>65</td></tr><tr><td>Mécanisme</td><td>0,95</td><td>0,23</td><td>0,37</td><td>510</td></tr><tr><td>moy / total</td><td>0,56</td><td>0,48</td><td>0,52</td><td>900</td></tr></tbody></table>

un vote majoritaire parmi les annotations des modèles d'extraction automatique ainsi que l'annotation à évaluer. Entraînés sur le corpus DDI, les performances des modèles allant de 0,78 jusqu'à 0,91 de F1-mesure obtenues avec des modèles SVM, BiLSTM et BioBert sont prometteuses et indicatrices de la fiabilité des annotations que ces modèles fourniront. Une fois les modèles entraînés, nous les appliquons sur les instances POMELO puis nous appliquons un système de vote majoritaire pour garder le type de relation affecté le plus souvent à chaque instance constituant ainsi le CSS. Le CSS servira de référence afin d'identifier les sources de divergences avec les annotations manuelles faites sur le corpus POMELO. Les résultats obtenus ont montré que l'annotation dans le corpus POMELO est considérablement éloignée du corpus Silver Standard. L'analyse des erreurs a permis d'en identifier les principales causes et de proposer des solutions à savoir limiter les annotations aux phrases informatives et fiables de FDI, privilégier les types de relation précis au type générique, ajouter d'autres types de relation comme *conseil*, dans le cas de l'implication de plusieurs types de relation dans une instance, privilégier une relation par rapport à l'autre ou annoter les types en même temps (multi-étiquette) ou scinder l'instance en plusieurs instances de relation différentes. Dans la suite du travail, nous proposons d'appliquer ces solutions dans une phase de correction d'annotation en utilisant le Silver Standard comme pré-annotation et entraîner des modèles d'extraction automatique sur l'annotation obtenue.

## Remerciements

Ce travail est financé par l'ANR dans le cadre du projet MIAM (ANR-16-CE23-0012).

## Références

* AAGAARD L. & HANSEN E. (2013). Adverse drug reactions reported by consumers for nervous system medications in europe 2007 to 2011. *BMC Pharmacology & Toxicology*, **14**, 30.

* ARONSON J. & FERNER R. (2005). Clarification of terminology in drug safety. *Drug Safety*, **28**(10), 851-70.

* BEN ABACHA A., CHOWDHURY M. F. M., KARANASIOU A., MRABET Y., LAVELLI A. & ZWEIGENBAUM P. (2015). Text mining for pharmacovigilance : Using machine learning for drug name recognition and drug-drug interaction extraction and classification. *Journal of Biomedical Informatics*, **58**, 122-132.

* BOJANOWSKI P., GRAVE E., JOULIN A. & MIKOLOV T. (2017). Enriching word vectors with subword information. *Transactions of the Association for Computational Linguistics*, **5**, 135-146.
CEJUELA J. M., VINCHURKAR S., GOLDBERG T., PRABHU SHANKAR M. S., BAGHUDANA A., BOJCHEVSKI A., UHLIG C., OFNER A., RAHARJA-LIU P., JENSEN L. J. & ROST B. (2018). LocText : relation extraction of protein localizations to assist database curation. *BMC Bioinformatics*, **19**(1), 15. DOI: 10.1186/s12859-018-2021-9.

DEVLIN J., CHANG M.-W., LEE K. & TOUTANOVA K. (2019). BERT: Pre-training of deep bidirectional transformers for language understanding. In *Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers)*, p. 4171–4186, Minneapolis, Minnesota: Association for Computational Linguistics. DOI: 10.18653/v1/N19-1423.

DEWI I. N., DONG S. & HU J. (2017). Drug-drug interaction relation extraction with deep convolutional neural networks. *2017 IEEE International Conference on Bioinformatics and Biomedicine (BIBM)*, p. 1795–1802.

DOOGUE M. & POLASEK T. (2013). The abcd of clinical pharmacokinetics. *Therapeutic Advances in Drug Safety*, **4**(1), 5–7. PMID: 25083246, DOI: 10.1177/2042098612469335.

GERS F. A., SCHMIDHUBER J. & CUMMINS F. A. (2000). Learning to forget: Continual prediction with lstm. *Neural Computation*, **12**(10), 2451–2471.

HAMON T., TABANOU V., MOugin F., GRABAR N. & THIESSARD F. (2017). Pomelo: Medline corpus with manually annotated food-drug interactions. In *Proceedings of Biomedical NLP Workshop associated with RANLP 2017*, p. 73–80, Varna, Bulgaria.

HANLEY M. J., CANCALON P., WIDMER W. W. & GREENBLATT D. J. (2011). The effect of grapefruit juice on drug disposition. *Expert Opinion on Drug Metabolism & Toxicology*, **7**(3), 267–286. PMID: 21254874, DOI: 10.1517/17425255.2011.553189.

KAVULURU R., RIOS A. & TRAN T. (2017). Extracting drug-drug interactions with word and character-level recurrent neural networks. In *Healthcare Informatics (ICHI), 2017 IEEE International Conference on*, p. 5–12: IEEE.

KIM S., LIU H., YEGANOVA L. & WILBUR W. J. (2015). Extracting drug–drug interactions from literature using a rich feature-based linear kernel approach. *Journal of biomedical informatics*, **55**, 23–30.

KOLCHINSKY A., LOURENÇO A., WU H.-Y., LI L. & ROCHA L. M. (2015). Extraction of pharmacokinetic evidence of drug–drug interactions from the literature. *PLOS ONE*, **10**(5), e0122199. DOI: 10.1371/journal.pone.0122199.

LEE J., YOON W., KIM S., KIM D., KIM S., SO C. H. & KANG J. (2019). BioBERT: a pre-trained biomedical language representation model for biomedical text mining. *Bioinformatics*. DOI: 10.1093/bioinformatics/btz682.

LIU S., TANG B., CHEN Q. & WANG X. (2016). Drug-drug interaction extraction via convolutional neural networks. *Computational and Mathematical Methods in Medicine*, **2016**. DOI: 10.1155/2016/6918381.

LU Z., KAO H.-Y., WEI C.-H., HUANG M., LIU J., KUO C.-J., HSU C.-N., TSAI R. T.-H., DAI H.-J., OKAZAKI N., CHO H.-C., GERNER M., SOLT I., AGARWAL S., LIU F., VISHNYAKOVA D., RUCH P., ROMACKER M., RINALDI F., BHATTACHARYA S., SRINIVASAN P., LIU H., TORII M., MATOS S., CAMPOS D., VERSPOOR K. M., LIVINGSTON K. M. & WILBUR W. J. (2011). The gene normalization task in BioCreative III. *BMC Bioinformatics*, **12**(S2). DOI: 10.1186/1471-2105-12-S8-S2.
MÉNARD P. A. & MOUGEOT A. (2019). Turning silver into gold : error-focused corpus reannotation with active learning. In *Proceedings of the International Conference on Recent Advances in Natural Language Processing (RANLP 2019)*, p. 758–767, Varna, Bulgaria. DOI: 10.26615/978-954-452-056-4_088.

RANDRIATSITOHAINA T. & HAMON T. (2019). Extracting food-drug interactions from scientific literature: relation clustering to address lack of data. In *International Conference on Intelligent Text Processing and Computational Linguistics*, La Rochelle, France. HAL: hal-02122766.

REBHOLZ-SCHUHMANN D., JIMENO YEPES A. J., VAN MULLIGEN E. M., KANG N., KORS J., MILWARD D., CORBETT P., BUYKO E., TOMANEK K., BEISSWANGER E. & HAHN U. (2010). The CALBC silver standard corpus for biomedical named entities — a study in harmonizing the contributions from four independent named entity taggers. In *Proceedings of the Seventh International Conference on Language Resources and Evaluation (LREC’10)*, Valletta, Malta : European Language Resources Association (ELRA).

REHBEIN I. & RUPPENHOFER J. (2017). Detecting annotation noise in automatically labelled data. In *Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers)*, p. 1160–1170, Vancouver, Canada : Association for Computational Linguistics. DOI: 10.18653/v1/P17-1107.

SEGURA-BEDMAR I., MARTÍNEZ P. & HERRERO ZAZO M. (2013). Semeval-2013 task 9 : Extraction of drug-drug interactions from biomedical texts (ddiextraction 2013). In *Second Joint Conference on Lexical and Computational Semantics (*SEM)*, Volume 2 : *Proceedings of the Seventh International Workshop on Semantic Evaluation (SemEval 2013)*, p. 341–350 : Association for Computational Linguistics.

STENETORP P., PYYSALO S., TOPIĆ G., OHTA T., ANANIADOU S. & TSUJII J. (2012). Brat : A web-based tool for nlp-assisted text annotation. In *Proceedings of the Demonstrations at the 13th Conference of the European Chapter of the Association for Computational Linguistics*, EACL ’12, p. 102–107, Stroudsburg, PA, USA : Association for Computational Linguistics.

SUN X., DONG K., MA L., SUTCLIFFE R. F. E., HE F., CHEN S.-S. & FENG J. (2019). Drug-drug interaction extraction via recurrent hybrid convolutional neural networks with an improved focal loss. *Entropy*, **21**, 37.

VAPNIK V. N. (1995). *The Nature of Statistical Learning Theory*. Springer.

WISHART D., DJOUMBOU Y., GUO A. C., LO E., MARCU A., GRANT J., SAJED T., JOHNSON D., LI C., SAYEEDA Z., ASSEMPOUR N., IYNKKARAN I., LIU Y., MACIEJEWSKI A., GALE N., WILSON A., CHIN L., CUMMINGS R., LE D. & WILSON M. (2017). Drugbank 5.0 : A major update to the drugbank database for 2018. *Nucleic Acids Research*, **46**(D1). DOI: 10.1093/nar/gkx1037.

YI Z., LI S., YU J., TAN Y., WU Q., YUAN H. & WANG T. (2017). Drug-drug interaction extraction via recurrent neural network with multiple attention layers. In *International Conference on Advanced Data Mining and Applications*, p. 554–566 : Springer.

ZHENG W., LIN H., LUO L., ZHAO Z., LI Z., ZHANG Y., YANG Z. & WANG J. (2017). An attention-based effective neural model for drug-drug interactions extraction. *BMC bioinformatics*, **18**(1), 445. DOI: 10.1186/s12859-017-1855-x.
Simplification automatique de texte
dans un contexte de faibles ressources

Sadaf Abdul Rauf¹, Anne-Laure Ligozat¹, ², Francois Yvon¹,
Gabriel Illouz¹ and Thierry Hamon¹, ³

(1) Université Paris-Saclay, CNRS, LIMSI, 91400, Orsay, France

(2) Université Paris-Saclay, CNRS, ENSIIE, LIMSI 91400, Orsay, France

(3) Université Sorbonne Paris Nord, 93430, Villetaneuse, France

{firstName.lastname}@limsi.fr

RÉSUMÉ

La simplification de textes a émergé comme un sous-domaine actif du traitement automatique des langues, du fait des problèmes pratiques et théoriques qu'elle permet d'aborder, ainsi que de ses nombreuses applications pratiques. Des corpus de simplification sont nécessaires pour entrainer des systèmes de simplification automatique; ces ressources sont toutefois rares et n'existent que pour un petit nombre de langues. Nous montrons ici que dans un contexte où les ressources pour la simplification sont rares, il reste néanmoins possible de construire des systèmes de simplification, en ayant recours à des corpus synthétiques, par exemple obtenus par traduction automatique, et nous évaluons diverses manières de les constituer.

ABSTRACT

Automatic Text Simplification : Approaching the Problem in Low Resource Settings for French

Sentence simplification has emerged as an active area of research in recent years owing to its utility in natural language processing as well as human learning studies. Simplification corpora are required to build such automatic simplification systems. We show that where resources for simplification are scarce, it is still possible to build simplification systems. We show the effectiveness of translations as a synthetic corpus for the simplification task and present an analysis of the two metrics often used to evaluate simplification, i.e. BLEU and SARI, in terms of their ability to predict complexity level of a text.

MOTS-CLÉS : Simplification de textes, compression de texte, corpus synthétique, apprentissage par transfert cross-lingue.

KEYWORDS: Text Simplification, Sentence Compression, Synthetic Corpus, Cross-Lingual Trans-
fert Learning.

1 Introduction

La lecture et la compréhension constituent une contribution majeure à la courbe d'apprentissage d'une langue pour un apprenant. La complexité d'une phrase empêche souvent la bonne compréhension et constitue un obstacle majeur dans la chaîne d'apprentissage. Ceci s'applique spécifiquement à certains groupes de personnes, par exemple les enfants (De Belder & Moens, 2010), les personnes ayant des difficultés d'apprentissage (Rello et al., 2013a; Huenerfauth et al., 2009; Fajardo et al., 2013) ou des difficultés spécifiques comme des formes de dyslexie (Rello et al., 2013b; McCarthy & Swierenga,

<figure><img src="image_82.png" /></figure>
2010) ou d'aphasie (Canning & Tait, 1999), ou encore des troubles du spectre autistique (Evans et al., 2014; Barbu et al., 2015). Disposer de versions simplifiées d'un texte peut grandement en faciliter la lisibilité et la compréhension pour ces populations, et pourrait aussi bénéficier à des apprenants d'une langue étrangère.

La simplification automatique de texte (SAT) construit une version plus simple de textes complexes afin qu'ils soient plus facilement compréhensibles et intelligibles. La simplification implique des transformations élaborées du texte d'origine telles que le fractionnement, la suppression et la paraphrase. Nous nous limitons ici à des transformations qui s'appliquent à des phrases isolées.

La plupart des approches de simplification automatique de texte considèrent le processus de simplification comme une tâche de traduction monolingue, l'algorithme de traduction apprenant la simplification en réécrivant à partir du corpus parallèle simple-complexe (Daelemans et al., 2004; Zhu et al., 2010; Zhang & Lapata, 2017; Nisioi et al., 2017).

Pour qu'un algorithme d'apprentissage automatique puisse apprendre ces transformations, il faut lui fournir suffisamment d'exemples de simplifications appariant des couples de phrases simples et complexes. La qualité d'un système de simplification automatique de texte dépendra fortement de la qualité et de la quantité des corpus de simplification ainsi que la qualité de l'algorithme d'apprentissage.

Il existe de nombreuses ressources linguistiques pour le français, mais en ce qui concerne la tâche de simplification, il s'agit d'une langue peu dotée. Nous ne connaissons aucun corpus de grande taille disponible gratuitement. Nous avons collecté des corpus de diverses sources (Grabar & Cardon, 2018; Brouwers et al., 2014), mais ils restent trop petits pour développer des systèmes de simplification basés sur des méthodes d'apprentissage ; nous les utilisons uniquement comme corpus de test.

Nous proposons d'utiliser des traductions automatiques pour composer un corpus parallèle synthétique. Les corpus synthétiques sont souvent utilisés en traduction automatique (Lambert et al., 2011; Abdul Rauf et al., 2016; Sennrich et al., 2016; Burlot & Yvon, 2018) mais leur utilisation reste peu explorée pour la simplification automatique. (Aprosio et al., 2019) exploitent des données synthétiques pour créer des systèmes de simplification, mais en s'appuyant sur des données de simplification de "gold standard" en italien qui leur permettent d'entraîner le système "complexificateur", qu'ils utilisent pour traduire les phrases simples en complexes. Dans notre étude, nous faisons l'hypothèse qu'aucune donnée n'est initialement disponible et nous étudions s'il est possible de construire un système de simplification raisonnable à partir uniquement de traductions automatiques de phrases complexes et simples. À cet égard, nous présentons la première tentative d'utilisation d'un corpus synthétique pour aborder le problème de la simplification automatique des phrases et montrons qu'il s'agit d'une approche viable pour réaliser des systèmes de simplification dans des contextes à faibles ressources.

## 2 État de l'art

La plupart des approches de simplification automatique de textes considèrent le problème comme une tâche de traduction monolingue, l'algorithme de traduction apprenant la réécriture de la simplification à partir du corpus parallèle complexe-simple (Daelemans et al., 2004; Zhu et al., 2010; Zhang & Lapata, 2017; Nisioi et al., 2017). Considérant la simplification comme un problème d'apprentissage automatique, la traduction monolingue a été opérée en utilisant toutes les techniques de traduction automatique, y compris la traduction à base de syntaxe (Zhu et al., 2010), la traduction à base
de segments (Wubben et al., 2012), l'hybridation du modèle de simplification avec la traduction automatique (Narayan & Gardent, 2014) et plus récemment diverses architectures neuronales (Zhang & Lapata, 2017; Nisioi et al., 2017; Zhao et al., 2018; Korhonen et al., 2019; Surya et al., 2019). Cependant, aucune de ces études n'a abordé la simplification dans un scénario de ressources limitées. Une exception est (Aprosio et al., 2019) qui sélectionne des phrases simples à partir de corpus monolingues et produit les phrases complexes correspondantes en utilisant un "complexificateur" entrainé sur le corpus de simplification italien gold standard.

La qualité du corpus d'entraînement est un facteur important et a été largement discutée, en particulier pour le corpus *Wikipedia simple* (Xu et al., 2015; Scarton et al., 2018). Newsela (Xu et al., 2015) est devenu une des principales ressources en la matière, car il propose des simplifications manuelles à plusieurs niveaux, du niveau 0 comprenant le texte original au niveau 4 comprenant le texte le plus simplifié; cette propriété reste cependant sous-exploitée et aucun des travaux de l'état de l'art ne donne d'analyse approfondie des niveaux de simplification les plus utiles. Des travaux antérieurs comme (Alva-Manchego et al., 2017) et (Scarton et al., 2018) ont pris en compte ces niveaux et les ont utilisés en exploitant les niveaux de simplification adjacents (par exemple 0-1, 1-2), mais n'ont pas étudié les différences entre les niveaux. (Zhang & Lapata, 2017) ont utilisé des niveaux non-adjacents (par exemple 0-2, 1-4), tandis que (Scarton & Specia, 2018) ont utilisé les différents niveaux de lisibilité pour construire des systèmes de simplification pour différents publics. Dans cet article, nous présentons des systèmes de simplification et des analyses avec toutes les paires de niveaux et étudions également l'effet combiné de différents niveaux sur la simplification.

Un autre objectif de notre travail est d'étudier si les résultats obtenus pour l'anglais peuvent être reproduits pour d'autres langues. Pour le français, des approches basées sur des règles existent (Brouwers et al., 2014) mais aucun système basé sur l'apprentissage automatique ne peut être construit en raison du manque de corpus de simplification. Un troisième objectif est d'utiliser des données synthétiques, comme cela a été fait pour la traduction automatique dans (Lambert et al., 2011; Abdul Rauf et al., 2016; Sennrich et al., 2016; Burlot & Yvon, 2018) et d'étudier les niveaux de simplification et l'impact des corpus synthétiques.

## 3 Corpus de simplification synthétique

Nous avons construit des corpus de simplification français synthétiques en traduisant deux corpus de simplification anglais avec l'outil Google translate (version de mai 2019)<fnref n="1" />. Pour obtenir une mesure de la qualité des traductions, nous avons traduit le corpus de test anglais-français WMT14² dans les mêmes conditions et avons obtenu un score BLEU (Papineni et al., 2002) de 35, 6 sur l'ensemble de test tokenisé, comparable au meilleur système de cette évaluation, mais significativement moins bon que l'état de l'art actuel de la traduction automatique anglais-français.

Le corpus anglais qui nous sert de point de départ est Newsela (Xu et al., 2015), qui a été créé pour fournir du matériel de lecture destiné à l'enseignement pré-universitaire. Chaque article a été réécrit quatre fois pour des enfants de différents niveaux. Le niveau 0 correspond à l'article original, et le même article apparaît pour 4 niveaux, du niveau 1 au niveau 4, le niveau 4 étant le plus simple. Nous avons couplé le corpus dans toutes les configurations possibles de complex : simple, où complex comprend tous les textes d'un niveau de complexité donné *l* et simple comprend les textes ayant un niveau de complexité inférieur à *l*. Les corpus ainsi construits associent le niveau 0 aux niveaux

<footnote n="1">1. https://translate.google.com</footnote>

<footnote n="2">2. https://www.statmt.org/wmt14/translation-task.html</footnote>
<figure><img src="image_83.png" /><figcaption>FIGURE 1 – Propriétés lexicales et de complexité des corpus originaux et traduits</figcaption></figure>

{1, 2, 3, 4}, 1 à {2, 3, 4}, 2 à {3, 4} et 3 à 4 comme indiqué dans le tableau 2.

La figure 1 présente l'analyse lexicale et la complexité des textes originaux et traduits. Nous constatons que les textes conservent leur niveau de lisibilité après traduction, comme le montrent les paramètres. Le comportement suivant est manifesté par les corpus de simplification anglais et français synthétique, où 0 est la phrase complexe et 4 le niveau le plus simple :

**Niveau de complexité** : Nous utilisons le score Flesch Reading Ease (Flesch, 1948) pour l'anglais et son adaptation en français proposée par (Kandel & Moles, 1958), implantés respectivement par les équations (1) et (2) ci-dessous. Ces scores varient entre 0 et 100. Une valeur plus élevée signifie que le texte est facile à lire et une valeur plus faible signifie que la difficulté est plus élevée.

$$ FRE(\text{Anglais}) = 206.835 - 1.015\left(\frac{\text{total words}}{\text{total sentences}} - 84.6\left(\frac{\text{syllables}}{\text{total words}}\right)\right) \quad (1) $$

$$ FRE(\text{Francais}) = 207 - 1.015\left(\frac{\text{total words}}{\text{total sentences}} - 73.6\left(\frac{\text{syllables}}{\text{total words}}\right)\right) \quad (2) $$

Comme on le voit sur la figure 1 en haut à gauche, après traduction, le corpus simple français synthétique se situe au même niveau de lisibilité que l'anglais simple original. Il en est de même pour les phrases complexes. On peut donc conclure qu'au moins en surface, les textes traduits conservent la classe de complexité des textes originaux.

**Diversité lexicale textuelle** : La diversité lexicale (DL)<fnref n="3" /> est une mesure fréquemment utilisée pour évaluer la niveau de complexité d'un texte, un indice de DL est élevé indiquant qu'il est sera plus difficile à lire. Le score DL identifie clairement la classe de complexité du corpus comme le montre le sous-graphique en haut à droite (figure 1). On observe que du côté complexe, le score de diversité

<footnote n="3">3. Les mesures sont calculées avec https://pypi.org/project/lexicalrichness/</footnote>
lexicale des textes augmente, alors que du côté simple, il diminue d'un niveau à l'autre, ainsi pour le côté complexe (1-2 = 103, 1-3 = 104, 1-4 = 107) et le côté simple (1-2 = 97, 1-3 = 90, 1-4 = 85).

**Longueur moyenne de la phrase et nombre de mots :** Le nombre de mots diminue à mesure que le niveau de simplicité augmente. Ce comportement s'applique aussi bien aux mots complexes qu'à leur équivalent simple parmi toutes les paires de niveaux. La longueur moyenne des phrases est également beaucoup plus faible pour les textes simples. Ceci est illustré graphiquement dans les deux derniers sous-graphes.

On note que les phrases parallèles peuvent être très différentes dans chaque paire de niveaux, car elles sont sélectionnées par l'aligneur de phrases (Moore, 2002) en fonction du score de l'aligneur.

# 4 Évaluation

## 4.1 Protocole d'évaluation

Nous évaluons le système de simplification en utilisant les scores BLEU et SARI. BLEU (K. Papineni & Ward, 1998) est une métrique de traduction automatique qui s'appuie sur une comparaison de surface entre la sortie du système et la phrase de référence, en utilisant des correspondances de n-grammes et une pénalité de brièveté. Il donne une mesure de *l'adéquation*. SARI (Xu et al., 2015) compare la phrase de sortie avec la phrase d'entrée ainsi qu'avec les phrases de référence. Il récompense les fragments qui sont validés par une des références, alors qu'ils n'apparaissaient pas dans l'entrée. BLEU est bien corrélé aux scores humains pour l'évaluation de la grammaticalité et, dans une moindre mesure, du transfert sémantique, tandis que SARI est fortement corrélé aux scores humains pour l'évaluation de la simplicité.

Pour illustrer le fonctionnement des deux métriques, le tableau 1 présente un exemple et des scores obtenus à partir de (Xu et al., 2015). Pour cet exemple, BLEU attribue le même score à OUTPUT-2 et OUTPUT-3 puisque les deux mots "now" et "currently" apparaissent dans les phrases de référence, SARI en revanche donne un meilleur score à OUTPUT-2 sur la base de l'utilisation du mot "now", qui n'était pas présent dans la phrase originale.

<table><caption>TABLE 1 – BLEU par rapport à SARI : exemple de score de (Xu et al., 2015).</caption><thead><tr><th></th><th></th><th>BLEU</th><th>SARI</th></tr></thead><tbody><tr><td>INPUT</td><td>About 95 species are currently accepted.</td><td></td><td></td></tr><tr><td>REF-1</td><td>About 95 species are currently known.</td><td></td><td></td></tr><tr><td>REF-2</td><td>About 95 species are now accepted.</td><td></td><td></td></tr><tr><td>REF-3</td><td>95 species are now accepted.</td><td></td><td></td></tr><tr><th></th><th>System Output</th><th></th><th></th></tr><tr><td>OUTPUT-1</td><td>About 95 you now get in.</td><td>0.1562</td><td>0.2683</td></tr><tr><td>OUTPUT-2</td><td>About 95 species are now agreed.</td><td>0.6435</td><td>0.7594</td></tr><tr><td>OUTPUT-3</td><td>About 95 species are currently agreed.</td><td>0.6435</td><td>0.5890</td></tr></tbody></table>

Pour l'évaluation du système, deux corpus de tests ont été utilisés pour l'anglais et le français : le corpus *self-test*, composé de 10% de phrases du système en cours de construction (non inclus dans l'entraînement); et des corpus de test standard construits par des humains. Pour l'anglais, ce corpus est le corpus Turk (Xu et al., 2015) ayant 8 phrases de référence et, pour le français, le corpus de simplification (Grabar & Cardon, 2018) a été utilisé (Fr-test). Turk est basé sur la Wikipédia simple en anglais et Fr-test est basé sur la Wikipédia française et sur Vikidia.
<table><caption>TABLE 2 – Scores BLEU et SARI pour l’anglais et le français traduit, obtenus en faisant varier les niveaux du corpus Newsela utilisés à l’apprentissage.</caption><thead><tr><th rowspan="2">Niveau</th><th colspan="4">English</th><th colspan="4">Synthetic French</th></tr><tr><th>SELF-TEST</th><th>SELF-TEST</th><th>SELF-TEST</th><th>SELF-TEST</th><th>SELF-TEST</th><th>SELF-TEST</th><th>SELF-TEST</th><th>SELF-TEST</th></tr></thead><tbody><tr><td>0-1</td><td>27047</td><td>63.66</td><td>33.51</td><td>71.70</td><td>60.51</td><td>32.74</td><td>26809</td><td>49.28</td><td>31.50</td><td>74.62</td><td>6.64</td><td>34.96</td></tr><tr><td>0-2</td><td>23556</td><td>43.81</td><td>33.40</td><td>78.77</td><td>48.20</td><td>29.02</td><td>23175</td><td>8.20</td><td>18.75</td><td>82.19</td><td>3.41</td><td>34.03</td></tr><tr><td>0-3</td><td>16114</td><td>22.52</td><td>31.77</td><td>87.92</td><td>21.84</td><td>21.82</td><td>13483</td><td>8.33</td><td>24.96</td><td>87.35</td><td>2.96</td><td>33.73</td></tr><tr><td>0-4</td><td>4644</td><td>4.67</td><td>34.25</td><td>86.23</td><td>2.13</td><td>13.26</td><td>4587</td><td>4.01</td><td>33.91</td><td>83.90</td><td>1.13</td><td>31.50</td></tr><tr><td>1-2</td><td>29973</td><td>55.30</td><td>33.96</td><td>77.47</td><td>51.67</td><td>30.45</td><td>29613</td><td>8.86</td><td>18.82</td><td>87.73</td><td>3.14</td><td>33.73</td></tr><tr><td>1-3</td><td>22728</td><td>30.55</td><td>34.28</td><td>85.03</td><td>33.88</td><td>26.06</td><td>22103</td><td>8.49</td><td>24.05</td><td>88.17</td><td>3.82</td><td>34.01</td></tr><tr><td>1-4</td><td>15292</td><td>17.26</td><td>33.71</td><td>93.78</td><td>13.56</td><td>19.28</td><td>13899</td><td>11.50</td><td>32.49</td><td>94.52</td><td>2.36</td><td>33.98</td></tr><tr><td>2-3</td><td>24668</td><td>40.58</td><td>33.74</td><td>84.36</td><td>43.40</td><td>28.24</td><td>24238</td><td>35.50</td><td>33.14</td><td>86.29</td><td>4.75</td><td>34.68</td></tr><tr><td>All</td><td>226351</td><td>50.10</td><td>37.69</td><td>85.72</td><td>47.10</td><td>26.22</td><td>218079</td><td>43.46</td><td>36.88</td><td>86.37</td><td>4.27</td><td>34.18</td></tr></tbody></table>

## 4.2 Évaluation expérimentale

Notre cadre expérimental a été conçu pour répondre aux questions suivantes :

- En l'absence de ressources suffisantes pour la simplification, est-il possible de construire un système de simplification automatique « raisonnable » pour une langue ?

- Quelle est l'efficacité de l'utilisation de corpus synthétiques pour la tâche de simplification ?

Nous avons utilisé OpenNMT-py (Klein et al., 2017) pour développer des modèles de simplification en anglais et en français. Un réseau neuronal récurrent (RNN) seq2seq à deux couches a été utilisé avec 500 unités de mémoire à long et court terme (LSTM) dans chaque couche. L’apprentissage a été optimisé via l’optimiseur Adam avec un taux d’apprentissage de 0,001 pour toutes les expériences. Nous avons utilisé une taille de lot de 64 et une taille de lot de 128 pour les corpus plus grands. Une validation est effectuée tous les 5000 pas d’apprentissage.

## 5 Discussion et conclusion

Le tableau 2 présente les résultats obtenus pour tous les systèmes de simplification pour l’anglais et le français et pour tous les niveaux de simplification. Nous utilisons le score FRE comme mesure supplémentaire pour évaluer la simplicité de la production. Les scores FRE ne sont calculés que pour l’"auto-test", car il s’agit d’un ensemble de tests communs à l’anglais et au français qui nous permet d’établir une comparaison entre les systèmes.

On observe que les résultats sont très variés. Pour les systèmes de simplification construits à partir de l’anglais Newsela, une première observation est que les scores BLEU baissent de manière drastique lorsque l’écart entre niveaux de simplicité augmente. Par exemple, pour le self test pour $0 \{0 - 1 \Rightarrow 63.66, 0 - 2 \Rightarrow 43.81, 0 - 3 \Rightarrow 22.52, 0 - 4 \Rightarrow 4.67\}$ et ensuite un bond pour $1 - 2 \Rightarrow 55.30$ qui baisse encore pour $1 - 3 \Rightarrow 30.55$ et encore pour $1 - 4 \Rightarrow 17.26$ et enfin un bon score pour $2 - 3 \Rightarrow 40.58$ mais inférieur à $1 - 2$. Les scores BLEU supérieurs à 40 sont principalement obtenus pour des niveaux de simplicité consécutifs, c’est-à-dire $0 - 1, 0 - 2, 1 - 2, 1 - 3$. Cette tendance se retrouve à
la fois dans les corpus Self et Turk.

Cependant, ce phénomène n’est pas aussi uniquement démontré par les systèmes construits à partir de la Newsela française synthétique. Cette tendance est illustrée par les résultats de l’évaluation des systèmes utilisant le test français, à l’exception du score pour 1 – 3, et par self-test, à l’exception du score pour 1 – 2. Ici aussi, les bons systèmes sur self-test sont les systèmes basés sur des niveaux consécutifs de simplicité, par exemple 0 – 1, 1 – 2, 1 – 3.

SARI, en revanche, donne des résultats relativement stables à tous les niveaux de simplification pour le corpus self-test en anglais et en français. La même tendance à la baisse du score par niveau de simplicité est observée pour le corpus Turk-test en anglais, mais à une échelle moindre. Les scores du SARI sur le corpus self-test pour le français présentent une tendance opposée, c’est-à-dire que le score augmente avec le niveau de simplicité, à l’exception du score pour 0 – 1. Contrairement à BLEU, SARI présente une variabilité moindre entre les niveaux de simplicité, mais ce score seul n’est pas assez concluant pour définir la simplicité du texte. Les scores FRE, à l’inverse, donnent une idée complète du niveau de simplicité.

FIGURE 2 – Les longueurs moyennes des phrases de sortie pour le test de français sur différents niveaux de complexité sur Newsela.

<figure><img src="image_84.png" /><figcaption></figcaption></figure>

Pour approfondir ces résultats, nous donnons sur la figure 2 la longueur moyenne des phrases pour chaque paire de niveaux. Nous observons des tendances claires : ainsi la longueur moyenne des phrases diminue à mesure que le niveau de simplification augmente. Cela s’observe pour presque tous les niveaux.

La tendance à la baisse est à nouveau évidente pour 2-{3, 4}. La longueur moyenne de phrase la plus faible concerne les simplifications produites par le système formé en utilisant un corpus de paires de niveaux 0-4, qui est la forme la plus simple.

Nous avons enfin réalisé des évaluations humaines des simplifications produites et avons observé que seule la sortie relative à des niveaux consécutifs de simplification est acceptable. On observe le même phénomène dans les scores BLEU. Les phrases dans les parties les plus simples, par exemple 1-3 et 1-4, sont vraiment très concises du côté simple et les modèles sont incapables d’apprendre les schémas de simplification complexes étant donné les intrications de suppression et de résumé impliquées dans le processus. Cependant, pour les niveaux consécutifs, par exemple 1-2, 2-3 et 3-4, la simplification était acceptable, ce qui indique qu’une simplification automatique basée sur un corpus synthétique est une démarche viable. Plus important encore, la qualité des systèmes appris avec de l’anglais est comparable à celle des systèmes appris avec du français synthétique et ces systèmes montrent un comportement similaire, ce qui tend à montrer que l’utilisation de corpus de simplification synthétique est une démarche viable pour les situations dans lesquelles les ressources sont peu nombreuses.
Références

ABDUL RAUF S., SCHWENK H., LAMBERT P. & NAWAZ M. (2016). Empirical use of information
retrieval to build synthetic data for SMT domain adaptation. *ACM/IEEE Transactions on Audio,
Speech and Language Processing (TASLP)*, **24**(4), 745–754.

ALVA-MANCHEGO F., BINGEL J., PAETZOLD G., SCARTON C. & SPECIA L. (2017). Learning how to simplify from explicit labeling of complex-simplified text pairs. In *Proceedings of the Eighth International Joint Conference on Natural Language Processing (Volume 1: Long Papers)*, p. 295–305.

APROSIO A. P., TONELLI S., TURCHI M., NEGRI M. & DI GANGI M. A. (2019). Neural text simplification in low-resource conditions using weak supervision. In *Proceedings of the Workshop on Methods for Optimizing and Evaluating Neural Language Generation*, p. 37–44.

BARBU E., MARTÍN-VALDIVIA M. T., MARTÍNEZ-CÁMARA E. & UREÑA-LÓPEZ L. A. (2015). Language technologies applied to document simplification for helping autistic people. *Expert Systems with Applications*, **42**(12), 5076–5086.

BROUWERS L., BERNHARD D., LIGOZAT A.-L. & FRANÇOIS T. (2014). Syntactic sentence simplification for french. In *Proceedings of the 3rd Workshop on Predicting and Improving Text Readability for Target Reader Populations (PITR) @ EACL 2014*, p. 47–56, Gothenburg, Sweden.

BURLOT F. & YVON F. (2018). Using monolingual data in neural machine translation: a systematic study. In *Proceedings of the Third Conference on Machine Translation*, p. 144–155, Belgium, Brussels: Association for Computational Linguistics. DOI: 10.18653/v1/W18-64015.

CANNING Y. & TAIT J. (1999). Syntactic simplification of newspaper text for aphasic readers. In *ACM SIGIR’99 Workshop on Customised Information Delivery*, p. 6–11.

DAELEMANS W., HÖTHKER A. & SANG E. F. T. K. (2004). Automatic sentence simplification for subtitling in dutch and english. In *LREC*.

DE BELDER J. & MOENS M.-F. (2010). Text simplification for children. In *Proceedings of the SIGIR workshop on accessible search systems*, p. 19–26: ACM; New York.

EVANS R., ORĂSAN C. & DORNESCU I. (2014). An evaluation of syntactic simplification rules for people with autism. In *Proceedings of the 3rd Workshop on Predicting and Improving Text Readability for Target Reader Populations (PITR)*, p. 131–140, Gothenburg, Sweden: Association for Computational Linguistics. DOI: 10.3115/v1/W14-1215.

FAJARDO I., TAVARES G., ÁVILA V. & FERRER A. (2013). Towards text simplification for poor readers with intellectual disability: When do connectives enhance text cohesion? *Research in developmental disabilities*, **34**(4), 1267–1279.

FLESCH R. (1948). A new readability yardstick. *Journal of applied psychology*, **32**(3), 221.

GRABAR N. & CARDON R. (2018). CLEAR – simple corpus for medical French. In *Proceedings of the 1st Workshop on Automatic Text Adaptation (ATA)*, p. 3–9, Tilburg, the Netherlands: Association for Computational Linguistics. DOI: 10.18653/v1/W18-7002.

HUENERFAUTH M., FENG L. & ELHADAD N. (2009). Comparing evaluation techniques for text readability software for adults with intellectual disabilities. In *Proceedings of the 11th international ACM SIGACCESS conference on Computers and accessibility*, p. 3–10: ACM.

K. PAPINENI S. R. & WARD R. (1998). Maximum likelihood and discriminative training of direct translation models. In *In Proceedings of the International Conference on Acoustics, Speech and Signal Processing*, p. 189–192.
KANDEL L. & MOLES A. (1958). Application de l'indice de flesch à la langue française. *Cahiers Etudes de Radio-Télévision, 19*(1958), 253-274.

KLEIN G., KIM Y., DENG Y., SENELLART J. & RUSH A. (2017). OpenNMT: Open-source toolkit for neural machine translation. In *Proceedings of ACL 2017, System Demonstrations*, p. 67–72, Vancouver, Canada: Association for Computational Linguistics.

KORHONEN A., TRAUM D. & MÀRQUEZ L. (2019). Proceedings of the 57th annual meeting of the association for computational linguistics. In *Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics*.

LAMBERT P., SCHWENK H., SERVAN C. & ABDUL-RAUF S. (2011). Investigations on translation model adaptation using monolingual data. In *Proceedings of the Sixth Workshop on Statistical Machine Translation*, p. 284–293, Edinburgh, Scotland: Association for Computational Linguistics.

MCCARTHY J. E. & SWIERENGA S. J. (2010). What we know about dyslexia and web accessibility : a research review. *Universal Access in the Information Society, 9*(2), 147–152.

MOORE R. C. (2002). Fast and Accurate Sentence Alignment of Bilingual Corpora. In S. D. RICHARDSON, Éd., *Proc. Association for Machine Translation in America (AMTA O2)*, Lecture Notes in Computer Science 2499, p. 135–144, Tiburon, CA, USA: Springer Verlag.

NARAYAN S. & GARDENT C. (2014). Hybrid simplification using deep semantics and machine translation. In *Proceedings of the 52nd Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers)*, volume 1, p. 435–445.

NISIOI S., ŠTAJNER S., PONZETTO S. P. & DINU L. P. (2017). Exploring neural text simplification models. In *Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers)*, volume 2, p. 85–91.

PAPINENI K., ROUKOS S., WARD T. & ZHU W.-J. (2002). BLEU : a method for automatic evaluation of machine translation. In *Proceedings of the 40th annual meeting of the association for computational linguistics*, p. 311–318 : Association for Computational Linguistics.

RELLO L., BAEZA-YATES R., BOTT S. & SAGGION H. (2013a). Simplify or Help? Text Simplification Strategies for People with Dyslexia. In *Proceedings of the 10th International Cross-Disciplinary Conference on Web Accessibility, W4A '13, New York, NY, USA: Association for Computing Machinery*. DOI: 10.1145/2461121.2461126.

RELLO L., BAEZA-YATES R., DEMPERE-MARCO L. & SAGGION H. (2013b). Frequent words improve readability and short words improve understandability for people with dyslexia. In *IFIP Conference on Human-Computer Interaction*, p. 203–219 : Springer.

SCARTON C., PAETZOLD G. & SPECIA L. (2018). Text simplification from professionally produced corpora. In *Proceedings of the Eleventh International Conference on Language Resources and Evaluation (LREC 2018)*.

SCARTON C. & SPECIA L. (2018). Learning simplifications for specific target audiences. In *Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers)*, p. 712–718.

SENNRICH R., HADDOW B. & BIRCH A. (2016). Edinburgh neural machine translation systems for WMT 16. In *Proceedings of the First Conference on Machine Translation : Volume 2, Shared Task Papers*, p. 371–376, Berlin, Germany: Association for Computational Linguistics. DOI: 10.18653/v1/W16-2323.

SURYA S., MISHRA A., LAHA A., JAIN P. & SANKARANARAYANAN K. (2019). Unsupervised neural text simplification. In *Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics*, p. 2058–2068.
WUBBEN S., VAN DEN BOSCH A. & KRAHMER E. (2012). Sentence simplification by monolingual machine translation. In *Proceedings of the 50th Annual Meeting of the Association for Computational Linguistics : Long Papers-Volume 1*, p. 1015–1024 : Association for Computational Linguistics.

XU W., CALLISON-BURCH C. & NAPOLES C. (2015). Problems in current text simplification research : New data can help. *Transactions of the Association of Computational Linguistics*, **3**(1), 283–297.

ZHANG X. & LAPATA M. (2017). Sentence simplification with deep reinforcement learning. In *Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing*, p. 584–594.

ZHAO S., MENG R., HE D., SAPTONO A. & PARMANTO B. (2018). Integrating transformer and paraphrase rules for sentence simplification. In *Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing*, p. 3164–3173.

ZHU Z., BERNHARD D. & GUREVYCH I. (2010). A monolingual tree-based translation model for sentence simplification. In *Proceedings of the 23rd international conference on computational linguistics*, COLING 10, p. 1353–1361, Beijing, China.
# Représentation sémantique des familles dérivationnelles au moyen de frames morphosémantiques

Daniele Sanacore<fnref n="1" /> Nabil Hathout<fnref n="1" /> Fiammetta Namer²

(1) CLLE, CNRS & Université de Toulouse

(2) ATILF, CNRS & Université de Lorraine

## RÉSUMÉ

L'article présente un formalisme de représentation des relations morphologiques dérivationnelles inspiré de la Sémantique des Frames. La description morphosémantique y est réalisée au niveau des familles dérivationnelles au moyen de frames morphosémantiques dans lesquels les lexèmes sont définis les uns relativement aux autres. Les frames morphosémantiques permettent de rendre compte de la structure paradigmatique du lexique morphologique par l'alignement des familles qui présentent les mêmes oppositions de sens. La seconde partie de l'article est consacrée aux données qui seront utilisées pour produire (semi-) automatiquement ces représentations.

## ABSTRACT

Semantic representation of derivational families by means of morphosemantic frames

In this paper, we propose a formalism for the morphosemantic description of the morphological families inspired by Frame Semantics. In this formalism, the lexemes are typed semantically and ontologically and are defined with respect to the other members of their family. The morphosemantic frames describe the semantic structure of sets of morphological families. Having identical semantic structures, these families can be aligned into derivational paradigms. In the last section of the paper, we review the data that will be used to (semi-) automatically generate these frames.

**MOTS-CLÉS** : morphologie dérivationnelle, morphologie paradigmatique, sémantique des frames, types morphosémantiques, types ontologiques.

**KEYWORDS:** derivational morphology, paradigmatic morphology, frame semantics, morphosemantic types, ontological types.

# 1 Introduction

Nous proposons dans cet article un nouveau formalisme pour la représentation sémantique des relations dérivationnelles.<fnref n="1" /> Ce travail est une contribution au développement de Démonette (Hathout & Namer, 2014, 2016; Namer et al., 2019) une ressource morphologique dérivationnelle du français. Les entrées de Démonette sont des relations dérivationnelles entre des lexèmes de la même famille dérivationnelle. Ces relations peuvent être directes (rédiger - rédacteur) ou indirectes (rédaction - rédacteur). Nous considérons dans Démonette que le sens d'un lexème construit est déterminé par l'ensemble des relations sémantiques dans lesquelles il est impliqué. Le formalisme proposé, que nous appellerons **frames morphosémantiques**, permet donc de décrire l'ensemble des relations

<figure><img src="image_85.png" /></figure>

<footnote n="1">1. Ce travail bénéficie du soutien de l'ANR 17-CE23-0005.</footnote>
morphosémantiques qui existent entre les membres d'une famille dérivationnelle, mais aussi leurs relations argumentales, la et la catégorie ontologique des lexèmes. Les relations morphosémantiques sont décrites au moyen de **gloses morphosémantiques** qui définissent le sens des membres de chaque famille les uns relativement aux autres.

## 2 Fondements théoriques

La morphologie dérivationnelle abandonne progressivement le morphème comme unité d'analyse en faveur du lexème (Aronoff, 1976; Anderson, 1992; Fradin, 2003). Le morphème est en effet trop rigide et ne permet pas de décrire les très nombreux décalages entre forme et sens, comme dans le cas des constructions dites parasynthétiques (*continent* → *intercontinental*) (Hathout & Namer, 2018; Namer & Hathout, 2019). Un autre développement plus récent est l'adoption d'approches paradigmatiques qui rendent compte d'une manière plus complète des très nombreuses régularités qui existent dans le lexique dérivationnel (Van Marle, 1984; Stump, 1991; Bauer, 1997; Booij, 2008, parmi d'autres). C'est dans ce cadre que s'inscrit notre proposition. Les paradigmes dérivationnels sont basées sur trois structures : les familles, les séries et les paradigmes. Elles sont illustrées en Figure 1.

<figure><img src="image_86.png" /><figcaption>FIGURE 1 – Extrait d'un paradigme dérivationnel</figcaption></figure>

Une **famille dérivationnelle** est un ensemble de lexèmes connectés par des relations dérivationnelles directes ou indirectes (Hathout, 2011). Une relation dérivationnelle directe connecte un dérivé à sa base (*laver* - *lavage*) ou vice-versa. les autres relations dérivationnelles sont indirectes comme *lavage* - *laveur* qui dérivent tous les deux de *laver*. Une **série dérivationnelle** se compose de lexèmes qui se trouvent dans les mêmes relations de contraste avec les autres membres de leurs familles. Par exemple, *coiffage*, *tranchage* et *calage* appartient à la série composé des noms d'action en -age. Un **paradigme dérivationnel** est un empilement de **sous-familles** (c'est-à-dire de sous-ensembles de familles dérivationnelles) dont les membres sont liés par les mêmes relations, et qui de ce fait sont superposables. Dans cet article, nous nous intéressons aux relations sémantiques qui s'établissent dans les familles et les paradigmes dérivationnels et notamment à la manière dont la caractérisation sémantique des familles morphologiques met en évidence l'organisation paradigmatique du lexique dérivationnel.
# 3 Démonette

Démonette est une base de données morphologique dérivationnelle alimentée par des ressources existantes de nature variée (Namer et al., 2019). Dans cette ressource, chaque relation dérivationnelle détermine un ensemble de propriétés sémantiques des lexèmes qu'elle connecte. Le sens d'un dérivé est conçu comme la combinaison des propriétés sémantiques induites par toutes les relations dérivationnelles dans lesquelles il est impliqué. Une entrée dans Démonette décrit un couple de lexèmes d'une famille dérivationnelle, $Lex_1$ et $Lex_2$. Elle fournit notamment les propriétés formelles, morphologiques et sémantiques des deux lexèmes et les propriétés formelles, morphologiques et sémantiques de leur relation. La description sémantique des lexèmes et des relations est illustrée dans la Table 1. Elle se compose d'une description ontologique de chacun des deux lexèmes (Typ$_1$ et Typ$_2$) et d'une caractérisation sémantique de la relation entre $Lex_1$ et $Lex_2$ (trois dernières colonnes).

<table><caption>TABLE 1: Description sémantique des couples de lexèmes dans Démonette</caption><thead><tr><th colspan="6">Relation sémantique</th></tr><tr><th>Lex<sub>1</sub> - Lex<sub>2</sub></th><th>Typ<sub>1</sub></th><th>Typ<sub>2</sub></th><th>Type général</th><th>Sém. Lex<sub>1</sub></th><th>Schéma Lex<sub>1</sub></th></tr></thead><tbody><tr><td>danseur<sub>N</sub> - danser<sub>V</sub></td><td>person</td><td>sit.dyn</td><td>entité-situation</td><td>agent</td><td>ce(lui) qui Lex<sub>2</sub></td></tr><tr><td>admirer<sub>V</sub> - admirateur<sub>N</sub></td><td>sit.stat</td><td>person</td><td>situation-entité</td><td>jugement</td><td>ressentir ce que ressent Lex<sub>2</sub></td></tr></tbody></table>

# 4 La sémantique des frames

Le sémantique des frames est une théorie de la représentation des connaissances basée sur les frames. Un frame est une structure conceptuelle qui décrit une situation, un objet ou un évènement ainsi que ses participants et leurs propriétés. Les participants d'un frame, appelés **frame elements (FE)**, sont décrits par des rôles sémantiques. Il existe plusieurs implémentations de la sémantique des frames comme FrameNet (Fillmore, 2006; Johnson et al., 2003; Ruppenhofer et al., 2006) pour l'anglais ou Asfalda (Candito et al., 2014) pour le français.

Un frame se compose (i) d'une glose globale qui décrit la situation représentée et la manière dont les différents FE interagissent à l'intérieur de celle-ci; (ii) des gloses partielles qui décrivent la situation relativement à chacun des FE; (iii) d'un ensemble d'unités lexicales qui évoquent le frame; (iv) d'un ensemble de phrases qui réalisent le frame. Par exemple, dans Asfalda, le frame CONTACTING est défini par la glose globale en anglais (1); le FE **Addressee** est décrit par la glose partielle (2); la liste des unités lexicales du français qui évoquent la situation exprimée par le frame CONTACTING est donnée en (3); la phrase (4) est un exemple de réalisation de ce frame.

(1) CONTACTING : A **Communicator** directs a communication to an **Addressee** and/or at a particular **Address**, for a particular **Purpose** and/or about a particular **Topic**. A **Location_of_communicator** can be expressed.

(2) **Addressee**: The person that receives the message from the **Communicator**.

(3) appel téléphonique.n, appel.n, appeler.v, contact.n, contacter.v, coup de fil.n, coup de téléphone.n, écrire.v, joindre.v, téléphoner.v, toucher.v

(4) FR : Faisant contre mauvaise fortune bon coeur, l'amiral Higgins a alors appelé au téléphone les journalistes britanniques pour les délier de leurs engagements
# 5 Adaptation des frames sémantiques à la morphosémantique

Les correspondances qui existent entre les frames sémantiques et les paradigmes dérivationnels permettent une adaptation immédiate des premiers pour décrire les seconds. En effet, les unités lexicales qui évoquent les frames correspondent aux (sous-) familles qui composent les paradigmes. Les FE correspondent aux séries dérivationnelles, c'est-à-dire à des lexèmes jouent le même rôle dans leurs familles. La description du frame correspond au schéma du paradigme dérivationnel, c'est-à-dire à la description des relations qui existent entre les séries. Cette description peut se faire au moyen d'un ensemble de gloses morphosémantiques. Schématiquement, la correspondance entre les frames et les paradigmes peut être résumée comme suit :

<table><thead><tr><td>frame sémantique</td><td>paradigme</td></tr></thead><tbody><tr><td>description du frame</td><td>schéma du paradigme</td></tr><tr><td>frame element</td><td>série de lexèmes</td></tr><tr><td>unités lexicales du frame</td><td>familles dérivationnelles</td></tr></tbody></table>

La description des FE comporte trois niveaux : le niveau relationnel réunit les **gloses morphosémantiques**; le niveau argumental décrit les rôles des membres des séries au sein de leur familles; le niveau ontologique donne la catégorie des membres de ces séries. La dimension ontologique est indépendante de la dimension argumentale. En revanche, les dimensions relationnelles et argumentales sont interdépendantes tout en étant distinctes. Pour présenter plus en détail ces trois niveaux de description, considérons la sous-famille dérivationnelle (5).

(5) *laver* v; *lavage* N; *lavoir* N; *laverie* N; *laveur* N; *laveuse* N; *lavette* N; *lavable* A

Au niveau relationnel, on trouve les gloses morphosémantiques qui décrivent les relations qui connectent les lexèmes : les éléments d'une famille y sont définis mutuellement au moyen d'énoncés non orientés comme en (6), de sorte que la définition globale de la famille est composée de l'union de toutes ces gloses simples. Notons que plusieurs membres d'une famille sont susceptibles d'occuper la même position dans une glose de la même manière qu'ils sont susceptibles d'occuper la même case dans le paradigme. C'est le cas de *laveur* et *laveuse* en (6a), puisque les deux noms sont les agents de *laver*. De même, *lavoir* et *laverie* en (6c) décrivent des lieux scéniques où se déroule l'activité *laver*.

(6) a. Un **laveur** (une **laveuse**) **lave** quelque chose

b. Quelque chose est **lavable** si on peut la **laver**

c. On **lave** quelque chose dans un **lavoir** (une **laverie**)

Pour obtenir des gloses morphosémantiques intelligibles et suffisamment naturelles, le nombre d'éléments dans chaque glose est limité à deux ou trois. De ce fait, il n'est pas envisageable de réunir l'ensemble des lexèmes de la famille dans une glose globale unique. Une glose morphosémantique associe en réalité deux ou plusieurs séries dérivationnelles et décrit une superposition de couples au sein des familles du paradigme. Les couples qui instancient la glose se trouvent tous dans la même relation comme l'illustre la Table 2.

Au niveau argumental, un rôle sémantique est attribué à chaque membre de la (sous-) famille (ou plus exactement à chaque FE instancié par ce membre), en fonction de la position que le lexème occupe dans la structure argumentale des prédicats de ses gloses du niveau relationnel. Par exemple, pour le frame qui contient la famille de *laver* (5), les rôles sémantiques des FE instanciés par les membres de cette famille sont donnés en Table 3.
<table><caption>TABLE 2: Instances d'une glose morphosémantique qui relient deux séries dérivationnelles. La première est composée de noms d'action et la seconde des verbes correspondants</caption><thead><tr><th></th><th>PRÉD.VSUP</th><th></th><th>PRÉDICAT</th><th></th></tr></thead><tbody><tr><td>On réalise un(e)</td><td><strong>lavage</strong></td><td>quand on</td><td><strong>lave</strong></td><td>qqc</td></tr><tr><td>On réalise un(e)</td><td><strong>vol</strong></td><td>quand on</td><td><strong>vole</strong></td><td>qqc</td></tr><tr><td>On réalise un(e)</td><td><strong>gonflement</strong></td><td>quand on</td><td><strong>gonfle</strong></td><td>qqc</td></tr><tr><td>On réalise un(e)</td><td><strong>présentation</strong></td><td>quand on</td><td><strong>présente</strong></td><td>qqc</td></tr><tr><td>On réalise un(e)</td><td><strong>défense</strong></td><td>quand on</td><td><strong>défend</strong></td><td>qqc</td></tr><tr><td>On réalise un(e)</td><td><strong>découverte</strong></td><td>quand on</td><td><strong>découvre</strong></td><td>qqc</td></tr></tbody></table>

<table><thead><tr><th>FE</th><th>rôle</th></tr></thead><tbody><tr><td>laver</td><td>prédicat</td></tr><tr><td>lavage</td><td>prédicat à verbe support (pratiquer/réaliser)</td></tr><tr><td>laveur / laveuse</td><td>agent</td></tr></tbody></table>

<table><caption>TABLE 3: Niveau argumental des FE du frame morphosémantique qui contient la famille de *laver*</caption><thead><tr><th>FE</th><th>rôle</th></tr></thead><tbody><tr><td>lavoir / laverie</td><td>lieu</td></tr><tr><td>lavette</td><td>instrument</td></tr><tr><td>lavable</td><td>potentialité</td></tr></tbody></table>

Au niveau ontologique, nous utilisons pour les noms la version du projet Fr-SemCor (Barque et al., 2020) des Unique Beginners for Nouns (UB) de WordNet (Miller et al., 1990). Cette ontologie est donnée en Table 4. Son niveau de granularité relativement fin permet la caractérisation des FE qui participent à certaines relations dérivationnelles spécifiques comme la suffixation en -aie qui construit des noms de plantations à partir de noms de plantes (oranger → orangeraie; palmier → palmeraie). Cette ontologie est complétée par une catégorie SITUATION pour les verbes et une catégorie MODIFIER pour les adjectifs. Nous n'avons pas utilisé les 15 premières catégories de verbes de WordNet (bodily function and care, change, communication, competition, etc.) comme nous l'avons fait pour les noms parce que les contraintes imposées par les procédés dérivationnels qui mettent en jeu des verbes sont très générales.

<table><caption>TABLE 4: Catégories ontologiques utilisées dans le projet Fr-SemCor</caption><thead><tr><th colspan="3">Entity</th><th colspan="2">Situation</th></tr><tr><th>Animate Entity</th><th>Non Animate Entity</th><th>Abstract Entity</th><th>Stative Situation</th><th>Dynamic situation</th></tr></thead><tbody><tr><td>animal</td><td>artifact</td><td>cognition</td><td>attribute</td><td>act</td></tr><tr><td>person</td><td>groupxartifact</td><td>groupxcognition</td><td>state</td><td>event</td></tr><tr><td>groupxanimal</td><td>food</td><td>communication</td><td>feeling</td><td></td></tr><tr><td>groupxperson</td><td>substance</td><td>group</td><td></td><td></td></tr><tr><td></td><td>object</td><td>part</td><td></td><td></td></tr><tr><td></td><td>plant</td><td>quantity</td><td></td><td></td></tr><tr><td></td><td>body</td><td>possession</td><td></td><td></td></tr><tr><td></td><td></td><td>relation</td><td></td><td></td></tr><tr><td></td><td></td><td>phenomenon</td><td></td><td></td></tr></tbody></table>

Un frame morphosémantique se compose d'un ensemble de gloses qui définissent ses FE les uns relativement aux autres, d'une caractérisation ontologique et argumentale des FE et d'un ensemble de familles qui instancient ces FE. La Figure 2 présente une partie du frame morphosémantique qui contient la famille de *laver* (5). Ce frame réunit trois FE (prédicat verbal, prédicat nominal,
nom d'agent) définit mutuellement par 3 gloses morphosémantiques pour l'une des familles, en l'occurrence celle de *laver*. Par exemple, la première glose décrit la relation qui existe entre le prédicat nominal exemplifié par *lavage* et le prédicat verbal exemplifié par *laver*. Les catégories grammaticales et ontologiques et les rôles de ces FE sont donnés dans la seconde partie du frame. La dernière partie du frame liste les familles qui composent le frame, en l'occurrence, celles de *laver*, de *voler* et de *présenter*. Chaque membre de chaque famille est assigné à un FE. Par exemple, *voler* et *voleuse* sont des instances de FE3.

<table><caption>FIGURE 2 – Partie du frame morphosémantique qui contient la famille de *laver*</caption><thead><tr><th colspan="3">Glosses MorphoSémantiques</th></tr><tr><td colspan="3">On réalise un(e) <b>lavage</b>=FE2 quand on <b>lave</b>=FE1 qqc</td></tr><tr><td colspan="3">Un(e) <b>laveur</b>=FE3 réalise un(e) <b>lavage</b>=FE2</td></tr><tr><td colspan="3">Un(e) <b>laveur</b>=FE3 <b>lave</b>=FE1 qqc</td></tr><tr><th></th><th>PoS.Onto</th><th>rôle</th></tr></thead><tbody><tr><td>FE1</td><td>V.SITUATION</td><td>PRÉDICAT</td></tr><tr><td>FE2</td><td>N.ACTIVITY</td><td>PRED.VSUP</td></tr><tr><td>FE3</td><td>N.PERSON</td><td>AGENT</td></tr><tr><th>FE1</th><th>FE2</th><th>FE3</th></tr><tr><td>laver</td><td>lavage</td><td>laveur/laveuse</td></tr><tr><td>voler</td><td>vol</td><td>voler/voleuse</td></tr><tr><td>présenter</td><td>présentation</td><td>présentateur/présentatrice</td></tr></tbody></table>

## 6 Génération (semi-) automatique des frames morphoséman- tiques

Nous venons de voir dans ce qui précède la motivation et les principes qui gouvernent la conception de frames morphosémantiques. Différentes ressources existantes peuvent être utilisées pour les produire (semi-)automatiquement pour un ensemble significatif de familles et de paradigmes de Démonette. Une première ressource est *Glawinette*, un lexique de familles et de séries dérivationnelles du français (Hathout et al., 2020) qui décrit 160113 couples de lexèmes regroupés en 15895 familles. Les couples de lexèmes sont caractérisés par des couples de schémas dérivationnels qui permettent de déduire les FE auxquels ils peuvent se rattacher dans un frame morphosémantique. Nous envisageons d'utiliser les définitions lexicographiques de dictionnaires comme GLAWI (Sajous & Hathout, 2015) pour la génération de gloses morphosémantiques standardisées et la détermination des rôles argumentaux et des catégories ontologiques.

Malgré les variations qu'elles peuvent présenter, les définitions sont une source de connaissance riche et adaptée à la production de frames morphosémantiques comme l'illustrent les exemples sous (7). Les définitions des lexèmes dérivés contiennent souvent un autre membre de leurs famille dérivationnelle ; ces mots sont soulignés dans les exemples de (7) ; ces éléments sont fournis par Glawinette ou peuvent à défaut être identifiés sur la base des analogies qu'ils permettent de former. Le genre prochain dans les définitions permet par ailleurs d'identifier la catégorie ontologique de l'entrée ; ces genres sont encadrés dans les exemples de (7) ; leur extraction peut se faire directement à partir de GLAWI qui
fournit des analyses syntaxiques en dépendance de toutes les définitions. Une fois le genre prochain identifié, la catégorie ontologique peut être déduite en utilisant des correspondances comme en (8).

(7) a. OBSERVATEUR : *personne* qui observe

b. SOIGNEUR : *personne* qui donne des soins et s'occupe de l'état physique d'un sportif

c. OBSERVATOIRE : *lieu* d'où l'on peut observer, surveiller l'ennemi

d. DÉMAIGRISSEMENT : *action* de démaigrir

e. ÉTIQUETEUSE : *machine* qui fait l'étiquetage

(8) *personne* → person, human being
*lieu* → artifact OR location
*action* → act, activity
*machine* → artifact

La structure syntaxique de la définition peut aussi servir de matrice pour la génération des gloses morphosémantiques. Par exemple, la définition donnée dans la première ligne des exemples en (9) permet de produire la glose de la 2ᵉ ligne et de déduire les rôles et les catégories ontologiques des FE listées dans la 3ᵉ ligne. Le nombre des paradigmes du français permet de réaliser cette tâche au moyen de patrons. Elle peut également être réalisées au moyen de réseaux de neurones en adaptant la méthode proposée par (Mickus et al., 2020).

(9) a. DONATEUR : personne qui a fait une donation
*Un donateur fait une donation*
AGENT = **donateur**; PRÉDICAT NOMINAL = **donation**; VERBE SUPPORT = **faire**

b. EXPOSANT : personne qui expose un fait
*Un exposant expose quelque chose*
AGENT = **exposant**; PRÉDICAT = **exposer**

c. OBSERVABLE : qui peut être observé
*On peut observer quelque chose ou quelqu'un qui est observable*
MODIFIEUR = **observable**; PRÉDICAT = **observer**

# 7 Conclusion

Nous avons montré dans cet article comment des structures inspirées de la sémantique des frames peuvent être adaptées pour permettre la description des relations morphosémantiques qui s'établissent dans les familles dérivationnelles. Les frames morphosémantiques rendent compte également de la superposition de familles et de ces relations à l'intérieur des paradigmes dérivationnelles. Les frames morphosématiques peuvent être produits de manière (semi-)automatique à partir de données structurées provenant des dictionnaires, comme GLAWI et Glawinette.
Références

ANDERSON S. R. (1992). *A-morphous morphology*, volume 62. Cambridge University Press.

ARONOFF M. (1976). *Word Formation in Generative Grammar*. Linguistic Inquiry Monographs. Cambridge, MA : MIT Press.

BARQUE L., HAAS P., HUYGHE R., TRIBOUT D., CANDITO M., CRABBÉ B. & SEGONNE V. (2020). FrSemCor : Annotating a French corpus with supersenses. In *Proceedings of the 12th International Conference on Language Resources and Evaluation (LREC 2020)*.

BAUER L. (1997). Derivational paradigms. In *Yearbook of Morphology 1996*, p. 243–256. Springer.

BOOIJ G. (2008). Paradigmatic morphology. *La raison morphologique*. Hommage à la mémoire de Danielle Corbin, p. 29–38.

CANDITO M., AMSILI P., BARQUE L., BENAMARA ZITOUNE F., DE CHALENDAR G., DJEMAA M., HAAS P., HUYGHE R., YANNICK MATHIEU Y., MULLER P., SAGOT B. & VIEU L. (2014). Developing a French Framenet : Methodology and first results. In *Proceedings of the 9th International Conference on Language Resources and Evaluation (LREC 2014)*, Reykjavik, Iceland.

FILLMORE C. J. E. A. (2006). Frame semantics. *Cognitive linguistics : Basic readings*, 34, 373–400.

FRADIN B. (2003). *Nouvelles approches en morphologie*. Presses Universitaires de France.

HATHOUT N. (2011). Morphonette : a paradigm-based morphological network. *Lingue e linguaggio*, **10**(2), 245–264.

HATHOUT N. & NAMER F. (2014). Démonette, a French derivational morpho-semantic network. *Linguistic Issues in Language Technology*, **11**(5), 125–168.

HATHOUT N. & NAMER F. (2016). Giving lexical resources a second life : Démonette, a multi-sourced morpho-semantic network for french. In *Proceedings of the Tenth International Conference on Language Resources and Evaluation (LREC 2016)*.

HATHOUT N. & NAMER F. (2018). La parasyndhèse à travers les modèles : des RCL au ParaDis. In O. BONAMI, G. BOYÉ, G. DAL, H. GIRAUDO & F. NAMER, Éds., *The lexeme in descriptive and theoretical morphology*, p. 365–399. Langage Sciences Press.

HATHOUT N., SAJOUS F., CALDERONE B. & NAMER F. (2020). Glawinette : a linguistically motivated derivational description of French acquired from GLAWI. In *Proceedings of the 12th International Conference on Language Resources and Evaluation (LREC 2020)*.

JOHNSON C. R., SCHWARZER-PETRUCK M., BAKER C. F., ELLSWORTH M., RUPPENHOFER J. & FILLMORE C. J. (2003). *Framenet : Theory and practice*. Rapport interne, International Computer Science Institute, Berkeley, CA.

MICKUS T., CONSTANT M. & PAPERNO D. (2020). Génération automatique de définition pour le français. In *Actes de la 27ᵉ conférence annuelle sur le traitement automatique des langues naturelles (TALN-2020)*.

MILLER G. A., BECKWITH R., FELLBAUM C., GROSS D. & MILLER K. J. (1990). Introduction to WordNet : An on-line lexical database. *International Journal of Lexicography*, **3**(4), 335–391.

NAMER F., BARQUE L., BONAMI O., HAAS P., HATHOUT N. & TRIBOUT D. (2019). Démonette2 – une base de données dérivationnelles du français à grande échelle : premiers résultats. In *Actes de la 26ᵉ conférence annuelle sur le traitement automatique des langues naturelles (TALN-2019)*, p. 233–243, Toulouse.
NAMER F. & HATHOUT N. (2019). ParaDis and Démonette : From theory to resources for derivational paradigms. In *Proceedings of the Second International Workshop on Resources and Tools for Derivational Morphology*, p. 5–14.

RUPPENHOFER J., ELLSWORTH M., PETRUCK M. R., JOHNSON C. R. & SCHEFFCZYK J. (2006). *FrameNet II: Extended Theory and Practice*. Berkeley, California : International Computer Science Institute. Distributed with the FrameNet data.

SAJOUS F. & HATHOUT N. (2015). GLAWI, a free XML-encoded Machine-Readable Dictionary built from the French Wiktionary. In *Proceedings of the eLex 2015 conference*, p. 405–426, Herstmonceux, England.

STUMP G. T. (1991). A paradigm-based theory of morphosemantic mismatches. *Language*, p. 675–725.

VAN MARLE J. (1984). *On the paradigmatic dimension of morphological creativity*. Dordrecht : foris.
# Modèle neuronal pour la résolution de la coréférence dans les dossiers médicaux électroniques

Julien Tourille¹ Olivier Ferret¹ Aurélie Névéol² Xavier Tannier³

(1) CEA, LIST, Laboratoire Analyse Sémantique Texte et Image, Gif-sur-Yvette, F-91191, France

(2) LIMSI, CNRS, Université Paris-Saclay

(3) Sorbonne Université, Inserm, LIMICS

{julien.tourille, olivier.ferret}@cea.fr, aurelie.neveol@limsi.fr,
xavier.tannier@sorbonne-universite.fr

## RÉSUMÉ

La résolution de la coréférence est un élément essentiel pour la constitution automatique de chronologies médicales à partir des dossiers médicaux électroniques. Dans ce travail, nous présentons une approche neuronale pour la résolution de la coréférence dans des textes médicaux écrits en anglais pour les entités générales et cliniques en nous évaluant dans le cadre de référence pour cette tâche que constitue la tâche 1C de la campagne i2b2 2011.

## ABSTRACT

### Neural approach for coreference resolution in electronic health records

Coreference resolution is an essential step for clinical timeline extraction from electronic health records. Herein, we present a neural approach for coreference resolution in clinical documents written in English for both general and clinical entities and we evaluate it in the reference evaluation framework of the task 1C of the i2b2 2011 campaign.

**MOTS-CLÉS** : TAL clinique, réseaux de neurones, résolution de la coréférence.

**KEYWORDS**: clinical NLP, deep learning, coreference resolution.

## 1 Introduction

La résolution de la coréférence consiste à identifier toutes les mentions d'entités ou d'événements et à les regrouper en classes d'équivalence (Pradhan et al., 2011). Cette tâche n'implique pas de déterminer à quels entités ou événements ces mentions font référence. Il s'agit de déterminer si plusieurs mentions font référence à la même entité ou événement. La résolution de la coréférence a principalement été explorée pour des textes de nature journalistique, avec de premières campagnes d'évaluation dans les années 1990 (Sundheim, 1995; Hirschman & Chinchor, 1998). Ce n'est qu'au cours des dix dernières années que des travaux se sont intéressés à la résolution de la coréférence dans le domaine clinique. La première campagne d'évaluation sur le sujet a été proposée par la fondation i2b2 (Uzuner et al., 2012) et a permis le développement de plusieurs modèles (Jindal & Roth, 2013; Hinote et al., 2011; Grouin et al., 2011; Chowdhury & Zweigenbaum, 2013). L'intérêt pour cette tâche répond au besoin grandissant d'explorer et d'utiliser les données contenues dans les rapports et autres documents textuels qui composent les dossiers médicaux électroniques. Parmi ces données, la

<figure><img src="image_87.png" /></figure>
chronologie médicale, c'est-à-dire la suite d'événements médicaux qui ont lieu au cours de la vie d'un patient, est une information importante. Être en mesure d'extraire automatiquement ces chronologies permettrait de mieux comprendre certains phénomènes médicaux tels que l'évolution des maladies et les effets longitudinaux des médicaments (Lin et al., 2016; Sun et al., 2013). Or, les événements médicaux sont mentionnés plusieurs fois dans les dossiers, rendant difficile la construction de ces chronologies sans une étape de résolution de la coréférence.

Dans ce travail, nous nous intéressons à la résolution de la coréférence dans des dossiers médicaux électroniques écrits en anglais. Nous proposons une approche neuronale fondée sur les travaux récents appliqués aux textes journalistique (Wiseman et al., 2016; Clark & Manning, 2016).

## 2 Données

Dans ce travail, nous utilisons le corpus i2b2 tâche 1C (Uzuner et al., 2012) et plus précisément, la partie i2b2/VA ne contenant pas de documents de University of Pittsburgh Medical Center (UPMC). Nous reproduisons ainsi un des contextes expérimentaux proposés lors de la campagne d'évaluation. Le corpus contient 194 documents cliniques du Beth Israel Deaconess Medical Center (BETH) et 230 documents cliniques de Partners Healthcare (PARTNERS) (cf. tableau 1). Le tableau 2 présente le nombre de chaînes de coréférence ainsi que leur longueur moyenne et maximale.

<table><caption>TABLE 1: Statistiques concernant le corpus i2b2/VA tâche 1C</caption><thead><tr><th>Institution</th><th>Train</th><th>Test</th><th>Total</th></tr></thead><tbody><tr><td>BETH</td><td>115</td><td>79</td><td>194</td></tr><tr><td>PARTNERS</td><td>136</td><td>94</td><td>230</td></tr><tr><td>Combinés</td><td>251</td><td>173</td><td>424</td></tr></tbody></table>

<table><caption>TABLE 2: Statistiques concernant le nombre et la longueur des chaînes de coréférence du corpus i2b2/VA tâche 1C</caption><thead><tr><th>Institution</th><th>Nombre<br>chaînes</th><th>Long.<br>moy.</th><th>Long.<br>max.</th></tr></thead><tbody><tr><td>BETH</td><td>1 816</td><td>4,2</td><td>122</td></tr><tr><td>PARTNERS</td><td>1 395</td><td>4,4</td><td>105</td></tr></tbody></table>

Cinq types d'éléments sont annotés dans le corpus en y incluant les singletons, i.e. les éléments non coréférents : personnes, pronoms, tests, traitements et problèmes. Les chaînes de coréférence peuvent être divisées en deux groupes : les chaînes relatives aux événements (tests, traitements et problèmes) et les chaînes relatives aux personnes. Les deux groupes présentent des caractéristiques différentes : les chaînes personnes sont plus longues (moyenne de 12,44 contre environ 2,5 pour les événements) tandis que les mentions composant les chaînes personnes prennent généralement la forme de pronoms personnels, même si des pronoms peuvent également faire partie des chaînes événements. Enfin, les événements médicaux ont une structure argumentale implicite que les mentions de personnes n'ont pas (Styler IV et al., 2014). Ces trois différences nous ont amené à considérer la résolution de la coréférence pour ces deux ensembles d'entités comme des sous-tâches distinctes. En conséquence, nous apprenons deux modèles distincts, un pour chaque sous-ensemble. Nous faisons l'hypothèse que le modèle sera capable de distinguer quels pronoms appartiennent aux deux sous-ensembles et nous les incluons dans les modèles caractérisant chaque sous-ensemble.
# 3 Description du modèle

Notre modèle s'inspire des approches neuronales récemment développées (Lee *et al.*, 2017; Wiseman *et al.*, 2016). Le composant principal de notre approche est un modèle de type *mention-ranking* (Denis & Baldridge, 2008) dont l'objectif est d'ordonnancer l'ensemble des antécédents possibles pour une mention donnée et de choisir le premier. Le cas non-anaphorique, c'est-à-dire l'absence d'antécédent pour une mention donnée, est géré par l'utilisation d'un *dummy antecedent* (Durrett & Klein, 2013; Wiseman *et al.*, 2016).

Notre approche diffère des modèles locaux pour la résolution de la coréférence dans lesquels les paires de mentions sont considérées séparément. Nous proposons d'utiliser des traits globaux extraits des chaînes de coréférence en cours de construction. Ainsi, notre approche s'inspire et s'inscrit dans une lignée de travaux récents examinant l'utilisation de ce type de traits dans des approches neuronales (Clark & Manning, 2015, 2016; Wiseman *et al.*, 2016, 2015).

Plus spécifiquement, nous incorporons de l'information concernant les chaînes de coréférence en cours de construction dans notre modèle *mention-ranking*. Cette information est construite en utilisant un LSTM (Hochreiter & Schmidhuber, 1997) qui examine les différentes mentions des chaînes par ordre d'apparition dans le texte. Le principal avantage de cette approche est qu'elle facilite l'inférence en ne requérant qu'une seule passe sur les mentions (de gauche à droite).

**Plongements en entrée** Les plongements utilisés en entrée de notre modèle sont construits en concatenant une représentation dense des caractères et un vecteur de mot pré-calculé sur un grand corpus. La représentation dense des caractères est construite suivant la méthode proposée par Lample *et al.* (2016). Un plongement aléatoire est d'abord généré pour chaque caractère présent dans le corpus. Ensuite, les caractères des différents tokens passent à travers un Bi-LSTM. Les deux représentations denses résultantes sont enfin concatenées pour former la représentation finale.

<figure><img src="image_88.png" /><figcaption>FIGURE 1: Construction des plongements en entrée de notre modèle</figcaption></figure>

<figure><img src="image_89.png" /><figcaption>FIGURE 2: Construction des représentations des mentions</figcaption></figure>

**Représentation des mentions** Le processus de construction des représentations des mentions est présenté à la figure 2. Dans notre exemple, la mention considérée est *abd pain* dans le contexte de la
phrase *She denied abd pain, fever, chills*. Tout d'abord, notre modèle calcule deux représentations contextuelles de la mention considérée grâce à un Bi-LSTM. Le *forward* LSTM prend en entrée le segment allant du premier token de la phrase jusqu'au dernier token de la mention. Le *backward* LSTM prend en entrée le segment allant du dernier token de la phrase jusqu'au premier token de la mention. Les deux représentations denses forment la première partie de la représentation finale.

Nous ajoutons ensuite une représentation dense issue d'un mécanisme d'attention. Ce mécanisme, qui permet d'accorder une importante différenciée aux deux éléments constituant la représentation contextuelle d'une mention, consiste en une somme pondérée des états cachés intermédiaires des deux LSTMs. Les poids utilisés dans la somme pondérée sont calculés en utilisant un réseau de neurones *feed-forward*.

## Représentation des chaînes de coréférence
Pour le calcul des représentations denses des chaînes de coréférence, nous utilisons, à l'instar de Wiseman et al. (2016), un LSTM prenant en entrée les différentes mentions composant les chaînes de coréférence, dans l'ordre de leur apparition dans le document. Un aperçu du processus complet est présenté à la figure 3. Bien entendu, nous maintenons au cours de l'analyse d'un document autant de ces représentations que de chaînes de coréférence, représentations construites en utilisant le même LSTM (i.e. les mêmes poids).

<figure><img src="image_90.png" /><figcaption>FIGURE 3: Calcul des représentations des chaînes de coréférence</figcaption></figure>

<figure><img src="image_91.png" /><figcaption>FIGURE 4: Classifieur de paires de mentions</figcaption></figure>

## Classifieur de paires de mentions
Le rôle du classifieur est d'assigner un score à chaque paire (mention, antécédent). Pour cela, nous utilisons un réseau *feed-forward* qui prend en entrée la concatenation des représentations des mentions, de la chaîne de coréférence dont l'antécédent fait partie et d'une représentation dense de la distance qui sépare la mention active de l'antécédent considéré. La distance est discrétisée en un nombre fixe de catégories : [1, 2, 3, 4, 5 – 7, 8 – 15, 16 – 31, 32 – 63, 64+] (Clark & Manning, 2016). Le réseau *feed-forward* est composé de deux couches cachées, chaque couche ayant pour taille la moitié de la taille de la couche précédente. Les scores obtenus pour chaque paire (mention, antécédent) sont concaténés dans un vecteur et nous appliquons une fonction *softmax*. Nous optimisons la vraisemblance de tous les antécédents inclus dans la chaîne de coréférence (Lee et al., 2017).
# 4 Contexte expérimental

Dans ce travail, nous nous intéressons à la situation dans laquelle nous disposons d'une détection parfaite des mentions dans les documents en utilisant les annotations *gold* du corpus pour ces mentions. Nous testons notre modèle dans plusieurs configurations. Tout d'abord, nous implémentons un modèle de base en enlevant certaines parties de notre architecture. Les plongements présentés en entrée du modèle sont composés uniquement d'un vecteur de mot pré-entraîné. Le mécanisme d'attention ainsi que les représentations denses des chaînes de coréférence et des caractères ne sont pas utilisés.

En partant de cette configuration, nous activons chaque composant pour mesurer son effet sur la performance du système. Par ailleurs, nous implémentons une stratégie de pré-entraînement dans laquelle nous entraînons notre modèle uniquement sur les mentions coréférentes. La tâche se résume alors à trouver l'antécédent correct parmi les mentions précédentes. Cette stratégie permet généralement d'améliorer les performances des systèmes (Clark & Manning, 2015, 2016; Wiseman et al., 2015, 2016). Ensuite, nous implémentons une spécialisation du classifieur de paires de mentions. Le réseau feed-forward qui le compose est unique pour chaque type d'entité. Notre hypothèse est que les éléments permettant d'identifier des mentions coréférentes peuvent différer selon le type d'entité considéré. Enfin, nous implémentons un filtrage des antécédents selon le type de la mention considérée par le modèle. Pour le cas des pronoms, nous considérons tous les antécédents.

Nous implémentons notre modèle avec PyTorch (Paszke et al., 2017). La taille des LSTMs utilisés pour calculer les représentations des mentions et des chaînes de coréférence est fixée à 100. Celle du Bi-LSTM utilisé pour la représentation des caractères est fixée à 25. Les plongements de caractères ont une taille de 25 et sont initialisés aléatoirement. Notre modèle est entraîné sur des mini-lots de 1 document. Nous utilisons l'algorithmme d'optimisation Adam et fixons le taux d'apprentissage à 0,001. Nous implémentons une décroissance du taux d'apprentissage de 1 % à chaque itération. Les plongements lexicaux pré-entraînés sont appris sur le corpus MIMIC-III (Johnson et al., 2016) avec une taille de 100. Nous appliquons un *dropout* sur les couches cachées de notre classifieur de mentions avec un taux de 0,2. Un *dropout* est aussi appliqué sur les plongements en entrée avec un taux de 0,5. Nous implémentons l'apprentissage des états initiaux des LSTMs (Gers et al., 2002). Finalement, nous répétons chaque expérience 10 fois pour prendre en considération l'aspect non-déterministe de notre modèle (Reimers & Gurevych, 2017).

# 5 Résultats

Le tableau 3 présente les résultats de nos expériences, obtenus grâce à la mesure CoNLL calculée avec l'outil de référence de Pradhan et al. (2014)<fnref n="1" />. Nous considérons uniquement les clusters regroupant au moins deux mentions et excluons ainsi, à l'instar d'une grande partie des travaux en domaine général, les singletons lors du calcul de la performance. L'utilisation d'un mécanisme d'attention

<footnote n="1">1. Nous avons préféré cet outil à celui de la campagne i2b2 dans la mesure où suite à divers travaux méthodologiques réalisés sur l'évaluation de la coréférence en domaine général (Pradhan et al., 2011, 2014), il s'y est imposé comme un standard. En outre, Pradhan et al. (2014) soulignent que l'outil i2b2 s'appuie sur l'approche de Cai & Strube (2010), dont l'outil associé présente une erreur de mise en œuvre, peut-être également présente dans l'outil i2b2.</footnote>