B leu, contusion, ecchymose : tri automatique de synonymes en fonction de leur difficulté de lecture et compréhension (Automatic ranking of synonyms according to their reading and comprehension difficulty) (2016)

Abstract: La lisibilité d’un texte dépend fortement de la difficulté des unités lexicales qui le composent. La simplification lexicale vise ainsi à remplacer les termes complexes par des équivalents sémantiques plus simples à comprendre : par exemple, BLEU (‘résultat d’un choc’) est plus simple que CONTUSION ou ECCHYMOSE. Il est pour cela nécessaire de disposer de ressources qui listent des synonymes pour des sens donnés et les trient par ordre de difficulté. Cet article décrit une méthode pour constituer une ressource de ce type pour le français. Les listes de synonymes sont extraites de BabelNet et de JeuxDeMots, puis triées grâce à un algorithme statistique d’ordonnancement. Les résultats du tri sont évalués par rapport à 36 listes de synonymes ordonnées manuellement par quarante annotateurs.

## introduction identifier le niveau de lisibilité d'un texte a suscité de l'intérêt depuis longtemps dans le secteur de l'éducation, que ce soit pour des lecteurs en langue maternelle (l1) ou en langue étrangère ou seconde (l2). en effet, une telle connaissance permet de mieux associer textes et lecteurs et augmente les bénéfices de la pratique de la lecture. la technique classique pour évaluer la lisibilité d'un actes de la conférence conjointe jep-taln-recital 2016, volume 2 : taln texte consiste à utiliser une formule de lisibilité, calculée à partir d'un ensemble de caractéristiques textuelles supposées influencer le processus de lecture. l'une des formules de lisibilité les plus populaires est celle de @xcite et elle se caractérise par l'emploi de la régression linéaire et d'un nombre très restreint de prédicteurs (un de type lexical et un de type syntaxique). les modèles de lisibilité de cette nature sont intéressants pour des tâches pédagogiques de type « recherche d'information », dans lesquelles l'objectif est de trouver des textes adaptés à un lecteur donné (cf. @xcite . de ce fait, le domaine de la lisibilité a connu des avancées importantes sous l'impulsion du traitement automatique des langues (tal) 1 . toutefois, ces modèles présentent une faiblesse : ils sont axés sur la génération d'un score global de lisibilité et sont donc de peu de secours lorsqu'il s'agit d'adapter un texte trop complexe. une alternative consiste à chercher à identifier dans un texte les passages les plus difficiles. c'est l'un des objectifs du domaine de la simplification lexicale 2 : une phase d'identification des unités à simplifier est nécessaire afin de procéder à leur remplacement par un équivalent plus simple. en lien avec cette dernière problématique, nous nous intéressons à la difficulté lexicale, qui s'est souvent révélée être l'un des meilleurs indices de la lisibilité textuelle. déterminer le niveau de difficulté des mots d'un texte peut servir à estimer plus globalement sa lisibilité afin de le simplifier. de plus, la prédiction de la difficulté lexicale comme tâche en soi a fait l'objet d'un intérêt croissant depuis quelques années dans la communauté tal (voir section 2 pour des détails). elle a généralement été abordée comme un problème de classification @xcite ou, plus rarement, comme un problème d'ordonnancement @xcite . dans cet article, nous nous inspirons de cette approche par ordonnancement afin de proposer une ressource lexicale pour le français où les synonymes sont (1) désambiguïsés, c'est-à-dire rassemblés par sens et (2) triés en fonction de leur difficulté. la notion de difficulté doit ici être comprise comme une valeur qui situe l'unité lexicale en question sur une échelle de complexité de lecture et de compréhension par rapport à des termes sémantiquement équivalents, par exemple : bleu ('résultat d'un choc') par rapport à contusion ou ecchymose. pour atteindre ce double objectif, après avoir présenté plus en détails la problématique de la prédiction de la difficulté du lexique à la section 2, nous décrivons à la section 3 la façon dont nous avons constitué cette ressource de synonymes, avant de détailler, à la section 4, le modèle statistique utilisé pour ordonner les mots de la ressource (il repose sur la prise en compte combinée d'un large ensemble de variables linguistiques et psycholinguistiques). enfin, les performances de ce modèle sont évaluées et discutées à la section 5, à l'aide d'un jeu de données de référence obtenu grâce à une campagne d'annotation. ## travaux récents et problématique la problématique de la prédiction automatisée de la difficulté du lexique est une tâche intéressante, non seulement en vue d'applications pédagogiques, mais aussi parce qu'elle constitue une approche holistique de questions théoriques largement explorées en psycholinguistique. elle pose certains défis d'envergure, en particulier celui de sa mesure. en effet, s'il est évident que la complexité lexicale est liée à diverses caractéristiques du lexique (fréquence, longueur des mots, polysémie, etc.), elle est également dépendante des caractéristiques de l'individu qui perçoit les mots (ex. : expertise en lecture, couverture du vocabulaire, niveau du développement conceptuel, connaissance du domaine traité, etc.), ce qui la rend difficile à capturer. pour l'instant, la tâche a surtout été abordée du point de vue de la complexité des mots. ainsi, @xcite proposent, dans le cadre de semeval 2012, un système ordonnant des synonymes dans le but de sélectionner le meilleur candidat pour une simplification lexicale. pour ce faire, ils se basent sur des fréquences lexicales, le nombre de syllabes, un modèle n-gramme, un modèle lsa, mais également sur des variables psycholinguistiques (imageabilité, âge d'acquisition, niveau de concrétude et familiarité). ils obtiennnent un  foot_0 de 0, 496 entre les prédictions de leur modèle et le classement de référence. plus récemment, la tâche de prédiction lexicale a été abordée comme un problème de classification. il ne s'agit plus d'ordonner un ensemble de synonymes en fonction de leur difficulté, mais d'attribuer aux mots un niveau de difficulté, en référence à une échelle de difficulté. @xcite propose ainsi un modèle de classification par séparateurs à vastes marges (svm) basé sur quelques variables (fréquence, nombre de lettres, nombre de syllabes, nombre de sens, nombre de synonymes, etc.) qui vise à détecter les mots anglais complexes, en vue d'une tâche de substitution lexicale. gala et al. (2014) une alternative à la classification automatique consiste à construire un lexique gradué à partir d'un corpus de textes dont le niveau de difficulté est connu. @xcite ont ainsi proposé manulex, une ressource qui décrit les distributions des mots du français sur trois niveaux du primaire (cp, ce1 et un niveau allant du ce2 à la cm2). @xcite ont appliqué la même technique sur des textes destinés à des apprenants de langue étrangère, mettant au point flelex, qui classe les mots selon l'échelle du cadre européen commun de référence pour les langues (cecr) (conseil de l'europe, 2001). @xcite ont élaboré une méthode statistique plus complexe qui donne automatiquement, sur un corpus de textes pédagogiques, une estimation de l'âge d'acquisition des mots. enfin, @xcite ont produit un lexique gradué à l'aide d'une méthode inspirée de la conception automatique de lexiques de polarité @xcite . à la croisée de ces deux dernières approches, nous avons proposé dans @xcite une ressource graduée de synonymes appelée resyf. nous avons repris le réseau de synonymes de jeuxdemots @xcite et nous avons attribué à chaque mot l'un des trois niveaux de difficulté de manulex. pour graduer les mots absents de manulex, un modèle de classification a été employé @xcite . dans une version postérieure de la ressource, un travail de désambiguïsation des synonymes par sens a été effectué @xcite . resyf constitue, ainsi, un premier pas vers un lexique gradué de synonymes, utile notamment pour la substitution lexicale. en l'état actuel, cette ressource comporte cependant quelques défauts. tout d'abord, le recours à l'échelle à trois niveaux de manulex limite la finesse de discrimination des synonymes. pour reprendre notre exemple, si bleu se voit attribuer la classe 1 et ressort comme le synonyme le plus simple, contusion et ecchymose appartiennent tous les deux au niveau 3, sans qu'aucune distinction ne soit faite entre ces deux termes. un second problème est que, pour une entrée donnée, resyf dispose d'une granularité trop fine de sens. par exemple, pour souris, il existe de nombreux sens, parmi lesquels 'espèce de petit rongeur', 'genre de rongeur' et 'rongeur'. un tel niveau de précision dans la désambiguïsation sémantique ne nous semble pas souhaitable pour la ressource. dans cet article, afin de proposer une nouvelle version de resyf qui surmonte ces deux faiblesses, nous avons développé une méthode d'ordonnancement automatique de synonymes. pour ce faire, nous avons tout d'abord constitué une liste de synonymes à partir de jeuxdemots, mais aussi de babelnet @xcite , où sont clairement distingués, pour une entrée donnée, les synonymes correspondant à ses principales acceptions (cf. section 3). dans un second temps, nous avons entraîné un modèle statistique capable de trier une liste de synonymes du plus simple au plus compliqué en se basant sur un ensemble de variables linguistiques et psycholinguistiques (cf. section 4). enfin, nous avons voulu confronter les performances de cet algorithme de tri par rapport à des jugements humains concernant la relative difficulté de synonymes (cf. section 5). ## données et ressources cette section présente le processus de constitution de la ressource lexicale de synonymes désambiguïsés. les listes de termes que nous avons utilisées proviennent du réseau sémantique babelnet foot_1 et du dictionnaire diko foot_2 @xcite , issu de jeuxdemots. nous détaillons, dans cette section, les expériences menées afin d'obtenir un niveau de raffinement des sens optimal. en effet, l'un des obstacles majeurs de la désambiguïsation sémantique est la granularité fine des inventaires de sens @xcite . par exemple, dans wordnet @xcite , les distinctions entre sens sont parfois difficiles à effectuer pour les annotateurs humains @xcite . notre objectif est dès lors d'obtenir une ressource de synonymes pour le français qui soit caractérisée par une granularité sémantique plus optimale, car cela facilite alors le processus de distinction des sens en contexte. pour la construction d'une telle ressource, nous avons appliqué deux méthodes : la première repose sur l'utilisation des sens issus de babelnet, tandis que la deuxième utilise les raffinements sémantiques spécifiés dans jeuxdemots. chaque sens ou raffinement sémantique est associé à un ensemble de synonymes, que nous appellerons par la suite un vecteur de synonymes foot_3 . les sections 3.1 et 3.2 décrivent respectivement le processus de traitement des données selon l'une et l'autre méthode. la section 3.3 décrit, quant à elle, les données de la ressource produite. ## méthode de ranking après avoir obtenu notre lexique, restait à en ordonner les vecteurs de synonymes en fonction de leur difficulté. pour ce faire, nous utilisons un modèle d'ordonnancement, qui est régulièrement utilisé en recherche d'information pour trier les résultats d'une requête par ordre de pertinence. ce type de modèle est bien documenté @xcite et se décline selon trois approches principales : pointwise, pairwise et listwise. nous avons opté pour la seconde, et plus particulièrement, pour l'algorithme svmrank @xcite . l'entraînement de cet algorithme nécessite de disposer de données (ici, les mots) déjà triées ou associées à un niveau de difficulté, ainsi que de disposer de représentations de ces mots. les caractéristiques linguistiques utilisées dans notre étude sont décrites dans la section 4.1. à partir de cette représentation vectorielle, on crée des paires d'entraînement en sélectionnant deux mots de difficulté différente et en fusionnant leurs vecteurs de caractéristiques (cf. section 4.2). la dernière étape consiste à optimiser le modèle et à choisir les meilleurs paramètres sur la base d'une évalution intrinsèque (cf. section 4.3). ## évaluation cette dernière section évalue les performances du modèle sur un jeu de données différent et constitué par des évaluateurs humains. la section 5.1 décrit la façon dont ces données ont été collectées et évalue l'accord entre les juges. la section 5.2 rapporte, quant à elle, les performances du modèle d'ordonnancement sur ce jeu de données et discute les résultats obtenus. ## conclusion et perspectives dans cet article, nous avons présenté une méthode en deux temps pour constituer un lexique de synonymes désambiguïsés et triés du plus simple au plus difficile. d'une part, nous avons récupéré des données de ressources existantes et les avons nettoyées afin de conserver une granularité de sens optimale. d'autre part, nous avons proposé un modèle statistique qui trie des synonymes en fonction de leur difficulté, en se basant sur un ensemble de variables linguistiques et psycholinguistiques. cet algorithme de tri obtient des résultats très satisfaisants sur des données annotées par des juges humains, ce qui ouvre la perspective d'intégrer notre ressource dans des applications de substitution lexicale et, de façon plus générale, dans des outils de simplification automatique de textes ou des logiciels d'entraînement ou d'assistance à la lecture 10 . 10. la ressource finale, ainsi que la liste annotée par des juges, seront mises à disposition de la communauté en juin 2016. actes de la conférence conjointe jep-taln-recital 2016, volume 2 : taln