Simplification automatique de texte dans un contexte de faibles ressources (Automatic Text Simplification : Approaching the Problem in Low Resource Settings for F rench) (2020)

Abstract: La simplification de textes a émergé comme un sous-domaine actif du traitement automatique des langues, du fait des problèmes pratiques et théoriques qu’elle permet d’aborder, ainsi que de ses nombreuses applications pratiques. Des corpus de simplification sont nécessaires pour entrainer des systèmes de simplification automatique ; ces ressources sont toutefois rares et n’existent que pour un petit nombre de langues. Nous montrons ici que dans un contexte où les ressources pour la simplification sont rares, il reste néanmoins possible de construire des systèmes de simplification, en ayant recours à des corpus synthétiques, par exemple obtenus par traduction automatique, et nous évaluons diverses manières de les constituer.

## introduction la lecture et la compréhension constituent une contribution majeure à la courbe d'apprentissage d'une langue pour un apprenant. la complexité d'une phrase empêche souvent la bonne compréhension et constitue un obstacle majeur dans la chaîne d'apprentissage. ceci s'applique spécifiquement à certains groupes de personnes, par exemple les enfants @xcite , les personnes ayant des difficultés d'apprentissage @xcite @xcite ou des difficultés spécifiques comme des formes de dyslexie @xcite ) ou d'aphasie @xcite , ou encore des troubles du spectre autistique @xcite . disposer de versions simplifiées d'un texte peut grandement en faciliter la lisibilité et la compréhension pour ces populations, et pourrait aussi bénéficier à des apprenants d'une langue étrangère. la simplification automatique de texte (sat) construit une version plus simple de textes complexes afin qu'ils soient plus facilement compréhensibles et intelligibles. la simplification implique des transformations élaborées du texte d'origine telles que le fractionnement, la suppression et la paraphrase. nous nous limitons ici à des transformations qui s'appliquent à des phrases isolées. la plupart des approches de simplification automatique de texte considèrent le processus de simplification comme une tâche de traduction monolingue, l'algorithme de traduction apprenant la simplification en réécrivant à partir du corpus parallèle simple-complexe @xcite @xcite . pour qu'un algorithme d'apprentissage automatique puisse apprendre ces transformations, il faut lui fournir suffisamment d'exemples de simplifications appariant des couples de phrases simples et complexes. la qualité d'un système de simplification automatique de texte dépendra fortement de la qualité et de la quantité des corpus de simplification ainsi que la qualité de l'algorithme d'apprentissage. il existe de nombreuses ressources linguistiques pour le français, mais en ce qui concerne la tâche de simplification, il s'agit d'une langue peu dotée. nous ne connaissons aucun corpus de grande taille disponible gratuitement. nous avons collecté des corpus de diverses sources @xcite , mais ils restent trop petits pour développer des systèmes de simplification basés sur des méthodes d'apprentissage ; nous les utilisons uniquement comme corpus de test. nous proposons d'utiliser des traductions automatiques pour composer un corpus parallèle synthétique. les corpus synthétiques sont souvent utilisés en traduction automatique @xcite @xcite mais leur utilisation reste peu explorée pour la simplification automatique. @xcite exploitent des données synthétiques pour créer des systèmes de simplification, mais en s'appuyant sur des données de simplification de "gold standard" en italien qui leur permettent d'entraîner le système "complexificateur", qu'ils utilisent pour traduire les phrases simples en complexes. dans notre étude, nous faisons l'hypothèse qu'aucune donnée n'est initialement disponible et nous étudions s'il est possible de construire un système de simplification raisonnable à partir uniquement de traductions automatiques de phrases complexes et simples. à cet égard, nous présentons la première tentative d'utilisation d'un corpus synthétique pour aborder le problème de la simplification automatique des phrases et montrons qu'il s'agit d'une approche viable pour réaliser des systèmes de simplification dans des contextes à faibles ressources. la qualité du corpus d'entraînement est un facteur important et a été largement discutée, en particulier pour le corpus wikipedia simple @xcite . newsela @xcite est devenu une des principales ressources en la matière, car il propose des simplifications manuelles à plusieurs niveaux, du niveau 0 comprenant le texte original au niveau 4 comprenant le texte le plus simplifié ; cette propriété reste cependant sous-exploitée et aucun des travaux de l'état de l'art ne donne d'analyse approfondie des niveaux de simplification les plus utiles. des travaux antérieurs comme @xcite et @xcite ont pris en compte ces niveaux et les ont utilisés en exploitant les niveaux de simplification adjacents (par exemple 0-1, 1-2), mais n'ont pas étudié les différences entre les niveaux. @xcite ont utilisé des niveaux non-adjacents (par exemple 0-2, 1-4), tandis que @xcite ont utilisé les différents niveaux de lisibilité pour construire des systèmes de simplification pour différents publics. dans cet article, nous présentons des systèmes de simplification et des analyses avec toutes les paires de niveaux et étudions également l'effet combiné de différents niveaux sur la simplification. un autre objectif de notre travail est d'étudier si les résultats obtenus pour l'anglais peuvent être reproduits pour d'autres langues. pour le français, des approches basées sur des règles existent @xcite mais aucun système basé sur l'apprentissage automatique ne peut être construit en raison du manque de corpus de simplification. un troisième objectif est d'utiliser des données synthétiques, comme cela a été fait pour la traduction automatique dans @xcite @xcite ) et d'étudier les niveaux de simplification et l'impact des corpus synthétiques. ## corpus de simplification synthétique nous avons construit des corpus de simplification français synthétiques en traduisant deux corpus de simplification anglais avec l'outil google translate (version de mai 2019) 1 . pour obtenir une mesure de la qualité des traductions, nous avons traduit le corpus de test anglais-français wmt14 2 dans les mêmes conditions et avons obtenu un score bleu @xcite de 35, 6 sur l'ensemble de test tokenisé, comparable au meilleur système de cette évaluation, mais significativement moins bon que l'état de l'art actuel de la traduction automatique anglais-français. le corpus anglais qui nous sert de point de départ est newsela @xcite , qui a été créé pour fournir du matériel de lecture destiné à l'enseignement pré-universitaire. chaque article a été réécrit quatre fois pour des enfants de différents niveaux. le niveau 0 correspond à l'article original, et le même article apparaît pour 4 niveaux, du niveau 1 au niveau 4, le niveau 4 étant le plus simple. nous avons couplé le corpus dans toutes les configurations possibles de complex : simple, où complex comprend tous les textes d'un niveau de complexité donné l et simple comprend les textes ayant un niveau de complexité inférieur à l. les corpus ainsi construits associent le niveau 0 aux niveaux la figure 1 présente l'analyse lexicale et la complexité des textes originaux et traduits. nous constatons que les textes conservent leur niveau de lisibilité après traduction, comme le montrent les paramètres. le comportement suivant est manifesté par les corpus de simplification anglais et français synthétique, où 0 est la phrase complexe et 4 le niveau le plus simple : niveau de complexité : nous utilisons le score flesch reading ease (flesch, 1948) pour l'anglais et son adaptation en français proposée par @xcite , implantés respectivement par les équations (1) et (2) ci-dessous. ces scores varient entre 0 et 100. une valeur plus élevée signifie que le texte est facile à lire et une valeur plus faible signifie que la difficulté est plus élevée. f re(anglais) = 206.835 -1.015( total words total sentences -84.6( total syllables total words ) (1) f re(f rancais) = 207 -1.015( total words total sentences -73.6( total syllables total words ) comme on le voit sur la figure 1 en haut à gauche, après traduction, le corpus simple français synthétique se situe au même niveau de lisibilité que l'anglais simple original. il en est de même pour les phrases complexes. on peut donc conclure qu'au moins en surface, les textes traduits conservent la classe de complexité des textes originaux. diversité lexicale textuelle : la diversité lexicale (dl) 3 est une mesure fréquemment utilisée pour évaluer la niveau de complexité d'un texte, un indice de dl est élevé indiquant qu'il est sera plus difficile à lire. le score dl identifie clairement la classe de complexité du corpus comme le montre le sous-graphique en haut à droite (figure 1 ). on observe que du côté complexe, le score de diversité 3. les mesures sont calculées avec https://pypi.org/project/lexicalrichness/ lexicale des textes augmente, alors que du côté simple, il diminue d'un niveau à l'autre, ainsi pour le côté complexe (1-2 = 103, 1-3 = 104, 1-4 = 107) et le côté simple (1-2 = 97, 1-3= 90, 1-4 = 85). longueur moyenne de la phrase et nombre de mots : le nombre de mots diminue à mesure que le niveau de simplicité augmente. ce comportement s'applique aussi bien aux mots complexes qu'à leur équivalent simple parmi toutes les paires de niveaux. la longueur moyenne des phrases est également beaucoup plus faible pour les textes simples. ceci est illustré graphiquement dans les deux derniers sous-graphes. on note que les phrases parallèles peuvent être très différentes dans chaque paire de niveaux, car elles sont sélectionnées par l'aligneur de phrases (moore, 2002) en fonction du score de l'aligneur. 4 évaluation 4.1 protocole d'évaluation nous évaluons le système de simplification en utilisant les scores bleu et sari. bleu (k. papineni & ward, 1998) est une métrique de traduction automatique qui s'appuie sur une comparaison de surface entre la sortie du système et la phrase de référence, en utilisant des correspondances de n-grammes et une pénalité de brièveté. il donne une mesure de l'adéquation. sari (xu et al., 2015) compare la phrase de sortie avec la phrase d'entrée ainsi qu'avec les phrases de référence. il récompense les fragments qui sont validés par une des références, alors qu'ils n'apparaissaient pas dans l'entrée. bleu est bien corrélé aux scores humains pour l'évaluation de la grammaticalité et, dans une moindre mesure, du transfert sémantique, tandis que sari est fortement corrélé aux scores humains pour l'évaluation de la simplicité. input about 95 species are currently accepted . ref-1 about 95 species are currently known . ref-2 about 95 species are now accepted . ref-3 95 species are now accepted . system output bleu sari output-1 about 95 you now get in . 0.1562 0.2683 output-2 about 95 species are now agreed . 0.6435 0.7594 output-3 about 95 species are currently agreed. 0.6435 0.5890 pour illustrer le fonctionnement des deux métriques, le tableau 1 présente un exemple et des scores obtenus à partir de @xcite . pour cet exemple, bleu attribue le même score à output-2 et output-3 puisque les deux mots "now" et "currently" apparaissent dans les phrases de référence, sari en revanche donne un meilleur score à output-2 sur la base de l'utilisation du mot "now", qui n'était pas présent dans la phrase originale. ## discussion et conclusion le tableau 2 présente les résultats obtenus pour tous les systèmes de simplification pour l'anglais et le français et pour tous les niveaux de simplification. nous utilisons le score fre comme mesure supplémentaire pour évaluer la simplicité de la production. les scores fre ne sont calculés que pour l'"auto-test", car il s'agit d'un ensemble de tests communs à l'anglais et au français qui nous permet d'établir une comparaison entre les systèmes. on observe que les résultats sont très variés. pour les systèmes de simplification construits à partir de l'anglais newsela, une première observation est que les scores bleu baissent de manière drastique lorsque l'écart entre niveaux de simplicité augmente. par exemple, pour le self test pour 0 {0 -1 ⇒ 63.66, 0 -2 ⇒ 43.81, 0 -3 ⇒ 22.52, 0 -4 ⇒ 4.67} et ensuite un bond pour 1 -2 ⇒ 55.30 qui baisse encore pour 1 -3 ⇒ 30.55 et encore pour 1 -4 ⇒ 17.26 et enfin un bon score pour 2 -3 ⇒ 40.58 mais inférieur à 1 -2. les scores bleu supérieurs à 40 sont principalement obtenus pour des niveaux de simplicité consécutifs, c'est-à-dire 0 -1, 0 -2, 1 -2, 1 -3. cette tendance se retrouve à la fois dans les corpus self et turk. la tendance à la baisse est à nouveau évidente pour 2-{3, 4}. la longueur moyenne de phrase la plus faible concerne les simplifications produites par le système formé en utilisant un corpus de paires de niveaux 0-4, qui est la forme la plus simple. nous avons enfin réalisé des évaluations humaines des simplifications produites et avons observé que seule la sortie relative à des niveaux consécutifs de simplification est acceptable. on observe le même phénomène dans les scores bleu. les phrases dans les parties les plus simples, par exemple 1-3 et 1-4, sont vraiment très concises du côté simple et les modèles sont incapables d'apprendre les schémas de simplification complexes étant donné les intrications de suppression et de résumé impliquées dans le processus. cependant, pour les niveaux consécutifs, par exemple 1-2, 2-3 et 3-4, la simplification était acceptable, ce qui indique qu'une simplification automatique basée sur un corpus synthétique est une démarche viable. plus important encore, la qualité des systèmes appris avec de l'anglais est comparable à celle des systèmes appris avec du français synthétique et ces systèmes montrent un comportement similaire, ce qui tend à montrer que l'utilisation de corpus de simplification synthétique est une démarche viable pour les situations dans lesquelles les ressources sont peu nombreuses.