permet d'améliorer la performance des modèles *personnes* et *événements*, mais avec une contribution minime comme le suggère la faible différence par rapport au réseau initial. Aucun des deux modèles ne semble bénéficier de l'information issue des représentations denses des caractères, malgré leur contribution dans d'autres tâches (e.g. reconnaissance d'entités nommées). La prise en compte des chaînes de coréférence en cours de construction n'améliore pas la performance de notre modèle, avec une baisse supérieure à un point pour les événements. Ces résultats sont en contradiction avec ceux présentés par Wiseman et al. (2016). Cependant, les contextes expérimentaux diffèrent. Wiseman et al. (2016) travaillent sur des documents journalistiques et rapportent des résultats issus d'un seul run. Or Reimers & Gurevych (2017) suggèrent que les systèmes non déterministes tels que les modèles neuronaux doivent être évalués sur plusieurs runs afin de prendre en compte cette variabilité inhérente.

<table><caption>TABLE 3: Résultat des expériences sur les mentions *gold* du corpus de test</caption><thead><tr><th rowspan="2">condition</th><th colspan="3">Personnes</th><th colspan="3">Événements</th><th colspan="3">Combinés</th></tr><tr><th>P</th><th>R</th><th>F1</th><th>P</th><th>R</th><th>F1</th><th>P</th><th>R</th><th>F1</th></tr></thead><tbody><tr><td>baseline</td><td>87,77<br>(± 0,71)</td><td>82,82<br>(± 0,99)</td><td>85,17<br>(± 0,46)</td><td>65,15<br>(± 1,81)</td><td>54,62<br>(± 1,35)</td><td>59,30<br>(± 0,45)</td><td>76,89<br>(± 1,31)</td><td>67,94<br>(± 0,89)</td><td>72,02<br>(± 0,38)</td></tr><tr><td>attention</td><td>88,08<br>(± 0,82)</td><td>83,42<br>(± 0,55)</td><td>85,64<br>(± 0,38)</td><td>66,39<br>(± 1,45)</td><td>54,18<br>(± 2,08)</td><td>59,56<br>(± 0,86)</td><td>77,77<br>(± 1,01)</td><td>67,93<br>(± 1,27)</td><td>72,41<br>(± 0,40)</td></tr><tr><td>caractères</td><td>87,87<br>(± 0,98)</td><td>82,55<br>(± 0,69)</td><td>85,08<br>(± 0,21)</td><td>66,39<br>(± 1,57)</td><td>53,26<br>(± 1,76)</td><td>59,02<br>(± 0,92)</td><td>77,78<br>(± 1,14)</td><td>67,13<br>(± 1,01)</td><td>71,96<br>(± 0,46)</td></tr><tr><td>chaîne</td><td>87,48<br>(± 0,77)</td><td>82,36<br>(± 0,72)</td><td>84,71<br>(± 0,49)</td><td>65,86<br>(± 1,03)</td><td>52,12<br>(± 1,10)</td><td>58,11<br>(± 0,58)</td><td>77,29<br>(± 0,69)</td><td>66,55<br>(± 0,64)</td><td>71,37<br>(± 0,37)</td></tr><tr><td>filtrage</td><td>87,60<br>(± 1,48)</td><td>82,82<br>(± 0,89)</td><td>85,08<br>(± 0,39)</td><td>65,42<br>(± 1,31)</td><td>54,37<br>(± 1,37)</td><td>59,30<br>(± 0,56)</td><td>76,98<br>(± 1,00)</td><td>67,85<br>(± 0,90)</td><td>72,03<br>(± 0,29)</td></tr><tr><td>spécialisation</td><td>88,52<br>(± 0,76)</td><td>82,34<br>(± 0,86)</td><td>85,25<br>(± 0,34)</td><td>63,66<br>(± 1,12)</td><td>49,62<br>(± 1,60)</td><td>55,68<br>(± 0,72)</td><td>76,64<br>(± 0,84)</td><td>64,92<br>(± 1,00)</td><td>70,17<br>(± 0,38)</td></tr><tr><td>pré-entraînement</td><td>88,93<br>(± 0,30)</td><td>82,60<br>(± 0,79)</td><td>85,60<br>(± 0,41)</td><td>68,63<br>(± 2,09)</td><td>56,70<br>(± 2,77)</td><td>61,99<br>(± 1,11)</td><td>79,09<br>(± 1,43)</td><td>69,27<br>(± 1,53)</td><td>73,79<br>(± 0,53)</td></tr><tr><td>optimal</td><td>88,65<br>(± 1,22)</td><td>82,91<br>(± 0,69)</td><td>85,62<br>(± 0,61)</td><td>67,72<br>(± 1,34)</td><td>57,51<br>(± 1,61)</td><td>62,16<br>(± 0,78)</td><td>78,36<br>(± 1,04)</td><td>69,86<br>(± 1,10)</td><td>73,82<br>(± 0,47)</td></tr></tbody></table>

La stratégie de filtrage n'apporte pas d'amélioration nette : nous observons une légère baisse de performance pour le modèle *personnes* tandis que la performance du modèle *événements* reste stable. La spécialisation du classifieur de paires de mentions permet d'améliorer la performance du modèle *personnes* mais diminue fortement la performance du modèle *événements*. Ce résultat négatif pourrait s'expliquer par le volume de données d'entraînement disponible. Le corpus de référence dans le domaine général comprend plus de 2 000 documents (Pradhan et al., 2011) alors que dans notre cas, nous en avons seulement 200. Enfin, le pré-entraînement permet d'améliorer fortement la performance globale de notre modèle, corroborant ainsi les résultats obtenus dans d'autres travaux (Clark & Manning, 2016; Wiseman et al., 2016). L'amélioration est modeste pour le modèle *personnes*. La prévalence des singletons dans des mentions relatives aux personnes (10 %) pourrait limiter l'effet bénéfique du pré-entraînement.

La dernière ligne du tableau 3 donne la performance optimale obtenue en sélectionnant la meilleure configuration pour chaque type d'entités : attention, pré-entraînement dans les deux cas ; spécialisation pour les personnes et filtrage pour les événements. La performance globale de 73,82 en f1-mesure CoNLL est à comparer aux performances des systèmes ayant participé à la tâche 1C de la campagne d'évaluation i2b2 de 2011 pour lesquels nous rapportons les performances dans le tableau 4 (recalculées dans les conditions où nous nous plaçons). Notre système se placerait ainsi entre celui de Cai et al. (2011) (classé 5ème lors de la campagne d'évaluation) et celui de (Jindal & Roth, 2013) (classé 9ème lors de la campagne d'évaluation). Il faut noter que le calcul des performances *via* le script CoNLL a un effet sur le classement initial des systèmes comme on peut le voir dans le tableau 4.
<table><caption>TABLE 4: Comparaison de notre système à ceux de la campagne i2b2. Les scores sont obtenus *via* le script officiel CoNLL et calculés en excluant les singletons. Nous rapportons les scores des systèmes pour lesquels une conversion entièrement automatique du format i2b2 vers CoNLL a été possible.</caption><thead><tr><th></th><th># i2b2</th><th>P</th><th>R</th><th>F1</th></tr></thead><tbody><tr><td>Xu et al. (2011)</td><td>1</td><td>82,38</td><td>78,13</td><td>80,20</td></tr><tr><td>Cai et al. (2011)</td><td>5</td><td>75,27</td><td>73,96</td><td>74,60</td></tr><tr><td>notre modèle</td><td></td><td>78,36</td><td>69,86</td><td>73,82</td></tr><tr><td>Jindal & Roth (2013)</td><td>9</td><td>65,53</td><td>83,48</td><td>73,41</td></tr><tr><td>Dai et al. (2011)</td><td>8</td><td>76,08</td><td>65,65</td><td>70,48</td></tr><tr><td>Anick et al. (2011)</td><td>7</td><td>79,61</td><td>61,67</td><td>69,41</td></tr></tbody></table>

Les modèles développés par les participants lors de la campagne d'évaluation sont fondés sur des traits linguistiques choisis manuellement et intégrés dans des approches à base de règles, d'apprentissage automatique ou une combinaison des deux. Contrairement à ces approches, notre modèle est entièrement neuronal et ne repose pas sur des traits choisis manuellement. Parmi les pistes d'amélioration envisagées figure l'utilisation de ressources externes. Cette possibilité est explorée dans le travail de Zhang et al. (2019). Leurs résultats sont néanmoins difficilement comparables aux nôtres dans la mesure où Zhang et al. (2019) se focalisent sur les pronoms de façon exclusive et ne traitent donc qu'une partie de la tâche. Par ailleurs, l'utilisation de modèles de langue fondés sur la notion de transformer (Vaswani et al., 2017), tels que le modèle BERT (Devlin et al., 2019), pourrait améliorer les performances de notre modèle, à l'instar du domaine général (Joshi et al., 2019).

# 6 Conclusion

Nous présentons un modèle neuronal pour la résolution de la corréférence dans le domaine médical, appliqué sur un corpus clinique en anglais. Nous montrons que ce type d'approche permet d'obtenir des performances intéressantes, mais qui restent toutefois inférieures à l'état de l'art à l'aide de modèles fondés sur des traits catégoriels. Dans d'autres expériences, nous avons exploré une situation réelle incluant la détection de mentions en amont de la corréférence (Tourille, 2018). La suite de ce travail pourra explorer plusieurs pistes. Nos expériences font l'hypothèse de la détection parfaite des mentions. Dans une situation d'application réelle, il est nécessaire de procéder à l'extraction des mentions. De plus, les aspects temporels des événements ne sont actuellement pas pris en compte dans notre approche. L'utilisation d'informations temporelles pertinentes permettrait d'apporter des éléments utiles à notre modèle en filtrant les mentions temporellement incompatibles. Le code développé pour convertir le corpus i2b2 du format original vers le format CoNLL est disponible à cette adresse : https://github.com/jtourille/i2b2-coref-task1c-converter.

# Remerciements

Ce travail a bénéficié d'une aide de l'Agence Nationale de la Recherche sous la référence CABeRneT ANR-13-JS02-0009-01 et d'une aide du labex DigiCosme sous la référence CÔT.
Références

ANICK P., HONG P., XUE N. & AL. (2011). Coreference resolution for electronic medical records. In *Proceedings of the 2011 i2b2/VA/Cincinnati Workshop on Challenges in Natural Language Processing for Clinical Data* : i2b2.

CAI J., MUJDRICZA E., HOU Y. & AL. (2011). Weakly supervised graph-based coreferencere solution for clinical texts. In *Proceedings of the 2011 i2b2/VA/Cincinnati Workshop on Challenges in Natural Language Processing for Clinical Data* : i2b2.

CAI J. & STRUBE M. (2010). Evaluation metrics for end-to-end coreference resolution systems. In *Proceedings of the SIGDIAL 2010 Conference*, p. 28–36, Tokyo, Japan : Association for Computational Linguistics.

CHOWDHURY M. F. M. & ZWEIGENBAUM P. (2013). A controlled greedy supervised approach for co-reference resolution on clinical text. *Journal of Biomedical Informatics*, **46**, 506–515.

CLARK K. & MANNING C. D. (2015). Entity-Centric Coreference Resolution with Model Stacking. In *Proceedings of the Joint Conference of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing of the Asian Federation of Natural Language Processing*, p. 1405–1415 : Association for Computational Linguistics.

CLARK K. & MANNING C. D. (2016). Improving Coreference Resolution by Learning Entity-Level Distributed Representations. In *Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics*, p. 643–653 : Association for Computational Linguistics.

DAI H. J., WU C. Y., CHEN C. Y. & AL. (2011). Co-reference resolution of the medical concepts in the patient discharge summaries. In *Proceedings of the 2011 i2b2/VA/Cincinnati Workshop on Challenges in Natural Language Processing for Clinical Data* : i2b2.

DENIS P. & BALDRIDGE J. (2008). Specialized Models and Ranking for Coreference Resolution. In *Proceedings of the 2008 Conference on Empirical Methods in Natural Language Processing*, p. 660–669 : Association for Computational Linguistics.

DEVLIN J., CHANG M.-W., LEE K. & TOUTANOVA K. (2019). Bert : Pre-training of deep bidirectional transformers for language understanding. In *Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics : Human Language Technologies*, p. 4171–4186 : Association for Computational Linguistics.

DURRETT G. & KLEIN D. (2013). Easy Victories and Uphill Battles in Coreference Resolution. In *Proceedings of the 2013 Conference on Empirical Methods in Natural Language Processing*, p. 1971–1982 : Association for Computational Linguistics.

GERS F. A., SCHRAUDOLPH N. N. & SCHMIDHUBER J. (2002). Learning Precise Timing with LSTM Recurrent Networks. *Journal of Machine Learning Research*, **3**, 115–143.

GROUIN C., DINARELLI M., ROSSET S., WISNIEWSKI G. & ZWEIGENBAUM P. (2011). Coreference Resolution in Clinical Reports. The LIMSI Participation in the i2b2/VA 2011 Challenge. In *Proceedings of the 2011 i2b2/VA/Cincinnati Workshop on Challenges in Natural Language Processing for Clinical Data*.

HINOTE D., RAMIREZ C. & CHEN P. (2011). A Comparative Study of Coreference Resolution in Clinical Text. In *Proceedings of the 2011 i2b2/VA/Cincinnati Workshop on Challenges in Natural Language Processing for Clinical Data*.
HIRSCHMAN L. & CHINCHOR N. A. (1998). MUC-7 Coreference Task Definition. In *Proceedings of the 7th Message Understanding Conference* : Morgan Kaufmann.

HOCHREITER S. & SCHMIDHUBER J. (1997). Long Short-Term Memory. *Neural Computation*, **9**(8), 1735–1780.

JINDAL P. & ROTH D. (2013). Using domain knowledge and domain-inspired discourse model for coreference resolution for clinical narratives. *Journal of the American Medical Informatics Association*, **20**, 356–362.

JOHNSON A. E., POLLARD T. J., SHEN L., LI-WEI H. L., FENG M., GHASSEMI M., MOODY B., SZOLOVITS P., CELI L. A. & MARK R. G. (2016). Mimic-iii, a freely accessible critical care database. *Scientific data*, **3**, 160035.

JOSHI M., LEVY O., WELD D. S. & ZETTLEMOYER L. (2019). Bert for coreference resolution: Baselines and analysis. In *Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing*, p. 5803–5808 : Association for Computational Linguistics.

SAMPLE G., BALLESTEROS M., SUBRAMANIAN S., KAWAKAMI K. & DYER C. (2016). Neural Architectures for Named Entity Recognition. In *Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics : Human Language Technologies*, p. 260–270 : Association for Computational Linguistics.

LEE K., HE L., LEWIS M. & ZETTLEMOYER L. (2017). End-to-end Neural Coreference Resolution. In *Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing*, p. 188–197 : Association for Computational Linguistics.

LIN C., DLIGACH D., MILLER T. A., BETHARD S. & SAVOVA G. K. (2016). Multilayered Temporal Modeling for the Clinical Domain. *Journal of the American Medical Informatics Association*, **23**(2), 387–395.

PASZKE A., GROSS S., CHINTALA S., CHANAN G., YANG E., DEVITO Z., LIN Z., DESMAISON A., ANTIGA L. & LERER A. (2017). Automatic Differentiation in PyTorch. In *Proceedings of the NIPS 2017 Autodiff Workshop*.

PRADHAN S., LUO X., RECASENS M., HOVY E., NG V. & STRUBE M. (2014). Scoring Coreference Partitions of Predicted Mentions : A Reference Implementation. In *Proceedings of the 52nd Annual Meeting of the Association for Computational Linguistics (Volume 2 : Short Papers)*, p. 30–35, Baltimore, Maryland : Association for Computational Linguistics.

PRADHAN S., RAMSHAW L., MARCUS M., PALMER M., WEISCHEDEL R. & XUE N. (2011). CoNLL-2011 Shared Task : Modeling Unrestricted Coreference in OntoNotes. In *Proceedings of the 15th Conference on Computational Natural Language Learning*, p. 1–27 : Association for Computational Linguistics.

REIMERS N. & GUREVYCH I. (2017). Reporting Score Distributions Makes a Difference : Performance Study of LSTM-networks for Sequence Tagging. In *Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing*, p. 338–348 : Association for Computational Linguistics.

STYLER IV W. F., BETHARD S., FINAN S., PALMER M., PRADHAN S., DE GROEN P. C., ERICKSON B., MILLER T., LIN C., SAVOVA G. & PUSTEJOVSKY J. (2014). Temporal Annotation in the Clinical Domain. *Transactions of the Association for Computational Linguistics*, **2**, 143–154.

SUN W., RUMSHISKY A. & UZUNER O. (2013). Temporal Reasoning over Clinical Text : The State of the Art. *Journal of the American Medical Informatics Association*, **20**, 814–819.
SUNDHEIM B. M. (1995). Overview of Results of the MUC-6 Evaluation. In *Proceedings of the 6th Message Understanding Conference*, volume 423–442 : Morgan Kaufmann.

TOURILLE J. (2018). *Extracting Clinical Event Timelines: Temporal Information Extraction and Coreference Resolution in Electronic Health Records*. Thèse de doctorat, Université Paris-Saclay.

UZUNER Ö., BODNARI A., SHEN S., FORBUSH T., PESTIAN J. & SOUTH B. R. (2012). Evaluating the State of the Art in Coreference Resolution for Electronic Medical Records. *Journal of the American Medical Informatics Association*, **19**(5), 786–791.

VASWANI A., SHAZEER N., PARMAR N., USZKOREIT J., JONES L., GOMEZ A. N., KAISER L. & POLOSUKHIN I. (2017). Attention is all you need. In *Advances in Neural Information Processing Systems 30*, p. 5998–6008. Curran Associates, Inc.

WISEMAN S., RUSH A. M., SHIEBER S. & WESTON J. (2015). Learning Anaphoricity and Antecedent Ranking Features for Coreference Resolution. In *Proceedings of the Joint Conference of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing of the Asian Federation of Natural Language Processing*, p. 1416–1426 : Association for Computational Linguistics.

WISEMAN S., RUSH A. M. & SHIEBER S. M. (2016). Learning Global Features for Coreference Resolution. In *Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics : Human Language Technologies*, p. 994–1004 : Association for Computational Linguistics.

XU Y., LIU J., WU J. & AL. (2011). EHUATUO : a mention-pair coreference system by exploiting document intrinsic latent structures and world knowledge in discharge summaries : 2011 i2b2 challenge. In *Proceedings of the 2011 i2b2/VA/Cincinnati Workshop on Challenges in Natural Language Processing for Clinical Data* : i2b2.

ZHANG H., SONG Y., SONG Y. & YU D. (2019). Knowledge-aware Pronoun Coreference Resolution. In *Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics*, p. 867–876 : Association for Computational Linguistics.
# Un corpus d'évaluation pour un système de simplification discursive

Rodrigo Wilkens¹ Amalia Todirascu¹

(1)LiLPa – University of Strasbourg, 22, rue René Descartes, 67084 Strasbourg cedex, France

rswilkens@gmail.com, todiras@unistra.fr

## RÉSUMÉ

Nous présentons un nouveau corpus simplifié, disponible en français pour l'évaluation d'un système de simplification discursive. Ce système utilise des chaînes de référence pour simplifier et pour préserver la cohésion textuelle après simplification. Nous présentons la méthodologie de collecte de corpus (via un formulaire, qui recueille les simplifications manuelles faites par des participants experts), les règles présentées dans le guide, une analyse des types de simplifications et une évaluation de notre corpus, par comparaison avec la sortie du système de simplification automatique.

## ABSTRACT

### An Evaluation Corpus for Automatic Discourse Simplification

We present a new public available corpus of simplified French targeting the evaluation of a discourse simplification system aware of the coreference chains able to maintain the textual cohesion. We describe the corpus collecting method based on Web questionnaire (collecting several simplified sentence variants), the rules described in the guidelines, an analysis of variants provided, and the discourse simplification evaluation by comparing system output with the evaluation corpus.

**MOTS-CLÉS** : simplification automatique discursive, chaînes de référence, corpus d'évaluation.

**KEYWORDS:** discourse simplification, reference chain, evaluation corpus.

## 1 Introduction

La simplification discursive est un domaine peu exploité dans le domaine de la simplification automatique. La plupart des corpus pour l'évaluation automatique sont constitués de phrases alignées extraites de corpus comparables ou des simplifications automatiques jugées par des humains en termes de simplicité, d'information préservée, de fluidité. Mais il n'y a pas de ressource comparable pour le français, à part le lexique ReSyf (Billami et al., 2018) ou Cardon (2018) pour le domaine médical. Le corpus anglais le plus connu pour la simplification automatique lexicale est Specia et al. (2012) dans lequel listes de synonymes sans ambiguïté ont été classés par complexité par 5 anglophones non natifs. Pour la simplification syntaxique, il y a Newsela (Xu et al., 2015) qui propose des adaptations graduées des articles de journal faites par leurs auteurs. Il y a peu de ressources annotées avec leur transformations, car le recours à des annotateurs non spécialisés (par exemple avec AMTurk) introduit des erreurs. Outre les erreurs d'alignement, les corpus extraits par des méthodes d'alignement (Narayan & Gardent, 2014), ne disposent pas d'une annotation des opérations de simplification.

<figure><img src="image_92.png" /></figure>
L'évaluation des systèmes de simplification est une tâche difficile à cause de la rareté des corpus et des coûts importants nécessaires pour créer des corpus simplifiés manuellement. Les métriques d'évaluation doivent être corrélées avec le jugement de simplicité des humains. La plus adaptée est SAMSA (Sulem et al., 2018), qui nécessite une pré-annotation sémantique des états, des événements et des participants, indisponible actuellement en français. Alternativement, BLEU compte le nombre de n-grammes communs entre le texte original et simplifié : par conséquent, plus le texte original est proche, meilleur est le score. SARI, une autre mesure utilisée dans des travaux de simplification, plus proche des jugements humains, évalue les simplifications par leur simplicité (Xu et al., 2016) et prend en compte plusieurs références. En effet, plusieurs simplifications sont possibles et SARI prend en compte cet aspect. Nous adoptons cette mesure pour évaluer les références multiples.

Cependant, ces mesures ne prennent pas en compte des contraintes de discours. Les marques de cohésion textuelle, telles que les chaînes lexicales (Hirst & St-Onge, 1995) ou les chaînes de coréférence (Schnedecker, 1997), aident la compréhension (Hobbs, 1979; Charolles, 2006). En particulier, les enfants faibles lecteurs rencontrent des difficultés dans la résolution des inférences et des relations anaphoriques (Fayol, 2000; Ehrlich & Remond, 1997). Même si les marqueurs de cohésion sont fortement liés à la lisibilité et à la complexité du texte (Pitler & Nenkova, 2008), il y a peu de travaux qui les traitent en simplification. Certains systèmes les appliquent après la simplification syntaxique (Siddharthan, 2006; Canning, 2002), ou remplacent des pronoms anaphoriques par leurs antécédents (Quiniou & Daille, 2018). Si des corpus annotés pour évaluer la détection automatique des anaphores (Quiniou & Daille, 2018) ou de la coréference (Lattice et al., 2019) sont disponibles, il n'y a pas encore de corpus simplifié en discours marquant ces transformations.

À cet égard, nous avons étudié les restrictions de cohésion liées aux chaînes de référence et leur applicabilité à la simplification automatique en français. Par conséquent, dans cet article, nous proposons un corpus original d'évaluation, disponible en français, pour aborder le niveau de discours parmi les différents niveaux de simplification. Le corpus présente plusieurs simplifications alternatives (annotées) pour chaque phrase, pour le niveau discursif mais aussi au niveau lexical et syntaxique.

Dans cet article, nous présentons notre projet et les choix que nous avons faits pour la simplification automatique qui prend en compte les liens de coréférence (section 2). La méthodologie de construction de corpus, la description du corpus et du guide d'annotation appliqué pour créer le corpus de simplification sont présentées dans la section 3. Ensuite, nous présentons l'évaluation du corpus et nous le comparons avec la sortie du système de simplification (section 4).

## 2 Le projet ALECTOR

Dans le cadre du projet<fnref n="1" /> nous avons développé un système de simplification automatique de texte appliqué au niveau lexical, syntaxique et discursif pour proposer des contenus adaptés aux enfants dyslexiques ou faibles lecteurs. Vu le manque de ressources adaptées pour l'évaluation de la simplification automatique, nous avons construit un corpus d'évaluation. Nous adoptons une approche à base de règles pour notre système. D'une part, les corpus parallèles originaux et simplifiés sont de petite taille, ce qui rend difficile l'application des méthodes par apprentissage automatique. D'autre part, nous étudions l'influence de chaque type de transformation sur les capacités de compréhension et de lecture du public visé (faibles lecteurs et enfants dyslexiques). Dans le cadre de cet article, nous évaluons le module de simplification discursive (Wilkens et al., 2020), qui réduit les inférences

<footnote n="1">1. Le projet Alector : https://alectorsite.wordpress.com.</footnote>
nécessaires pour identifier liens anaphoriques et coréférentielles, en modifiant la structure des chaînes de référence (Schnedecker, 1997)<fnref n="2" />, car ces liens sont des éléments de difficulté pour les enfants faibles lecteurs. L'architecture, ainsi que les étapes de traitement, sont représentées sur la figure 1. Le schéma regroupe les 4 modules pour la simplification : prétraitement, simplification discursive, simplification syntaxique et simplification lexicale et morphologique.

<figure><img src="image_93.png" /><figcaption>FIGURE 1 – La méthodologie et l’architecture du système</figcaption></figure>

La première étape nécessite le **prétraitement** du texte brut afin d'appliquer les règles de simplification proposées. D'abord, le texte est pré-annoté en chaînes de coréférence en utilisant le système proposé par Wilkens et al. (2020) qui obtient le score CONLL de 85 %. Ce module délimite les expressions potentiellement référentielles (noms propres, groupes nominaux définis, déterminants démonstratifs, etc.) et identifie les liens de coréférence entre ces expressions. L'annotation en dépendances est réalisée avec l'analyseur Stanford NLP (Qi et al., 2019), car ces informations sont nécessaires pour les transformations syntaxiques<fnref n="3" />.

Ensuite, les données sont traitées par le module de **simplification discursive** qui modifie la structure des chaînes de référence annotées par le module de détection automatique de la coréférence. Ce module implémente plusieurs règles de simplification discursives : précision de l'entité (remplacement de pronoms par leur antécédent), spécification de l'entité (remplacement d'un déterminant par un autre de plus basse accessibilité pour réduire les inférences nécessaires pour trouver son antécédent), remplacement d'un groupe nominal possessif (GNp) par un référent plus explicite ou suppression de pronoms. Ces règles ont été proposées après l'analyse d'un corpus d'étude (voir la figure 1), composé de textes originaux et leurs versions simplifiées manuellement pour dyslexiques (Wilkens et al., 2020), brièvement présentée dans la section 3.1.

Le troisième module, de **simplification syntaxique**, inspiré par les travaux de Siddharthan (2003); Brouwers et al. (2014), applique des règles permettant la suppression des informations secondaires (non-essentielles) : subordonnées relatives, participes passés et présents, compléments circonstanciels de temps, de lieu ou de manière. Les règles de simplifications syntaxiques sont décrites sur la base d'une étude de corpus de textes originaux et simplifiés pour dyslexiques (Gala et al., 2020).

<footnote n="2">2. On parle de chaînes de référence à partir de 3 expressions qui indiquent le même référent (identité référentielle).</footnote>

<footnote n="3">3. Ces outils sont parmi les plus performants disponibles, mais des erreurs sont inévitables.</footnote>
Le dernier module de **simplification lexicale et morphologique**, vise la suppression des mots porteurs d'informations secondaires (adjectifs, adverbes) ou le remplacement d'un mot par un synonyme plus fréquent et plus simple, à l'aide du lexique gradué (Billami et al., 2018). D'autres simplifications visent la forme morphologique : remplacer un mot par un autre de la même famille morphologique (remplacer un verbe par sa nominalisation) ou remplacer l'imparfait par la forme présent du verbe.

Pour évaluer ce système, en particulier le module de simplification discursive, nous avons créé un corpus d'évaluation avec les simplifications annotées, par plusieurs lecteurs experts. La sortie du système est d'abord jugée par les experts humains, en termes de fluidité et de grammaticalité. Nous comparons la sortie du système avec le corpus d'évaluation (comprenant de multiples simplifications), à l'aide de la mesure SARI. Le corpus d'étude, d'évaluation et le système de simplification sont disponibles à l'adresse github.com/rswilkens/text-rewrite.

# 3 Méthodologie de construction de corpus

Pour construire les règles de simplifications présentées dans la section précédente, nous avons constitué un corpus parallèle d'étude, constitué de contes pour enfants, simplifiés manuellement pour des enfants dyslexiques. D'abord, nous avons analysé les transformations, en particulier les transformations discursives (les propriétés des chaînes de référence). Afin de construire un corpus d'évaluation pour notre système de simplification (voir figure 1), nous avons mis en place un système de collecte de textes simplifiés. Sur la base de l'analyse du corpus d'étude, nous avons défini un guide de simplification discursive (qui résume les transformations identifiées entre les textes originaux et simplifiés). Les participants à la collecte de corpus sont des étudiants linguistes (niveau Master) qui ont reçu les mêmes textes originaux et ont suivi le guide de simplification. Nous avons mis en place la collecte de transformations à l'aide des rédacteurs ayants des bonnes connaissances linguistiques, afin d'obtenir des données plus fiables que celles qu'on pourra obtenir à l'aide d'Amazone Mechanical Turk. Les étudiants ont pris connaissance du guide et sont passés par une phase d'entraînement.

## 3.1 Corpus et annotation

Le corpus d'analyse est constitué de 5 textes originaux (1 969 mots) et leur version simplifiée (1 143 mots) provenant de methodolodys.ch, une association qui propose des textes aux enfants dyslexiques. Nous avons étudié ce corpus et nous avons identifié plusieurs règles de transformation de discours 4. Pour ce faire, le corpus a été annoté manuellement en chaînes de référence, suivant le guide d'annotation du projet DEMOCRAT, à l'aide de la plateforme SACR (Oberle, 2018). Nous avons comparé plusieurs propriétés de chaînes de référence proposées par (Todirascu et al., 2017). Plusieurs présentent une différence statistiquement significative ($p < 0.05$) : la longueur de la chaîne en nombre de maillons (de 10,37 dans les textes originaux à 10,86 dans les textes simplifiés), le nombre de chaînes (de 6,20 à 7,80), le coefficient de stabilité (Perret, 2000), indiquant la variation des expressions dans la chaîne (de 0,60 à 0,47). Nous avons aussi annoté toutes les catégories grammaticales des expressions référentielles. Les changements les plus frappants lors de l'analyse de la distribution statistique sont la proportion des pronoms personnels (de 36 % dans les textes originaux à 19 % dans les textes simplifiés), l'utilisation plus fréquente des GN définis (de 18 % à 36 %), et la réduction de la fréquence des déterminants possessifs (de 12 % à 10 %). L'inversion du pourcentage d'utilisation

<footnote n="4">4. Dans ce travail, nous présentons les résultats liés à la création des règles, pour plus de détails, voir Wilkens et al. (2020).</footnote>
entre les pronoms personnels et les GN définis n'est pas un hasard, notre observation du corpus aligné
montre une tendance à rendre l'entité explicite dans le corpus simplifié et à la répéter.

Sur la base de l'étude de corpus, nous avons identifié trois catégories de simplification de discours
qui résument celles présentées par Wilkens et al. (2020) :

1. Marquer l'introduction ou la répétition des entités, permettant ainsi de limiter les inférences (par exemple, remplacer un déterminant plus accessible par un moins accessible (ce → le))

2. Expliciter les entités en remplaçant l'anaphore pronominale par le référent en cas de concurrence référentielle. En cas de répétition d'un pronom, on le remplace par un même antécédent en cascade. Par exemple, c'est le pronom *elle* qui peut avoir plusieurs antécédents possibles dans l'extrait : « *La deuxième amie dit que la soupe a une odeur agréable. Madame Dupont est en colère contre elle. Elle* original/Madame Dupont simplifié la trouve hypocrite.»

3. Rendre les syntagmes nominales plus accessibles. On remplace les groupes nominaux possessifs par un référent explicite (nom propre ou une structure spécifique N1 de N2, où N2 est un référent identifié au préalable). Ainsi, *Son mari* est remplacé par *Le mari de Mme Dupont* : « *Mme Dupont fais une soupe dont l'odeur est insupportable. Son mari* original/Le mari de Mme Dupont simplifié n'a jamais avoué qu'il déteste sa soupe. »

Ces règles ont été décrites dans un guide d'annotation appliqué pour la simplification et consulté par
les participants à la constitution de corpus.

## 3.2 Collecte de données

A l'aide de la plateforme PsyToolkit<fnref n="5" />, nous avons mis en place des questionnaires permettant de vérifier le temps de lecture et la compréhension des participants et de proposer des simplifications discursives suivant le guide d'annotation. Les participants renseignent l'âge, la langue maternelle et le niveau d'études. 25 étudiants ont répondu aux questionnaires, après avoir lu le guide. Nous avons écarté de nos données les réponses de 6 étudiants qui n'ont pas compris la tâche.

Pour créer un corpus d'évaluation conséquent, les étudiants ont modifié 5 extraits du texte original (55 phrases ou 894 mots, représentant environ 178 mots/texte) et ont proposé des alternatives, suivant le guide. Il est difficile de faire ces modifications discursives sans appliquer certaines transformations lexicales ou syntaxiques (en particulier pour la suppression de pronoms). Toutefois, les étudiants ont aussi proposé des transformations lexicales ou syntaxiques supplémentaires (découper les phrases, supprimer les modifieurs adjectivaux ou adverbiaux, ajouter des explications...). Nous avons gardé ces réponses dans notre corpus, pour comparer le résultat des transformations automatiques syntaxiques et lexicales. Nous avons aligné les textes originaux et les réponses des étudiants, à l'aide de Collatex<fnref n="6" /> (Haentjens Dekker & Middell, 2011). Nous avons identifié des transformations agrammaticales et nous avons éliminé ces réponses, ainsi que celles qui étaient trop éloignées du texte original ou du guide. Nous avons corrigé certains erreurs (par exemple des fautes d'orthographe), en remplaçant la transformation par le segment de texte original. De plus, nous avons annoté les transformations effectuées par les étudiants selon la typologie présente dans le guide, ainsi que d'autres transformations syntaxiques et lexicales proposées par les étudiants, nécessaires pour respecter la fluidité et la grammaticalité des textes résultants. Ainsi, nous avons crée un corpus avec des multiples références (minimum 8 et maximum 16 variantes) étiqueté selon le guide de transformation, qui peut être utilisé

<footnote n="5">5. psytoolkit.org</footnote>

<footnote n="6">6. collatex.net</footnote>
pour l'évaluation du système de simplification. Dans le contexte de la simplification automatique, plusieurs règles sont applicables, d'où l'intérêt de construire un corpus avec multiple références.

## 3.3 Les propriétés du corpus d'évaluation

Sur un total de 1 386 transformations proposées par les étudiants, les plus nombreuses sont les simplifications discursives (686, représentant 45,89 %). Les transformations syntaxiques représentent 22,58 % (313) suivies par les simplifications lexicales (20,13 % – 279). Les transformations morphologiques représentent 5,92 % (82) et les transformations typographiques (ajout ou suppression de ponctuation) représentent 5,48 % (76). Les opérations morphologiques les plus appliquées sont le changement de mots les plus fréquents d'une famille morphologique (ex. retirer → retrait) et le changement du temps du verbe (ex. passé simple → passé composé ou présent). Les simplifications syntaxiques obtenues sont aussi celles qui suppriment des informations secondaires (phrases subordonnées relatives ou circonstancielles, etc.), suivis par les transformations qui privilégient les phrases courtes (découpage en plusieurs phrases lorsqu'il y a des conjonctions ou des signes de ponctuation). Les transformations qui privilégient l'ordre SVO sont également proposées : suppression des clivées, transformation de la diathèse passive en diathèse active, des phrases négatives en phrases positives. Nous avons calculé l'accord entre les annotateurs proposant des simplifications, qui reste faible (l'accord Krippendorff : 0,189). L'accord interannotateur est bas, mais il s'agit ici de plusieurs simplifications possibles qui s'appliquent sur la même phrase. Pour avoir un corpus d'évaluation varié, nécessaire pour SARI, on doit avoir plusieurs variantes de simplification. Pour cette raison l'accord reste bas.

<table><caption>TABLE 1 – La répartition des règles de transformation discursives dans le corpus simplifié</caption><thead><tr><th></th><th>Texte 1</th><th>Texte 2</th><th>Texte 3</th><th>Texte 4</th><th>Texte 5</th><th>TOTAL</th><th>TOTAL (%)</th></tr></thead><tbody><tr><td>Règle 1</td><td>11</td><td>30</td><td>18</td><td>14</td><td>20</td><td>93</td><td>14,62</td></tr><tr><td>Règle 2</td><td>231</td><td>36</td><td>13</td><td>68</td><td>69</td><td>417</td><td>65,57</td></tr><tr><td>Règle 3</td><td>24</td><td>4</td><td>1</td><td>32</td><td>3</td><td>64</td><td>10,06</td></tr><tr><td>Autre</td><td>2</td><td>1</td><td>15</td><td>34</td><td>10</td><td>62</td><td>9,75</td></tr></tbody></table>

Parmi les règles de transformation discursive (présentées dans le tableau 1), la plus appliquée est la règle 2, qui remplace une expression référentielle par un référent bien identifié (65,57 % des transformations). La règle 1 qui remplace un déterminant par un déterminant moins accessible (ces → les) ou inversement (un → le) représente 14,62 %. Le remplacement des pronoms en série par des référents déjà identifiés dans le texte est la troisième règle appliquée (10,06 %). Les cas de suppressions de pronoms sont accompagnées de suppressions de subordonnées relatives ou de phrases. 9,75 % représentent des simplifications que nous n'avons pas prévu dans le guide, par exemple l'ajout d'un pronom pour expliciter un sujet zéro (qui pourrait être considéré comme une extension de la règle 2). Le remplacement des GNp a posé des problèmes aux étudiants : ils ont remplacé seulement le déterminant possessif (avec perte d'information sur le référent) ou le nom par son hyperonyme.

## 4 Comparaison avec le système automatique et discussions

Nous avons évalué manuellement les résultats de la simplification automatique appliquées sur les 55 phrases des textes originaux. 38,49 % des phrases contiennent au moins une erreur. Afin de
permettre une évaluation de la simplification automatique avec le minimum d'impact des outils de pré-traitement et des questions de grammaticalité, nous avons analysé les opérations qui ont généré les phrases agrammaticales. Cette analyse a montré que 18,42 % des erreurs du système sont dues au prétraitement (analyse syntaxique ou coréférence). 22,34 % des erreurs sont dues aux règles ne prenant pas en compte certaines structures polylexicales (ex. superlatif et expressions - d'un côté vs. du côté vs. son côté). 52,63 % sont dues à une mauvaise identification des référents complexes (ex. le sol) qui peuvent accepter l'indétermination selon le contexte.

Une fois le corpus d'évaluation disponible et les problèmes de grammaire résolus, nous évaluons automatiquement le système de simplification proposé. Pour ce faire, nous avons appliqué les métriques BLEU (Papineni et al., 2002) et SARI.<fnref n="7" /> SARI privilégie les modifications lexicales (insertions ou suppressions de mots). Les transformations discursives impliquent des modifications lexicales, le taux de suppression est plus important (suppression de subordonnées etc.). Le résultat élevé du BLEU est une conséquence du faible nombre de modifications apportées au texte (puisque les simplifications syntaxique et lexicale entraînent des modifications plus importantes du texte). De plus, nous sélectionnons aléatoirement les annotations d'une personne et nous les évaluons comme si elles étaient la sortie d'un système. Les résultats du système sont proches à la référence (table 2). En observant la différence de performance SARI entre la référence et le système, on peut observer une différence moyenne de 5, mais il y un texte dans lequel la différence entre la référence et le système est très importante (13 points de différence), pour les autres textes la différence moyenne entre les métriques est de 3,88. Cependant, il convient de noter que les performances du système ne sont pas loin de la valeur de référence.

<table><caption>TABLE 2 – Les scores BLEU et SARI obtenus par rapport à l'original</caption><thead><tr><td>Texte</td><td>BLEU</td><td>SARI</td></tr></thead><tbody><tr><td>Texte généré par notre système</td><td>89,82</td><td>39,04</td></tr><tr><td>Texte de référence</td><td>91,98</td><td>44,72</td></tr></tbody></table>

# 5 Conclusion et perspectives

Notre travail a permis le développement d'un corpus d'évaluation de simplifications discursives, crée à l'aide des experts humains. Cette ressource contient des références multiples par chaque phrase, nécessaires pour évaluer des systèmes de simplification et sera disponible en ligne, ainsi que le guide et le système de simplification. Notre corpus est composé de plus de 8 alternatives par phrase, représentant un corpus varié pour la simplification. Les opérations de simplification effectuées sont annotées et permettent de reconstituer les diverses étapes de simplification et d'identifier les erreurs possibles. Certaines erreurs (repérées manuellement dans la sortie du système) peuvent être évitées en faisant appel à une base de données d'expressions polylexicales. Etant donné que le guide sera disponible sur le site du projet ALECTOR, une nouvelle collecte de données permettra d'agrandir le corpus d'évaluation. SARI, corrélée avec les jugements humains, montre que le système automatique obtient un résultat proche des simplifications manuelles. Cette expérience peut être adaptée pour simplifier d'autres types et genres textuels (des textes juridiques ou des textes pour les apprenants) et construire des corpus plus grands.

<footnote n="7">7. Nous n'avons pas appliqué SAMSA, car il nécessite une pré-annotation sémantique qui n'est pas disponible en français.</footnote>
Références

BILLAMI M. B., FRANÇOIS T. & GALA N. (2018). Resyf : a french lexicon with ranked synonyms. In *Proceedings of the 27th International Conference on Computational Linguistics*, p. 2570–2581.

BROUWERS L., BERNHARD D., LIGOZAT A. & FRANÇOIS T. (2014). Syntactic sentence simplification for french. In *Proceedings of the 3rd Workshop on Predicting and Improving Text Readability for Target Reader Populations*, PITR@EACL 2014, Gothenburg, Sweden, April 27, 2014, p. 47–56.
DOI: 10.3115/v1/W14-1206.

CANNING Y. M. (2002). *Syntactic simplification of Text*. Thèse de doctorat, University of Sunderland.

CARDON R. (2018). Approche lexicale de la simplification automatique de textes médicaux. In *Actes de la conférence Traitement Automatique de la Langue Naturelle*, TALN 2018, p. 159.

CHAROLLES M. (2006). De la cohérence à la cohésion du discours. In F. CALAS, Éd., *Cohérence et discours*, p. 25–38. Presses de l’Université Paris Sorbonne.

EHRLICH M.-F. & REMOND M. (1997). Skilled and less skilled comprehenders : French children's processing of anaphoric devices in written texts. *British journal of developmental psychology*, **15**(3), 291–309.

FAYOL M. (2000). *Maîtriser la lecture : poursuivre l'apprentissage de la lecture de 8 à 11 ans.* Centre national de documentation pédagogique, Editions O. Jacob, Observatoire national de la lecture (France).

GALA N., TODIRASCU A., BERNHARD D., WILKENS R. & MEYER J.-P. (2020). Transformations syntaxiques pour une aide à l'apprentissage de la lecture : typologie, adéquation et corpus adaptés. In *Actes du Congrès Mondial de Linguistique Française*.

HAENTJENS DEKKER R. & MIDDELL G. (2011). Computer-supported collation with collatex. *Supporting Digital Humanities 2011*.

HIRST G. & ST-ONGE D. (1995). Lexical chains as representations of context for the detection and correction of malapropisms. *WordNet : An Electronic Lexical Database*, **305**.

HOBBS J. R. (1979). Coherence and coreference. *Cognitive Science*, **3**(1), 67–90. DOI: 10.1207/s15516709cog0301_4.

LATTICE, LILPA, ICAR & IHRIM (2019). Democrat. ORTOLANG (Open Resources and TOols for LANGuage) – www.ortolang.fr.

NARAYAN S. & GARDENT C. (2014). Hybrid simplification using deep semantics and machine translation. In *Proceedings of the 52nd Annual Meeting of the Association for Computational Linguistics*, ACL 2014, June 22-27, 2014, Baltimore, MD, USA, Volume 1: Long Papers, p. 435–445.
DOI: 10.3115/v1/p14-1041.

OBERLE B. (2018). SACR : A drag-and-drop based tool for coreference annotation. In *Proceedings of the Eleventh International Conference on Language Resources and Evaluation (LREC 2018)*.

PAPINENI K., ROUKOS S., WARD T. & ZHU W.-J. (2002). Bleu : a method for automatic evaluation of machine translation. In *Proceedings of the 40th annual meeting on association for computational linguistics*, p. 311–318 : Association for Computational Linguistics.

PERRET M. (2000). Quelques remarques sur l'anaphore nominale aux XIVe et XVe siècles. *L'Information Grammaticale*, **87**. DOI: 10.3406/igram.2000.2740.
PITLER E. & NENKOVA A. (2008). Revisiting readability : A unified framework for predicting text quality. In *Proceedings of the Conference on Empirical Methods in Natural Language Processing*, p. 186–195.

QI P., DOZAT T., ZHANG Y. & MANNING C. D. (2019). Universal dependency parsing from scratch. *arXiv preprint arXiv:1901.10457*.

QUINIOU S. & DAILLE B. (2018). Towards a diagnosis of textual difficulties for children with dyslexia. In *11th International Conference on Language Resources and Evaluation (LREC)*.

SCHNEDECKER C. (1997). *Nom propre et chaînes de référence*. Recherches linguistiques. Klinck-sieck. HAL: [hal-00808797](https://hal.inist.fr/00808797).

SIDDHARTHAN A. (2003). Preserving discourse structure when simplifying text. In *Proceedings of the 9th European Workshop on Natural Language Generation (ENLG-2003) at EACL 2003*.

SIDDHARTHAN A. (2006). Syntactic simplification and text cohesion. *Research on Language and Computation, 4*(1), 77–109.

SPECIA L., JAUHAR S. K. & MIHALCEA R. (2012). SemEval-2012 task 1: English lexical simplification. In *SEM 2012: The First Joint Conference on Lexical and Computational Semantics – Volume 1: Proceedings of the main conference and the shared task, and Volume 2: Proceedings of the Sixth International Workshop on Semantic Evaluation (SemEval 2012)*, p. 347–355, Montréal, Canada: Association for Computational Linguistics.

SULEM E., ABEND O. & RAPPOPORT A. (2018). Semantic structural evaluation for text simplification. In *Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers)*, p. 685–696, New Orleans, Louisiana: Association for Computational Linguistics. DOI: [10.18653/v1/N18-1063](https://doi.org/10.18653/v1/N18-1063).

TODIRASCU A., FRANÇOIS T., BERNHARD D., GALA N., LIGOZAT A.-L. & KHOBZI R. (2017). Chaînes de référence et lisibilité des textes : Le projet ALLuSIF. *Langue française, 195*(3), 35–52. HAL: [halshs-01665316](https://halshs.sciences-pour-la-modele.org/halshs-01665316).

WILKENS R., OBERLE B. & TODIRASCU A. (2020). Coreference-based text simplification. In *Workshop Tools and Resources to Empower People with REAding Difficulties (READI), Conference on Language Resources and Evaluation (LREC)*: ELRA.

XU W., CALLISON-BURCH C. & NAPOLES C. (2015). Problems in current text simplification research: New data can help. *Transactions of the Association for Computational Linguistics, 3*, 283–297. DOI: [10.1162/tacl_a_00139](https://doi.org/10.1162/tacl_a_00139).

XU W., NAPOLES C., PAVLICK E., CHEN Q. & CALLISON-BURCH C. (2016). Optimizing statistical machine translation for text simplification. *Transactions of the Association for Computational Linguistics, 4*, 401–415. DOI: [10.1162/tacl_a_00107](https://doi.org/10.1162/tacl_a_00107).
# La réécriture monolingue ou bilingue facilite-t-elle la compréhension ?

Yuming Zhai Gabriel Illouz Anne Vilnat

Université Paris-Saclay, CNRS, LIMSI, 91400, Orsay, France

{prénom.nom}@limsi.fr

## RÉSUMÉ

La capacité en compréhension écrite est importante à développer pour les apprenants de langues étrangères. Cet article présente une expérience pour vérifier si les paraphrases fournies en contexte facilitent la compréhension des apprenants. Les paraphrases ont été extraites automatiquement d'un corpus parallèle bilingue. Suite à l'analyse des résultats, nous proposons des pistes d'enrichissement d'un outil conçu préalablement, pour automatiser la sélection de réécritures dans un futur travail, tout en caractérisant mieux différents types de réécritures.

## ABSTRACT

**Does monolingual or bilingual rewriting facilitate comprehension ?**

Reading comprehension skills are important to develop for foreign language learners. This article presents an experiment to verify whether paraphrases provided in context make comprehension easier for learners. The paraphrases were automatically extracted from a bilingual parallel corpus. After analysing the results, we propose directions to enrich a previously designed tool, in order to automate the selection of rewritings in the future, while better characterizing different types of rewritings.

**MOTS-CLÉS** : extraction de paraphrase, compréhension écrite, TAL pour l'enseignement.

**KEYWORDS:** paraphrase extraction, reading comprehension, NLP for education.

## 1 Introduction

L'apprentissage des langues étrangères est important pour les étudiants, surtout quand ils veulent poursuivre des études dans un pays étranger. En effet, les études et l'intégration dans une société étrangère nécessitent un niveau de langue intermédiaire voire avancé. Au cours de l'apprentissage d'une langue étrangère, il est important de développer la capacité en compréhension écrite. Selon le niveau des apprenants, les difficultés en compréhension écrite évoluent. Les débutants peuvent confondre des mots homographes, sans pouvoir distinguer leur catégorie grammaticale et leur usage en contexte. Pour les apprenants dans un niveau intermédiaire ou avancé, Yilmaz Güngör (2015) a mené une enquête auprès de 23 étudiants de français langue étrangère (FLE) dans le cadre d'un cours de compréhension écrite. Cela montre leurs difficultés dans les catégories suivantes : lexical, grammatical, contextuel et socio-culturel. Nous listons ici quelques phénomènes concrets : des mots inconnus des domaines généraux ; des mots déjà vus mais qui apparaissent dans un contexte donné avec un sens inconnu ou figuré ; des termes spécifiques d'un certain domaine ; des nuances et des subtilités de langue ; différents registres de langue ; des expressions figées, des idiomes ; des structures syntaxiques complexes, des phrases longues avec une logique complexe, etc.

<figure><img src="image_94.png" /></figure>
L'enquête menée par Dagilienė (2012) suggère que la traduction intégrée dans les activités quotidiennes des cours d'anglais s'avère utile pour le progrès des étudiants dans diverses compétences de langue. Selon Martinot (2012), un apprenant de langues étrangères a intérêt à prendre conscience des différentes procédures reformulatoires qu'il peut appliquer aux énoncés de la langue seconde. Compte tenu des rôles importants des traductions et des reformulations en acquisition de langues étrangères, notre problématique de recherche est d'appliquer des travaux en traitement automatique des langues (TAL) pour faciliter la compréhension écrite aux apprenants de FLE.

Dans notre publication précédente (Zhai et al., 2019b), nous avons proposé la conception d'un outil dans ce but, via la proposition de réécritures des mots ou des suites de mots en contexte. Les recherches sur l'extraction de paraphrase et la reconnaissance des procédés de traduction constituent la base pour le développement de cet outil.

Dans cet article, nous décrivons une expérience utilisant des réécritures extraites automatiquement d'un corpus parallèle bilingue. Elle est menée avec la participation des apprenants chinois de FLE. Nous proposons des pistes d'enrichissement de l'outil conçu suite à l'analyse des résultats. Nous ciblons les apprenants chinois pour observer l'influence de la maîtrise d'une première langue étrangère (anglais) sur l'apprentissage d'une deuxième langue étrangère similaire (français), puisqu'une majorité des étudiants chinois apprend l'anglais depuis l'école primaire.

## 2 Travaux précédents

En TAL, la paraphrase est définie comme une forme alternative exprimant, dans une même langue, le même contenu sémantique, la même information ou la même idée que la forme originale (Barzilay & McKeown, 2001; Fujita, 2005; Callison-Burch, 2007; Bhagat, 2009; Madnani & Dorr, 2010; Bouamor, 2012). Dans le cadre de notre travail, nous nous focalisons sur la paraphrase linguistique au niveau sous-phrastique et nous utilisons le terme « réécriture » pour désigner les reformulations textuelles qui ne gardent pas strictement la même sémantique que le segment original.

Concernant l'extraction de paraphrase, Bannard & Callison-Burch (2005) ont proposé d'exploiter les techniques de traduction automatique pour extraire des paraphrases à partir de corpus parallèles bilingues. Leur hypothèse est que deux segments monolingues sont des paraphrases potentielles s'ils partagent des traductions communes (appelées aussi traductions "pivots") dans une autre langue. Actuellement, la plus grande ressource de paraphrases, PPDB (ParaPhrase DataBase) est construite en se basant sur cette méthode (Ganitkevitch et al., 2013; Pavlick et al., 2015b). En revanche, Pavlick et al. (2015a) ont révélé qu'il existe d'autres relations que l'équivalence stricte (paraphrase) dans PPDB.

Des traductions "pivots" non littérales dans des corpus parallèles bilingues peuvent influencer l'équivalence stricte entre les candidats de paraphrase extraits. Néanmoins, elles n'ont pas reçu assez d'attention pendant l'extraction des paraphrases dans des corpus parallèles bilingues. Afin d'étudier systématiquement les traductions non littérales, nous avons proposé une typologie de procédés de traduction adaptée à un corpus anglais-français de TED Talks, en nous fondant sur les théories dévloppées en traduction (Vinay & Darbelnet, 1958; Chuquet & Paillard, 1989; Molina & Hurtado Albir, 2002). Nous avons aussi présenté une classification automatique des procédés de traduction en utilisant ce corpus annoté manuellement (Zhai et al., 2019a).
# 3 Extraction automatique de paraphrases

Étant donné notre but : aider les apprenants en compréhension écrite, les paraphrases proposées en contexte doivent être contrôlées et de bonne qualité. Afin d'étudier en même temps l'utilité des traductions (réécritures bilingues), nous avons suivi l'approche d'extraction de paraphrases via la méthode par pivot dans des corpus parallèles bilingues (Bannard & Callison-Burch, 2005).

Nous avons adapté un système de traduction automatique statistique, développé par Gong et al. (2013). Le corpus utilisé contient celui de TED Talks<fnref n="1" /> et celui de Tatoeba<fnref n="2" />. Ce corpus anglais-français contient 397k paires de phrases parallèles (sans doublon). L'alignement automatique de mots a été effectué par l'outil FastAlign avec les paramètres par défaut (Dyer et al., 2013). Pendant cet alignement, la langue source est le français, et la langue cible est l'anglais, afin d'utiliser l'anglais comme une langue "pivot" pour générer des paraphrases françaises.

Étant donné une entrée (un mot ou une expression, ex. « de par le monde »), ce système peut réaliser ces trois tâches :

1) Afficher toutes les phrases françaises où l'entrée apparaît, ainsi que les phrases correspondantes en anglais. Ce concordancier bilingue peut faciliter l'examen manuel du corpus parallèle.

2) Extraire toutes les traductions anglaises possibles pour cette entrée. (ex. « over the world, around the globe », etc.)

3) À partir de chaque traduction en anglais, récupérer leur rétro-traduction en français, à savoir des candidats de paraphrase. (ex. « à travers le monde, aux quatre coins du monde » etc.)

Suite à cette extraction automatique, nous avons effectué une sélection manuelle des paraphrases et des traductions adéquates. Quand ce système ne fournissait pas ces informations, à cause de la taille limitée du corpus ou de la difficulté d'alignement automatique de mots, nous avons eu recours à la ressource en ligne Linguee<fnref n="3" />. Par exemple dans cette phrase : *Quand il n'écrivait pas, il racontait des récits édifiants sur les prouesses accomplies par des personnages dans sa tête.* Le mot « édifiant » n'existe pas dans notre corpus, mais grâce à Linguee, nous avons pu trouver ses traductions anglaises (dans ce contexte) « amazing » ou « stunning », ce qui peut être retraduit en français comme « étonnant », « incroyable », « époustouflant », etc. Dans certains cas, nous n'avons pu extraire que des traductions anglaises, parce qu'il n'existe pas de paraphrase (même avec l'aide de Linguee), par exemple les mots « pétrole », « charbon ».

Enfin, les paraphrases proposées ont été classées selon leur niveau de difficulté, avec l'aide de la ressource FLELex<fnref n="4" /> (Francois et al., 2014), qui est le premier lexique classé pour le FLE qui indique les fréquences normalisées de mots dans chaque niveau de A1 à C2⁵.

<footnote n="1">1. Nous avons utilisé deux corpus anglais-français de TED Talks, qui ont été publiés pour la campagne d'évaluation IWSLT en 2013 et 2016 (https://wit3.fbk.eu/).</footnote>

<footnote n="2">2. Tatoeba est un site de collection de phrases multilingues et de leurs traductions (https://tatoeba.org/eng).</footnote>

<footnote n="3">3. https://www.linguee.fr/</footnote>

<footnote n="4">4. http://cental.uclouvain.be/flelex/, la version FLELex_CRF contient 2038 expressions multi-mots.</footnote>

<footnote n="5">5. https://www.france-langue.fr/niveaux-de-francais/</footnote>
# 4 Expériences avec les apprenants chinois

Pour étudier notre hypothèse que des réécritures monolingues ou bilingues facilitent la compréhension, nous avons mené deux expériences sur un test de compréhension écrite avec des étudiants chinois adultes. Les tests se sont déroulés sous forme de QCM (sur la plateforme Moodle). Nous avons contacté trois enseignantes de FLE de trois établissements chinois.<fnref n="6" /> Nous avons échangé des idées sur la préparation des textes et des questions avec ces enseignantes. Après les tests, les étudiants ont dû répondre à un questionnaire sur leur profil (niveau d'étude en français et en anglais) et leur satisfaction. 15 étudiants de niveau intermédiaire (A2) et 11 étudiants de niveau avancé (B2) ont participé.<fnref n="7" />

Nous avons préparé un texte pour chaque niveau selon la grille pour l'auto-évaluation du CECR<fnref n="8" />. Le texte du niveau A2 (548 tokens) est issu d'un site de ressource pour l'éducation, et nous l'avons légèrement modifié. Celui du niveau B2 (300 tokens) a été écrit par nous à partir d'une liste de mots et de segments. Pour chaque groupe d'étudiants, le test est divisé en trois phases, avec pour chacune une version différente du texte qui a été présentée aux étudiants : 1) version originale (sans aucune information complémentaire); 2) les étudiants peuvent regarder les paraphrases des mots ou des expressions mises en gras (pas uniquement ceux qui sont pertinents pour répondre aux questions), qui apparaissent dans une fenêtre quand le curseur est passé dessus; 3) en plus de ces paraphrases en français, les traductions anglaises sont ajoutées.

À chaque phase, les étudiants répondent au même ensemble de questions conçues par les auteurs. Notre hypothèse est la suivante : grâce aux informations complémentaires, les apprenants peuvent répondre correctement à de plus en plus de questions. Nous avons respecté les principes suivants pour la conception des questions et des options de réponses : 1) les questions concernent les mots ou les expressions potentiellement difficiles, mais pas la logique du texte ; 2) les paraphrases et les traductions anglaises fournies ne doivent pas contenir exactement les mêmes chaînes de caractères que celles présentes dans les réponses proposées ; 3) les options de réponse doivent être assez proches les unes des autres pour que les distracteurs soient bons. Les distracteurs ne doivent pas permettre de trouver la bonne réponse par déduction de façon évidente.

Nous avons limité le temps pour chaque test : 30 minutes pour le premier, et 15 minutes pour chacun des deux suivants. L'utilisation des dictionnaires a été interdite pendant les tests (peu importe le format). Nous mettons à disposition le matériel utilisé dans ces expériences<fnref n="9" /> : les textes en trois versions en format HTML, les questions de compréhension, les listes des paraphrases et traductions proposées, le questionnaire et les réponses anonymisées.

# 5 Analyse des résultats

**Résultats du groupe A2** Les résultats par participant sont montrés dans la figure 1(a). Pour deux étudiants (N° 4, 15), des informations complémentaires semblent apporter une aide supplémentaire. La figure 1(b) montre le nombre d'étudiants ayant choisi la bonne réponse pour chaque question.

<footnote n="6">6. Université des langues étrangères de Dalian, Alliance Française de Dalian et Collège de technologie professionnelle de la ville de Ningbo.</footnote>

<footnote n="7">7. 44 étudiants ont été contactés, en revanche, seuls 26 étudiants ont fait le test malgré des relances.</footnote>

<footnote n="8">8. https://www.coe.int/fr/web/portfolio/self-assessment-grid</footnote>

<footnote n="9">9. https://github.com/YumingZHAI/reecriture_comprehension</footnote>
Nous voyons que la deuxième question est la plus difficile. Elle porte sur la phrase suivante et sur le mot « survivre » : [...] il fera bientôt beaucoup trop chaud sur la Terre pour que certaines espèces puissent survivre.

La question est : *Quand il fera bientôt beaucoup plus chaud, certains animaux vont :*
**a) disparaître** **b) souffrir** **c) changer de lieu de vie**

Les paraphrases données sont « continuer à vivre » et « toujours en vie », et la traduction anglaise est « survive ». La plupart des étudiants ont choisi « changer de lieu de vie » or la bonne réponse est « disparaître ». Nous supposons que la difficulté ne concerne non seulement le mot « survivre », mais aussi l'expression « trop + adj. + pour que ... puisse ... ».

Nous avons analysé leurs réponses au questionnaire. En général, le niveau d'anglais n'est pas très élevé pour plusieurs étudiants, surtout ceux qui ont eu des moins bons résultats. Ceux qui ont le mieux répondu, ont dit qu'ils apprennent l'anglais et le français en les comparant, tandis que les autres étudiants ne veulent pas mélanger l'apprentissage des deux langues. La majorité des étudiants ont confirmé que la maîtrise de l'anglais favorise l'apprentissage du français, surtout pour le vocabulaire et la grammaire. Dix personnes (sur quinze au total) ont indiqué qu'un outil proposant des paraphrases en contexte pourrait les aider dans la lecture. Neuf personnes trouvent que la proposition des traductions anglaises est utile dans un tel outil, mais qu'il serait encore plus utile si une phrase avec un contexte était donnée en même temps.

<figure><img src="image_95.png" /><figcaption>(a) Nombre de bonnes réponses par participant : 15 participants (axe X), 11 questions (axe Y)</figcaption></figure>

<figure><img src="image_96.png" /><figcaption>(b) Nombre de personnes qui répondent correctement par question : 11 questions (axe X), 15 participants (axe Y)</figcaption></figure>

<figure><img src="image_97.png" /><figcaption>(c) Nombre de bonnes réponses par participant : 11 participants (axe X), 19 questions (axe Y)</figcaption></figure>

<figure><img src="image_98.png" /><figcaption>(d) Nombre de personnes qui répondent correctement par question : 19 questions (axe X), 11 participants (axe Y)</figcaption></figure>

FIGURE 1: Résultats pour les apprenants de niveau A2 (en haut) et B2 (en bas)

**Résultats du groupe B2** Les résultats par participant et par question sont montrés dans les figures 1(c) et 1(d). Pour les questions N° 1, 14, 19, la performance est déjà très élevée au test 1.
À part l'étudiant N° 8, tous les autres étudiants ont eu des meilleures notes avec des informations complémentaires par rapport au premier test. Pour trois étudiants (N° 1, 2, 8), l'ajout des traductions anglaises apporte de l'aide supplémentaire en plus des paraphrases. En général, l'évolution des performances du groupe B2 est plus homogène que celle du groupe A2.

La question la plus difficile est la question 10, peu importe la version du texte, seuls deux étudiants ont donné la bonne réponse. Elle concerne cette phrase : *On y voyait un ivrogne errer avec son calepin à la main, avec dans son sillage certains de ses compagnons.*

La question est : *Où voyait-on les compagnons de cet homme ?*

a) autour de lui b) derrière lui c) devant lui d) ce n'est pas dit

Cela montre que la paraphrase (« sur ses traces ») et les traductions (« in the tracks/wake of ») ne sont pas suffisamment claires pour aider la compréhension. Cette difficulté est aussi due aux principes de la conception de cette expérience, où les informations complémentaires ne doivent pas rendre la réponse évidente.

Dans la figure 1(d), nous constatons que pour la deuxième question, l'ajout d'informations nuit à la compréhension. Cette question porte sur la phrase suivante : *Ainsi, j'ai pu voir à la lisière d'une ville, dans un pâté de maisons isolé [...]*

La question est : *Où se déroule l'histoire ?*

a) au centre-ville b) à la campagne c) aucune des deux réponses

Nous avons fourni « frontière » et « bordure » comme paraphrase, et « edge » comme traduction. La bonne réponse est « aucune des deux », mais « à la campagne » a été choisie par la majorité des étudiants à la troisième phase du test. Seuls quatre étudiants ont saisi la nuance entre la « lisière d'une ville » et « la campagne », sachant que cette notion existe aussi en chinois.

Parmi ces 11 étudiants en niveau B2, trois sont en quatrième année de licence du département langue française en Chine. Les autres poursuivent leurs études en France, dont certains ont eu des bonnes notes en TOEIC.

Quatre étudiants (N° 2, 6, 7, 8) préfèrent ne pas mélanger l'anglais et le français pendant l'apprentissage, alors que les autres les apprennent par comparaison. Les étudiants confirment que la maîtrise de l'anglais favorise l'apprentissage du français, à part les similarités en vocabulaire et en grammaire, ils ont aussi mentionné l'étymologie et les expressions figées. Excepté deux étudiants qui préfèrent toujours utiliser un dictionnaire, les autres expriment leur envie d'avoir un outil qui propose des paraphrases en contexte pour élargir leur vocabulaire. L'ajout des traductions anglaises dans un tel outil est apprécié par huit étudiants, tandis que les trois autres préfèrent n'avoir affaire qu'à une seule langue étrangère à la fois.

# 6 Bilan et perspectives

Les résultats montrés dans la figure 1 valident notre hypothèse (et de façon plus évidente pour le groupe B2) : les paraphrases facilitent la compréhension des apprenants. Pourtant, l'hypothèse que les traductions anglaises fournissent encore de l'aide supplémentaire n'est pas encore complètement validée. Nous pensons qu'une expérience de plus large envergure, avec plus de textes et de participants, est nécessaire pour mieux étudier nos hypothèses. Nous testerons des procédures plus méthodologiquement robustes que celles utilisées dans notre première tentative. Par exemple, demander à différents groupes d'étudiants de faire le test avec différents niveaux d'informations et de
comparer les résultats doit être considéré.

Pour notre travail futur, des corpus parallèles plus volumineux seront exploités pour extraire des paraphrases. Dans cette expérience, l'extraction des paraphrases a été automatique mais le filtrage a été manuel. L'utilité des paraphrases pour faciliter la compréhension étant vérifiée, nous tenterons d'automatiser ce filtrage dans le futur. Pour cela, nous intégrerons la reconnaissance automatique des procédés de traduction (ex. classification entre traduction littérale et non littérale) (Zhai et al., 2019a). Notre hypothèse est que pendant l'extraction de réécritures via la méthode par pivot, la reconnaissance des procédés de traduction nous permettra de caractériser les réécritures dans les trois cas suivants : 1) réécritures en équivalence sémantique stricte, à savoir des paraphrases, et la phrase après la substitution reste grammaticale; 2) réécritures en relation d'implication (plus général ou plus spécifique), si elles existent; 3) réécritures reliées avec le mot ou la suite de mots d'une certaine manière (par exemple, ils appartiennent au même champ sémantique; il faut adapter la structure de la phrase pour la substitution). Cela nous permettra d'éviter les contresens, de classer les réécritures et d'étudier quel type de réécriture conviendrait mieux à chaque type d'apprenants.

Pour le développement de l'outil, nous suivrons la chaîne de traitement présentée dans la figure 2. Nous sommes aussi conscients des aspects suivants à prendre en compte pendant l'implémentation et l'évaluation d'un tel outil : l'adaptation du système face aux demandes différentes des apprenants et l'évaluation longitudinale de l'outil selon les différents niveaux des apprenants.

<figure><img src="image_99.png" /><figcaption>FIGURE 2: Chaîne de traitement pour le développement de l'outil (en noir : les blocs prêts ou en développement; en bleu : les blocs à développer)</figcaption></figure>

## Remerciements

Nous remercions les relecteurs anonymes pour leurs remarques détaillées et constructives. Nous exprimons notre gratitude aux participants, et aux enseignantes qui ont aidé à solliciter les participants en Chine : Chunhong Yu, Jingjing Liang, Xinyan Li, Miao Wang et Xiaoya Xu. Nous remercions l'agence ANR pour son financement à travers le projet ALECTOR (ANR-16-CE28-0005).

## Références

BANNARD C. & CALLISON-BURCH C. (2005). Paraphrasing with bilingual parallel corpora. In *Proceedings of the 43rd Annual Meeting on Association for Computational Linguistics*, p. 597–604 : Association for Computational Linguistics.
BARZILAY R. & MCKEOWN K. (2001). Extracting Paraphrases from a Parallel Corpus. In *Association for Computational Linguistic, 39th Annual Meeting and 10th Conference of the European Chapter, Proceedings of the Conference*, July 9-11, 2001, Toulouse, France., p. 50–57.

BHAGAT R. (2009). *Learning Paraphrases from Text*. Thèse de doctorat, Los Angeles, CA, USA.
AAI3368694.

BOUAMOR H. (2012). *Etude de la paraphrase sous-phrastique en traitement automatique des langues. (A study of sub-sentential paraphrases in Natural Language Processing)*. Thèse de doctorat, University of Paris-Sud, Orsay, France.

CALLISON-BURCH C. (2007). *Paraphrasing and Translation*. Thèse de doctorat, University of Edinburgh, Edinburgh, Scotland.

CHUQUET H. & PAILLARD M. (1989). *Approche linguistique des problèmes de traduction anglais-français*. Ophrys.

DAGILIENÈ I. (2012). Translation as a learning method in English language teaching. *Kalby studijos, 21*, 124–129. DOI: 10.5755/j01.sal.0.21.1469.

DYER C., CHAHUNEAU V. & SMITH N. A. (2013). A simple, fast, and effective reparameterization of IBM model 2. In L. VANDERWENDE, H. D. III & K. KIRCHHOFF, Éds., *Human Language Technologies : Conference of the North American Chapter of the Association of Computational Linguistics, Proceedings, June 9-14, 2013, Westin Peachtree Plaza Hotel, Atlanta, Georgia, USA*, p. 644–648 : The Association for Computational Linguistics.

FRANCOIS T., GALA N., WATRIN P. & FAIRON C. (2014). FLELex : a graded Lexical Resource for French Foreign Learners. In N. C. C. CHAIR), K. CHOUKRI, T. DECLERCK, H. LOFTSSON, B. MAEGAARD, J. MARIANI, A. MORENO, J. ODIJK & S. PIPERIDIS, Éds., *Proceedings of the Ninth International Conference on Language Resources and Evaluation (LREC’14)*, Reykjavik, Iceland : European Language Resources Association (ELRA).

FUJITA A. (2005). *Automatic Generation of Syntactically Well-formed and Semantically Appropriate Paraphrases*. Thèse de doctorat, Ph. D. thesis, Nara Institute of Science and Technology.

GANITKEVITCH J., VAN DURME B. & CALLISON-BURCH C. (2013). PPDB : The paraphrase database. In *Proceedings of the 2013 Conference of the North American Chapter of the Association for Computational Linguistics : Human Language Technologies*, p. 758–764.

GONG L., MAX A. & YVON F. (2013). Improving bilingual sub-sentential alignment by sampling-based transpotting. In *Proceedings of IWSLT*, Heidelberg, Germany.

MADNANI N. & DORR B. J. (2010). Generating phrasal and sentential paraphrases : A survey of data-driven methods. *Computational Linguistics*, **36**(3), 341–387. DOI: 10.1162/coli_a_00002.

MARTINOT C. (2012). De la reformulation en langue naturelle, vers son exploitation pédagogique en langue étrangère : pour une optimisation des stratégies d’apprentissage. *Synergies Pologne*, **9**, 63–76. http://gerflint.fr/Base/Pologne9/martinot.pdf.

MOLINA L. & HURTADO ALBIR A. (2002). Translation Techniques Revisited : A Dynamic and Functionalist Approach. *Meta*, **47**(4), 498–512. DOI: 10.7202/008033ar.

PAVLICK E., BOS J., NISSIM M., BELLER C., VAN DURME B. & CALLISON-BURCH C. (2015a). Adding semantics to data-driven paraphrasing. In *Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing (Volume 1 : Long Papers)*, volume 1, p. 1512–1522.
PAVLICK E., RASTOGI P., GANITKEVITCH J., DURME B. V. & CALLISON-BURCH C. (2015b). PPDB 2.0 : Better Paraphrase Ranking, Fine-Grained Entailment Relations, Word Embeddings, and Style Classification. In *Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing of the Asian Federation of Natural Language Processing*, ACL 2015, July 26-31, 2015, Beijing, China, Volume 2 : *Short Papers*, p. 425–430.

VINAY J.-P. & DARBELNET J. (1958). *Stylistique comparée du français et de l'anglais : méthode de traduction*. Bibliothèque de stylistique comparée. Didier.

YILMAZ GÜNGÖR Z. (2015). La compréhension des textes en français langue étrangère : quelles difficultés ? *Journal of International Social Research*, **8**(40).

ZHAI Y., ILLOUZ G. & VILNAT A. (2019a). Classification automatique des procédés de traduction. In *26th Conférence sur le Traitement Automatique des Langues Naturelles*, Toulouse, France. HAL : [hal-02265644](https://hal.inria.fr/hal-02265644).

ZHAI Y., ILLOUZ G. & VILNAT A. (2019b). Conception d'un outil d'aide à la compréhension écrite pour les apprenants de français langue étrangère. In *9ème Conférence sur les Environnements Informatiques pour l'Apprentissage Humain*, p. 379–382, Paris, France. HAL : [hal-02265646](https://hal.inria.fr/hal-02265646).
<figure><img src="image_100.png" /></figure>