Détection automatique de phrases parallèles dans un corpus biomédical comparable technique / simplifié (Automatic detection of parallel sentences in comparable biomedical corpora) (2019)

Abstract: Les phrases parallèles contiennent des informations identiques ou très proches sémantiquement et offrent des indications importantes sur le fonctionnement de la langue. Lorsque les phrases sont différenciées par leur registre (comme expert vs. non-expert), elles peuvent être exploitées pour la simplification automatique de textes. Le but de la simplification automatique est d’améliorer la compréhension de textes. Par exemple, dans le domaine biomédical, la simplification peut permettre aux patients de mieux comprendre les textes relatifs à leur santé. Il existe cependant très peu de ressources pour la simplification en français. Nous proposons donc d’exploiter des corpus comparables, différenciés par leur technicité, pour y détecter des phrases parallèles et les aligner. Les données de référence sont créées manuellement et montrent un accord inter-annotateur de 0,76. Nous expérimentons sur des données équilibrées et déséquilibrées. La F-mesure sur les données équilibrées atteint jusqu’à 0,94. Sur les données déséquilibrées, les résultats sont plus faibles (jusqu’à 0,92 de F-mesure) mais restent compétitifs lorsque les modèles sont entraînés sur les données équilibrées.

## introduction les phrases parallèles possèdent une sémantique similaire et la véhiculent d'une manière qui peut varier selon un axe donné. typiquement, les phrases parallèles sont collectées dans deux langues différentes et correspondent à des traductions. dans la langue générale, le corpus europarl @xcite contient de telles phrases dans plusieurs paires de langues. cependant, l'axe à partir duquel on observe le parallélisme peut se trouver à d'autres niveaux, comme le registre de langue expert vs. non-expert. la paire de phrases ci-après illustre la différence de technicité entre deux phrases : la simplification automatique de textes peut être une étape de pré-traitement pour les applications de tal ou pour produire des versions adaptées de textes pour différents utilisateurs humains. par exemple, les documents simplifiés peuvent être destinés aux enfants @xcite , aux étrangers ou personnes mal alphabétisées @xcite , aux personnes souffrant de pathologies mentales ou neurodégénératives @xcite , ou au grand public qui cherche à comprendre des documents spécialisés @xcite . notre objectif est de préparer les ressources nécessaires pour la création de documents médicaux simplifiés pour le grand public. il a en effet été montré que les documents médicaux sont souvent difficiles à comprendre par les patients et leurs familles @xcite @xcite , ce qui peut avoir une influence négative sur le processus de soins. plus particulièrement, nous proposons de détecter des phrases parallèles et de les aligner. comme il n'existe pas de textes parallèles en français qui soient différenciés par leur technicité, nous proposons d'exploiter le corpus comparable clear @xcite , où les textes traitent des mêmes sujets mais diffèrent par leur technicité. nous étudions également l'influence du déséquilibre sur la difficulté de la tâche, qui est en effet une caractéristique naturelle des données textuelles. il existe plusieurs travaux en détection et alignement de phrases parallèles au sein de corpus comparables bilingues pour les besoins de la traduction automatique. différentes méthodes sont exploitées pour cela, comme des systèmes de recherche d'information cross-langue @xcite , des arbres d'alignement de séquences @xcite ou des traductions automatiques mutuelles @xcite @xcite . souvent, il est nécessaire d'effectuer ensuite un filtrage pour la sélection de bonnes propositions. en ce qui concerne les travaux en alignement de phrases parallèles dans les corpus comparables monolingues, la difficulté principale est liée au faible chevauchement lexical entre les phrases. récemment, cette tâche a gagné en popularité autour de la langue générale grâce aux tâches sts (semantic text similarity) et les compétitions semeval @xcite @xcite : pour une paire de phrases donnée, l'objectif consiste à prédire leur niveau de similarité sémantique et d'y attribuer un score allant de 0 (sémantique indépendante) à 5 (identité sémantique). plusieurs types de méthodes sont proposés : les documents sont d'abord segmentés en phrases en exploitant la ponctuation forte (i.e. . ? ! ; :). nous avons aussi retiré, au sein de chaque sous-corpus, les phrases qui apparaissent au moins dans la moitié des documents (typiquement, les mentions légales et les titres de sections) et les phrases sans caractères alphabétiques. cela réduit la combinatoire de phrases de 940 000 à 590 000 environ. nous abordons la détection et l'alignement automatique de phrases parallèles comme un problème de classification, où il s'agit d'assigner chaque paire de phrases analysées à l'une des deux catégories : nos expériences sont basées sur plusieurs types de descripteurs calculés sur les textes non lemmatisés. plusieurs combinaisons de ces descripteurs ont été testées @xcite , ce qui nous a permis de sélectionner les descripteurs les plus efficaces : e : 238 paires avec équivalence sémantique, t is : 237 paires où le contenu de la phrase technique est entièrement compris dans la phrase simplifiée. la phrase simplifiée contient donc une sémantique supplémentaire, sit : 112 paires où le contenu de la phrase simplifiée est entièrement compris dans la phrase technique. la phrase technique contient donc une sémantique supplémentaire. les paires de phrases avec d'inclusion (sit et t is) permettent de repérer les cas lorsque les phrases sont segmentées (une phrase technique est scindée en plusieurs phrases simples) ou fusionnées (plusieurs phrases techniques sont fusionnées en une seule phrase dans la version simplifiée du texte). pour chaque sous-ensemble, nous prenons d'abord autant de paires équilibrées que d'exemples négatifs, que nous sélectionnons aléatoirement. ensuite nous augmentons progressivement le nombre de paires non alignées jusqu'à un ratio de 3000 :1, ratio proche de celui des données réelles. pour chaque ensemble déséquilibré d ainsi constitué, nous faisons deux expériences : dd : entraînement et test au sein de l'ensemble déséquilibré d ; dr : entraînement sur l'ensemble d et test sur les données réelles r. notons que d est inclus dans r. pour l'évaluation, nous divisons les données en deux parties : deux tiers pour l'entraînement et un tiers pour le test. l'évaluation est effectuée en calculant le rappel, la précision et la f-mesure. comme notre objectif vise la détection des paires alignées, les scores sont rapportés uniquement pour la classe des paires alignées. une autre raison d'exclure les scores de paires non alignées est, qu'avec le déséquilibre qui augmente, cette classe négative obtient très rapidement des scores très elevés (>0,99). pour avoir une évaluation plus fiable, chaque expérience est effectuée cinquante fois et les résultats présentés correspondent donc aux valeurs moyennes de ces cinquante itérations. la différence d'une itération à l'autre est due au fait que l'ensemble des paires non alignées est différent à chaque fois car créé aléatoirement.