Étude sur le résumé comparatif grâce aux plongements de mots (Comparative summarization study using word embeddings) (2020)

Abstract: Dans cet article, nous présentons une nouvelle méthode de résumé automatique comparatif. Ce type de résumé a pour objectif de permettre de saisir rapidement les différences d’information entre deux jeux de documents. En raison de l’absence de ressources disponibles pour cette tâche, nous avons composé un corpus d’évaluation. Nous présentons à la fois la méthodologie de son élaboration ainsi que le corpus lui-même. Notre méthode utilise les avancées récentes dans le calcul de similarité entre phrases afin de détecter les informations comparatives. Nous montrons que sur ce corpus, notre méthode est comparable en termes de qualité de résultats à une méthode de l’état de l’art, tout en réduisant d’un facteur dix le temps de calcul, la rendant donc exploitable dans le cadre de l’aide à l’analyse de documents.

## introduction étant donné le nombre d'actualités disponibles en ligne, l'analyse automatique des articles de presse est devenue un enjeu important. dans ce cadre, nous nous intéressons au résumé comparatif qui permet de regrouper les informations connexes au sein d'un groupe de documents qui traitent d'un même type de sujet pour les présenter à l'utilisateur sous la forme de courts résumés. une telle présentation analytique est une réelle plus-value pour le lecteur du résumé. elle met en effet en avant les informations comparables au sein de plusieurs documents, ce qui peut s'apparenter au résumé guidé par les aspects, mais de manière non supervisée. cependant, cette tâche représente un défi pour le traitement automatique de la langue. il est en effet nécessaire d'avoir une connaissance approfondie des sujets traités par les documents afin de trouver de bonnes comparaisons. c'est pourquoi l'analyse manuelle prend généralement beaucoup de temps et de travail. la génération automatique d'un résumé qui mette automatiquement en évidence les informations connexes entre les sujets d'actualité serait ainsi une aide primordiale afin de pouvoir effectuer des analyses de manière plus simple et efficace. dans la suite de cet article, nous appelons "informations comparatives" deux informations qui peuvent être rapprochées l'une de l'autre d'après le thème qu'elles portent. le résumé comparatif d'actualités cherche ainsi à comparer une paire de documents ou une paire d'ensembles de documents. le résumé généré est donc composé de deux "blocs", chacun résumant un seul document (ou un seul groupe de documents). de plus, les résumés doivent être composés de phrases qui transmettent des informations à la fois comparatives et représentatives de chaque document ou ensemble de documents. nous présentons ici une nouvelle méthode de résumé comparatif fondée sur les récentes avancées en sémantique computationnelle : les plongements de mots et la word mover distance (wmd) @xcite afin de détecter les phrases sémantiquement proches pour la comparaison. les résultats expérimentaux démontrent l'efficacité de ce modèle en termes de temps d'exécution ainsi que de qualité d'identification et de résumé des comparaisons. dans un premier temps, nous présentons les travaux associés à la tâche du résumé comparatif. nous expliquons ensuite notre méthode de résumé comparatif, ainsi que les méthodes d'évaluation de la comparativité et de l'informativité. nous présentons alors le contexte de notre expérience ainsi que les résultats obtenus, puis les conclusions et suites que nous envisageons à cette étude. ## définition wang et al. (2009) sont les premiers à avoir défini le résumé comparatif. ils définissent le résumé comparatif comme suit : "étant donnée une collection de groupes de documents, le résumé de comparaison consiste à générer un court résumé composé des différences entre ces documents en extrayant les phrases les plus discriminantes dans chaque groupe de documents.". en n'extrayant que des phrases discriminantes, le résumé comparatif s'écarte de la définition d'une comparaison car il y manquera sûrement les aspects comparatifs. il se rapproche en revanche de la tâche traditionnelle de résumé automatique, si ce n'est qu'au lieu d'extraire les informations les plus discriminantes d'un document ou groupe de documents, on extrait les informations les plus discriminantes d'un groupe de documents vis-à-vis des autres. en effet, l'extraction des seules phrases discriminantes sans tenir compte d'une thématique commune implique que le résumé comparatif perd alors sa cohérence et son sens. @xcite fournissent un exemple de phrases discriminantes en utilisant leur méthode discriminative sentence selection. le tableau 1 présente un résumé automatique tiré de l'article qui présente ce travail. bien que l'on ne dispose pas des articles d'origine, on peut constater que cet exemple constitue difficilement un résumé. il est même compliqué de comprendre quelle en est l'information principale. de plus, les phrases ainsi extraites de leur contexte sont difficilement interprétables, et l'intérêt de cette méthode vis-à-vis d'un utilisateur final est donc discutable. huang et al. (2014) étendent la définition précédente en déclarant que : "un résumé comparatif doit contenir une combinaison de deux composants (provenant de différents ensembles de documents), chacun lié au même sujet.". huang et al. (2014) fournissent un exemple de résumé de référence (écrit id discriminative sentences 1 there is no cold war, there is no saddam. lebanon has also changed. 2 if hiring rap sheet-free intelligent people means they won't hire a black applicant for another five years. 3 he should drop the case against the lacrosse players but not the sexual assault case itself. 4 rahman, who is about 41 years old, converted from islam to christianity over 16 years ago. 5 to be totally honest with you, we believed that there may have been a classified annex. 6 i suspect that his position reflects conventional wisdom among the chinese military establishment. 7 in both the short and long term what those displaced by hurricane katrina need most is money. ## travaux associés le résumé comparatif est étudié depuis de nombreuses années en linguistique et de nombreux travaux ont étudié la connotation, l'extension, les formes et les usages des comparaisons @xcite . l'analyse comparative a été appliquée dans de nombreux domaines, et plusieurs sujets académiques connexes ont émergé, tels que la littérature linguistique @xcite , la littérature @xcite , l'histoire et la politique comparées. l'analyse comparative est également largement utilisée dans les applications web. de nombreux systèmes de commerce électronique fournissent des comparaisons de produits de base sur les prix et les fonctionnalités en se basant sur les données structurelles sous-jacentes. plus récemment, l'extraction d'informations comparatives à partir de données non structurées a attiré beaucoup d'attention. plusieurs chercheurs proposent d'étudier la comparaison d'entités en utilisant des modèles linguistiques @xcite ou des mesures de similarités entre distributions de probabilités @xcite . certains travaux tentent d'identifier des comparaisons linguistiques explicites et d'en extraire les éléments de comparaison @xcite , d'autres cherchent à extraire des caractéristiques individuelles dans les phrases et à les faire correspondre @xcite @xcite . d'autres encore utilisent des méthodes de résumé automatique conventionnelles telles que lsa, lda, méthodes à base de graphe, ilp... l'intérêt des méthodes à base de lsa et lda @xcite est la représentation des documents sous la forme de distributions de probabilités sur des thématiques. les méthodes à base de graphes @xcite et de programmation linéaire en nombres entiers @xcite permettent de conserver simplement l'informativité présente dans les ensembles de documents, comme dans le cadre du résumé automatique classique. si la plupart de ces études se concentrent sur la comparaison des aspects communs au sein de phrases, il existe également certaines recherches axées sur la détection des informations uniques des sujets qui composent les documents (wang et al., 2012) ou de la nouveauté de ces informations. la méthode utilisée par @xcite étant la plus proche de nos travaux, nous l'utiliserons comme baseline de comparaison dans nos expériences. afin de générer les résumés, les auteurs utilisent à la fois la comparabilité, la centralité et la non-redondance dans une fonction objectif dont ils cherchent le maximum grâce à la programmation linéaire en nombres entiers (ilp). leur méthode fait appel à une ressource sémantique exogène : wordnet @xcite afin de capturer les similarités entre des paires de concepts (unigrammes ou bigrammes) et ainsi déterminer le poids "comparatif" d'un ensemble de paires de concepts. une telle méthode possède deux inconvénients majeurs : ## méthode proposée dans notre étude, nous nous intéressons au résumé comparatif tel que défini dans @xcite . les auteurs tentent d'identifier les phrases comparables entre deux ensembles documents, i.e. nous construisons un résumé comparatif en extrayant des phrases sémantiquement similaires. afin d'identifier les phrases similaires, nous utilisons une mesure de distance sémantique destinée aux plongements de mots : la word mover distance (wmd) @xcite . la distance wmd mesure la dissimilarité entre deux documents (dans notre cas, des phrases) comme la distance minimale que les plongements de mots d'un document doivent "parcourir" pour atteindre les plongements de mots d'un autre document. le calcul de cette distance consiste donc en une résolution d'un problème de transport. nous déterminons la comparabilité au niveau de la phrase afin d'améliorer le temps de traitement, contrairement à @xcite qui travaillent au niveau des concepts. en effet, utiliser les concepts est problématique : les jeux de documents sont constitués d'entre trois et cinq milles concepts différents. pour chaque résumé, il serait donc nécessaire de calculer en moyenne 15 millions de similarités sémantiques entre paires de concepts. en travaillant au niveau des phrases, nous limitons le nombre de paires de phrases à 100 000, ce qui semble plus réaliste d'un point de vue calculatoire. il nous faut également une mesure de centralité des phrases, c'est-à-dire de l'importance de l'information véhiculée par les phrases vis-à-vis du jeu de documents auquel elles appartiennent. pour cette première approche du problème, et bien que d'autres mesures plus performantes existent @xcite nous avons choisi d'utiliser, la somme du tf.idf des concepts d'une phrase afin d'évaluer sa centralité. ces deux scores de comparativité (entre des paires de phrases) et de centralité (pour une phrase) sont normalisés puis combinés. cette combinaison des deux scores constitue alors une fonction objectif destinée à représenter le compromis entre comparativité et centralité, et qui peut être intégrée à un algorithme d'optimisation afin de déterminer le résumé qui la maximise. la fonction objectif utilisée est la suivante : le score d'informativité du résumé est calculé simplement à l'aide d'une somme sur les tf-idf des concepts présents : le score de comparativité est calculé comme la somme des poids comparatifs présents dans le résumé. un poids comparatif est le poids associé à la comparaison entre deux phrases issues des deux différents jeux de documents. il se calcule comme la somme des similarités normalisées entre les phrases appartenant au résumé a et les phrases appartenant au résumé b, calculées avec la distance wmd. une paire de @xmath0, s 2k > a ainsi un poids considéré comme égal à la distance wmd normalisée qui les sépare. ce poids indique si la paire de phrases est porteuse d'une comparaison importante. nous appliquons en dernier lieu un algorithme d'extraction destiné à la résolution du problème du sac à dos @xcite , qui a déjà été utilisé avec succès pour le résumé automatique @xcite avec la fonction objectif définie en équation 1.