Questionner pour expliquer: construction de liens explicites entre documents par la génération automatique de questions (2023)

Abstract: Cette article présente une méthode d’exploration de documents basée sur la création d’un ensemble synthétique de questions et de réponses portant sur le corpus, ensemble qui est ensuite utilisé pour établir des liens explicables entre les documents. Nous menons une évaluation quantitative et qualitative des questions automatiquement générées en termes de leur forme et de leur pertinence pour l’exploration de la collection. De plus, nous présentons une étude quantitative des liens obtenus grâce à notre méthode sur une collection de document provenant d’archives numérisés.

## introduction cette étude porte sur l'exploration de collections de documents par des méthodes d'appariements permettant de créer des liens entre des textes de la collection. de nombreuses méthodes basées sur des mesures de similarité permettent de créer de tels liens, cependant la justification des liens pour les utilisateurs est bien souvent réduite à la présence de mots clés en commun. nous proposons dans cette étude d'utiliser le paradigme des questions/réponses sur des textes afin de créer des liens explicables : deux paragraphes sont liés si les questions que posent ces paragraphes sont également liés. cet article est structuré comme suit : la section 2 présente notre méthodologie pour générer des liens explicables entre les documents basés sur des modèles de génération de questions ; la section 3 présente notre méthode de génération et de filtrage de questions ; la section 4 décrit comment les questions générées peuvent être utilisées pour créer des liens explicables entre les documents ; enfin, les sections6 et 7 présentent une étude expérimentale sur notre corpus d'archives avec des évaluations quantitatives, descriptives et qualitatives de la méthode proposée. ## exploration par la génération de questions lors de l'exploration d'une collection d'archives thématiques, des liens peuvent être établis entre des documents ou des parties de documents en fonction de différents critères tels que la co-occurrence d'entités (personnes, lieux, organisations, dates, . . .), de mots clés liés à une base de connaissances ou à un thésaurus @xcite , ou directement par une mesure de similarité statistique entre des documents ou des parties de documents tels que des phrases (wang et al., 2016) ou des paragraphes @xcite . la structure en graphe ainsi obtenue peut être utilisée pour concevoir des interfaces de navigation telles que des cartographies ou directement en insérant des liens hypertextes. générer des liens basés sur les mots clés/entités pose plusieurs problèmes : d'une part la grande quantité de liens générés si de grands ensembles de mots clés ou d'entités sont considérés et d'autre part le fait que la simple occurrence de termes pertinents ne signifie pas que leurs contextes d'occurrence sont pertinents ou intéressants pour les utilisateurs. les liens basés sur la similarité permettent de corriger ce dernier point en prenant en compte les mots dans leur contexte, mais l'utilisation de mesures de similarité statistique rend souvent les liens difficiles à interpréter, obligeant les utilisateurs à les vérifier un par un pour évaluer leur pertinence, ce qui peut être très chronophage. récemment, les avancées dans les modèles de question-réponse (qr) à partir de texte ont permis l'utilisation de questions directes en langage naturel afin d'accéder à des documents électroniques. des résultats impressionnants ont été obtenus avec des modèles de langage pré-entraînés tels que bert sur des corpus de référence comme squad @xcite . cependant il a été montré que le type de questions que ces modèles gèrent le mieux sont les questions littérales simples pour lesquelles une réponse factuelle peut être trouvée dans le texte en une seule phrase, et que les performances diminuent lorsque l'on traite de questions plus abstraites ou nécessitant un contexte plus large qu'une phrase pour être abordées. de plus, la plupart de ces études ont été appliquées uniquement au texte de wikipedia. dans notre étude nous n'allons pas utiliser le mode @xmath0, mais plutôt le mode @xmath1: en sélectionnant des zones potentiellement intéressantes dans nos corpus nous allons générer des questions à partir du contenu de ces zones (les réponses), puis chercher des similarités entre les questions générées pour proposer des liens aux utilisateurs qui soient motivés par la paire de questions mises en relation et qui constitue l'explication du lien pour l'utilisateur. ## génération de questions pour la génération de question, nous utilisons une variation d'un des modèles proposés par @xcite , où une annotation sémantique (srl) suivant le formalisme propbank @xcite est effectuée afin de sélectionner des réponses potentielles pour générer des questions. cette sélection par un analyseur sémantique nous permet de ne garder que des contextes potentiellement riches en terme de sens qui peuvent servir de supports à l'expression d'un lien avec d'autres documents. la génération de question est vue comme une tâche de génération de texte de type séquence-àséquence avec le modèle barthez @xcite entraîné sur le corpus fquad (d'hoffschmidt et al., 2020) de questions/réponses en français. la séquence en entrée contient la réponse (an s), l'unité lexicale qui déclenche la relation sémantique lu et le contexte ct x, comme dans l'exemple suivant provenant de notre jeu d'entrainement fquad : source : [ans:arg2] héra [lu] appelée[ctx] cérès fut également appelée héra en allemagne pendant une brève période. cible : quel nom cérès a-t-elle porté pendant une brève période en allemagne ? nous appliquons une série de filtres pour améliorer la qualité et réduire la quantité d'exemples générés. la première étape (f1) consiste à restreindre l'analyse srl pour n'inclure que les cadres ayant un déclencheur strictement verbal (en rejetant les verbes auxiliaires), car ceux-ci sont considérés comme étant de meilleure qualité en raison de leur facilité de détection. pour améliorer encore la qualité des exemples générés, nous appliquons un filtre (f2) sur les requêtes afin d'éliminer celles dont les réponses ou les contextes ne sont pas informatifs. cela inclut les réponses de moins de 5 caractères, ou appartenant à la liste nltk @xcite des mots d'arrêt, afin d'éliminer les réponses contenant uniquement des coréférences pronominales. les requêtes avec un contexte de moins de 5 mots ou une réponse qui n'est pas située dans la phrase du déclencheur sont également éliminées. les questions générées sont également soumises à un filtre (f3) basé sur la méthodologie "roundtrip consistency" proposée par @xcite . ce filtre consiste à ne conserver que les exemples synthétiques pour lesquels un modèle de question-réponse 1 est capable d'extraire une partie de la réponse cible de la question générée. nous considérons que le modèle a réussi à récupérer la réponse s'il y a un chevauchement minimum de 30 % entre la réponse prédite et la réponse de la requête. enfin, nous appliquons un dernier filtre (f4) pour éliminer les questions dupliquées, qui sont un phénomène fréquent dû à de légères variations dans certaines requêtes, résultant souvent en des questions très similaires ou identiques. ## générer des liens explicables l'originalité principale de notre approche est l'utilisation de nos questions/réponses synthétiques pour établir des liens entre les documents de notre corpus. alors que les méthodes traditionnelles consistent à calculer la similarité via les plongements de documents à un niveau de granularité choisi (phrase, paragraphe ou bloc de texte, page), notre approche consiste à calculer une mesure de similarité sur des plongements obtenus par la concaténation de questions et de réponses produites par notre méthode décrite dans la section 3. les sections suivantes présentent une étude expérimentale sur un corpus d'archives numérisées provenant du domaine des sciences sociales. ## thèmes des questions nous définissons les thèmes de la question générée par rapport à un thésaurus spécifique qui a été créé pour le domaine de l'autogestion. à partir de connaissances préalables dans le domaine, une première liste de notions a été construite. elle a ensuite été enrichie par une liste de mots-clés et de phrases-clés extraites des articles de la revue "autogestion". ces termes sont principalement des phrases nominales extraites grâce à une analyse morphosyntaxique des documents. lorsque des variantes flexionnelles d'une locution sont rencontrées, la forme ayant le plus grand nombre d'occurrences est choisie (forme majoritaire). parmi toutes les phrases-clés extraites, les experts ont sélectionné une liste d'entrées supplémentaires pour le thésaurus en choisissant des termes qui font référence à des notions générales pouvant être pertinentes pour indexer des documents. le thésaurus est ensuite trié hiérarchiquement pour former une structure en arbre de profondeur maximale de quatre niveaux. l'arbre a 437 feuilles et est organisé en huit notions générales à la racine de l'arbre (organisations, classes sociales, développement économique, exercice du pouvoir, juridique, modèles politiques, psycho-sociologie, valeurs sociales). un annotateur professionnel a été embauché pour cette tâche et a annoté un total de 582 questions. environ 92% des questions ont été validées sur leur forme, ce qui confirme la qualité syntaxique de notre système de génération de questions. pour les annotations de pertinence, les résultats sont également prometteurs. en termes d'adéquation de réponse, la majorité des questions (67%) ont reçu une note indiquant un niveau élevé d'adéquation foot_2 (figure 1a ). les deux échelles de likert mesurant la pertinence de la question sont plus subjectives, mais une grande proportion de questions (plus de 68%) ont été évaluées comme pertinentes dans le contexte local (figure 1b ). dans le contexte global de la lecture, le pourcentage de questions évaluées comme pertinentes diminue, avec un peu plus de la moitié des questions répondant au même critère de score (figure 1c ). pour vérifier l'accord entre les annotateurs, un sous-ensemble de 129 questions a été annoté par un second annotateur. ## conclusion cet article propose une nouvelle approche pour construire des liens entre des documents en se basant sur la génération de questions. nos expériences montrent la qualité de nos questions générées automatiquement, leur pertinence dans un contexte local, ainsi que l'originalité des liens produits par l'appariement de ces questions. des expériences restent à mener pour étudier de manière plus qualitative les liens générés, ainsi que pour enrichir et filtrer de manière plus fine la grande quantité de questions sur le corpus.