Approche de génération de réponse à base de transformers (Transformer based approach for answer generation) (2020)

Abstract: Cet article présente une approche non-supervisée basée sur les modèles Transformer pour la génération du langage naturel dans le cadre des systèmes de question-réponse. Cette approche permettrait de remédier à la problématique de génération de réponse trop courte ou trop longue sans avoir recours à des données annotées. Cette approche montre des résultats prometteurs pour l’anglais et le français.

## introduction la popularité récente des assistants intelligents a accru l'intérêt pour les systèmes de question-réponse (sqr) qui sont devenus un élément central des échanges « humain-machine » puisqu'ils permettent aux utilisateurs d'avoir directement des réponses à leurs questions en langage naturel en utilisant leur propre terminologie sans avoir à parcourir une longue liste de documents pour trouver les réponses appropriées. la plupart des travaux de recherche existants focalisent sur la complexité majeure de ces systèmes résidant dans le traitement et l'interprétation de la question qui exprime le besoin en information de l'utilisateur, sans pour autant donner de l'importance à la représentation de la réponse donnée en sortie. généralement, la réponse est soit représentée par un ensemble de termes court répondant exactement à la question (cas des sqr qui extraient les réponses à partir de données structurées), soit par un passage d'un document qui indique la réponse exacte et qui peut intégrer d'autres informations inutiles ne relevant pas du contexte de la question posée. la figure 1 présente un exemple de réponses données par deux systèmes différents. compte-tenu de la particularité des sqr qui extraient les réponses à partir de données structurées, les utilisateurs ne reçoivent, généralement, qu'une réponse courte et limitée à leurs questions comme c'est illustré par l'exemple de la figure 1. de plus, dans le cas où la question est posée oralement, ce type de représentation de réponse peut ne pas convenir aux attentes de l'utilisateur. albert einstein est un physicien théoricien, connu pour sa théorie de la relativité restreinte, publiée en 1905 et sa théorie de la gravitation dite relativité générale, publiée en 1915. …. il reçut le prix nobel de physique en 1921. en effet, le type de réponse donné par le premier système peut être perçu comme trop bref ne rappelant pas le contexte de la question et pour le deuxième type de réponse, on a tendance à renvoyer un passage qui contient la réponse mais qui inclut également des informations qui peuvent être hors du contexte de la question et jugées par l'utilisateur comme inutile. c'est dans ce contexte que nous présentons dans cet article une approche qui permet de générer une réponse concise en langage naturel pour le français et l'anglais. cette approche fait partie d'un sqr que nous avons proposé dans rojas barahona et al. (2019) et que nous présenterons brièvement dans cet article. le peu de travaux qui se sont intéressés à cette tâche dans le cadre des sqr l'ont adressée sous l'angle de la génération de résumé de texte @xcite @xcite @xcite @xcite @xcite @xcite . la majorité de ces travaux n'ont considéré que les questions de causalité de type « pourquoi » où les réponses sont des paragraphes. pour rendre ces réponses plus concises, ils procèdent à un compactage des paragraphes extraits. d'autres approches @xcite @xcite ont exploré cette tâche comme un problème de classification où il s'agit de prédire si un passage de texte pourra constituer une réponse à une question donnée. il faut noter que ces approches ont pour seul but de diversifier au maximum les formules de réponses possibles à des questions pour augmenter la probabilité d'extraire la bonne réponse et non pour générer une réponse qui soit conviviale pour l'utilisateur. il faut également souligner que ces approches ne sont valables que pour les sqr qui génèrent les réponses sous forme d'extrait de texte et ne pourront pas être appliquées aux réponses courtes. notre approche de génération de réponse diffère de ces travaux dans le sens qu'elle est non supervisée, peut s'adapter à n'importe quel type de questions factuelles (à l'exception des questions de type pourquoi et comment) et qu'elle s'appuie que sur des données facilement accessibles et non annotées. en effet, nous partons de l'hypothèse intuitive qu'une réponse concise et facilement prononçable par un assistant intelligent n'est en fait qu'une reformulation de la question posée. cette approche est intégrée à un système @xcite qui permet d'extraire la réponse à une question à partir de données structurées. dans ce qui suit, nous détaillerons dans la section 3 l'approche que nous avons proposé pour la génération de réponse en langage naturel et nous évoquerons brièvement le sqr développé. nous présenterons dans la section 4 les expérimentations que nous avons conduit pour évaluer cette approche. nous conclurons dans la section 5 avec les limites relevées et les perspectives envisagées. bien que nous arrivons à trouver la réponse exacte à une question, sa représentation n'est pas conviviale pour l'utilisateur. de ce fait, nous proposons une approche non-supervisée qui intègre l'utilisation des modèles transformers tels que bert @xcite et gpt @xcite . le choix d'une approche non supervisée émane du fait qu'il n'existe pas un corpus d'apprentissage associant une question à une réponse compacte, exhaustive et qui permettrait d'appliquer en mode supervisé une architecture neuronale end-to-end apprenant à générer une phrase répondant à une question. cette approche part du fait que nous avons déjà extrait la réponse exacte à une question posée. nous supposons qu'une réponse bien formulée n'est que la reformulation de la question même associée à la réponse exacte. cette approche est constituée de deux étapes fondamentales. la première étape consiste à effectuer une analyse de dépendance de la question en entrée et nous procédons dans une deuxième étape à la génération de la réponse. ## évaluation les corpus de tests existants pour l'évaluation des sqr, sont plus adaptés aux systèmes qui génèrent la réponse exacte à la question et donc une réponse courte ou sont plus axés vers la tâche de machine reading comprehension où la réponse consiste en un passage de texte contenant la réponse exacte. nous avons créé un jeu de données qui consiste à associer des questions extraites du corpus qald-7 challenge (usbeck et al., 2017) avec des réponses en langage naturel qui ont été définies manuellement par un linguiste et que nous avons revues individuellement. ce corpus appelé quereo consiste en 150 questions avec les réponses exactes extraites par le sqr que nous avons décrit précédemment. on note en moyenne trois réponses possibles en langage naturel pour chaque question. ce corpus existe en versions française et anglaise.