Génération de question à partir d’analyse sémantique pour l’adaptation non supervisée de modèles de compréhension de documents (Question generation from semantic analysis for unsupervised adaptation of document understanding models) (2022)

Abstract: La génération automatique de questions à partir de textes peut permettre d’obtenir des corpus d’apprentissage pour des modèles de compréhension de documents de type question/réponse sur des textes. Si cette tâche de génération est désormais appréhendée par des modèles de type séquence-àséquence basés sur de grands modèles de langage pré-entraînés, le choix des segments réponses à partir desquels seront générées les questions est l’un des principaux aspects différenciant les méthodes de génération de corpus de question/réponse. Nous proposons dans cette étude d’exploiter l’analyse sémantique de textes pour sélectionner des réponses plausibles et enrichir le processus de génération par des traits sémantiques génériques. Les questions générées sont évaluées dans leur capacité à être utilisées pour entraîner un modèle de question-réponse sur un nouveau corpus d’archives numérisées.

## introduction la compréhension automatique de documents et la génération de questions à partir de textes sont deux tâches miroirs du traitement automatique de la langue (tal). traditionnellement traitées par des pipelines complexes basés sur des modèles très différents, recherche d'information pour les modèles de question/réponse et analyse syntaxique pour la génération de questions, elles ont récemment été unifiées depuis l'avènement des méthodes end-to-end basées sur des modèles de langage pré-entraînés. ainsi, comme présenté dans @xcite , la génération de questions peut être modélisée comme une tâche de génération de texte où un modèle de type séquence-à-séquence est entraîné à traduire une séquence de mots représentant une phrase ou un passage en une autre séquence de mots représentant une question, sans passer par une analyse linguistique explicite comme c'était le cas auparavant. de son côté la compréhension automatique de documents peut être vue comme une tâche d'étiquetage consistant à apprendre, à partir d'un couple (texte,question), quels mots devaient être étiquetés avec les labels début de réponse et fin de réponse dans le texte. le développement de modèles de langage pré-entraînés utilisés conjointement avec de grands corpus de triplets question/réponse/contexte tels que squad @xcite peuvent être utilisés pour entraîner directement à la fois des modèles de traduction réponse-vers-question et des modèles d'étiquetage question-vers-réponse. si les performances de ces modèles sont impressionnantes sur ces corpus de références, contenant généralement du texte issu de wikipedia et des questions simples obtenues par crowdsourcing, la généralisation de ces modèles à des corpus contenant des textes plus complexes et à des questions moins littérales reste un défi. c'est dans ce cadre que nous proposons dans cette étude une méthode d'adaptation non supervisée de modèles de compréhension de texte basée sur la génération automatique de questions. les contributions de cette étude se situent à deux niveaux : d'une part la comparaison de différentes méthodes d'encodage d'informations sémantiques pour la génération de questions évaluées par rapport à leur capacité à entraîner un modèle de question/réponse sur un nouveau corpus de textes ; d'autre part l'étude de la capacité de généralisation de modèles de compréhension et de génération de question sur un nouveau corpus contenant des textes et des questions plus complexes que celles pouvant se trouver dans les corpus de références tels que squad @xcite sur l'anglais ou fquad (d'hoffschmidt et al., 2020) pour le français. ## génération de questions plusieurs approches ont été proposées pour utiliser des triplets synthétiques question/réponse/contexte afin d'entraîner des modèles de lecture automatique dans une perspective d'augmentation des données ou dans des configurations d'adaptation non supervisée de type zero-shot. si à chaque fois ce sont des modèles de génération de type traduction réponse-vers-question qui sont utilisés, les approches diffèrent par la méthode de sélection des réponses potentielles dans un texte à partir desquels les questions seront générées. ainsi (puri et al., 2020) sélectionnent les réponses candidates avec un modèle de détection à base de transformers et génère les questions correspondantes avec le modèle de génération gpt-2. dans une approche plus systématique, @xcite prédisent des paires (question, réponse) à partir d'un passage en considérant systématiquement tout token comme une réponse potentielle. un processus de filtrage basé sur la vraisemblance des prédictions est utilisé pour sélectionner les questions les plus pertinentes. nous proposons de baser notre processus de sélection des candidats réponses sur un processus d'analyse sémantique repérant dans un texte des relations sémantiques et de considérer chaque argument comme étant une réponse potentielle à une question portant sur la relation sémantique exprimée par le texte. le but de cette analyse sémantique est double : d'une part sélectionner des phrases susceptibles d'être pertinentes afin de servir de base à la génération de couples question/réponse car porteuses de l'expression d'une relation sémantique particulière ; et d'autre part de guider la génération de questions en modélisant explicitement le lien sémantique entre les réponses et les arguments des questions. deux types de représentation sémantique ont été testés dans cette étude : une représentation berkeley framenet @xcite , suivant les travaux précédents sur la génération de questions sur le corpus calor-quest @xcite , et le semantic role labelling (srl) tel qu'il a été proposé pour contrôler la génération de questions avec bart dans @xcite . afin d'entraîner le modèle de génération de question, nous utilisons le corpus fquad (d'hoffschmidt et al., 2020)) de questions/réponses en français collectées selon la même méthode que squad. nous appliquons la méthode suivante : 1. annotation automatique avec framenet et les étiquettes srl des contextes et des questions du corpus fquad. seules les analyses déclenchées par un verbe sont gardées, l'hypothèse étant fait qu'elles portent une importance sémantique plus forte dans la phrase. 2. pour chaque triplet question/réponse/contexte : (a) trouver un rôle sémantique associé à la réponse d'une question donnée grâce à l'annotation effectuée. pour cela, nous alignons les réponses et les rôles sémantiques, puis nous choisissons celui avec le recouvrement maximal. (b) générer un exemple d'entraînement avec une séquence d'entrée concaténant le contexte, la réponse et éventuellement l'annotation sémantique. la question est ici la séquence de sortie. 3. affinage d'un modèle de génération pré-entraîné bart sur le corpus ainsi obtenu. au moment de l'inférence, la génération de questions sur une phrase donnée consiste d'abord à effectuer une analyse sémantique de la phrase, puis à générer une séquence d'entrée pour chaque rôle sémantique détecté. le modèle séquence-à-séquence affiné génère ensuite une question pour chacune d'entre elles. dans cette étude, nous comparons 4 configurations différentes pour le format d'entrée du modèle séquence-à-séquence de génération de questions : 1. basic-frame-ctx : dans cette représentation, seule la réponse extraite grâce au processus d'alignement avec les frame elements (framenet) comme décris en 2.(a) et le contexte sont donnés ; 2. basic-srl-ctx : dans cette représentation, seule la réponse extraite grâce au processus d'alignement avec les roles sémantique (propbank) comme décris en 2.(a) et le contexte sont donnés ; 3. full-frame-ctx : dans cette représentation, le rôle de la réponse est rajouté et le contexte est également enrichi avec le déclencheur (ou lu ou lexical unit) de l'analyse framenet. les autres frame elements de l'analyse sont également explicitement ajoutés ; 4. full-srl-ctx : dans cette représentation, le rôle de la réponse est rajouté et le contexte est également enrichis avec les autres arguments de l'analyse propbank. le déclencheur n'est ici pas rajouté, correspondant simplement au lemme du verbe à l'origine de l'analyse sémantique. l'exemple suivant, provenant de calor-quest, illustre ces 4 représentations à partir d'un contexte. dans ce cas, les analyses frame elements et propbank ont fourni le même ensemble de mots pour l'extraction de la réponse et les deux premières configurations sont ainsi identiques. context : des outils du paléolithique avec des dents et des os de mammouth ont été trouvés à [flins-sur-seine] answer question : où a-t-on trouvé des outils du paléolithique ? basic-frame-ctx : [ans] flins-sur-seine [ctx] des outils du paléolithique avec des dents et des os de mammouth ont été trouvés à flins-sur-seine basic-srl-ctx : [ans] flins-sur-seine [ctx] des outils du paléolithique avec des dents et des os de mammouth ont été trouvés à flins-sur-seine full-frame-ctx : [ans:location] flins-sur-seine [lu:locating] trouvés [sought-entity] des outils du paléolithique [ctx] des outils du paléolithique avec des dents et des os de mammouth ont été trouvés à flins-sur-seine ## conclusion nous avons présenté dans cette étude une méthode d'adaptation automatique de modèles de compréhension de document basée sur la génération de question à partir d'analyse sémantique. les résultats obtenus sur un corpus difficile permettent d'une part de montrer l'intérêt d'une telle approche pour améliorer les résultats obtenus avec un modèle généraliste appris sur wikipedia (fquad) et d'autre part de mesurer l'effort qu'il reste à faire pour utiliser ces modèles sur des questions plus réalistes d'un point de vue applicatif que les questions littérales simples des corpus de références tels que squad.