Analyse automatique en cadres sémantiques pour l’apprentissage de modèles de compréhension de texte (Semantic Frame Parsing for training Machine Reading Comprehension models) (2020)

Abstract: Dans le cadre de la compréhension automatique de documents, cet article propose une évaluation intrinsèque et extrinsèque d’un modèle d’analyse automatique en cadres sémantiques (Frames). Le modèle proposé est un modèle état de l’art à base de GRU bi-directionnel, enrichi par l’utilisation d’embeddings contextuels. Nous montrons qu’un modèle de compréhension de documents appris sur un corpus de triplets générés à partir d’un corpus analysé automatiquement avec l’analyseur en cadre sémantique présente des performances inférieures de seulement 2.5% en relatif par rapport à un modèle appris sur un corpus de triplets générés à partir d’un corpus analysé manuellement.

## introduction les systèmes de question/réponse à partir de documents ont pour but de sélectionner un ou plusieurs passages d'un texte constituant la ou les réponses possibles à une question de compréhension sur le document. cette tâche de compréhension de texte a été traitée avec deux types de modèles : d'une part des modèles basées sur des méthodes de recherche d'information utilisant un appariement entre requête et document reposant sur des représentations explicites du sens des requêtes et des connaissances contenues dans les textes avec éventuellement l'accès à des bases externes de connaissances @xcite ; d'autres part des méthodes d'appariement direct entre questions et passages de documents utilisant des apprentissages de type end-to-end rendu possibles grâce à la disponibilité de très grands corpus contenant à la fois documents, questions et réponses tells que squad @xcite . récemment il a été proposé dans @xcite de combiner représentation explicite du sens et systèmes de question/réponse appris par appariement direct en utilisant un corpus annoté en cadres sémantiques pour générer le corpus d'apprentissage nécessaire à l'adaptation d'un système générique tel que bert à un nouveau cas d'utilisation. cette approche, évaluée dans @xcite , a cependant une limitation importante : elle nécessite la disponibilité de corpus annotés manuellement en cadres sémantiques afin de générer le corpus d'adaptation. l'étude présentée dans cet article vise à relâcher cette contrainte en développant un analyseur sémantique de type framenet spécifiquement pour cette tâche de génération de corpus de type question/réponse sur documents. nous étudions les performances de cet analyseur dans ce contexte particulier et proposons une analyse détaillée des résultats en fonction du type de questions posées. nos contributions visent d'abord l'amélioration des modèles d'analyse en frames pour le français, puis l'étude sur la viabilité de la génération des corpus de question/réponse à partir des annotations automatiques en cadres sémantiques. ## génération de corpus de questions la tâche de compréhension automatique de texte rencontre un succès grandissant, préfigurant de nouvelles façons d'accéder à l'information contenue dans des documents. les corpus disponibles sont composés de triplets (document, question, passage de document constituant la réponse), ils sont très majoritairement en anglais (squad @xcite , ms marco (nguyen et al., 2016)) et leur construction est coûteuse. dans (béchet et al., 2019c), les auteurs proposent une approche alternative pour la constitution de corpus d'apprentissage, utilisant un corpus annoté en cadres sémantiques pour générer automatiquement ces triplets à l'aide de patrons. dans ce protocole, lorsqu'une phrase est annotée en cadre sémantique pour la frame f , pour chaque frame element e, on peut générer une question dont la réponse est e, à partir de patrons appliqués sur f et les autres frames elements présents dans la phrase. un exemple de phrase annotée en cadre sémantique et les questions générées à partir des annotations est donné ci-dessous : m. wildon a laissé plus clairement entendre que si l'allemagne exécutait sa menace contre le commerce neutre, [l'amérique] speaker [lui] addressee [déclarerait] statement [la guerre] message et [il] speaker a [demandé] request [aux neutres] addressee [de se joindre à lui dans son action] message . ## analyseur sémantique pour la génération de questions dans cette étude nous avons développé un analyseur en cadre sémantique se basant sur un étiqueteur de séquence tel que proposé dans @xcite . c'est un modèle bigru avec 2 couches de gru bidirectionnelles dans lequel les cadres sémantiques sont codés à l'aide de structures plates reprenant le codage begin, inside, outside (bio). les couches de bigru ont 150 neurones dans chaque direction, et un dropout de 30% entre chaque couche. nous utilisons adam comme optimiseur, avec un taux d'apprentissage de @xmath0.00005 et des mini-batchs de taille 32. les séquences d'apprentissage ont une longueur maximale de 120 tokens/word-pieces. cette taille est suffisante pour tenir compte de plus de 99% des exemples annotées dans calor. notre système utilise en entrée soit des plongements de mots de type word2vec soit des plongements contextuels issus de @xcite . ces plongements contextuels apparus récemment ont apporté des gains considérables sur des tâches similaires à l'analyse en cadres sémantiques, comme l'analyse en rôles sémantiques de type propbank @xcite . cependant, l'impact de ces représentations des mots dans la tâche d'analyse framenet a été étudiée uniquement au niveau de la sélection du cadre sémantique @xcite , et l'étude se limite au corpus framenet en anglais. notre étude étend l'utilisation de bert à toute la chaîne d'analyse sémantique et l'applique à des corpus en français. dans tous nos modèles, nous incorporons également des traits linguistiques comme les dépendances syntaxiques, pos, morphologie, capitalisation, préfixes et suffixes des mots de la phrase. les analyses syntaxiques et morphologiques ont été faits avec un modèle udpipe @xcite appris sur la ftb d'universal dependencies 2.0. lors de l'apprentissage, nous ajustons les plongements des mots bert ou word2vec. l'originalité de notre approche est d'appliquer au moment du décodage n fois notre analyseur sur chaque phrase sur les n occurrences de déclencheurs potentiels de frame au sein de la phrase. les paires { phrase, déclencheur } sont traitées séparément par le réseau, qui prend en entrée une feature indicateur du mot déclencheur. c'est ainsi que chaque paire génère une probabilité de distribution sur les frames et frame elements pour chaque mot de la phase. a partir de l'ensemble des hypothèses produites une dernière phase de décodage implémentant une stratégie de décodage a * similaire à celle proposée par @xcite est appliquée. cette dernière étape permet de garantir la cohérence à la fois des étiquettes bio, mais aussi des relations sémantiques entre frame et frame elements. l'avantage de cette approche est de permettre facilement l'optimisation de notre modèle par rapport à un point de fonctionnement particulier en terme de précision et rappel pour la détection des frame et frame elements, il suffit pour cela de filtrer parmi toutes les hypothèses produites par l'analyseur de séquence. nous présentons dans le paragraphe suivant une évaluation intrinsèque de cet analyseur se focalisant sur le type de questions qui peuvent être générées par les analyses produites et proposant plusieurs points de fonctionnement qui seront évalués dans l'évaluation extrinsèque sur la tâche de compréhension de documents.