Analyse automatique F rame N et : une étude sur un corpus français de textes encyclopédiques ( F rame N et automatic analysis : a study on a F rench corpus of encyclopedic texts) (2017)

Abstract: Cet article présente un système d’analyse automatique en cadres sémantiques évalué sur un corpus de textes encyclopédiques d’histoire annotés selon le formalisme FrameNet. L’approche choisie repose sur un modèle intégré d’étiquetage de séquence qui optimise conjointement l’identification des cadres, la segmentation et l’identification des rôles sémantiques associés. Nous cherchons dans cette étude à analyser la complexité de la tâche selon plusieurs dimensions. Une analyse détaillée des performances du système est ainsi proposée, à la fois selon l’angle des paramètres du modèle et de la nature des données.

## introduction l'extraction d'informations structurées dans des textes est un préalable qui favorise l'accès aux connaissances qu'ils contiennent par des outils de traitement automatique du langage. dans cette étude, nous nous intéressons au cas particulier de textes encyclopédiques historiques et nous nous plaçons dans le contexte de la représentation sémantique framenet. dans l'approche framenet initiée par l'institut icsi de berkeley @xcite , un cadre sémantique (frame) peut être évoqué par des unités lexicales (les triggers ou cibles). par exemple, le cadre "commitment" peut être évoqué par "promettre", "promesse", "s'engager" et le cadre "becoming_aware" peut être déclenché par "découvrir" et "découverte". les unités lexicales (ul) qui déclenchent un cadre peuvent être nominales ou verbales. par ailleurs, un cadre englobe la définition des participants et des propriétés qui peuvent lui être attachés : ce sont les frame elements (fe). ils sont spécifiques à chaque cadre et sont nommés par des labels explicites. par exemple, dans la phrase suivante, l'agent de l'action de découvrir, est représenté par le fe "cognizer" qui a deux instances : les cadres peuvent être liés entre eux par des relations @xcite (ex : inheritence, using, . . . ) auquel cas les fe peuvent être mis en correspondance. dans cette étude, nous réalisons une analyse "à plat" sans mettre les cadres en relation. si les ressources linguistiques décrivant ces cadres sont de plus en plus nombreuses pour la langue anglaise, leur constitution pour le français n'en est qu'au début avec les contributions du projet asfalda qui s'est attaché à produire des ressources sur la base de framenet pour le français @xcite . pour notre part, nous avons constitué le corpus calor @xcite annoté en cadres sémantiques sur des textes encyclopédiques issus de différentes sources, dans le domaine de l'histoire, décrit plus en détail à la section 3.1. l'analyse en cadres sémantiques a pour objectif de repérer dans des documents des instances de cadres avec l'ensemble des rôles permettant de les caractériser, et se fait classiquement en deux étapes. la première est une étape de désambiguïsation afin d'identifier un cadre étant donnée la présence d'un déclencheur potentiel (ul) la seconde consiste à identifier les rôles sémantiques (fe) et est le plus souvent traitée de façon séquentielle comme l'enchaînement d'une étape de détection de segment et de classification de ce segment @xcite . le système semafor @xcite constitue à l'heure actuelle une référence dans le domaine. dans semafor, l'étape d'identification de cadre, étant donné un déclencheur, est réalisée à l'aide d'un classifieur probabiliste par maximum d'entropie. ensuite, l'étape de labélisation des rôles sémantiques est réalisée à l'aide d'un modèle log-linéaire conditionnel qui catégorise des segments (labélisation des fe). dans cette étape, les segments candidats sont obtenus à partir de l'analyse en dépendance et correspondent aux sous-arbres produits. de cette façon, le modèle arrive à gérer à la fois la classification et la segmentation. dans cette étude, nous adoptons une approche plus intégrée où les étapes de désambiguïsation, de détection des fe et de labélisation des fe se font de façon simultanée à l'aide de modèles d'étiquetage de séquences de type conditional random fields (crf). notre modélisation du problème n'impose pas la contrainte que les fe soient toujours la projection d'une tête dans l'arbre de dépendances, ce qui rend le système robuste aux erreurs d'analyse en dépendance. nous avons décidé de travailler avec les crf car ce sont des modèles simples qui ne nécessitent pas de grandes puissances de calcul, ni de gros volumes de données en comparaison avec les méthodes neuronales, mais qui sont suffisamment performants pour nous permettre la mise en place de nos expériences contrastives. la section 2 présente en détail cette approche avec un focus sur le choix des paramètres des modèles. la section 3 présente un ensemble d'expériences visant à montrer l'influence du choix des paramètres, l'impact de la complexité intrinsèque des textes, et l'influence des données d'apprentissage. ## analyse en cadres comme une tâche d'étiquetage de séquence les crf ont été utilisés dans de nombreuses tâches du taln ainsi que les modèles neuronaux de type rnn ou lstm @xcite . nous avons choisi dans cet article d'utiliser des modèles crf en se focalisant sur des comparaisons entre différents systèmes de traits et différents corpus pour entraîner et tester nos systèmes. nous nous intéressons également à évaluer les effets du choix du corpus d'apprentissage en considérant des textes de différents styles (encyclopédique, encyclopédique adressé aux enfants, etc.) et qui traitent de sujets différents (archéologie, histoire, etc.). vu que l'apprentissage se fait sur des corpus de taille moyenne et que notre objectif est de faire une étude comparative de la tâche, et non pas d'arriver aux meilleures performances possibles du système final, nous avons décidé de travailler avec les modèles crf, car ils sont plus simples, plus rapides en apprentissage et présentent moins de paramètres à régler. apprendre un seul crf avec tous les exemples de phrases annotées résulterait en un très grand nombre d'étiquettes, ce qui peut être rédhibitoire lorsqu'on augmente le nombre de cadres. une autre possibilité est de modéliser chaque cadre (sens) avec un crf, mais cela nous obligerait à mettre en place un modèle de désambiguïsation en amont, de manière à savoir quel est le crf qui doit être appliqué à chaque unité lexicale. pour éviter ces problèmes nous avons décidé de modéliser chaque ul avec un crf, cela permet de faire en même temps la désambiguïsation de cadres, la détection et la sélection des rôles sémantiques. ce choix n'est pas nécessairement optimal dans le sens où il disperse les données d'apprentissage et ne permet pas le partage d'information entre des ul qui se ressemblent. néanmoins il permet de passer à l'échelle lorsqu'on augmente le nombre de cadres. ainsi, pour analyser en cadres une nouvelle phrase, nous allons d'abord extraire les ul de la phrase qui apparaissent dans notre liste de 145 ul possibles. pour chaque phrase il y aura autant d'applications de crf qu'il y a d'ul, puis une étape de post-traitement permet de vérifier la cohérence des résultats d'étiquetages. ici nous vérifions que les étiquettes mises sur les rôles sémantiques sont compatibles et rattachables aux types de cadres sémantiques prédits par les crf. il est possible en effet que le crf prédise un rôle sémantique qui ne fasse pas partie des rôles possibles du cadre mais qui ferait partie des rôles d'un autre cadre qui pourrait être déclenché par la même ul. dans notre modèle tous les rôles qui ne sont pas rattachables à leur cible sont systématiquement rejetés. pour extraire des caractéristiques pertinentes à la tâche nous avons évalué plusieurs types de paramètres et de codages inspirés de la littérature @xcite . une sélection incrémentale a été faite pour ne retenir que les 5 paramètres les plus pertinents pour chaque token :