Représentation et analyse automatique des discontinuités syntaxiques dans les corpus arborés en constituants du français (Representation and parsing of syntactic discontinuities in F rench constituent treebanks) (2017)

Abstract: Nous présentons de nouvelles instanciations de trois corpus arborés en constituants du français, où certains phénomènes syntaxiques à l’origine de dépendances à longue distance sont représentés directement à l’aide de constituants discontinus. Les arbres obtenus relèvent de formalismes grammaticaux légèrement sensibles au contexte (LCFRS). Nous montrons ensuite qu’il est possible d’analyser automatiquement de telles structures de manière efficace à condition de s’appuyer sur une méthode d’inférence approximative. Pour cela, nous présentons un analyseur syntaxique par transitions, qui réalise également l’analyse morphologique et l’étiquetage fonctionnel des mots de la phrase. Enfin, nos expériences montrent que la rareté des phénomènes concernés dans les données françaises pose des difficultés pour l’apprentissage et l’évaluation des structures discontinues.

## introduction on accepte généralement que les grammaires non contextuelles (cfg) ne sont pas suffisamment expressives pour décrire adéquatement les langues naturelles @xcite , contrairement à la classe, plus générale, des grammaires légèrement sensibles au contexte. ainsi des systèmes de réécriture comme les grammaires d'arbres adjoints (tag) ou les systèmes linéraires de réécriture hors contexte (lcfrs) autorisent l'utilisation de règles qui permettent de générer des arbres dont les empans (angl. spans) sont discontinus @xcite . ce type de système permet non seulement de modéliser élégamment la syntaxe de langues à ordre des mots relativement libre comme l'allemand mais peut être également utilisé pour modéliser directement des phénomènes d'extraction ou de dislocation avec dépendance à longue distance dans des langues à ordre des mots relativement figé comme le français ou l'anglais. par exemple, de telles discontinuités se manifestent naturellement en français lorsqu'il s'agit de traiter des questions partielles ou des propositions relatives. la figure 1 (partie droite) illustre chacun de ces deux cas d'extraction où les dépendances à longue distance sont représentées par des constituants discontinus. néanmoins, les analyseurs en constituants ne sont pas généralement conçus pour prédire ce type de structure. de fait, l'analyse de structures discontinues a longtemps été réputée trop coûteuse en calculs (et restreinte à des phrases courtes). la représentation de ces phénomènes dans les corpus fait éventuellement appel à une couche d'annotation sous forme de traces indexées (voir section 2) qui est généralement supprimée par les prétraitements de la majorité des analyseurs en constituants qui par hypothèse se restreignent aux grammaires cfg. cet article propose une méthode de traitement direct de la discontinuité en analyse syntaxique pour le français. on présente (a) trois corpus en constituants discontinus pour le français et (b) on montre qu'en réutilisant un algorithme d'analyse syntaxique lexicalisé qui permet de traiter le problème efficacement et une méthode d'apprentissage profond multi-tâche qui tire parti d'une modélisation des interfaces de l'analyseur (morphologie et structure fonctionelle), on représente dans le même modèle des constituants discontinus et des dépendances non projectives typées. on commence par introduire, en section 2, trois corpus en constituants discontinus pour le français obtenus par conversion de corpus existants : le french treebank @xcite , le sequoia @xcite et le french question bank @xcite . nous présentons ensuite en section 3 un algorithme d'analyse syntaxique basé sur un système de transitions par décalage-réduction augmenté d'une action gap @xcite . l'analyseur utilise un système de pondération basé sur une méthode d'apprentissage profond multi-tâche qui réalise conjointement l'analyse morphologique, l'analyse syntaxique et l'étiquetage fonctionnel. à notre connaissance, il s'agit du premier analyseur en constituants discontinus basé sur un réseau de neurones profond toutes langues confondues 1 . finalement, nous proposons une série d'expériences en section 4 qui mettent en évidence que la modélisation des dépendances à longue distance pose non seulement un problème théorique de complexité d'analyse mais aussi un problème statistique d'estimation de données éparses. ## représentations discontinues pour le français sans qu'ils exhibent nécessairement des propriétés de grammaires légèrement sensibles au contexte, les phénomènes d'extraction à longue distance restent difficiles à représenter avec des grammaires non contextuelles. ainsi, @xcite montre que les phénomènes d'extraction se représentent dans une grammaire hors contexte en utilisant un codage connu sous le nom de trait slash. dans les corpus arborés, le penn treebank @xcite utilise par exemple des traces indexées : une catégorie vide (trace) est ajoutée dans la position canoniquement occupée par un élément extrait, et cette catégorie est coindexée avec l'élément déplacé. ## analyse syntaxique discontinue l'analyse automatique des arbres en constituants discontinus pose des problèmes computationnels. en effet, les systèmes linéaire de réécriture hors contexte (lcfrs) binaires, un type de grammaire formel suffisamment expressif pour générer des arbres discontinus, ont une complexité d'analyse exacte en o(n 3f ) où f est le fan-out de la grammaire et n le nombre de mots de la phrase @xcite . pour cette raison, les analyseurs tabulaires exacts se sont souvent restreints aux phrases courtes ou ont eu recours à des heuristiques pour accélérer l'inférence @xcite . outre les analyseurs tabulaires, des méthodes fondées sur l'analyse par transitions ont été proposées, soit dans le cadre easy-first (versley, 2014), soit avec des extensions de l'algorithme shift-reduce @xcite . ces méthodes permettent généralement une inférence approximative efficace 3 et peuvent utiliser facilement des classifieurs discriminants avec des traits riches. elles sont par ailleurs intrinsèquement robustes, c'est-à-dire qu'elles renvoient une analyse pour toute séquence de symboles donnée en entrée et ne permettent pas de rejeter une phrase considérée comme aggrammaticale. l'analyseur présenté ici adapte le système de transitions sr-gap que @xcite ont introduit pour l'analyse de l'allemand, en utilisant un système de pondération des analyses qui s'appuie sur un perceptron, au cas de l'apprentissage profond multi-tâches @xcite . après avoir présenté le système de transitions sr-gap qui traite le cas discontinu en section 3.1, nous introduisons une méthode de pondération des analyses qui s'appuie sur un réseau de neurones profond pour prédire les actions à chaque étape de l'analyse (section 3.2). l'architecture du réseau comporte une étape de codage des mots par un réseau de neurones récurrent bi-directionnel inspiré @xcite . ce modèle neuronal permet de réduire considérablement le nombre de patrons de traits à définir par rapport au perceptron @xcite . le modèle neuronal instancie également une architecture inspirée du paradigme multi-tâche qui permet de réaliser de manière simultanée l'analyse syntaxique, l'analyse morphologique (comprenant la prédiction des parties-dudiscours ainsi que des attributs morphologiques de chaque mot, comme le genre, le nombre. . . ) et un étiquetage fonctionnel des mots. ## expériences nos expériences présentent quelques premiers résultats d'analyse en constituants discontinus pour le français avec la méthode décrite jusqu'ici. elles contrastent des résultats obtenus essentiellement sur les corpus french treebank, sequoia et french question bank. elles permettent de comparer le comportement de la méthode proposée sur des données qui présentent des proportions variables de discontinuités, le french treebank comportant en proportion deux fois moins de discontinuités que le french question bank.