Attention sur les spans pour l’analyse syntaxique en constituants (2023)

Abstract: Nous présentons une extension aux analyseurs syntaxiques en constituants neuronaux modernes qui consiste à doter les constituants potentiels d’une représentation vectorielle affinée en fonction du contexte par plusieurs applications successives d’un module de type transformer efficace (pooling par attention puis transformation non-linéaire).Nous appliquons cette extension à l’analyseur CRF de Yu Zhang & Al.Expérimentalement, nous testons cette extension sur deux corpus (PTB et FTB) avec ou sans vecteurs de mots dynamiques: cette extension permet d’avoir un gain constant dans toutes les configurations.

## introduction l'analyse syntaxique en constituants crée un arbre hiérarchique à partir d'une phrase d'entrée. les feuilles de cet arbre sont les mots de la phrase et les noeuds internes sont les constituants. en tant que tâche fondamentale du tal, l'analyse en constituants sert de base à de nombreuses applications en aval, notamment l'analyse sémantique ou l'extraction d'information, et il est donc crucial de produire correctement les structures syntaxiques nécessaires aux traitements ultérieurs. de nombreux modèles actuels @xcite @xcite fonctionnent en deux temps. tout d'abord ils attribuent des scores aux différentes sous-chaînes (nous utiliserons le terme anglais spans dans la suite pour désigner les sous-chaînes) selon leur plausibilité d'être un constituant bien typé (groupe nominal, verbal, prépositionnel. . .). ensuite un algorithme combinatoire, souvent cky @xcite , permet de construire l'arbre d'analyse de meilleure score. ce score a en général une interprétation probabiliste, et l'analyse syntaxique revient donc dans ce cas à retourner l'arbre le plus probable (map, maximum a posteriori), ou qui combine les constituants les plus probables @xcite . la première étape, celle qui attribue les scores, est réalisée par une architecture neuronale construite à partir d'un module qui extrait des vecteurs caractéristiques des mots de la phrase (extracteur) puis un second module qui assemble les vecteurs de mots pour représenter les spans et qui leur attribue un score (scoreur). un mécanisme de récurrence ou d'attention permet aux vecteurs de mots de prendre en compte le contexte, c'est-à-dire de s'affiner en fonction des autres mots dans la phrase. dans cet article nous étendons cette prise en compte du contexte aux spans. pour cela, il faut d'abord représenter les spans, dans le cas des réseaux de neurones leur attribuer un vecteur réel caractéristique. puis nous ajoutons des transformers dotés d'un mécanisme d'attention linéaire pour faire évoluer ces représentations en fonctions des autres spans de la forêt d'analyse (sans toutefois calculer cette forêt explicitement). enfin à partir des représentations finales nous calculons les scores des spans. expérimentalement, cette addition de transformers sur les représentations des spans dans un analyseur récent au plus haut de l'état de l'art actuel permet d'améliorer les performances sur plusieurs corpus de référence. dans la section 2 nous présentons le modèle d'analyseur crf que nous utilisons ainsi que l'extension que nous proposons pour représenter les spans. en section 3 nous présentons l'évaluation sur deux corpus dans différents scénarios. puis en section 4 nous présentons quelques travaux connexes avant de conclure. ## conclusion nous proposons un modèle d'analyse syntaxique en constituants faisant usage de représentations vectorielles des spans raffinées à l'aide d'un transformer. notre méthode mène à de meilleures performances sur toutes les configurations testées, ces améliorations sont conséquentes sur le ftb avec fasttext. de plus, nous arrivons à ces performances avec un coût additionnel en temps raisonnable grâce à notre utilisation de transformers linéaires. dans de futurs travaux nous essayerons de cibler l'attention pour mieux prendre en compte les incompatibilités entre certains spans et nous appliquerons notre approche dans différentes tâches du tal.