Extraction de fragments syntaxiques en français à partir d’une mesure d’autonomie basée sur l’entropie (Mining F rench syntactic fragments using an entropy-based autonomy measure) (2021)

Abstract: Dans cet article nous nous intéressons à la prédiction du caractère syntaxique ou non d’une séquence de tokens dans des corpus du français. En particulier, nous comparons une méthode d’extraction de fragments syntaxiques identifiés au moyen d’une mesure d’autonomie basée sur l’entropie à une méthode de référence qui extrait des fragments aléatoires. Les résultats semblent indiquer que les fragments ainsi extraits sont bien plus souvent des unités syntaxiques que les fragments aléatoires. Une telle méthode pourrait être utilisée dans des travaux ultérieurs afin de proposer une induction non-supervisée de structures de dépendances syntaxiques.

## objectifs cet article est une contribution à l'induction non-supervisée de structures syntaxiques. nous nous plaçons dans le cadre de la syntaxe de dépendance, une théorie syntaxique introduite par @xcite , et cherchons à décider si des segments contigus à l'intérieur d'un énoncé forment des fragments connexes de l'arbre de dépendance. @xcite ont montré que la structure de connexion d'un énoncé pouvait être entièrement définie à partir de l'ensemble des fragments de cet énoncé, fragments qui sont définis notamment par leur capacité à être autonomisés. nous proposons donc d'utiliser une mesure d'autonomie basée sur l'entropie afin d'induire des fragments syntaxiques. cette mesure d'autonomie a été utilisée avec succès par le passé pour identifier des unités plus petites telles que des mots, mais nous cherchons à savoir s'il est possible d'extraire des unités plus grandes pour une tâche d'induction de structure syntaxique. notre hypothèse est que l'évolution de l'entropie à travers la phrase peut nous permettre de faire des prédictions éclairées sur les frontières entre unités syntaxiques, et pourrait se révéler utile pour décider quelles séquences sont des unités syntaxiques et quelles séquences ne le sont pas. ce travail s'inscrit dans la lignée d'autres travaux qui se sont penchés sur des tâches comme l'analyse syntaxique non-supervisée, l'induction de structures syntaxiques ou encore la recherche d'informations syntaxiques dans des représentations vectorielles denses (ou plongements) au moyen de « structural probes » @xcite . computationnellement, la méthode que nous proposons est plus légère que ces derniers, qui nécessitent d'entraîner des modèles plus lourds comme bert @xcite et elmo @xcite , ce qui requiert de très grand corpus d'entraînement et la mobilisation de lourdes infrastructures de calcul coûteuses en ressources @xcite . de plus, nous espérons que l'autonomie basée sur l'entropie soit plus facilement interprétable, puisqu'elle est associée à un solide ancrage théorique en linguistique notamment avec l'hypothèse de harris @xcite qui propose qu'un plus grand paradigme de successeurs ou prédecesseurs à une position entre deux tokens (dans son cas des caractères), indique la présence d'une frontière linguistique (pour lui des frontières entre morphèmes). cette théorie nous semble assez naturellement adaptable aux frontières entre unités syntaxiques, même si nous pouvons nous demander si l'entropie constituera une information suffisante dans ce cas, puisque la variabilité des tokens est bien plus grande que la variabilité des caractères. d'autres travaux encore cherchent à établir des liens entre des prédicteurs et la présence de relations de dépendance, c'est le cas par exemple @xcite qui remarquent un lien entre l'information mutuelle pour une paire de mots, et la présence d'une relation de dépendance entre eux. l'information mutuelle étant liée à l'entropie, il nous paraît d'autant plus intéressant d'utiliser une mesure d'autonomie qui soit basée sur cette dernière. nous commencerons par présenter en section 2 la mesure d'autonomie utilisée pour prédire la nature syntaxique ou non d'une unité. en section 3 nous présenterons le corpus qui nous servira à entraîner le modèle d'estimation de l'autonomie, ainsi que les corpus arborés sur lesquels seront évaluées nos prédictions. en 4 nous décrirons brièvement le processus d'extraction des fragments aléatoires qui nous servira de méthode de référence. enfin, en 5 nous présenterons nos premiers résultats. ## fragments aléatoires nous proposons d'induire aléatoirement des fragments afin de comparer notre méthode à une référence. si notre hypothèse est vérifiée, nous devrions observer une meilleure compatibilité des fragments induits en utilisant la mesure d'autonomie par rapport aux fragments induits aléatoirement. tout d'abord, il nous semble important de préciser la différence entre deux procédés aléatoires permettant d'échantillonner des séquences de tokens : une segmentation aléatoire consiste à proposer un découpage unique de la phrase, le plus souvent en la parcourant et en attribuant une probabilité d'introduire une frontière à chaque position inter-mot. par opposition, une fragmentation aléatoire vise à induire plusieurs segmentations, ce qui permettra notamment d'avoir des fragments qui se chevauchent. c'est cette deuxième option que nous privilégions puisque sa sortie ressemblera davantage aux fragments induits. parmi les nombreuses façons possibles et imaginables de proposer une fragmentation aléatoire, nous proposons la suivante : chaque token dans la phrase est considéré comme noyau d'un fragment aléatoire. pour ce fragment nous tirons au sort une longueur entre 2 et 4 (puisque ce sont les longueurs que nos fragments candidats peuvent adopter). une fois la longueur du fragment définie, nous tirons au sort la position du token à l'intérieur du fragment (premier, second, troisième, quatrième). si la position est incompatible avec la position du token dans la phrase, nous réiterons jusqu'à obtenir une position compatible. par exemple pour la phrase « nous tirons une position au sort », nous pourrions avoir ce type de proposition pour « tirons » : figure 5 -influence du schéma d'annotation sur la précision des fragments extraits (taille : 1 million de tokens, @xmath0 ## conclusion et perspectives avec cet article, nous avons voulu montrer qu'il est possible de faire de prédictions sur la nature syntaxique ou non d'une séquence de tokens en français, en nous basant sur l'entropie.