Comparaison qualitative et extrinsèque d’analyseurs syntaxiques du français : confrontation de modèles distributionnels sur un corpus spécialisé (Extrinsic evaluation of F rench dependency parsers on a specialised corpus : comparison of distributional thesauri ) (2019)

Abstract: Nous présentons une étude visant à comparer 11 différents analyseurs en dépendances du français sur un corpus spécialisé (constitué des archives des articles de la conférence TALN). En l’absence de gold standard, nous utilisons chacune des sorties de ces analyseurs pour construire des thésaurus distributionnels en utilisant une méthode à base de fréquence. Nous comparons ces 11 thésaurus afin de proposer un premier aperçu de l’impact du choix d’un analyseur par rapport à un autre.

## introduction cet article se place dans le cadre d'une étude des méthodes de sémantique distributionnelle en domaine spécialisé et en français. notre objectif à moyen terme est la sélection de la méthode la plus efficace pour identifier des similarités sémantiques distributionnelles entre les unités lexicales ou terminologiques d'un petit corpus de langue spécialisée (quelques millions de mots au plus). on sait que de très nombreux paramètres interviennent et doivent faire l'objet de choix éclairés, sans que l'on puisse malheureusement se fonder sur des conclusions obtenues sur de grands corpus génériques. nous faisons tout d'abord l'hypothèse qu'une méthode à base de contextes syntaxiques permet de compenser la faible quantité de données, ce qui a en partie été montré par @xcite . la question que nous étudions plus précisément ici est l'impact du choix d'un analyseur syntaxique en amont d'une méthode fréquentielle de construction d'un modèle distributionnel. ce faisant, nous rejoignons les questions de la comparaison de l'efficacité des différents outils et modèles disponibles pour l'analyse syntaxique en dépendances. il y a eu de nombreux efforts dans la communauté du traitement automatique des langues (tal) du français pour comparer les différents analyseurs syntaxiques : campagnes easy @xcite , passage @xcite , spmrl @xcite , conll @xcite ou des comparaisons plus ponctuelles comme celles de @xcite ou @xcite . mais les bancs de test utilisés ne sont pas forcément pertinents pour l'analyse de corpus spécialisés, préférant les corpus génériques et variés sur lesquels les outils sont entraînés. de plus, malgré les campagnes récentes, les principaux outils disponibles ne sont pas nécessairement tous comparés sur les mêmes jeux d'évaluation. en l'absence d'étalon adapté à nos besoins, nous avons donc procédé à une comparaison qualitative en confrontant les principaux analyseurs actuels du français sur une tâche externe, à la manière des récentes campagnes epe pour l'anglais @xcite . ne disposant pour cette tâche que d'un jeu de test de couverture et de validité limitées, l'essentiel de notre évaluation reste purement comparative. nous examinerons donc avant tout l'ampleur et la portée des modifications apportées par le changement d'analyseur syntaxique sur les thésaurus distributionnels obtenus en fin de chaîne. notre dispositif est donc le suivant : sur un même corpus spécialisé en français, nous avons appliqué 11 analyseurs syntaxiques en dépendances (ou versions) et extrait pour chacun d'eux les principaux contextes syntaxiques que nous avons utilisés pour construire autant de modèles distributionnels en utilisant une méthode classique à base de fréquence. nous comparons au final les thésaurus distributionnels obtenus afin d'identifier à la fois l'impact réel de l'analyseur sur la chaîne mais nous proposons aussi un début de cartographie des analyseurs en fonction de la similarité des modèles qu'ils ont permis de générer. dans la section 2, nous présentons le corpus choisi et les différents analyseurs (ou configurations d'analyseurs) qui y ont été appliqués. puis nous présentons en section 3 les différentes étapes de normalisation et de sélection des sorties de ces analyseurs que nous avons dû appliquer pour obtenir un socle commun de comparaison ainsi qu'une première comparaison fondée sur ce socle. la section 4 présente le processus de construction des modèles distributionnels et leur comparaison suivant différentes approches. ## exploitation des sorties la comparaison des 11 outils ou versions sélectionnés nécessite d'identifier ou de construire un terrain commun entre les différentes analyses produites. plusieurs problèmes se posent en termes d'hétérogénéité des sorties : l'identification des unités, l'alignement des jeux d'étiquettes morphosyntaxiques, la lemmatisation et bien entendu les relations de dépendance syntaxique. nous avons décidé de nous limiter aux mots simples relevant des classes ouvertes (noms, verbes, adjectifs et adverbes), sous leur forme lemmatisée et en leur associant leur catégorie. pour les relations de dépendance, nous avons sélectionné les principales à la fois représentées dans tous les formalismes et jugées les plus utiles pour l'analyse distributionnelle. ## conclusion et perspectives les variations que nous avons mesurées entre des modèles sémantiques ne différant que par les analyseurs syntaxiques utilisés sont très importantes : le choix d'un analyseur syntaxique n'est certainement pas anodin pour l'analyse distributionnelle de petits corpus spécialisés. les différences observées en fin de chaîne, lorsque l'on compare les voisins distributionnels, ne sont pas nécessairement corrélées à celles que l'on trouve en comparant directement les sorties. on a toutefois pu observer que tous les mots, contextes et paires de mots similaires ne sont pas tous affectés de la même façon par le changement d'analyseur. cette première étape aura néanmoins permis d'identifier, parmi les différents outils testés, ceux dont les comportements sont les plus différents. des sondages plus pointus et des examens manuels des cas de désaccord devraient nous permettre d'identifier les contextes syntaxiques les plus critiques, et par là même nous aider à choisir l'analyseur le plus adapté dans ce dispositif.