Autogramm : développement simultané de treebanks et de grammaires à partir de corpus (2023)

Abstract: Ce projet de recherche vise à créer de nouveaux treebanks en dépendance pour des langues sous-dotées, en unifiant autant que possible leur développement avec celui de grammaires descriptives quantitatives. Nous présenterons notre chaîne de traitement et de développement de treebanks et nous discuterons du type de grammaire que nous voulons extraire. Enfin, nous examinerons l’utilisation de ces ressources en typologie quantitative.

## introduction les études linguistiques comparatives nécessitent des corpus de haute qualité qui représentent au mieux la variation et la diversité des langues du monde, avec des annotations suffisamment riches pour en extraire des descriptions grammaticales, et suffisamment comparables pour permettre des études contrastives et typologiques. le projet de recherche autogramm 1 ici présenté vise à répondre à ces besoins, du moins en partie, en créant de nouveaux treebanks syntaxiques pour plus de 15 langues sous-dotées et en unifiant autant que possible leur développement avec celui de grammaires descriptives quantitatives. la production de corpus annotés et de grammaires descriptives est certainement complémentaire et leur développement simultané pourrait permettre de réduire le temps de travail et d'améliorer la qualité des deux ressources. de plus, les grammaires basées sur des corpus encodent facilement des informations quantitatives, permettant, par exemple, la hiérarchisation des observations grammaticales et leur comparaison. plus précisément, nous présenterons notre chaîne de développement de treebanks en dépendances, en utilisant les schémas d'annotation universal dependency (ud) @xcite et surface syntactic ud (sud) @xcite . ensuite, nous discuterons du type de grammaire que nous voulons extraire à partir de treebanks et nous présenterons les prochaines étapes de notre travail qui tend vers les études comparatives et vers une typologie quantitative. ## chaîne de traitement et nouvelles ressources le projet rassemble une équipe diversifiée, comprenant des linguistes de terrain spécialisés en langues peu décrites et des experts en annotation de corpus. une chaîne de traitement a été mise en place pour que chacun puisse contribuer au développement de ces ressources pour chacune des langues étudiées. en général, le processus commence par la transformation des gloses interlinéaires (igt), souvent utilisées par les linguistes de terrain, en un pre-treebank, sans perdre les informations qu'elles contiennent (la segmentation, les traits morpho-syntaxiques, les gloses, etc.). cela implique un travail avec le linguiste qui consiste en sélectionner et normaliser les informations pertinentes. l'annotation syntaxique peut alors se faire au niveau des mots ou des morphes (e.g. @xcite . nous utilisons l'outil d'annotation en ligne arboratorgrew, qui propose un système de bootstrapping syntaxique @xcite : l'analyseur syntaxique peut être entraîné avec le travail déjà effectué pour annoter automatiquement le reste du corpus, autant de fois que nécessaire. en parallèle, nous construisons des grammaires pour chacune des langues (voir section 3). plusieurs treebanks sont actuellement en cours de développement pour les langues suivantes : amdo tibetan (sino-tibetain), dialectes arabes (marocain, égyptien, tunisien ; sémitique), bambara (mandingue), breton (celte), gbaya (oubanguien), haïtien (créole), hausa (chadique), salar (turc), sungwadia (austronésien), tuwari (papoue), vietnamien (austroasiatique), yali (papoue), ye'kwana (caribe), etc. un treebank pour le beja @xcite et un pour le zaar @xcite ont déjà été développées en utilisant une approche similaire et publiées dans la base de données d'ud. ## extraction de grammaires à partir de corpus il existe un grand nombre des travaux utilisant différents formalismes et différentes stratégies pour extraire de la manière la plus automatique possible les grammaires et les propriétés typologiques des corpus annotés. la plupart des méthodes produisent des grammaires formelles à partir de ressources linguistiques, telles que les igt, en utilisant des connaissances grammaticales externes et élaborées à la main @xcite @xcite . ces grammaires ne contiennent généralement pas d'informations quantitatives, bien que le fait de disposer de telles données permet d'obtenir une description fine de la langue étudiée et de classer les descriptions extraites en fonction de leur importance au sein d'un corpus. d'autres systèmes d'extraction parviennent à encoder des informations quantitatives (e.g. @xcite , mais le nombre de règles extraites restent élevé et la forme des règles est limitée. en outre, certaines propriétés ne sont encodées qu'au niveau de leurs constructions. par exemple, ces grammaires indiqueront si chaque construction a une tête en position finale, mais pas si la langue étudiée est une langue à tête finale. notre objectif est d'extraire des descriptions grammaticales facilement interprétables par n'importe quel utilisateur et, puisque la tâche est réalisée à partir de données annotées, nous cherchons à associer à chacune d'entre elles des informations quantitatives. cependant, contrairement aux grammaires analysées, nous visons à classer les observations grammaticales en fonction de leur importance dans un corpus et à obtenir des grammaires de différentes tailles en fonction de la manière dont les règles extraites sont classées et regroupées. les données quantitatives peuvent également être utilisées pour mettre en évidence les relations qui existent entre les différentes propriétés afin d'expliquer certains phénomènes et d'en découvrir d'autres qui seraient autrement passés inaperçus (voir @xcite dans une étude classique sur l'alternance dative ; plus récemment, @xcite ont extrait des règles d'accord, d'ordre, ainsi que des cas à l'aide de treebanks). dans ce but, nous nous concentrons sur la fréquence des phénomènes observés et sur d'autres mesures continues @xcite . nous travaillons actuellement sur différents systèmes d'extraction de grammaires. dans le cadre du projet, nous avons déjà développé une première méthode qui permet d'extraire avec succès des motifs grammaticaux à partir de treebanks et de les classer en fonction de leur importance statistique dans le corpus @xcite . plus précisément, nous calculons la probabilité d'obtenir la distribution observée de certains motifs apparentés à partir d'une hypothèse d'indépendance. plus cette probabilité est élevée, plus le motif est significatif. enfin, en interagissant avec les descriptions et les grammaires extraites, le linguiste travaillant sur une langue peu décrites, sera en mesure de vérifier si les caractéristiques (spécifiques de la langue) choisies pour annoter le corpus représentent bien la grammaire de la langue en question. ## typologie quantitative les descriptions grammaticales, du moins en ce qui concerne les propriétés universelles, sont exprimées à l'aide du même jeu d'étiquettes et du même formalisme en dépendance. cela signifie que les grammaires que nous extrayons sont des grammaires comparables qui permettent des analyses comparatives d'une même observation entre différentes langues et différents corpus. de cette façon, nous pouvons déterminer précisément ce qui est particulier à une langue par rapport à d'autres, sans limiter l'étude typologique à une liste préétablie d'observations, qui peuvent pour certaines (familles de) langues se révéler impertinentes. lorsque l'on travaille avec des informations quantitatives, on peut également comparer des observations en termes de valeurs continues plutôt que de valeurs discrètes. contrairement aux bases de données importantes et fondamentales (wals @xcite , apics @xcite , valpal @xcite , entre autres), il sera possible d'expliciter dans quelle mesure une caractéristique typologique est présente dans un corpu spécifique et dans quelle mesure elle diffère de celle d'autres langues. ce faisant, nous travaillons dans le cadre de la typologie quantitative @xcite , en suivant une nouvelle perspective d'étude encore à explorer @xcite . nous explorons des méthodes d'échantillonnage et de comparaison pour trouver des similitudes et des différences entre les corpus en utilisant les observations extraites, tout en cherchant de nouvelles métriques autres que la fréquence. nous construirons une base de données typologique contenant les observations quantitatives collectées. il est à noter que ces méthodes pourraient également être utilisées pour détecter d'autres variations dans la langue, telles que les variations sociolinguistiques et diachroniques. ## obstacles et perspectives les différents objectifs du projet se heurtent évidement à plusieurs obstacles, dont les suivants : l'explosion combinatoire des variables lorsque l'on tente d'extraire des modèles grammaticaux des banques d'arbres, des résultats incongrus dus à différentes interprétations du schéma d'annotation et aux particularités du corpus, et des échantillons linguistiques déséquilibrés qui empêchent les études typologiques cohérentes. une partie du projet consiste à étudier ces problèmes afin de contribuer à la linguistique théorique et à la documentation linguistique.