Régression logistique parcimonieuse pour l’extraction automatique de règles de grammaire (2024)

Abstract: Nous proposons une nouvelle approche pour extraire et explorer des motifs grammaticaux à partir de corpus arborés, dans le but de construire des règles de grammaire syntaxique. Plus précisément, nous nous intéressons à deux phénomènes linguistiques, l’accord et l’ordre des mots, en utilisant un espace de recherche étendu et en accordant une attention particulière au classement des règles. Pour cela, nous utilisons un classifieur linéaire entraîné avec une pénalisation L1 pour identifier les caractéristiques les plus saillantes. Nous associons ensuite des informations quantitatives à chaque règle. Notre méthode permet de découvrir des règles de différentes granularités, certaines connues et d’autres moins. Dans ce travail, nous nous intéressons aux règles issues d’un corpus du français.

## introduction les grammaires descriptives sont des ressources précieuses pour la recherche linguistique, mais leur construction est longue et difficile. les collections de corpus arborés comme universal dependencies actes de jep-taln-recital 2024 toulouse, france, 8 au 12 juillet 2024 31ème conférence sur le traitement automatique des langues naturelles, volume 1 : articles longs et prises de position, pages 211-218. cette oeuvre est mise à disposition sous licence attribution 4.0 international. @xcite ont permis le développement de méthodes d'extraction automatique de grammaires à partir de corpus. dans ce travail, nous proposons une nouvelle approche fondée sur la régression logistique parcimonieuse. nos contributions peuvent se résumer de la façon suivante : une grammaire est un ensemble de contraintes régulières qu'une langue impose à ses locuteurs, contraintes que nous appelons souvent des règles. une règle de grammaire décrit le contexte linguistique particulier dans lequel un motif grammatical est privilégié ou non, par rapport à d'autres motifs possibles. dans la pratique, ces règles sont de nature probabiliste (dans l'interprétation fréquentiste), peuvent être plus ou moins fines et peuvent se chevaucher. par exemple, une règle simple du français est : « le sujet nominal d'un verbe se place avant son gouverneur ». cependant, cette règle n'est pas déterministe. une description plus précise serait : « pour une dépendance syntaxique de type sujet, le dépendant se place avant son gouverneur dans plus de 97% des cas » foot_1 . en pratique, il est intéressant de comprendre dans quels cas il y a une divergence avec la règle dominante, par exemple : « le sujet nominal dans une subordonnée relative se place après son gouverneur dans ≈ 23 % des cas » (voir la figure 1 ). nous proposons de définir une règle de grammaire comme une construction composée de trois motifs : nous formalisons donc une règle de grammaire par une formule de la forme suivante : c' pron est aux le det genre noun auquel pron appartiennent verb les det espèces noun de adp kiwi noun root subj comp :pred det mod@relcl comp :obl subj det udep comp :obj figure 1 -exemple tiré de la version sud du corpus arborés gsd du français. deux propositions sont reliées par une relation mod@relcl avec des sujets dans des positions différentes. dans la première (resp. seconde) proposition, le sujet occupe une position préverbale (resp. post-verbale). grandparent gov siblings dep grandchildren figure 2 -l'espace de recherche est définit autour d'une relation entre un noeud gouverneur (gov), et son dépendant (dep), le gouverneur de gov (grandparent) et les autres dépendants de gov (siblings), ainsi que les dépendants de dep (grandchildren). on utilise presque toutes les informations linguistiques encodées dans ces noeuds, y compris les traits morphosyntaxiques, certains lemmes et les relations de dépendances, ainsi que les positions relatives de ces noeuds (qui peuvent être différentes de celles de la figure). relative sont inversés dans plus de 23% des cas ». cette formalisation s'inspire des règles (de correspondance) de la théorie sens-texte (mel'čuk, 1988) foot_2 . cependant, nous nous concentrons uniquement sur les relations au niveau de la syntaxe de surface. de plus, cette formalisation se traduit facilement en une tâche de classification par apprentissage automatique. en pratique, les motifs s et q sont déterminés manuellement, car ils définissent les phénomènes linguistiques auxquels nous allons nous intéresser. cependant, le nombre potentiel de motifs p est très important et il est donc difficile de les explorer manuellement. en particulier, nous utilisons presque toutes les informations linguistiques encodées dans les corpus arborés : pour toutes les dépendances filtrées par s, notre espace de recherche pour p considère toute information relative au grand-parent (gouverneur du gouverneur), aux codépendants du gouverneur et aux enfants du dépendant (voir figure 2 ). ## méthode d'extraction plusieurs études ont démontré la nécessité d'avoir une approche quantitative pour étudier des phénomènes syntaxiques (p. ex. @xcite . aujourd'hui, il est possible d'extraire automatiquement des règles syntaxiques en utilisant des corpus annotés en syntaxe comme universal dependencies (ud, de marneffe et al., 2021) ou surface syntactic ud (sud, gerdes et al., 2018). les travaux de chaudhary et al. (2020, 2022) proposent d'utiliser des arbres de décision, comme technique d'apprentissage automatique, à cette fin. nous nous différencions de ces travaux en proposant une nouvelle formalisation du problème (section précédente) et car nous utilisons la régression logistique parcimonieuse, qui est plus sensible à des changements même peu prononcés de la distribution. cela nous permet de simultanément extraire et classer les règles, tout en explorant un large espace de recherche. nous obtenons ainsi des règles de grammaire quantitative plus expressives et fines. de plus, notre approche ne nécessite pas de régler des hyperparamètres d'apprentissage. ## limitations les règles extraites dépendent du schéma d'annotation, de la nature du corpus et de sa qualité. ainsi, quelques motifs extraits expriment des propriétés du corpus ou des décisions théoriques, plutôt que des règles de grammaire à proprement parler. nous sommes aussi limités par ce qui est effectivement annoté et nos règles sont donc circonscrites à la syntaxe de surface, c'est-à-dire aux règles de bonne formation de l'arbre syntaxique (règles d'accord) et aux règles de correspondance entre l'arbre et la chaîne linéaire (règle d'ordre des mots). en outre, certains résultats observés montrent des préférences d'usage de la langue, et non des règles de grammaire. par exemple, on note une tendance à l'accord du verbe avec son objet, du fait que les objets singuliers sont significativement appariés à des sujets singuliers (de même pour les pluriels). à l'inverse, la règle d'accord d'un participe passé avec son objet lorsque celui-ci le précède n'a pas été retrouvée, probablement parce que le pronom relatif que ne comporte pas de trait de nombre et de genre dans l'annotation (ce qui est par ailleurs un choix d'annotation tout à fait raisonnable si on s'en tient à l'annotation morphosyntaxique). ## conclusion nous proposons une nouvelle méthode d'extraction de règles grammaticales à partir de corpus arborés. notre approche est fondée sur (1) une définition formelle de ce qu'est une règle grammaticale syntaxique et (2) l'utilisation d'un modèle linéaire de classification pour extraire et classer les règles via le chemin de régularisation. de plus, nous avons réussi à montrer avec notre analyse qu'il est important d'étendre l'espace de recherche pour augmenter l'expressivité des règles et pour capturer des phénomènes linguistiques qui sont hors de portée des travaux précédents @xcite @xcite . notre méthode est également mieux adaptée à la fouille de règles. nous espérons aussi, avec ce travail, contribuer à l'élaboration de grammaires descriptives et aussi de contribuer au rapprochement entre le tal ou la linguistique computationnelle (cl) et la linguistique théorique, ainsi qu'entre le tal/cl et la linguistique de terrain. références achen c. h. (2005). let's put garbage-can regressions and garbage-can probits where they belong. conflict management and peace science, 22(4), 327-339. bach f., jenatton r., mairal j., obozinski g. et al. (2012). optimization with sparsityinducing penalties. foundations and trends® in machine learning, 4(1), 1-106. bertrand q., klopfenstein q., bannier p.-a., gidel g. & massias m. (2022). beyond l1 : faster and better sparse models with skglm. in neurips.