π- YALLI : un nouveau corpus pour des modèles de langue nahuatl / Yankuik nawatlahtolkorpus pampa tlahtolmachiotl (2025)

Abstract: π-YALLI : a new corpus for Nahuatl Language Models The Nahuatl is a language with few computational resources, despite the fact that it is a living language spoken by around two million people. We built π-YALLI, a corpus that enables research and development of dynamic and static Language Models (LM). We measured the perplexity of π-YALLI, evaluating state-of-the-art LM performance on a manually annotated semantic similarity corpus relative to annotator agreement. The results show the difficulty of working with this π-language, but at the same time open up interesting perspectives for the study of other NLP tasks on Nahuatl.

## introduction le nahuatl, nawatl ou mexicano (nawatlahtolli en nahuatl), langue autochtone de la famille uto-nahua @xcite est parlé par un grand nombre de personnes au mexique et d'autres régions d'amérique 1 . langue parlée au mésoamérique depuis le vème siècle, elle est la langue nationale la plus parlée au mexique, après l'espagnol, avec 1 651 958 nahuaphones (inegi, 2020) et plus de 2,5 millions de personnes dans la nahuaphonie. d'après inali foot_0 , il existe 30 variétés linguistiques de nahuatl parlées au mexique. de nos jours, certaines variétés de nahuatl (moseley, christopher (ed.) & nicolas alexandre (cart.), 2012) sont en danger de disparition. ceci malgré les efforts continus que les communautés nahua ont déployés depuis 2003 -année de la reconnaissance du nahuatl comme langue nationale -pour que leur langue soit utilisée à l'oral et à l'écrit, dans l'industrie éditoriale, dans l'enseignement supérieur, les médias et les réseaux sociaux @xcite @xcite . le nahuatl étant une langue polysynthétique et agglutinante, les mots sont composés d'une racine verbale ou nominale et de morphèmes divers permettant de construire une signification. un exemple d'agglutination est foot_1 : kuawtochtontli kuaw-toch-ton-tli bois-lapin-dim-abs ## protocole d'évaluation sémantique notre étude cible plusieurs aspects liés aux documents nahuatl. nous cherchons à établir une tâche étalon pour le corpus π-yalli, à mesurer l'accord des annotateurs parlant différentes variétés, à estimer l'impact des graphies sur l'apprentissage des modèles et également à établir une corrélation entre la taille du corpus et la performance des ml, entre autres. à cette fin, un protocole d'évaluation permettant de mesurer la performance des algorithmes sur une tâche précise de similitude sémantique a été établi. il consiste en trois étapes : 1/ création d'un corpus de similitude sémantique, annoté manuellement ; 2/ mesure de l'accord entre les annotateurs ayant participé à sa création, et 3/ mesure des performances des ml les plus récents sur ce corpus pilote. ## conclusions et travaux futurs cette étude montre que les modèles statiques sont encore très compétitifs pour traiter les π-langues car ils ont battu plusieurs gml dans la tâche de similitude sémantique de mots. leur rapidité, explicabilité, stabilité et fiabilité sont des atouts non négligeables dans des tâches tal spécifiques. bien que le corpus π-yalli ait une taille réduite vis-à-vis de corpus τ -langues, nous pensons qu'il s'agit d'une ressource intéressante pour modéliser le nahuatl @xcite . on pourra par exemple, étudier l'impact de sa taille dans l'apprentissage -profond ou pas -des modèles de langue nahuatl. nous augmentons par ailleurs constamment le volume du corpus π-yalli. ce corpus permettra de développer des outils d'analyse tal classiques, d'améliorer nos ml statiques et probablement de générer des mini-gml, des outils que nous disséminerons à la communauté scientifique. de plus, l'utilisation émergente et croissante du nahuatl (figueroa-saavedra, 2024) dans les réseaux sociaux, dans l'édition, dans les études universitaires et dans la diffusion scientifiquerecherche d'information, reconnaissance d'entités nommées, résumé automatique (torres-moreno, 2014) --rend ces outils de plus en plus nécessaires pour l'accès et la gestion de l'information numérique. cette accessibilité permettra de relier différentes communautés nahuaphones situées dans des régions et des pays différents, ainsi que de faire circuler les connaissances exprimées dans cette langue auprès des étudiants et des spécialistes. il s'agit donc d'un élan puissant pour faire mieux connaître cette importante π-langue. il est prévu d'indexer une version enrichie d'annotations grammaticales et de nouvelles métadonnées, dès que les outils seront disponibles. cette version devra permettre des requêtes selon les lemmes ou les catégories grammaticales, en plus des critères déjà mentionnés. une fois constitué, sous forme de texte brut avec métadonnées identifiant chaque texte, le corpus π-yalli sera mis en ligne pour une consultation par mots, suites de mots, regex, etc., par le biais de l'application cqpweb, interface graphique pour le corpus query processeur @xcite . pour augmenter la taille du corpus, nous utiliserons les données textuelles, lexicales et les informations grammaticales disponibles dans le site web du wiktionnaire en nahuatl 26 . également nous allons procéder à la numérisation des documents en support papier dont nous disposons. puisqu'aucun modèle ocr nahuatl n'est actuellement disponible à notre connaissance, nous implémenterons des stratégies de mixture d'algorithmes ocr afin de reconnaître les termes nahuatl. à plus long terme, 26. https://nah.wiktionary.org/wiki/pewalistli la transcription automatique de vidéos en provenance des réseaux sociaux ou des plateformes de diffusion (mono ou bilingues), est aussi envisagée dans le cadre d'un élargissement de nos projets de recherche sur le nahuatl. finalement, nous nous consacrerons au développement du ml bertl, basé sur l'architecture bert et un tokeniseur crée spécifiquement pour le nahuatl, qui permettra d'obtenir des embeddings mieux contextualisés et dynamiques @xcite . annexe 1 : exemple du protocole d'évaluation w de kendall. étant donné n éléments à classer et m rangs indépendants (nombre de juges) on calcule : @xmath0. @xmath1, et @xmath2. nous employons directement la valeur w qui est normalisée en [0,1]. entropie. cette statistique a été calculée avec : h(x) = -n p i log(p i ) où p i est la probabilité (ou fréquence relative) que l'élément x soit dans la position i. les valeurs vont de 0 (cohérence totale entre les rangs) à la valeur maximale possible h @xmath3, p @xmath4. nous avons normalisé la sortie entre [0, log 2 (n)], où @xmath5. κ de fleiss. l'indice κ de fleiss (extension du κ de cohen), est utilisé pour évaluer l'accord entre plusieurs annotateurs qui classifient un ensemble d'éléments en catégories mutuellement exclusives. cette métrique considère l'accord espéré par hasard. le calcul est fait avec κ = p -pe 1-pe , où p est l'accord moyen observé, c.a.d @xmath6 voici le protocole d'évaluation appliqué à la référence tototl (oiseau). soient @xmath7, j 2 , j 3 } ayant annoté le rang : tototl ; @xmath8, kwawtli (aigle), koyotl (coyote)} ; d'où @xmath9. avec @xmath10,778. nous avons calculé h(x) pour chaque référence. le candidat tepostototl occupe une fois la position 1 (p 1 = 1 3 ) et deux fois la position 2 (p 2 = 2 3 ). on obtient h(tepostototl) ≈ 0, 918. h(kwawtli) ≈ 0, 918 et h(koyotl)=0. la moyenne d'entropie h ≈ 0, 612. on obtient donc plutôt un bon accord des annotateurs pour tototl. en utilisant le rang : tamalli (tamal) 27 ; @xmath11, tlaxkalli (tortilla), nixtamalli (nixtamal) 29 }, @xmath12, et @xmath13. l'entropie h(sakawilli) ≈ h(tlaxkalli) ≈ h(nixtamalli)=1,585, donc h ≈ 1, 585, ce qui correspond à la valeur maximale log(3). w et h montrent donc un total désaccord des annotateurs pour tamalli.