Systèmes d’écriture et qualité des données : l’affinage de modèles de translittération dans un contexte de faibles ressources (2025)

Abstract: Cet article présente une expérience visant à construire des modèles de romanisation affinés pour onze langues parmi lesquelles se trouvent des langues dites peu dotées. Nous démontrons qu’un modèle de romanisation efficace peut être créé en affinant un modèle de base entraîné sur un corpus important d’une ou plusieurs autres langues. Le système d’écriture semblerait jouer un rôle dans l’efficacité de certains modèles affinés. Nous présentons également des méthodes pour évaluer la qualité des données d’entraînement et d’évaluation, et comparons notre modèle arabe le plus performant à un modèle de référence.

## introduction le terme romanisation fait référence à la translittération en alphabet romain d'un texte rédigé à l'origine en écriture non-latine. la romanisation est utilisée formellement et informellement dans le monde entier à différentes fins. par exemple, le pinyin, une norme de romanisation du mandarin, est largement utilisé depuis les années 1950 comme aide à la lecture aussi bien par les écoliers chinois que par les apprenants du chinois comme langue étrangère. développé pour répondre à des besoins didactiques, ce système s'est avéré parfaitement adapté à la saisie des textes sur ordinateur des décennies plus tard. aujourd'hui, le pinyin permet d'utiliser un simple clavier qwerty pour rédiger des textes en chinois romanisé, qui sont ensuite convertis en sinogrammes par l'ordinateur. avant la généralisation des smartphones proposant des claviers virtuels pour différents scripts, les arabophones s'envoyaient des sms en arabizi, un système improvisé de romanisation dont la particularité est d'utiliser des chiffres pour représenter des consonnes : 3 et 7 pour /q/ et /è/. si les lacunes technologiques qui ont motivé la création de ce système ne sont plus d'actualité, celui-ci est encore utilisé dans les publicités, les bandes dessinées, et les communications personnelles pour désigner un langage familier, intime, ou dialectal @xcite . d'autres langues encore, comme le persan, le kurde, le roumain, ou le serbo-croate, utilisent aujourd'hui différents systèmes d'écriture qui varient selon le pays, alors que certaines langues turciques de l'ancienne urss ont utilisé trois scripts différents pendant les quelques décennies entre la révolution d'octobre 1917 et le putsch d'août 1991. ceci rend les techniques de romanisation, et de translittération plus globalement, particulièrement importantes pour rendre accessible des textes écrits dans un autre standard orthographique. ## méthodologie nous avons basé nos travaux sur le modèle byt5-small, une variante du modèle mt5 entraînée au niveau de l'octet @xcite . notre choix d'utiliser ce modèle plutôt qu'un modèle basé sur les tokens se justifie par sa capacité à capturer des caractéristiques morphologiques ou phonétiques encodées au niveau des caractères, ainsi que par son efficacité avérée dans des tâches similaires, comme la phonétisation @xcite . pour cette étude, nous avons exploité un corpus parallèle de titres bibliographiques en écriture originale et translittération romane. celles-ci ont été extraites du catalogue de la bulac, une bibliothèque académique spécialisée en langues et études aréales non-européennes. a partir de ce corpus, nous avons sélectionné un total de 11 langues prioritaires utilisant une écriture non-latine et comptant au moins 700 notices. ces langues ont été choisies pour capturer une grande diversité de systèmes d'écriture et de familles linguistiques. parmi ces langues, cinq comptaient plus de 10 000 notices. celles-ci étaient donc les seules qui étaient adaptées à la création de modèles de base qui seraient ensuite affinés pour translittérer une langue cible. la figure 1 présente deux exemples de notices bibliographiques correspondant respectivement à des livres écrits en turc ottoman et en langue arabe. dans les deux cas, les titres des documents et les auteurs sont indiqués d'abord dans le script original, l'alphabet arabe, puis dans leur version romanisée. tous les travaux décrits ci-dessous sont basés sur un corpus de textes parallèles comprenant les titres de documents extraits de notices de ce type.