TA r C . Un corpus d’arabish tunisien (2020)

Abstract: TArC : Incrementally and Semi-Automatically Collecting a Tunisian arabish Corpus This article describes the collection process of the first morpho-syntactically annotated Tunisian arabish Corpus (TArC). Arabish is a spontaneous coding of Arabic Dialects (AD) in Latin characters and arithmographs (numbers used as letters). This code-system was developed by Arabic-speaking users of social media in order to facilitate the communication on digital devices. Arabish differs for each Arabic dialect and each arabish code-system is under-resourced. In the last few years, the attention of NLP on AD has considerably increased. TArC will be thus a useful support for different types of analyses, as well as for NLP tools training. In this article we will describe preliminary work on the TArC semi-automatic construction process and some of the first analyses on the corpus. In order to provide a complete overview of the challenges faced during the building process, we will present the main Tunisian dialect characteristics and its encoding in Tunisian arabish.

## introduction l'arabish foot_0 est la romanisation des dialectes arabes (das) utilisée pour des messages écrits informels, particulièrement dans les réseaux sociaux. ce système d'écriture fournit un terrain très intéressant pour des recherches linguistiques, computationnelles, mais aussi socio-linguistiques, principalement grâce au fait qu'il s'agit d'une représentation écrite spontanée des das, et il est en constante expansion dans le web. 2 malgré ce potentiel, peu de recherches de ce type on été dédiées à l'arabish tunisien (ta). dans cet article nous décrivons notre travail pour le développement d'une ressource en ta riche, avec plusieurs niveaux d'annotation. celle-ci inclut un corpus en ta annoté, mais aussi des outils informatiques pour à la fois analyser les données et étendre éventuellement le corpus avec des nouvelles données. en premier lieu, la ressource permet de donner une vue générale du ta. au même temps elle constitue une représentation significative de l'évolution du dialecte tunisien (tun) dans le cadre de la communication numérique (cmc, de l'anglais computer-mediated communication) à travers les dix dernières années. en effet, les textes collectés datent de 2010 jusqu'à l'année courante. 3 pour cette raison, notre corpus se prête à des études phonologiques, morphologiques, syntaxiques et aussi sémantiques, et à la fois dans un contexte de linguistique et de tal. nous avons donc décidé de construire un corpus qui peut mettre en évidence les caractéristiques structurelles du ta grâce à plusieurs niveaux d'annotation, comprenant parties du discours (pos) et lemmes. de plus, afin de faciliter la correspondance avec d'autres études, ainsi que des outils déjà existants pour le traitement du langage arabe, nous avons transcrit les tokens en arabish en caractères arabes du dialecte tunisien, suivant les lignes directrices du conventional orthography for dialectal arabic (coda*) @xcite . 4 enfin, même si la traduction de notre corpus n'est pas l'objectif principal de nos recherches, nous avons décidé de traduire les textes de notre corpus en italien. 5 le reste de l'article est organisé comme suit : dans la section 2 nous décrivons des études sur l'arabish tunisien (ta) et les corpus accessibles du dialecte tunisien (tun) et ta ; la section 3 décrit le ta ; dans la section 4 nous présentons la procédure de construction du corpus tarc ; la section 5 montre des expériences préliminaires pour la transcription et l'annotation semi-automatiques des données, adoptés pour une construction plus facile et rapide du corpus ; nous tirons nos conclusions dans la section 6. ## état de l'art le travail décrit dans cet article concerne surtout la transcription semi-automatique du corpus en caractères arabes. en revanche pour la réalisation d'un des niveaux d'annotation du corpus, nous décrivons ici quelques travaux représentatifs de l'état de l'art sur le codage de l'arabish tunisien. nous décrivons également les corpus tunisiens accessibles librement. pendant ces dernières années, le nombre de travaux sur l'arabish a considérablement augmenté. 6 la plupart des recherches sur l'arabish se focalisent sur des variétés très différentes de l'arabe tunisien, par exemple l'égyptien @xcite . à cause d'un manque de place, nous nous focaliserons uniquement sur les travaux sur l'arabish tunisien. @xcite est le seul travail qui propose une transcription automatique de l'arabish tunisien vers les caractères arabes et vice versa, basée sur des modèles d'apprentissage profond dits sequence-to-sequence. en transcrivant une collection de textes de facebook, après l'avoir nettoyé des éléments non linguistiques (émojis, émoticônes, etc.) ou qui n'étaient pas dialectales, ils ont obtenu une précision de plus de 95.59%. 7 la même ressource a été utilisée dans @xcite pour une étude approfondie de la transcription automatique. en utilisant uniquement les mots tunisiens, une transcription en caractères arabes a été faites par des internautes tunisiens. la transcription d'un mot arabish donné est effectuée en utilisant une approche à base de modèles crf, blstm et blstm-crf, ce dernier donnant les meilleurs résultats quantitatifs. le taux d'erreur global est de 2,7%, alors que le taux d'erreur de contexte est de 0,68%. le seul travail qui prévoit une transcription de l'arabish tunisien dans la convention coda est @xcite . ce travail utilise un système à base de règles qui, pour chaque mot en arabish, génère toutes les transcriptions possibles en arabe, parmi lesquelles le meilleur candidat est ensuite sélectionné manuellement. le système a un taux d'erreur de 10%. cependant, à l'exception du recueil de textes de @xcite , aucune de ces ressources n'est accessible au public. les corpus en dialecte tunisien disponible au public sont cinq @xcite . le padic @xcite , composé de 6 400 phrases en six dialectes arabes, traduites en arabe moderne standard (msa). 8 deux autres corpus sont le tudicoi (tunisian dialect corpus interlocutor) @xcite et le stac (spoken tunisian arabic corpus) @xcite , qui sont annotés avec des informations morpho-syntaxiques. le premier est un corpus de dialogues entre les clients et le personnel collectés à la station des trains. il est composé de 21 682 mots @xcite . 9 le corpus stac est constitué de 42 388 mots transcrits de fichiers audio téléchargé du web (émissions télé et radio) @xcite . le taric @xcite contient 20 heures de tun oral, transcrites en caractères arabes et correspondant à 71 684 mots @xcite . un dernier corpus est le tsac, composé de 17 000 commentaires de facebook, annotés manuellement en polarité positive et négative pour la fouille d'opinion @xcite . ce dernier corpus est le seul qui contient à la fois des textes transcrits en ta et en caractères arabes. à notre connaissance il n'y pas de corpus en ta transcrit aussi en caractères arabes et annoté avec des informations morpho-syntaxiques. notre travail se propose de combler ce manque en offrant à la communauté scientifique une ressource d'arabish tunisien ouverte au public, c'est-à-dire le tarc, le premier corpus en ta annoté avec des informations morpho-syntaxiques (pos et lemmes) et transcrit aussi en caractères arabes en suivant la convention coda*. compte tenu également de l'indisponibilité des systèmes de transcription de l'arabish tunisien, foot_9 il est intéressant de construire un système ad hoc en fonction de nos besoins. nous avons fait le choix, en effet, de ne pas exclure les termes étrangers ou les éléments para-linguistiques (émoticônes et emojis), et d'utiliser les conventions coda. ## caractéristiques de l'arabish tunisien le dialecte tunisien (tun) est la langue parlé dans la vie tunisienne de tous les jours, appelé généralement ‫ة‬ َ ‫ِج‬ ‫َّار‬ ‫,الد‬ ad-dārija, ‫ة‬ َّ ‫ي‬ ِّ ‫ام‬ َ ‫,الع‬ 'āmmiyya, or ‫ي‬ ِ ‫ْس‬ ‫ون‬ ُّ ‫,الت‬ ət-tūnsī. conformément à la classification diatopique traditionnelle, le tun appartient à la zone de l'arabe maghrébin, duquel il constitue une des variantes principales avec le libyen, l'algérien, le maroquin, et le hassanya de la mauritanie @xcite . l'arabish est une transposition des das, qui sont des systèmes essentiellement oraux, dans une forme écrite qui n'est pas réalisé avec caractères arabes et par conséquence il n'est pas sujet aux règles orthographiques de l'arabe standard. comme résultat, on peut considérer le ta comme un écrit spontané, fidèle à la réalisation orale de tun, ou en d'autres termes un système quasi-oral. la notion de quasi-oralité décrit des formes d'écriture typiques de la communication numérique (cmc), caractérisée par un ton informel, par la dépendance du contexte, par le manque d'attention sur la façon d'écrire, et ayant spécialement la capacité de créer un sens de collectivité @xcite . ta et tun n'ont pas une orthographie standard, avec l'exception du coda. cependant, le ta est un système d'écriture utilisé depuis plus que dix ans, et il subit donc une conventionnalisation spontanée à travers son utilisation. dans le tableau 1 nous montrons un schéma du système d'écriture ta. il est possible d'observer qu'il n'y a pas une correspondance un à un entre les caractères en ta et ceux en arabes, et souvent le ta présente une ambiguïté dans la possibilité d'écriture. foot_10 le problème principal est constitué par le manque d'une représentation propre en ta pour les phonèmes emphatiques : [d q ], [t q ] et [s q ]. d'un autre côté, puisque le ta n'est pas codifié à travers l'alphabet arabe, il peut 1 [d q ] [a :] [p] [b] [t] [z] [è] [x] [d] [d] [s] [s] [s q ] 2 ‫ض‬ ‫ة‬ ‫ء‬ ‫ب‬ ‫ث‬ ‫ج‬ ‫ح‬ ‫خ‬ ‫د‬ ‫ذ‬ ‫س‬ ‫ش‬ ‫ص‬ 3 dh th d a e h 2 b p th j 7 h 5 kh d dh s ch, (sh) s 1 [a][a :] [t q ] [d q ] [q] [g] [q] [k] [l] [m] [n] [h] [w][u :] [j][i :] 2 ‫ى‬ ‫ا‬ ‫ط‬ ‫ظ‬ ‫ع‬ ‫غ‬ ‫ق‬ ‫ك‬ ‫ل‬ ‫م‬ ‫ن‬ ‫ه‬ ‫و‬ ‫ي‬ 3 a e é è 6 t th dh 3 a 4 gh 9 q k l m n 8, h ou, w i, y tab. 1: exemples de correspondance entre ta et tun. 1 indique la représentation phonétique des graphèmes. 2 représente les caractères arabe, 3 les caractères arabish correspondant. bien représenter la réalisation phonétique du tun, comme il est montré dans l'exemple suivant : 1. l'alphabet arabe est généralement utilisé pour des conversations formelles en arabe moderne standard (msa), l'arabe des contextes formels, ou pour l'arabe classique (ca), l'arabe du saint qur'ān. de la même façon que le msa et le ca, les dialectes arabes également peuvent être écrits avec l'alphabet arabe, mais dans ce cas il est possible d'observer une auto-correction spontanée de l'orateur pour respecter les règles d'écriture du msa. par exemple, dans les textes en tun écrits avec l'alphabet arabe, il est possible de trouver une voyelle muette ("alif ‫>ا<‬ épenthétique, ou additionnel) au début des mots qui commencent par la séquence '#ccv', ce qui n'est pas possible en msa. 2. en écrivant le tun avec l'alphabet arabe, l'écriture de mots étrangers dans leur alphabet est très forcée, comme, par exemple, dans l'usage de mots empruntés d'autres langues. 3. comme nous le montrons dans le tableau 1, l'alphabet arabe fournit trois voyelles courtes, qui correspondent à leur version longue ## procédure incrémentale et semi-automatique de constitution du corpus afin de rendre la collecte du corpus plus facile et plus rapide, nous avons adopté une procédure semiautomatique basée sur des modèles neuronaux séquentiels @xcite . puisqu'il est plus facile d'obtenir automatiquement certaines annotations une fois que les tokens arabish sont transcrits en caractères arabes, puisque la transcription de l'arabish en arabe est une information très importante pour étudier le système arabish, et puisque elle est aussi la plus coûteuse, la procédure semi-automatique ne concerne que la transcription de l'arabish en écriture arabe. 15 pour cela, nous avons utilisé le premier groupe de 6 000 tokens transcrits manuellement comme ensemble de données d'entraînement et de test dans un cadre de validation croisée. comme nous l'avons expliqué dans la section précédente, les tokens français ont été retirés des données puisque ils créent du bruit pour un modèle automatique et probabiliste basé sur l'orthographie arabish. après l'élimination des tokens français, les données ont été réduites à environ 5 000 tokens. nous constatons qu'en combinant l'index de la phrase, du paragraphe et l'index du token dans le corpus, des phrases entières, voire des paragraphes, peuvent être reconstruites. cependant, à partir des 5 000 tokens seulement 300 séquences ont pu être reconstruites, ce qui n'est pas suffisant pour l'apprentissage d'un modèle neuronal. 16 au lieu de cela, puisque les tokens sont transcrits au niveau des morphèmes, nous avons divisé les tokens arabish en caractères, et les tokens arabes en morphèmes, et nous avons traité chaque token comme