Une approche linguistique pour la détection des dialectes arabes (A linguistic approach for the detection of A rabic dialects) (2017)

Abstract: Dans cet article, nous présentons un processus d’identification automatique de l’origine dialectale pour la langue arabe de textes écrits en caractères arabes ou en écriture latine (arabizi). Nous décrivons le processus d’annotation des ressources construites et du système de translittération adopté. Deux approches d’identification de la langue sont comparées : la première est linguistique et exploite des dictionnaires, la seconde est statistique et repose sur des méthodes traditionnelles d’apprentissage automatique (n-grammes). L’évaluation de ces approches montre que la méthode linguistique donne des résultats satisfaisants, sans être dépendante des corpus d’apprentissage.

## introduction le traitement du texte informel est devenu un domaine d'investigation extrêmement populaire @xcite . pour l'arabe, l'identification du dialecte est une tâche devenue centrale pour la plupart des applications de traitement de l'arabe, comme par exemple la traduction automatique ou l'analyse des médias sociaux. selon @xcite , l'identification des dialectes peut être vue comme une identification des langues appliquée à un groupe de langues étroitement apparentées. pour l'arabe, cette identification est rendue complexe par l'absence de conventions orthographiques et par la translittération en écriture latine «arabizi». des travaux récents ont proposé des approches statistiques pour l'identification de langue. cependant, les méthodes actuelles reposent sur l'hypothèse que des ressources existent (corpus et dictionnaires), ce qui n'est pas toujours le cas, notamment pour l'arabe maghrébin. l'objectif de notre travail est de construire des ressources adéquates pour l'algérien, le tunisien et le marocain, ainsi que pour le dialecte égyptien. nous présentons une méthode linguistique pour l'identification de l'origine dialectale et discutons les résultats, en les comparant à ceux obtenus par une méthode statistique. ## état de l'art la constitution de ressources et de méthodes pour traiter les dialectes de l'arabe est devenue un enjeu de taille, et nécessite des ressources spécialisées. le travail de @xcite s'inscrit dans cette optique : les auteurs utilisent les sites de trois journaux arabes des dialectes levantin, golfe et égyptien. l'annotation, réalisée avec amazon mechanical turk, permet une approche de modélisation linguistique et est exploitée afin de prédire le dialecte pour une phrase donnée. d'autres initiatives ont visé à créer des données dialectales afin de remédier au manque de ressources dédiées, comme par exemple l'extraction de commentaires, de journaux en ligne et de twitter pour les dialectes égyptien, golfe, levantin, algérien et irakien @xcite . le travail de @xcite propose des directives pour la formation de larges corpus de ressources arabes mixtes à code alterné pour le dialecte égyptien et a abouti au système aida "automatic identification and glossing of dialectal arabic" @xcite , pour l'identification, la classification et l'interprétation des dialectes. les auteurs de @xcite ont ensuite présenté une approche supervisée pour l'identification des phrases en dialecte égyptien et ont étudié les effets des techniques de prétraitement sur la performance de classifieurs. l'absence de convention orthographique standardisée est une difficulté, objet de travaux proposant une convention de transcription nommée coda "conventional orthography for dialectal arabic". elle a été proposée dans un premier temps pour le dialecte égyptien @xcite , puis étendue à d'autres dialectes comme le tunisien @xcite , l'algérien @xcite et le palestinien @xcite . ces approches traitent des dialectes écrits en caractères arabes, or ces dernières années ont vu l'apparition de l'arabizi : l'écriture en langue arabe avec des caractères latins. l'arabizi est souvent utilisé dans des contextes informels comme les réseaux sociaux, et alterné avec d'autres langues étrangères, comme l'anglais ou le français. les quelques outils tal pour l'arabizi @xcite @xcite visent au préalable à le détecter dans les textes, à translittérer les textes vers l'écriture arabe, ce qui permet de les traiter avec des systèmes tal dédiés à l'asm foot_0 . l'ensemble des travaux référencés ci-dessus sont focalisés sur l'égyptien et le levantin (jordanien, libanais, palestinien, syrien) et beaucoup moins de travaux ont été réalisés pour les langues maghrébines. notons également que les ressources présentées ci-dessus ne sont généralement pas disponibles, ce qui rend difficile la reproduction des expériences et la comparaison des résultats. dans notre travail, nous nous intéressons prioritairement à la constitution de ressources pour les dialectes maghrébins et plus spécifiquement à l'identification automatique du dialecte écrit en caractères arabes et latins : ce sont des problèmes bien réels qui appellent à des solutions concrètes. nos ressources linguistiques ont été obtenues à partir d'une collecte de données faite sur les commentaires des lecteurs extraits des journaux arabes ainsi que ceux du réseau social facebook. nous avons choisi d'utiliser des sites et journaux spécifiques pour chaque dialecte étudié, comme exposé dans le tableau 2. cette collecte nous a permis de constituer un corpus segmenté selon le dialecte et le mode d'écriture (arabe ou arabizi). nous signalons que les commentaires rédigés en français ou en anglais ne contenant pas d'arabizi ont été exclus de nos corpus. le processus suivi pour la construction de nos ressources est décrit dans @xcite . ## conclusion dans cet article, nous avons décrit un système de détection de l'origine dialectale de textes écrits en caractères arabes ou latins (arabizi). nous avons constitué des corpus pour quatre dialectes auxquels nous nous sommes intéressés : l'algérien, le tunisien, le marocain et l'égyptien. un translittérateur de l'arabizi vers l'arabe et des analyseurs base de dictionnaires ont été développés. les expériences montrent qu'une approche contrôlée à base de dictionnaires obtient de meilleurs résultats qu'une approche statistique, même si le système reste à améliorer : l'algérien, le tunisien et le marocain restent difficiles à distinguer. nos futurs travaux s'orientent, d'une part, vers une évaluation à large échelle de notre outil d'identification des dialectes en vue de consolider les résultats déjà obtenus, et d'autre part, vers la constitution d'outils et de ressources pour d'autres dialectes arabes.