Analyse morpho-syntaxique en présence d’alternance codique ( P o S tagging of Code Switching) (2018)

Abstract: L’alternance codique est le phénomène qui consiste à alterner les langues au cours d’une même conversation ou d’une même phrase. Avec l’augmentation du volume généré par les utilisateurs, ce phénomène essentiellement oral, se retrouve de plus en plus dans les textes écrits, nécessitant d’adapter les tâches et modèles de traitement automatique de la langue à ce nouveau type d’énoncés. Ce travail présente la collecte et l’annotation en partie du discours d’un corpus d’énoncés comportant des alternances codiques et évalue leur impact sur la tâche d’analyse morpho-syntaxique.

## introduction le code-switching (cs) ou alternance codique est le phénomène qui consiste à alterner les langues au cours d'une même conversation @xcite . c'est un phénomène fréquent chez les locuteurs des communautés bilingues et multilingues qui ont l'habitude de passer d'une langue à l'autre au cours d'une conversation et parfois même à l'intérieur d'une phrase @xcite . la le code-switching est un phénomène oral que l'on ne retrouve quasiment pas à l'écrit : la quasi totalité des corpus existants @xcite ) est constituée de transcriptions. mais avec l'augmentation du volume de contenu généré par les utilisateurs (user generated content) notamment sur les différents média sociaux (facebook, twitter, ...) ou les forums, de plus en plus de textes écrits comportent des énoncés écrits en plusieurs langues. en effet, par de nombreux aspects, les contenus générés par les utilisateurs ont des caractéristiques qui se rapprochent de ceux de la langue parlée. la collecte d'énoncés présentant des alternances codiques se retrouve donc simplifiée (il n'est plus nécessaire d'enregistrer et de conversation mi entonces ahorayou want to speak spanish ! and we 're like " are ... i 'm sure this is like como unos chinitos ahí trabajan " no mentiradothat was a day one five dollars . twitter i used to think his name was toño until they told me it was jonny i was like pos como se llame /.-♥ the fact that jonny already knew me i yo no it 's like baby porke nunca me hablabas ce travail comporte deux contributions : nous décrivons, dans un premier temps ( §2), la collecte d'un nouveau corpus d'énoncés comportant des alternances codiques et leur annotation en partie du discours. nous évaluerons ensuite l'impact de ce phénomène sur l'analyse morpho-sytaxique ( §3). ## collecte et annotation des corpus nous allons considérer, dans nos expériences, deux corpus d'énoncés produits par des locuteurs bilingues espagnol-anglais correspondant aux deux types d'énoncés cs mentionnés dans l'introduction : la langue parlée et les contenus générés par l'utilisateur. le premier corpus que nous utilisons repose sur le corpus miami bangor 1 , l'un des plus gros corpus de transcription contenant des alternances codiques : il est constitué des transcriptions de plus de 35h d'entretiens avec 84 locuteurs bilingues de la région de miami. les phrases de ce corpus ont été segmentées en mots automatiquement. des annotateurs humains ont ensuite annoté chaque mot du corpus pour indiquer quelle était sa langue et son étiquette morpho-syntaxique, en suivant le guide d'annotation du projet ud @xcite . une description complète de cette campagne d'annotation est faite dans @xcite . dans nos expériences, seules les phrases contenant un changement de langues ont été conservées. dans la suite de cet article nous appellerons ce corpus conversation. le second corpus est issu de la campagne d'évaluation organisée dans le cadre du second atelier computational approaches to linguistic code switching @xcite . cette campagne avait pour objectif d'identifier la langue dont chaque mot d'un twee était issu. comme le miami bangor, ce corpus comporte des énoncés mélangeant anglais et espagnol. pour collecter ceux-ci, les organisateurs de la campagne ont ciblé les comptes twitter d'utilisateurs habitant des régions dans lesquelles sont présents de nombreux locuteurs bilingues (en pratique, new-york et miami) et qui suivent le compte twitter de radios espagnoles. les tweets collectés ont été segmentés et étiquetés semi-manuellement pour indiquer à quelle langue chaque mot appartenait. à partir de cette information de langue, nous avons étiqueté automatiquement les corpus en utilisant ## analyse morpho-syntaxique en présence d'alternance codique les performances de ce modèle sont légèrement inférieures aux performances d'un modèle d'analyse morpho-syntaxique neuronal tout en étant beaucoup plus rapide à entrainer (notamment à cause du nombre réduit d'hyper-paramètres) : par exemple, sur les corpus anglais et espagnol du projet universal dependencies, notre modèle obtient, respectivement, une précision de 93,5% et 95,0% alors que le modèle udpipe @xcite obtient 93,5% et 95,5%. adaptation du modèle pour l'alternance codique nous proposons dans cette section une modification très simple du modèle que nous venons de présenter visant à prendre en compte l'alternance de langues dans une phrase. le principal objectif de ce modèle est de permettre de caractériser et de quantifier les problèmes soulevés par la présence d'alternance codique dans des phrases. la méthode proposée repose sur une spécialisation du classifieur utilisé dans notre analyseur morphosyntaxique. elle consiste simplement à identifier la langue de chaque mot et à utiliser deux classifieurs différents, chacun adapté à une des langues en présence, pour prendre les décisions successives lors de l'inférence. plus précisément, nous apprenons, indépendamment, deux analyseurs morpho-syntaxiques : le premier sur un corpus anglais étiqueté avec des informations morpho-syntaxique, le second sur un corpus similaires en espagnol. ces corpus sont identiques à ceux utilisés pour l'apprentissage d'un analyseur « classique ». lors de l'inférence, en fonction de la langue du mot dont on cherche à prédire l'étiquette, l'un ou l'autre des modèles est utilisé pour réaliser la prédiction. bien que les étiquettes soient prédites par des modèles indépendants (au sens où aucun information n'est partagée entre les langues au moment de l'apprentissage), l'historique est partagé. par souci de simplification, l'identification de la langue d'un mot est réalisée de manière indépendante. protocole expérimental le modèle introduit dans le paragraphe précédent a été testé sur les deux corpus introduits dans la section 2. les modèles monolingues sont appris sur les corpus ud_english et ud_spanish du projet ud. 5 identification de la langue les langues de chaque mot du corpus de test sont prédites à l'aide de l'outil langid.py avec ses modèles pré-entrainés @xcite . cet outil repose sur un classifieur bayésien naïf et est capable d'identifier la langue d'un document de manière très précise la langue d'un document, mais sa capacité à prédire la langue d'un mot unique n'a, à notre connaissance, jamais été évaluée. nous utilisons également avec un modèle à réseaux de neurones (2 couches cachées composé de 128 et 64 neurones et une couche de sortie 'sotfmax') construit spécifiquement pour prédire la langue d'un mot sans connaissance du contexte dans lequel il a été utilisé. ce réseau considère en entrée une représentation « one-hot » des 4-grams de lettres du mot ou le mot entier si sa longeur est plus petite que 4. ce modèle est entrainé sur les deux corpus ud considérés. lorsque les mots sont pris isolément (c.-à-d. sans considérer leur context), l'outil langid.py est capable de prédire correctement la langue d'un mot issus d'un corpus présentant des alternances codiques dans 56,8% des cas, tandis que notre modèle atteint un taux de reconnaissance de 93,3% de reconnaissance. cette grosse différence de performances est très certainement lié au fait que langid.py a besoin de plusieurs mots de la même langue regroupés dans une phrase pour identifier avec certitude la langue d'une phrase et ne peut donc être utilisé à un niveau sous-phrastique. le modèle à base de n-gram de lettres que nous avons développé ne souffre pas de cette limite. ## conclusion nous avons présenté dans ce travail deux corpus contenant des énoncés avec de l'alternance codique et annotés en partie du discours. c'est, à notre connaissance, l'une des première fois qu'un aussi gros volume de données présentant ce phénomène est annoté avec des informations morpho-syntaxiques ce qui ouvre la voie à beaucoup de perspectives pour analyser ce phénomène. nous avons également présenté des modèles d'analyse morpho-syntaxiques simples, mais conc ¸us pour prendre en compte les phénomènes d'alternance codique et analyser leurs performances. ces résultats montrent la difficulté de la tâche.