Typologies pour l’annotation de textes non standard en français (Typologies for the annotation of non-standard F rench texts) (2017)

Abstract: La tâche de normalisation automatique des messages issus de la communication électronique médiée requiert une étape préalable consistant à identifier les phénomènes linguistiques. Dans cet article, nous proposons deux typologies pour l’annotation de textes non standard en français, relevant respectivement des niveaux morpho-lexical et morpho-syntaxique. Ces typologies ont été développées en conciliant les typologies existantes et en les faisant évoluer en parallèle d’une annotation manuelle de tweets et de SMS.

## introduction ces dernières années ont été marquées par l'avènement des messages textuels courts, notamment les tweets et les sms. les outils de traitement automatique de la langue sont généralement conçus pour traiter du texte « standard », or ces messages courts font l'objet d'écrits présentant des variantes de graphie qui s'éloignent de la langue standardisée, ce qui implique un traitement automatique difficile. de nombreuses applications nécessitent pourtant l'analyse de tels textes, par exemple l'extraction d'informations médicales à partir des sms des patients @xcite , l'analyse d'opinions et de sentiments dans les tweets @xcite , ou encore la synthèse vocale @xcite . afin de pallier cette difficulté il est nécessaire de transformer les écrits « non standard » en écrits « standard », i.e. @xcite . un premier pas vers le développement d'un outil de normalisation consiste à dresser une typologie fine des phénomènes linguistiques apparaissant dans les écrits non standard. une telle typologie permettra d'annoter des textes et ainsi d'identifier les phénomènes les plus fréquents dans un corpus donné. nous pourrons alors ensuite focaliser le travail sur le traitement des phénomènes, en fonction de leur fréquence, avec des modes de traitement adaptés. dans cet article, nous discutons des typologies déjà existantes (section 2), puis nous nous focalisons sur la construction d'une typologie représentant les phénomènes linguistiques présents dans les tweets et les sms (section 3). ## travaux antérieurs le développement de typologies dans le contexte du discours numérique médié (désormais dnm) @xcite a logiquement suscité l'attention des chercheurs cette dernière décennie. une des premières typologies répertoriant les variations graphiques et les aspects morpho-lexicaux de la dnm a été établie par @xcite . la typologie de @xcite consiste en une classification générale de l'écriture sms, incluant donc des phénomènes liés à l'orthographe phonétique, la morphosyntaxe, à la syntaxe et au discours. nous avons besoin d'augmenter le degré de granularité considéré dans ces typologies afin de distinguer, par exemple, le cas des abréviations sémantisées (@xmath0. 2016 2013 ). dans cette typologie, les phénomènes n'appartenant pas à des stratégies réductionnelles (les variations orthographiques) sont considérés, et l'on y inclut également des « erreurs » telles qu'une mauvaise utilisation du temps, l'inversion indicatif/impératif, l'accord du participe passé, etc., que nous réservons à une typologie d'ordre morpho-syntaxique. enfin, la typologie publiée dans @xcite , modifiée très récemment dans @xcite porte exclusivement sur les phénomènes de néographie de l'écriture sms, en tenant compte des typologies précédentes. son originalité repose entre autres sur le fait qu'elle distingue des phénomènes tels que la substitution, la réduction, la suppression ou l'ajout. ces différentes typologies ont principalement été développées dans un but descriptif et se sont focalisées sur les sms. dans la pratique, l'annotation manuelle fondée sur les typologies antérieures implique des choix subjectifs et/ou multiples. à partir des typologies citées précédemment, notre objectif est de 1) dresser une typologie dont les classes ont une intersection minimale afin de faciliter la tâche d'annotation manuelle, 2) étendre la typologie à des phénomènes apparaissant dans twitter, pour lequel il semble qu'aucune typologie n'ait été établie. ## conception et présentation de la typologie notre typologie concilie les typologies de @xcite , @xcite , (cougnon et al., 2013) et @xcite ) avec l'objectif d'une annotation dans le cadre d'une tâche de normalisation automatique. nous exposons dans cette section notre méthodologie qui a conduit à la construction de notre typologie. @xcite considèrent deux phénomènes possibles de suppression graphique : typographie et ponctuation (l'absence de ponctuation finale par exemple) et signes diacritiques (la suppression des signes diacritiques) ; or, nous considérons la catégorie signes diacritiques comme étant plus appropriée à la définition de la substitution (remplacement de la graphie ou une partie de la graphie par une autre), et l'absence de ponctuation comme relevant plutôt du niveau syntaxique. de fait, notre typologie conserve trois catégories principales : substitution, réduction et ajout, que nous présenterons plus précisément dans la section suivante.