L’architecture d’un modèle hybride pour la normalisation de SMS (A hybrid model architecture for SMS normalization) (2016)

Abstract: La communication par SMS (Short Message Service), aussi bien que tout autre type de communication virtuelle sous forme de textes courts (mails, microblogs, tweets, etc.), présente certaines particularités spécifiques (syntaxe irrégulière, fusionnement et phonétisation de mots, formes abrégées, etc.). A cause de ces caractéristiques, l’application d’outils en Traitement Automatique du Langage (TAL) rend difficile l’exploitation d’informations utiles contenues dans des messages bruités. Nous proposons un modèle de normalisation en deux étapes fondé sur une approche symbolique et statistique. La première partie vise à produire une représentation intermédiaire du message SMS par l’application des grammaires locales, tandis que la deuxième utilise un système de traduction automatique à base de règles pour convertir la représentation intermédiaire vers une forme standard.

## introduction les grands développements techniques des années 90 ont été marqués par le rapprochement du domaine de l'informatique à celui des télécommunications. ce dernier a vu naitre une nouvelle forme de communication, les sms (short message service), qui a été notamment décrite grâce à l'apparition de termes tels que : communication médiatisée ou médiée par ordinateur @xcite , communication écrite médiée par ordinateur @xcite , cybercommunication, netspeak @xcite etc. l'intérêt d'étudier la communication par sms réside surtout dans les particularités que nous observons dans ce langage. la plupart des messages courts présentent des différences significatives en comparaison avec les messages du langage standard puisqu'ils doivent contenir au maximum 160 caractères et leurs auteurs utilisent diverses formes pour abréger les mots dans l'objectif de gagner du temps tout en réduisant l'effort fourni. comme @xcite le mentionnent, le langage utilisé dans la communication par sms est particulièrement caractérisé par la création d'une nouvelle orthographe et d'une richesse créative qui échappe aux conventions. les approches fondées sur l'étiquetage morphosyntaxique de textes standards atteignent de hauts niveaux de précision dans des tâches liées au traitement du langage naturel. cependant, les résultats sont significativement mitigés lorsque l'étiquetage est appliqué sur des textes courts contenant du bruit @xcite . une des contraintes que nous devons affronter avec les systèmes de traitement automatique du langage (tal) est la graphie particulière des mots sms (fusionnement et phonétisation de mots, formes abrégées imprévisibles, suppression de caractères, manque de ponctuation, etc.). l'étiquetage morphosyntaxique constitue une étape fondamentale afin de pouvoir traiter davantage de données textuelles, comme dans la reconnaissance d'entités nommées, la traduction automatique, les systèmes de questions-réponses, l'extraction d'information etc. @xcite . la normalisation d'un texte devient une étape de prétraitement indispensable, de même, @xcite indiquent notamment l'importance d'appliquer ce processus de normalisation avant tout autre traitement basique issu du tal. la normalisation de sms consiste à réécrire un message sms en utilisant des formes lexicales plus conventionnelles afin de rendre ce message plus lisible aussi bien pour l'homme que pour la machine @xcite . ## travaux antérieurs afin de surmonter le problème des particularités lexicales des sms, plusieurs approches pour la normalisation lexicale des sms ont vu le jour au cours des dernières années. étant donné un texte @xmath0, s 2 , ..., s n , la tâche de normalisation lexicale est de trouver pour chaque token s i hors-vocabulaire (oov : out-of-vocabulary) un token correspondant en forme standard (iv : invocabulary), par exemple : @xmath1. pour mieux visualiser le problème de normalisation, nous empruntons la formulation initialement introduite par @xcite afin de décrire le processus de communication à travers un canal de communication bruité : supposons que le texte malformé est t et que sa forme standard est s, l'approche de normalisation vise à trouver argmax p (s|t ) en calculant argmax p (t |s)p (s), dont p (s) est généralement un modèle de langage et p (t |s) est un modèle d'erreurs @xcite . les méthodes à base de canaux bruités (noisy channel model) étaient les premières à être appliquées dans la communication médiée par ordinateur (cmo). @xcite utilisent les similarités de prononciation entre les mots dans le but d'améliorer la correction orthographique. @xcite proposent un modèle au niveau du mot pour chaque mot en langue standard et produisent, à partir d'un modèle de markov caché, toutes les variations possibles en langage sms. de leur côté, @xcite exploitent une méthode à base de cascades qui détecte les mots malformés et génère des candidats à partir de similitudes morphophonémiques. dans le cadre de la normalisation de tweets en anglais, @xcite utilise un modèle qui fait passer les messages par une phase de prétraitement afin d'enlever le bruit et par la suite alimente un modèle de traduction automatique pour le convertir en anglais standard. @xcite considèrent la normalisation comme un problème de traduction et proposent un outil de traduction automatique au niveau des phrases. la technique de la reconnaissance de la parole a été appliquée par @xcite , dans une première étape, pour décoder la représentation phonétique d'un mot en forme écrite. avec une autre approche, beaufort et al. (2010) utilisent une méthode fondée sur les automates finis tout en combinant la traduction automatique et les canaux bruités. un des travaux les plus récents est le modèle qui a été proposé par jose & raj (2014) basé sur trois types de canaux (abréviations, graphèmes, phonétiques). le modèle consiste à passer une phrase par quatre bases de données différentes pour identifier et corriger les mots inconnus en donnant à l'utilisateur la possibilité de choisir parmi les meilleurs candidats. nous distinguons deux approches pour la transcription automatique de sms en français @xcite . comme beaufort et al. (2010) le mentionnent, les analyses de normalisation produites par leur système démontrent que lors de la normalisation le système n'est pas capable de traiter les erreurs liées au contexte qui concernent le genre (choix féminin ou masculin), le nombre (singulier ou pluriel), la personne (pronom personnel) ou le temps du verbe. ils soulignent, d'ailleurs, que selon @xcite les modèles basés sur les n-grammes ne sont pas capables de traiter ce type d'erreurs. le modèle hybride que nous proposons permet, à l'aide de règles de transfert couplées avec les dictionnaires morphologiques, de résoudre ce type d'erreurs. ## normalisation notre démarche est inspirée des méthodes de traduction automatique, à la différence des travaux précédents @xcite @xcite , qui sont limités lors du traitement des variations lexicales et par conséquent ont besoin de grandes quantités de données d'apprentissage étiquetées. nous proposons un modèle de normalisation en deux étapes à l'aide des approches symboliques et statistiques : la première partie vise à produire une représentation intermédiaire du message sms par l'application des grammaires locales, tandis que la deuxième utilise un système de traduction automatique à base de règles pour convertir la représentation intermédiaire vers une forme standard (tableau 1). @xcite . tout d'abord, nous avons le processus de normalisation structurelle qui prend en charge la normalisation des séparateurs et le traitement des symboles de ponctuation ; pour accomplir cette partie nous faisons appel à l'utilisation d'heuristiques développées à partir de notre corpus d'apprentissage. une deuxième étape a pour objectif de reconnaître, et par la suite, traiter les unités reconnues à l'aide des grammaires locales @xcite . cette étape est responsable du processus de normalisation pour la résolution des formes non ambiguës, les abréviations, la détection des émoticônes et des mots hors-vocabulaire, ainsi que le découpage en unités lexicales. pour ceci nous avons conçu de réseaux de transition récursives (rtn : recursive transition networks) appliqués en combinaison avec des dictionnaires électroniques du français standard et une base de connaissance regroupant des informations spécifiques aux mots sms (figure 1 ). nous présentons comme exemple deux types des traitements effectués. ## evaluation l'évaluation de l'approche a été effectuée sur les 7 000 sms bruts (corpus de test) tirés du corpus alpes4science qui n'ont pas été utilisés pour la construction du dictionnaire bilingue. le gold standard est constitué par la transcription manuelle des sms du corpus de test. les métriques que nous avons appliquées sont le bleu et le nist score foot_1 , deux mesures couramment utilisées pour l'évaluation des transcriptions en cmo @xcite @xcite @xcite . le bleu score @xcite est un outil destiné à évaluer la précision du processus de traduction d'une langue à l'autre. cette évaluation nécessite préalablement un gold standard, autrement dit, une représentation de la traduction produite manuellement. le gold standard sera par la suite comparé avec la traduction produite automatiquement afin d'établir un score entre 0 et 1, où 1 signifie l'exactitude absolue entre les deux traductions et 0 que les deux traductions ne présentent aucune similarité @xcite . nous utilisons également le nist score, une autre métrique alternative dérivée du bleu score qui diffère sur le degré informatif qu'un n-gramme particulier peut avoir. si un n-gramme rare a été correctement trouvé, il lui sera attribué plus de poids @xcite . les résultats de l'évaluation figurant sur la tableau 2 nous permettent technique bleu score nist score approche de référence 0.60 11.78 représentation intermédiaire (ri) 0.62 11.92 traduction automatique (ta) 0.72 13.45 modèle hybride (ri+ta) 0.76 14.00 gold standard 1 16.38 tableau 2 -résultats d'évaluation d'observer l'écart de 0.16 (26.67%) en bleu score entre l'approche de référence (baseline) 6 et la transcription obtenue par l'approche hybride. par ailleurs, les résultats pour le nist score nous confirment, tout comme l'écart de 2 points entre le gold standard et l'approche hybride, la bonne qualité de la production, en comparaison avec d'autres systèmes qui fournissent des informations complètes sur ce type de métriques (kaufmann, 2010; beaufort et al., 2010). dans cet article, nous avons proposé l'architecture d'un modèle hybride pour la normalisation de textes courts. l'approche est fondée sur l'analyse typologique et néographique à l'aide des grammaires locales, couplée avec un système de traduction automatique. nos résultats nous montrent que l'approche proposée améliore la qualité, la lisibilité et l'opérationnalité des sms. ces résultats sont encourageants et nous incitent à explorer de nouveaux modes d'hybridation (traitement des emprunts, phonétisation, calcul de distances d'édition, mémoires de traduction). nous envisageons également d'effectuer l'évaluation de notre système sur le corpus de sms 88milsms 7 récolté à montpellier, en 2011. nous estimons que cette approche pourrait être appliquée à d'autres types de textes qui contiennent du bruit : chats, e-mails, forums de discussion, réseaux sociaux.