Construction conjointe d’un corpus et d’un classifieur pour les registres de langue en français (Joint building of a corpus and a classifier for language registers in F rench) (2018)

Abstract: Les registres de langue sont un trait stylistique marquant dans l’appréciation d’un texte ou d’un discours. Cependant, il sont encore peu étudiés en traitement automatique des langues. Dans cet article, nous présentons une approche semi-supervisée permettant la construction conjointe d’un corpus de textes étiquetés en registres et d’un classifieur associé. Cette approche s’appuie sur un ensemble initial et restreint de données expertes. Via une collecte automatique et massive de pages web, l’approche procède par itérations en alternant l’apprentissage d’un classifieur intermédiaire et l’annotation de nouveaux textes pour augmenter le corpus étiqueté. Nous appliquons cette approche aux registres familier, courant et soutenu. À l’issue du processus de construction, le corpus étiqueté regroupe 800 000 textes et le classifieur, un réseau de neurones, présente un taux de bonne classification de 87 %.

## introduction les registres de langue fournissent de nombreuses informations sur un locuteur et sa relation avec les destinataires du message. il s'agit d'un sujet cependant encore peu étudié en traitement automatique des langues (tal), notamment en raison du manque de données d'apprentissage. pour pallier ce problème, cet article présente une approche semi-supervisée de construction d'un corpus textuel étiqueté en registres de langue. l'approche proposée s'appuie sur un ensemble restreint de données manuellement étiquetées et une vaste collection de pages web automatiquement collectées mais non étiquetées. le principe de construction tient alors dans l'apprentissage conjoint et itératif d'un classifieur, un réseau de neurones, sur les données étiquetées. pour une itération donnée, le classifieur permet de catégoriser les données web, de sélectionner celles dont la classification semble fiable, puis de raffiner le classifieur sur la base de l'ensemble des données étiquetées augmenté de celles sélectionnées. par ce procédé, nous visons une convergence de l'apprentissage du classifieur et de la construction du corpus vers un compromis entre taux de bonne classification et taille du corpus étiqueté. en pratique, nous appliquons ce processus sur un ensemble de 400 000 pages web et obtenons un corpus étiqueté en registres familier, courant et soutenu d'environ 750 millions de mots, ainsi qu'un réseau de neurones avec un taux de classification de 87 %. le jeu de descripteurs utilisé regroupe 46 caractéristiques de natures variées (lexicales, morphologiques, syntaxiques. . .) issues d'une analyse experte préalable. dans cet article, nous présentons tout d'abord en section 2 un état de l'art lié aux registres de langue et à leur traitement en tal. les sections 3, 4 et 5 introduisent ensuite les détails respectifs de notre approche, des données utilisées et du classifieur. enfin, les résultats sont présentés en section 6. les méthodes de traitement de style automatique sont toutes fondées sur un ensemble de descripteurs pertinents dérivés des textes à traiter. en raison de son importance historique, le travaux en attribution d'auteur permettent d'identifier un large éventail de descripteurs. comme l'indique @xcite , les préférences ou les choix d'écriture d'un auteur sont reflétés à plusieurs niveaux de langage. le plus évident et le plus étudié est le niveau lexical, par exemple à travers la longueur des mots et des phrases d'un texte, la richesse de son vocabulaire ou les fréquences des mots et des n-grammes de mots @xcite . à cet égard, il est généralement admis dans la communauté que les mots-outils (prépositions, articles, auxiliaires, verbes modaux. . .) sont d'intérêt notable alors que d'autres mots (noms, adjectifs. . .) doivent être évités pour le traitement de la style @xcite , selon un principe d'orthogonalité entre le style et la signification d'un texte. ce principe souligne l'importance d'abstraire certains éléments de sens pour l'analyse du style, faute de quoi l'analyse risque d'être biaisée par le thème des textes traités. malgré tout, quelques descripteurs sémantiques peuvent se révêler utiles, par exemple les fréquences de recours à des synonymes et hyperonymes ou les relations fonctionnelles entre propositions (clarification d'une proposition par une autre, mise en oppositiondots) @xcite . par ailleurs, quelque soit leur sens, l'emploi de certains mots témoigne explicitement de l'appartenance du texte à un style précis @xcite , en particulier dans le cas des registres de langue. sur le plan syntaxique, l'emploi de descripteurs issus d'analyses morphosyntaxiques et syntaxiques est très largement répandu pour caractériser le style @xcite @xcite . enfin, d'autres travaux se sont intéressés à l'information graphémique en considérant des n-grammes de caractères, les types des graphèmes (lettre, chiffre, ponctuation, majusculedots) ou encore des mesures de compression de l'information @xcite @xcite . dans notre travail, une étude linguistique préliminaire a été menée en ce sens @xcite , conduisant à un ensemble de descripteurs pour les 3 registres considérés. ## approche proposée cette section décrit le processus semi-supervisé de construction d'un corpus étiqueté en registre. comme illustré sur la figure 1, le processus est amorcé par une étape de collecte de données sur internet. cette collecte s'appuie sur deux lexiques spécialisés, l'un pour le registre familier, l'autre pour le soutenu, à partir desquels des requêtes familières ou soutenues sont formées, puis soumises à un moteur de recherche. après nettoyage automatique, les pages récupérées sont regroupées au sein d'un unique corpus dont on cherche à extraire les plus pertinentes pour chaque registre. cette extraction se fait par le biais d'un classifieur probabiliste (un réseau de neurones) prédisant la probabilité d'appartenance à chaque registre. pour résoudre l'interdépendance selon laquelle le classifieur nécessite des données d'entraînement étiquetées et l'étiquetage des données nécessite un classifieur, l'approche procède par itérations. ainsi, un premier classifieur est initialement entraîné sur une graine, c'est-à-dire un faible ensemble initial de données annotées manuellement et indépendant des pages web récupérés. ce classifieur permet de sélectionner les textes dont l'appartenance à l'un des registres est considérée comme fiable, dans notre cas si la probabilité d'appartenance à un registre est supérieure à un seuil donné. ces textes sont ensuite ajoutés à ceux déjà étiquetés, puis une nouvelle itération démarre. ce processus semi-supervisé permet en fin de processus d'obtenir conjointement un ensemble de textes catégorisés et un classifieur. notons que le recours à internet n'est pas une originalité de notre travail puisque de nombreux exemples analogues existent dans littérature, par exemple @xcite (bien que notre processus de collecte ne soit pas itératif ici) ou encore @xcite pour la collecte de pages thématiques. les classes considérées sont « familier », « soutenu » et « courant ». la considération du registre courant se justifie par le fait que les deux premiers registres se définissent par leurs variations respectives à ce troisième. ainsi, le registre courant, parfois qualifié de neutre, rassemble les textes qui présentent peu d'écart à la norme. pour compléter ce partitionnement des textes, nous faisons également l'hypothèse que certains textes récupérés n'appartiennent à aucun des 3 registres, soit car le texte est mal formé (langue étrangère, style sms, texte non naturel. . .), soit car le registre n'y est pas homogène (par exemple, dans une liste de commentaires). notre condition de fiabilité d'appartenance permet de modéliser cela. requêtes familières requêtes soutenues exemples positifs nain porte quoi couronne de myrte roublardise foutre la paix dioscurisme argutieusement croquenot se cuiter hic et nunc avaler sa chique géronte séductible exemples négatifs montrer le chemin relation sexuelle phénomème bien connu ayant trait au fait qu'il n'existe qu'une norme du langage mais une infinité de s'en écarter. la richesse du registre familier reflète ces multiples écarts possibles. le classifieur est un réseau de neurones multi-couches. le choix de cet outil d'apprentissage automatique n'est pas une revendication de notre travail. ce choix se justifie avant tout par la facilité actuelle à construire des réseaux de neurones grâce aux multiples boîtes à outils disponibles. par ailleurs, les possibilités d'interconnexions entre neurones et les multiples fonctions d'activation existantes permettent de modéliser par des réseaux de neurones d'autres techniques comme des classifieurs naïfs de bayes ou des modèles de type exponentiel. enfin, les réseaux de neurones sont connus pour être liés à la propriété de prolongement @xcite . bien que l'objectif du présent article soit la construction d'un corpus et d'un premier classifieur. des perspectives futures pourraient être d'observer les similarités entre documents tels présentes dans l'espaces des embeddings produits par notre modèle. tel que l'illustre la figure 2, le réseau de neurones que nous considérons prend en entrée le vecteur des 46 valeurs représentant un texte. les valeurs en sortie sont les probabilités d'appartenance à chaque registre. toutes les couches du réseau sont des couches denses. les 2 premières sont composées de 10 neurones, la première avec une fonction d'activation de type leaky relu 7 , l'autre avec la fonction tanh. la dernière couche est composée de 3 neurones avec une fonction softmax afin de produire une distribution de probabilités. cette architecture est issue de quelques tests sur un ensemble de développement mais n'a pas fait l'objet d'une étude approfondie. une fois le réseau appris, les probabilités d'appartenance pour un texte fourni en entrée sont directement interprétées comme le niveau de confiance du réseau. un seuil est alors appliqué pour déterminer s'il faut classer le texte ou non. 6 résultats les expériences ont été menées en utilisant les bibliothèques keras 8 et tensorflow 9 . hormis lors de l'apprentissage du premier modèle sur la graine, les classifieurs successifs sont appris par lot de 100 instances sur 20 époques en utilisant l'algorithme d'optimisation rmsprop et l'erreur absolue moyenne comme fonction objectif. les 435 segments initialement annotés sont répartis en un ensemble d'apprentissage (40%, soit 174 segments), de développement (20%) et de test (40%). à chaque itération, les segments nouvellement sélectionnés parmi les données web sont injectés dans l'ensemble d'apprentissage pour 80% et l'ensemble de développement pour le reste. l'ensemble de test n'est jamais modifié afin de pouvoir mesurer l'évolution du classifieur tout au long du processus. nous étudions tout d'abord les résultats du classifieur, puis le corpus produit en parallèle. ## conclusion dans cet article, nous avons présenté un processus semi-supervisé qui construit conjointement un corpus textuel étiqueté en registres de langue et un classifieur associé. en s'appuyant sur un très large ensemble de textes et quelques ressources expertes de départ, le résultat de cette approche est un corpus constitué de 800 000 segments textuels représentant un total d'environ 750 millions de mots. le classifieur parallèlement obtenu atteint un taux de bonne classification de 87 % sur l'ensemble de test mais des résultats plus modestes sur un sous-ensemble étiqueté manuellement des pages collectées. ces résultats semblent démontrer la validité de l'approche et d'une majorité des annotations produites mais ils démontrent également le besoin d'affiner ses différents aspects. parmi les pistes de travail pour l'avenir, une analyse linguistique poussée sur la qualité des annotations automatiques doit être poursuivie, ainsi qu'une étude des importances de chaque descripteur dans le réseau de neurones et de la robustesse du réseau si certains descripteurs venaient à être absents ou anormaux. par ailleurs, le choix du seuil de sélection ne semble pas critique ni même réellement propice à éviter la présence trop importante de faux positifs. il serait instructif de comprendre pourquoi et d'essayer d'autres stratégies (par exemple, en limitant la sélection des textes à un nombre fixe par itération). à plus long terme, le corpus ouvre de multiples pistes d'utilisation, comme, dans le cas qui nous intéressent, la transposition automatique d'un texte d'un registre vers un autre.