Changement stylistique de phrases par apprentissage faiblement supervisé (Textual Style Transfer using Weakly Supervised Learning) (2017)

Abstract: Plusieurs tâches en traitement du langage naturel impliquent de modifier des phrases en conservant au mieux leur sens, comme la reformulation, la compression, la simplification, chacune avec leurs propres données et modèles. Nous introduisons ici une méthode générale s’adressant à tous ces problèmes, utilisant des données plus simples à obtenir : un ensemble de phrases munies d’indicateurs sur leur style, comme des phrases et le type de sentiment qu’elles expriment. Cette méthode repose sur un modèle d’apprentissage de représentations non supervisé (un auto-encodeur variationnel), puis sur le changement des représentations apprises pour correspondre à un style donné. Le résultat est évalué qualitativement, puis quantitativement sur le jeu de données de compression de phrases Microsoft, avec des résultats encourageants.

## introduction la génération textuelle est une tâche centrale pour l'interaction entre un système intelligent et ses utilisateurs (réponse d'un agent conversationnel, résumé de texte, génération d'article...). lors de cette interaction, il est désirable de contrôler les générations afin qu'elles respectent des contraintes imposées par le contexte. on peut ainsi vouloir agir sur la longueur d'une phrase générée, son niveau de langue, sa politesse, sa polarité, et d'autres caractéristiques dé-corrélables, au moins en partie, de la sémantique. on les regroupera sous le terme fédérateur de "style". la transformation de textes pour modifier leur style et résoudre ce problème constitue un domaine actif de recherche, où sont notamment utilisés des modèles et données spécifiques (pitler, 2010) @xcite . les données utilisées sont des couples alignés de phrases du style original et du style "cible". prenons l'exemple de la contraction de phrase. on peut vouloir passer automatiquement de la phrase source they also, by law, have to be held in beirut à une phrase contractée dite cible : they have to be held in beirut. cependant, les données sous forme de telles paires alignées sont parfois trop peu nombreuses pour bien apprendre directement la tâche, et leur création est coûteuse. nous nous plaçons ici dans un cadre à la fois unificateur aux problèmes de changement de style et nécessitant une plus faible supervision. au lieu de phrases alignées de deux styles différents, la méthode proposée se contente d'un ensemble de phrases et d'indicateurs sur leur style. ces indicateurs peuvent être liés à l'origine des phrases (par exemple l'année d'écriture) ou calculés (comme la longueur des phrases). notre modèle utilise un indicateur comme signal pour modifier les générations et correspondre à une valeur voulue. pour cela, nous introduisons d'abord des modèles neuronaux de génération de phrases (section 2), puis proposons une méthode de changement de style (section 3). ## modèles génératifs conditionnés nous présentons d'abord les modèles capables d'apprendre une représentation de phrase qui permettra des modifications préservant certaines propriétés : les auto-encodeurs variationnels récurrents. ## procédure de changement style on introduit maintenant une variable y qui correspond à une valeur de style. on suppose un modèle graphique où z conditionne à la fois x et y, comme le montre la figure 2 enlever y ramène au vae classique. la variable y peut être le nombre de mots d'une phrase, son sentiment, son temps verbal, etc. pour trouver z, on optimise maintenant p (z|y, x), la probabilité de la représentation z sachant un texte x et le style y qu'on veut lui imposer. on a d'après bayes, et en conditionnant par x : comme y ne dépend que de z si z est connu, on a donc p (y|z, x) = p (y|z). supposons que y dépend linéairement de µ et que le modèle linéaire θµ s'écarte de y avec une variance 2 . on approxime alors p (y|z) avec r(y|z) = n (y -θµ, 2 ) où µ est la moyenne de z. par ailleurs, q(z|x) = n (z -µ, σ) , décrit dans 2.2, estime p (z|x). d'où : il suffit alors d'estimer r et q pour trouver la représentation z désirée correspondant à la fois à x et y, en maximisant p (z|y, x). nous estimons d'abord q puis r sur des données d'entraînement d'après la procédure présentée dans la section suivante.