Analyse de la régulation de la longueur dans un système neuronal de compression de phrase : une étude du modèle L en I nit (Investigating Length Regulation in a Sentence Compression Neural System : a Study on the L en I nit Model) (2020)

Abstract: La simplification de phrase vise à réduire la complexité d’une phrase tout en retenant son sens initial et sa grammaticalité. En pratique, il est souvent attendu que la phrase produite soit plus courte que la phrase d’origine, et les modèles qui intègrent un contrôle explicite de la longueur de sortie revêtent un intérêt particulier. Dans la continuité de la littérature dédiée à la compréhension du comportement des systèmes neuronaux, nous examinons dans cet article les mécanismes de régulation de longueur d’un encodeur-décodeur RNN appliqué à la compression de phrase, en étudiant spécifiquement le cas du modèle LenInit. Notre analyse met en évidence la coexistence de deux influences distinctes au cours du décodage : celle du contrôle explicite de la longueur, et celle du modèle de langue du décodeur.

## introduction la simplification de phrase peut être définie comme la tâche qui consiste à réduire la complexité d'une phrase, tout en préservant sa grammaticalité et son sens initial. la notion de complexité peut ici faire référence à plusieurs caractéristiques de la phrase (par exemple le vocabulaire, la syntaxe, les connaissances extérieures pré-supposées), et doit être considérée relativement à l'objectif de l'application. la littérature sur la simplification a développé de nombreuses approches, qui se distinguent notamment par le type d'opérations autorisées pour la transformation de la phrase : la simplification extractive repose sur la suppression de mot @xcite ; d'autres méthodes utilisent la paraphrase, en accentuant les simplifications lexicales @xcite ou syntaxiques @xcite @xcite . souvent, il est attendu que la phrase simplifiée soit plus courte que l'entrée -la tâche devient alors la compression de phrase. dans bien des cas, il est intéressant que le système soit capable de contrôler la réduction de la longueur. en effet, si le but final est d'améliorer la lisibilité d'un texte pour un groupe d'utilisateurs, un contrôle lâche de la longueur est un moyen simple d'adapter le niveau de lecture. dans le cadre du sous-titrage automatique, un contrôle plus strict est nécessaire pour respecter les contraintes de temps de lecture et de largeur du moniteur @xcite . @xcite ont proposé leninit 1 , une approche pour la compression à base d'encodeurdécodeur, qui contrôle la longueur de la phrase engendrée en introduisant dans l'état initial du décodeur un vecteur qui encode la valeur visée. afin d'avoir une meilleure compréhension des mécanismes possibles pour la compression de phrase, et dans la continuité des travaux de sondage (probing) des modèles neuronaux @xcite @xcite , nous avons décidé d'analyser la méthode leninit, en tentant d'estimer ses limites, et en essayant de comprendre les changements qu'elle implique par rapport au fonctionnement interne d'un rnn encodeur-décodeur classique. pour cette étude, nous avons créé un corpus artificiel de compression de phrase, et l'avons utilisé pour entraîner une ré-implémentation au niveau caractère de leninit. puis nous avons mené trois groupes d'expériences. premièrement, nous avons effectué des mesures sur la précision du contrôle de longueur par leninit, et sur la qualité des phrases produites. deuxièmement, nous avons entraîné un classificateur pour prédire la longueur future (i.e. le nombre de caractères à engendrer avant finde-phrase) à partir d'un état caché du décodeur, de manière à suivre l'évolution de la représentation de la longueur au cours du décodage. troisièmement, nous avons tracé l'évolution de la probabilité associée par le modèle aux caractères associés à la fin de phrase. notre analyse montre que leninit exerce un contrôle probabiliste sur la longueur, et suggère la coexistence de deux influences distinctes au cours du décodage : celle de l'objectif explicite, et celle du modèle de langue du décodeur. ## contexte nous décrivons ici le modèle et les données que nous avons utilisés pour nos expériences de compression de phrase au niveau des caractères. ## implémentation modèle de langue n-gramme au niveau caractère pour pouvoir produire le corpus expérimental de compression (section 2.2), nous avons implémenté un modèle de langue 4-gramme au niveau caractère sous la forme d'un perceptron multicouche @xcite avec une seule couche cachée (de dimension 128). il a été entraîné pendant 4 époques sur 60 418 phrases en français de tatoeba, en utilisant adam @xcite avec son paramétrage standard : α = 0, 0005, β 1 = 0, 9, β 2 = 0, 999, @xmath0. ## travaux connexes la simplification de phrase et la compression de phrase sont des domaines bien étudiés du traitement automatique des langues, qui ont bénéficié des avancées majeures apportées par la traduction automatique aux méthodes de transduction. aux approches pionnières fondées sur les règles @xcite ont succédé -dans la suite de moses @xcite -des modèles statistiques comme ceux de @xcite ; @xcite . puis, grâce au cadre des réseaux neuronaux récurrents @xcite , rush et al. (2015) ont implémenté pour la tâche un système encodeur-décodeur avec attention. enfin plus récemment, des travaux tels que ceux de zhao et al. (2018); takase & okazaki (2019) ont adapté l'architecture transformer. quoique souvent comparée à la traduction, la simplification de phrase peut également être décrite du point de vue du transfert de style, dans la mesure où elle vise à reformuler la même signification avec un tour moins complexe (et plus concis parfois). la littérature sur le transfert de style propose généralement de travailler avec des représentations dans un espace continu, et d'y séparer le contenu sémantique des dimensions stylistiques. ainsi hu et al. (2017) utilisent un auto-encodeur variationnel avec des représentations démêlées pour engendrer des phrases dont les attributs (parmi lesquels la longueur) sont contrôlés. la dissociation entre la représentation style et celle du fond sémantique est réalisée dans ce cas par apprentissage adverse. en comparaison, le modèle leninit de kikuchi et al. (2016) utilise un paramètre pour encoder la longueur voulue et le concatène à la représentation de la phrase initiale, sans employer de mécanisme pour assurer que celle-ci ne contienne pas d'information de longueur. cela rejoint sur le principe certaines méthodes qui contrôlent la catégorie de la phrase produite en ajoutant un symbole spécifique à la fin de la phrase d'entrée (pour la formalité (sennrich et al., 2016), ou le domaine pour (kobus et al., 2017)). nous suivons dans cet article les études de sondage des représentations, qui ont détecté certaines informations de surfaces (longueur entre autres) dans les plongements de phrases (adi et al., 2016; conneau et al., 2018). nos expériences sur la prédiction de longueur future et le suivi de probabilité au cours du décodage sont en partie similaires à celles de shi et al. (2016) (dans le cadre de la compression de phrase toutefois). 7 conclusion nous avons réimplémenté la méthode leninit, et avons étudié son efficacité et ses mécanismes de régulation de longueur pour une tâche de compression/décompression sur un corpus artificiel. il semble que deux influences s'opposent au cours du décodage : d'une part l'objectif explicite de longueur, et d'autre part la contrainte de produire une phrase grammaticalement correcte exercée par le modèle de langue du décodeur. nous avons pu déceler ces influences dans l'information contenue dans les états cachés, mais sans encore comprendre exactement comment elles agissent. si leninit exerce bien un contrôle sur la longueur, celui-ci n'est pas étroit mais plutôt probabiliste (d'après des expériences où pourtant la consigne pourrait toujours être précisément respectée), et peut être influencé par le choix d'encodage. à l'avenir, il pourrait être intéressant de tester si la contrôlabilité dépend de certaines caractéristiques de la phrase d'entrée, ou si la distribution des types d'opérations choisis par le modèle change pendant le décodage.