Auto-encodeurs variationnels : contrecarrer le problème de posterior collapse grâce à la régularisation du décodeur (Variational auto-encoders : prevent posterior collapse via decoder regularization) (2021)

Abstract: Les auto-encodeurs variationnels sont des modèles génératifs utiles pour apprendre des représentations latentes. En pratique, lorsqu’ils sont supervisés pour des tâches de génération de textes, ils ont tendance à ignorer les variables latentes lors du décodage. Nous proposons une nouvelle méthode de régularisation fondée sur le dropout « fraternel » pour encourager l’utilisation de ces variables latentes. Nous évaluons notre approche sur plusieurs jeux de données et observons des améliorations dans toutes les configurations testées.

## introduction les modèles génératifs reposant sur une pondération neuronale comme les auto-encodeurs variationnels @xcite et les réseaux antagonistes @xcite , entre autres, connaissent une grande popularité dans tous les domaines de l'apprentissage automatique dont le traitement automatique des langues (tal). les aev peuvent manipuler des variables observées discrètes ce qui les rend particulièrement intéressants pour la génération de textes, contrairement aux ra. dans ces modèles, la génération d'une phrase suit le processus suivant : z ∼ p(z), x 1 ∼ p θ (x 1 |z), x 2 ∼ p θ (x 2 |z, x 1 ) x 3 ∼ p θ (x 3 |z, x 1 , x 2 ), . . . où @xmath0, x 2 , • • • ∈ x les mots composant la phrase tirés d'un vocabulaire x. la génération se termine lorsqu'un mot spécial indiquant la fin de la phrase est généré. sans perte de généralité, nous faisons l'hypothèse que la loi a priori p(z) est pré-définie et non apprise. l'indice θ dénote les paramètres de la distribution conditionnelle et dans notre cas, θ correspond aux paramètres d'un réseau de neurones. il est important de noter que nous ne faisons aucune hypothèse d'indépendance dans la distribution conditionnelle p(x t |z, @xmath1. lors de la phase d'apprentissage, l'objectif est de calculer la valeur des paramètres θ pour maximiser la vraisemblance des données : le terme de reconstruction dans la fonction objectif des aev est un terme de maximisation de la log-vraisemblance utilisant la technique habituelle de supervision forcée pour les modèles de langue : lors de l'apprentissage, ce modèle autorégressif est entrainé à prédire le mot suivant en fonction de la séquence de mots précédemment observée dans les données. soit @xmath2. chaque mot x i est représenté par un vecteur provenant d'une table de plongements lexicaux. nous désignons l'ensemble de ces vecteurs par une matrice @xmath3. une représentation contextuelle est calculée pour chaque position en utilisant le lstm : le dropout de plongements lexicaux @xcite consiste à remplacer aléatoirement certains plongements par un vecteur de 0 lors de l'entrainement pour éviter le sur-apprentissage. le calcul des représentations cachées devient alors : les matrices e et e sont ensuite utilisées pour calculer deux fois la log-vraisemblance de la phrase, leur moyenne remplaçant le terme initial dans le terme de reconstruction. un terme de régularisation est ensuite ajouté à la fonction objectif présentée dans l'équation 3 : r(θ; α) = -α lstm θ (e ) -lstm θ (e ) 2 2 où α > 0 est un hyperparamètre. pour que ce terme soit maximisé, le modèle devra utiliser l'information commune aux deux décodages, c'est à dire la représentation latente z. 3 expériences pour évaluer notre solution, nous avons utilisé le code source et les métriques implémentés par (li et al., 2019) auquel nous avons ajouté notre méthode de régularisation. nous avons conservé les mêmes hyperparamètres que ceux distribués par les auteurs pour ne pas biaiser les résultats en notre faveur. nous nous évaluons sur deux jeux de données : yelp (shen et al., 2017) et les données stanford natural language inference (bowman et al., 2015, snli). ces deux jeux de données ont été souséchantillonnés pour contenir 100 000 phrases d'entrainement et 10 000 pour la validation et le test chacun. snli et yelp ont des vocabulaires respectivement de taille 9 990 et 8 411 et ont 10 mots par phrase en moyenne. ## conclusion dans cet article, nous proposons de régulariser le décodeur pour contrecarrer le problème de l'effondrement de l'a posteriori lors de l'entrainement d'un aev. cette approche est différente de ce qui a été exploré dans la littérature. nous observons qu'elle atteint ses deux objectifs qui sont d'améliorer la qualité de la génération de texte et surtout d'accroître l'utilisation de la variable latente. des travaux futurs pourront s'intéresser à l'utilisation d'autres méthodes de régularisation des réseaux de neurones récurrents @xcite @xcite .