Contribution d’informations syntaxiques aux capacités de généralisation compositionelle des modèles seq2seq convolutifs (Assessing the Contribution of Syntactic Information for Compositional Generalization of seq2seq Convolutional Networks) (2021)

Abstract: Les modèles neuronaux de type seq2seq manifestent d’étonnantes capacités de prédiction quand ils sont entraînés sur des données de taille suffisante. Cependant, ils échouent à généraliser de manière satisfaisante quand la tâche implique d’apprendre et de réutiliser des règles systématiques de composition et non d’apprendre simplement par imitation des exemples d’entraînement. Le jeu de données SCAN, constitué d’un ensemble de commandes en langage naturel associées à des séquences d’action, a été spécifiquement conçu pour évaluer les capacités des réseaux de neurones à apprendre ce type de généralisation compositionnelle. Dans cet article, nous nous proposons d’étudier la contribution d’informations syntaxiques sur les capacités de généralisation compositionnelle des réseaux de neurones seq2seq convolutifs.

## introduction si les réseaux de neurones obtiennent des résultats remarquables sur différentes tâches de traitement automatique des langues (tal), telles que la traduction automatique, les tâches de question-réponse ou la génération de texte, plusieurs études (par exemple @xcite ces résultats ne sont pas surprenants dans la mesure où @xcite ne donnent aucune information, à part les formes de surface, pour guider le modèle vers l'apprentissage de la compositionalité. ces modèles apprennent essentiellement à imiter les exemples qu'ils voient lors de l'apprentissage. ainsi, cela soulève la question de savoir si l'ajout d'informations, qui inciteraient le réseau de neurones à s'abstraire des formes de surface, amélioreraient les capacités compositionnelles du modèle. nous proposons d'étudier cette question en analysant la contribution d'informations syntaxiques sur le jeu de données scan. pour cela, un protocole expérimental est proposé avec différents types d'information syntaxiques ajoutées a priori sur les séquences d'entrée (voir ## expériences protocole expérimental @xcite , nous utilisons un modèle de type encodeurdécodeur convolutif @xcite , via l'implémentation de fairseq @xcite v.0.9.0, foot_2 et pytorch 1.5.0. ce choix est motivé par les conclusions @xcite qui montrent des résultats empiriques nettement superieurs par rapport aux lstm. foot_3 à l'instar de travaux précédents @xcite @xcite et pour assurer une comparabilité des résultats, nous dupliquons l'ensemble d'exemples d'entraînement original pour obtenir 100 000 exemples. cependant, nous utilisons une méthode légèrement différente foot_4 : nous commençons par échantillonner aléatoirement 10% des données d'entraînement pour les utiliser comme ensemble de validation. parmi les 90% restant, nous obtenons le jeu de données augmenté en dupliquant chaque commande pour qu'elle apparaîsse 7 fois. pour le split jump, cela nous donne 92 421 exemples d'entraînement et 1 467 exemples pour la validation. nous évaluons sur le même ensemble de test que les travaux précédents (7 706 exemples). pour calibrer les hyperparamètres, nous faisons varier le pas d'apprentissage (0.1, 0.01), la taille des batches @xcite @xcite @xcite , le nombre de couches cachées (de 5 à 10), la taille des vecteurs de mots (128, 256, 512), la probabilité de dropout (0, 0.25, 0.5) et la taille du noyau de convolution (3, 4, 5). ces plages de valeurs sont similaires à celles explorées dans des travaux précédents. nous entraînons chaque configuration du modèle pendant une époque (tel que fait dans @xcite ) et répliquons le procédé trois fois avec des graines aléatoires distinctes.