Algorithmes à base d’échantillonage pour l’entraînement de modèles de langue neuronaux (Here the title in E nglish) (2018)

Abstract: L’estimation contrastive bruitée (NCE) et l’échantillonage par importance (IS) sont des procédures d’entraînement basées sur l’échantillonage, que l’on utilise habituellement à la place de l’estimation du maximum de vraisemblance (MLE) pour éviter le calcul du softmax lorsque l’on entraîne des modèles de langue neuronaux. Dans cet article, nous cherchons à résumer le fonctionnement de ces algorithmes, et leur utilisation dans la littérature du TAL. Nous les comparons expérimentalement, et présentons des manières de faciliter l’entraînement du NCE.

## comparaisons et heuristiques de paramétrage nous proposons de comparer les méthodes présentées ici, d'abord avec un modèle que l'on supervise attentivement, sur un corpus de taille réduite, puis avec un modèle classique sur un corpus plus grand, pour lequel maximiser la vraisemblance ne serait pas une option, car trop coûteux. nous faisons l'hypothèse que les difficultées liées à l'utilisation du nce proviennent de l'autonormalisation, qui peut être vue comme une tâche supplémentaire à effectuer en parallèle par le modèle. nous expérimentons donc avec des heuristiques qui visent à faciliter ce processus. ainsi, on commencera par ajouter aux méthodes présentées un modèle entraîné avec le nce, mais dont nous normalisons le score p θ (w|h) = e s θ (w,h) en p θ (w|h). cela n'a que peu d'intérêt en pratique, mais cela nous permet d'évaluer la difficulté du modèle a s'entraîner avec une distribution non normalisée. le résultat obtenu par le nce normalisé peut ainsi servir de référence à laquelle comparer les heuristiques proposées. ## conclusion étant donné la contrainte imposée par la taille du vocabulaire sur le temps d'entraînement des modèles de langue neuronaux, nous nous sommes attachés à recenser et comparer des méthodes d'entraînement basées sur l'échantillonnage. ces méthodes évitent l'étape coûteuse de normalisation liée à l'objectif du maximum de vraisemblance. nous avons montré que, comme décrit dans la littérature, l'échantillonage par importance est plus efficace que l'estimation contrastive bruitée, qui est difficile à utiliser. cependant, nous avons montré qu'avec un paramétrage judicieux de la fonction de partition, cette dernière méthode peut se révéler très efficace.