Apprentissage en ligne interactif d’un générateur en langage naturel neuronal pour le dialogue homme-machine (On-line Interactive Learning of Natural Language Neural Generation for Human-machine) (2017)

Abstract: Récemment, de nouveaux modèles à base de réseaux de neurones récurrents ont été proposés pour traiter la génération en langage naturel dans des systèmes de dialogue (Wen et al., 2016a). Ces modèles demandent une grande quantité de données d’apprentissage ; or la collecte et l’annotation de ces données peuvent être laborieuses. Pour répondre à cette problématique, nous nous intéressons ici à la mise en place d’un protocole d’apprentissage en ligne basé sur un apprentissage par renforcement, permettant d’améliorer l’utilisation d’un modèle initial appris sur un corpus plus restreint généré par patrons. Dans cette étude exploratoire, nous proposons une approche basée sur un algorithme de bandit contre un adversaire, afin d’en étudier l’intérêt et les limites.

## introduction dans un système de dialogue oral, le composant de génération en langage naturel (nlg pour natural language generation) vise à produire une phrase à partir d'un acte de dialogue (ad) du système, proposé par le gestionnaire de dialogue. par exemple, l'acte inf orm(@xmath0, @xmath1, @xmath2, f @xmath3. pour produire les réponses, les systèmes utilisent traditionnellement des patrons et des règles rédigés par des experts et associés à des ressources linguistiques @xcite . ce type de modèles nlg produit des phrases de bonne qualité mais répétitives et seulement pour des tâches bien spécifiées. plusieurs approches stochastiques basées sur les données ont conduit à remettre en cause ces méthodes car elles présentent notamment deux défauts : le manque de généralisation pour des domaines ouverts et la répétition fréquente de phrases identiques et de structures rigides. oh et rudnicky ont proposé d'utiliser un modèle de langue n-grammes pour surgénérer un ensemble de phrases candidates, dans lequel est retenue la forme finale @xcite . @xcite young ont étendu ce modèle en introduisant des facteurs construits sur une représentation sémantique peu profonde pour construire des n-grammes de segments @xcite . plus récemment wen et al. ont proposé plusieurs modèles basés sur les rnn (recurrent neural networks) @xcite . les évaluations par des humains ont montré que ces systèmes peuvent générer des phrases de bonne qualité linguistique et plus variées que les patrons. l'utilisation de modèles neuronaux récurrents encodeur-décodeur a aussi été étudiée pour construire des systèmes de dialogue de bout en bout @xcite . dans ce cadre, les rnn se chargent de la nlg mais aussi de la compréhension et du processus de décision ; cette étude est toutefois effectuée dans un contexte différent de cet article en considérant des systèmes conversationnels non dirigés par le but. d'une manière générale, les modèles stochastiques impliquent un travail important pour la production de corpus pour les nouveaux domaines. wen et al. présentent une approche incrémentale pour gérer l'adaptation de domaine d'un modèle de génération à base de @xcite . ils recourent à des données contrefaites synthétisées à partir d'un ensemble hors-domaine pour ajuster leur modèle sur un ensemble réduit de phrases du domaine. il est aussi envisageable d'employer des méthodes d'extension de corpus @xcite mais elles ne permettent pas une adaptation simultanée aux préférences de l'utilisateur. dans cet article, nous tentons de réduire le coût de la production de nouvelles données, en adaptant un modèle initial, non pas à une nouvelle tâche mais afin de générer des phrases avec une plus grande diversité. dans cette logique, une approche par renforcement basée sur un algorithme de bandit contre un adversaire est appliquée @xcite . si cette approche a déjà été utilisée dans les systèmes de dialogue pour la compréhension du langage @xcite , ici nous proposons un protocole pour adapter le modèle rnn aux nouvelles phrases, différentes de l'ensemble d'apprentissage, en prenant en compte le coût requis de l'utilisateur pour les fournir au système. ## le problème de l'interaction en ligne les modèles nlg neuronaux peuvent donner de bons résultats (wen et al., 2015c) mais nécessitent une quantité importante de données d'apprentissage annotées pour pouvoir produire des sorties diversifiées et de bonne qualité. plusieurs exemples de chaque phrase pour chaque acte de dialogue sont en particulier nécessaires pour entraîner le modèle. afin de réduire le coût de collecte du corpus, nous proposons dans cet article un protocole d'apprentissage en ligne. nous procédons en deux étapes. tout d'abord, un corpus initial, constitué de références générées par patrons, est utilisé pour entraîner un modèle de génération. puis, le modèle est utilisé pour générer des phrases, en interaction vocale avec l'utilisateur, auquel il peut demander de produire un énoncé meilleur ou différent. à cette étape du développement, nous considérons l'utilisateur comme averti (il peut être un des développeurs ou un collègue), puisqu'il pourrait être hasardeux de laisser n'importe quel utilisateur accéder à une telle fonctionnalité sans un moyen de contrôle efficace de l'adaptation du modèle. cette difficulté sera traitée dans de futurs travaux. afin de réduire l'effort demandé à l'utilisateur et éviter des actions inutiles, nous proposons d'utiliser un algorithme de bandit contre un adversaire pour décider si le système devrait ou non demander l'expertise de l'utilisateur, selon le gain et le coût estimés de cette action. concrètement afin de collecter de nouvelles données pour son modèle, le système va devoir décider à chaque tour de parole s'il : 1. doit demander à l'utilisateur une alternative à sa proposition, 2. peut utiliser la transcription automatique de l'entrée utilisateur ou demander un traitement correctif additionnel.