Neural approaches to dialog modeling

Cette thèse par article se compose de quatre articles qui contribuent au domaine de l’apprentissage profond, en particulier dans la compréhension et l’apprentissage des ap- proches neuronales des systèmes de dialogue. Le premier article fait un pas vers la compréhension si les architectures de dialogue neuronal couramment utilisées capturent efficacement les informations présentes dans l’historique des conversations. Grâce à une série d’expériences de perturbation sur des ensembles de données de dialogue populaires, nous constatons que les architectures de dialogue neuronal couramment utilisées comme les modèles seq2seq récurrents et basés sur des transformateurs sont rarement sensibles à la plupart des perturbations du contexte d’entrée telles que les énoncés manquants ou réorganisés, les mots mélangés, etc. Le deuxième article propose d’améliorer la qualité de génération de réponse dans les systèmes de dialogue de domaine ouvert en modélisant conjointement les énoncés avec les attributs de dialogue de chaque énoncé. Les attributs de dialogue d’un énoncé se réfèrent à des caractéristiques ou des aspects discrets associés à un énoncé comme les actes de dialogue, le sentiment, l’émotion, l’identité du locuteur, la personnalité du locuteur, etc. Le troisième article présente un moyen simple et économique de collecter des ensembles de données à grande échelle pour modéliser des systèmes de dialogue orientés tâche. Cette approche évite l’exigence d’un schéma d’annotation d’arguments complexes. La version initiale de l’ensemble de données comprend 13 215 dialogues basés sur des tâches comprenant six domaines et environ 8 000 entités nommées uniques, presque 8 fois plus que l’ensemble de données MultiWOZ populaire. This thesis by article consists of four articles which contribute to the ﬁeld of deep learning, speciﬁcally in understanding and learning neural approaches to dialog systems. The ﬁrst article takes a step towards understanding if commonly used neural dialog architectures eﬀectively capture the information present in the conversation history. Through a series of perturbation experiments on popular dialog datasets, weﬁndthatcommonly used neural dialog architectures like recurrent and transformer-based seq2seq models are rarely sensitive to most input context perturbations such as missing or reordering utterances, shuﬄing words, etc. The second article introduces a simple and cost-eﬀective way to collect large scale datasets for modeling task-oriented dialog systems. This approach avoids the requirement of a com-plex argument annotation schema. The initial release of the dataset includes 13,215 task-based dialogs comprising six domains and around 8k unique named entities, almost 8 times more than the popular MultiWOZ dataset. The third article proposes to improve response generation quality in open domain dialog systems by jointly modeling the utterances with the dialog attributes of each utterance. Dialog attributes of an utterance refer to discrete features or aspects associated with an utterance like dialog-acts, sentiment, emotion, speaker identity, speaker personality, etc. The ﬁnal article introduces an embedding-free method to compute word representations on-the-ﬂy. This approach signiﬁcantly reduces the memory footprint which facilitates de-ployment in on-device (memory constraints) devices. Apart from being independent of the vocabulary size, we ﬁnd this approach to be inherently resilient to common misspellings.

Keyphrases: multiwoz, Systèmes de dialogue axés sur les tâches, Actes de dialogue, Hachage sensible àla localité, Inférence en langage naturel, Analyse dessentiments, Graphique de calcul dynamique, Réseaux récurrents, Réseaux récursifs, Réseaux de neurones, Apprentissage profond, Naturel traitement du langage, Apprentissage par renforcement, Apprentissage automatique, task-oriented dialog systems, dialog-acts, multiwoz, locality sensitive hashing, self-attention, recurrent networks, neural networks, deep learning, natural language processing, reinforcement learning, machine learning, Auto-attention, Dynamic computational graph, Recursive networks, Wizard-of-oz, Natural language inference, Sentiment analysis