Optimiser l’adaptation en ligne d’un module de compréhension de la parole avec un algorithme de bandit contre un adversaire (Adversarial bandit for optimising online active learning of spoken language understanding) (2016)

Abstract: De nombreux modules de compréhension de la parole ont en commun d’être probabilistes et basés sur des algorithmes d’apprentissage automatique. Deux difficultés majeures, rencontrées par toutes les méthodes existantes sont : le coût de la collecte des données et l’adaptation d’un module existant à un nouveau domaine. Dans cet article, nous proposons un processus d’adaptation en ligne avec une politique apprise en utilisant un algorithme de type bandit contre un adversaire. Nous montrons que cette proposition peut permettre d’optimiser un équilibre entre le coût de la collecte des retours demandés aux utilisateurs et la performance globale de la compréhension du langage parlé après sa mise à jour.

## introduction dans un système de dialogue, le rôle du module de compréhension de la parole est d'extraire, pour chaque énoncé d'utilisateur, des hypothèses qui représentent son contenu sémantique. cela peut être représenté par une séquence d'actes de dialogue sous la forme acttype(@xmath0. les acttype sont indépendants de la tâche et transmettent l'intention de l'utilisateur lors de la communication, alors que les slot et les value dépendent du domaine d'application et correspondent à l'information que le système peut manipuler (entrées dans une base de données, commandes à un robot, ...). par exemple, l'énoncé « bonjour je cherche un restaurant français dans la partie sud de la ville » correspond à l'acte de dialogue « hello(), inform(@xmath1, inform(@xmath2. actes de la conférence conjointe jep-taln-recital 2016, volume 1 : jep dans la dernière décennie, les systèmes de compréhension ont évolué progressivement vers des approches probabilistes apprises sur de grandes quantités de données @xcite . plusieurs travaux ont proposé des approches semi-supervisées @xcite ou non-supervisées @xcite pour faire face au manque de données annotées. dans ce même but, d'autres travaux ont proposé de porter les systèmes à travers les langues et les domaines @xcite . plusieurs recherches ont aussi étudié des procédures d'apprentissage actif (active learning, al) pour réduire le coût d'annotation et de vérification de corpus @xcite . par ailleurs, dans @xcite , nous avons proposé une méthode sans données de référence pour la compréhension de la parole. cette méthode est basée sur une représentation vectorielle compacte de mots (word embedding @xcite ) utilisée pour généraliser une base de connaissance d'un domaine cible (bases de données, description ontologique...). cette approche ne nécessite pas de données annotées et peut atteindre instantanément des performances état-del'art. une stratégie d'adaptation en ligne a également été proposée pour affiner le modèle de façon progressive avec une supervision minimale. en effet, avec cette stratégie, les utilisateurs doivent confirmer certaines hypothèses faites par le système par des retours binaires, mais sans corriger explicitement les erreurs qui nécessitent des retours utilisateurs plus complexes. cela permet de corriger certaines erreurs de classification mais sans possibilité d'ajouter de nouveaux concepts ou valeurs dans le modèle. aussi, dans cet article, nous proposons d'étendre cette stratégie d'adaptation en ligne afin de répondre également à ce problème et d'être ainsi en mesure d'étendre le modèle avec de nouvelles connaissances en permanence. pour définir cette nouvelle stratégie, nous proposons de considérer le problème d'adaptation comme un problème de bandit contre un adversaire (adversarial bandit). cette proposition vise à minimiser le coût de supervision tout en demandant à l'utilisateur des retours qui peuvent avoir le maximum d'impact sur le modèle. les algorithmes de bandit ont été largement étudiés dans la communauté de l'apprentissage automatique @xcite . leur objectif est de déterminer le meilleur compromis entre l'exploration des options qui ont donné le meilleur rendement (gains) dans les itérations précédentes et l'exploration de nouvelles options qui pourraient donner une meilleure performance à l'avenir. peu de travaux ont déjà employé ce genre de techniques pour optimiser un module de traitement de langage naturel. parmi ceux-ci, on pourra donner comme exemple @xcite où les auteurs appliquent un algorithme de bandit contextuel pour raffiner un classificateur multiclasses avec des retours utilisateurs de type oui/non sur une tâche visant à identifier le motif d'un appel téléphonique (call routing). nous montrons que la technique proposée dans ce papier permet d'obtenir de bonnes performances avec un coût faible et une supervision minime sur une tâche de compréhension de la parole en utilisant les données de la seconde campagne d'évaluation dialog state tracking challenge (dstc2) @xcite . ## compréhension de la parole avec un apprentissage sans données de référence (zero-shot) le modèle de compréhension employée dans notre étude est celui proposé dans @xcite et présenté dans la figure 1. il est basé sur une analyse sémantique sans données de référence (zero-shot semantic parser, zssp) et fait usage de trois composants principaux. le premier est un espace sémantique f basé sur une représentation vectorielle compacte de mots apprise avec des figure 1: modèle de d'analyseur sémantique sans données de référence (modèle zssp) réseaux de neurones profonds (mikolov et al., 2013a) à partir de données générales. le deuxième composant est une base de connaissances k qui peut être vue comme un dictionnaire d'exemples dans f utilisé pour relier l'espace sémantique à l'espace de sortie du système. dans k, des coefficients d'affectation mesurent la correspondance entre un exemple et un acte de dialogue connus. ces valeurs, indiquent le degré de correspondance entre une phrase et une étiquette sémantique. ces coefficients, initialisés à 1 pour l'ensemble d'exemples/actes extrait de l'ontologie, seront ensuite modifiés en fonction des retours des utilisateurs. enfin, un analyseur sémantique qui extrait une liste ordonnée des meilleures hypothèses de séquences d'étiquettes sémantiques à partir d'un transducteur à états finis représentant l'ensemble des hypothèses pour une phrase utilisateur (scorées par des informations issues de f et de k). par exemple pour la phrase « not french », trois formes de surface différentes sont extraites : « not », « french » et « not french ». ces formes de surface sont ensuite projetées dans l'espace sémantique f (cercles rouges dans la figure 1 ) pour être comparées aux vecteurs associés aux exemples de la base de connaissance k (croix noires dans la fig. 1 ). pour ce faire un critère de similarité (e.g. similarité cosinus) entre ces vecteurs est employé. on note que, malgré la présence de k, le zssp ne dispose pas de données de référence qui seraient des phrases entières annotées sémantiquement. ## expériences et résultats notre étude expérimentale a été menée sur une tâche de compréhension de la parole en utilisant les données de la seconde campagne d'évaluation dialog state tracking challenge (dstc2) @xcite qui couvre le domaine de la recherche d'information à propos de restaurants. nous exploitons ces données (transcriptions, annotations sémantiques...) comme corpus d'apprentissage et de test pour évaluer notre approche d'apprentissage en ligne pour l'étiquetage sémantique. ainsi, les transcriptions du corpus de test (9890 énoncés utilisateur) seront utilisées pour le test. un sousensemble des transcriptions du corpus d'apprentissage (1472 énoncés) seront exploitées dans notre modèle de raffinement en ligne du modèle. la configuration du modèle sans données de référence utilisé pour appliquer notre méthode d'apprentissage en ligne correspond à celle présentée dans @xcite . un modèle word2vec (mikolov et al., 2013a) a été utilisé pour apprendre une représentation vectorielle des mots avec 300 dimensions. ce modèle a été appris avec l'algorithme skip-gram (avec une fenêtre de 10 mots et un softmax hiérarchique) sur une grande quantité de données disponibles librement et présentant une grande couverture thématique. ce type de représentation présente certaines régularités avec les propriétés syntaxiques et sémantiques des mots comme celles montrées dans @xcite ) ainsi qu'une structure linéaire permettant la combinaison des représentations des mots par une simple addition vectorielle élément par élément. cette technique est donc utilisée pour projeter nos formes de surface vers leur représentation sémantique vectorielle de type word2vec vue comme une somme des représentations individuelles de chaque mot les constituant. la base de connaissance utilisée pour notre expérience est initialisée grâce aux descriptions ontologiques fournies dans le cadre du dstc2 (e.g. listes des concepts/valeurs) ainsi que d'un ensemble d'informations génériques. la sémantique du domaine est constituée de 8 concepts et 215 valeurs. au total 16 acttype sont considérés, il en résulte donc 663 étiquettes sémantiques possibles. nous avons définis manuellement 53 formes de surface associées aux différents acttypes. par exemple « say again » est utilisé pour représenter l'acte repeat(). du fait que la technique exp3 emploie une certaine forme d'exploration stochastique (ici 0 = 0, 2) nous utiliserons une moyenne faite à partir de 20 processus indépendants d'apprentissage en ligne. la figure 2 donne l'évolution de la probabilité p i (t) associée à chaque action i telle qu'estimée par l'algorithme exp3 (@xmath3, 5). nous pouvons observer que chaque action est sélectionnée avec une probabilité comparable au début de la procédure d'optimisation, exp3 explore. puis, à mesure que le nombre de tours considérés augmente, on observe que l'influence des deux actions yesnoquestions et skip croît. on remarque cependant un avantage clair à l'action skip lorsqu'il devient plus difficile d'obtenir de nouvelles informations eu égard au coût impliqué pour les collecter. 0 20 40 60 80 0.65 0.7 0.75 0.8 0.85 nombre de dialogues f-mesure sur acttype(@xmath4.5 figure 4: impact du nombre de dialogues employés sur les différentes techniques d'adaptation en ligne en terme de fmesure. dans la figure 3 on compare l'effet de sur la stratégie apprise par exp3 en terme d'effort utilisateur cumulé. les stratégies askannotation et yesnoquestions (stratégies réalisant la même action à chaque tour) sont introduites ici à des fin de comparaison comme méthodes de référence. nous considérons les performances pour 2 {0, 0, 3, 0, 5, 0, 7, 1}. nous pouvons observer que la stratégie askannotation est la plus coûteuse, suivie par yesnoquestions. faire varier le paramètre semble donc avoir l'effet escompté sur l'apprentissage de la stratégie d'adaptation. ainsi, plus est grand, moins le coût a un impact sur l'apprentissage. de ce fait, lorsque celui-ci est totalement ignoré dans la fonction de perte ( = 1, 0), l'algorithme exp3 a tendance à favoriser les actions les plus coûteuses car elles permettent de réduire significativement la mesure d'inefficacité du modèle. ainsi, offre un moyen simple et direct pour régler le compromis entre l'effort de l'utilisateur et l'efficacité du modèle pour une application donnée. enfin, dans la figure 4 exp3 ( = 0, 5) est comparé à askannotation et yesnoquestion en terme de f-mesure sur les transcriptions du corpus de test. comme prévu askannotation obtient les meilleures performances. en effet, l'utilisation des nouvelles annotations permet au modèle zssp de couvrir dynamiquement des actes de dialogue supplémentaires grâce à la mise à jour de k avec des exemples robustes. du fait que l'objectif de l'algorithme exp3 est de trouver un compromis entre réduire l'effort de l'utilisateur et l'efficacité du modèle, cette méthode est capable d'atteindre à plus faible coût des performances proches de celles obtenues avec askannotation et bien meilleures que celles observées pour yesnoquestion (cette dernière ne pouvant pas capturer de nouveaux concepts). ## conclusion dans ce papier une approche de bandit contre un adversaire a été employée pour optimiser la stratégie d'adaptation d'un modèle d'analyse sémantique sans données de références et permettre de résoudre le problème d'une couverture initiale limitée sur la sémantique de domaine spécifique. il a été montré que cette technique est efficace et à même de fournir un moyen pratique de formaliser un compromis entre l'effort de supervision fourni par l'utilisateur et l'amélioration de l'efficacité du système. la généralisation de l'approche d'optimisation proposée ainsi qu'une comparaison plus poussée avec d'autres algorithmes de bandit fera l'objet de futurs travaux.