Ordonnancement de réponses dans les systèmes de dialogue basé sur une similarité contexte/réponse (Response ranking in dialogue systems based on context-response similarity) (2018)

Abstract: Construire des systèmes de dialogue qui conversent avec les humains afin de les aider dans leurs tâches quotidiennes est devenu une priorité. Certains de ces systèmes produisent des dialogues en cherchant le meilleur énoncé (réponse) parmi un ensemble d’énoncés candidats. Le choix de la réponse est conditionné par l’historique de la conversation appelé contexte. Ces systèmes ordonnent les énoncés candidats par leur adéquation au contexte, le meilleur est ensuite choisi. Les approches existantes à base de réseaux de neurones profonds sont performantes pour cette tâche. Dans cet article, nous améliorons une approche état de l’art à base d’un dual encodeur LSTM. En se basant sur la similarité sémantique entre le contexte et la réponse, notre approche apprend à mieux distinguer les bonnes réponses des mauvaises. Les résultats expérimentaux sur un large corpus de chats d’Ubuntu montrent une amélioration significative de 7, 6 et 2 points sur le Rappel@(1, 2 et 5) respectivement par rapport au meilleur système état de l’art.

## introduction face au nombre croissant d'internautes, l'assistance automatique demeure la solution la plus adaptée pour les aider à résoudre leurs problèmes quotidiens. grâce aux systèmes conversationnels, une assistance automatique peut être garantie pour chacun d'eux avec un coût minimal 1 . ces systèmes appelés chatbots (agents conversationnels) sont capables de comprendre les besoins de l'utilisateur à travers des échanges textuels pour ensuite lui proposer une solution. selon la nature de ces systèmes conversationnels, nous distinguons deux types (figure 1 ) : les systèmes génératifs et les systèmes d'ordonnancement de réponses @xcite . les premiers systèmes génèrent des énoncés mot par mot, quant aux seconds, ils sélectionnent le bon énoncé parmi un ensemble d'énoncés candidats. en outre, et selon la tâche, nous distinguons deux catégories de systèmes conversationnels. la première catégorie regroupe les systèmes spécifiques à un domaine comme les systèmes de recommandation des restaurants @xcite et de réservation des tickets de cinéma @xcite . la deuxième catégorie comprend les systèmes de dialogue non spécifiques au domaine tels que siri 2 , alexa 3 et replika 4 . dans ce travail nous étudions les systèmes conversationnels qui sont à la fois des systèmes d'ordonnancement de réponses et spécifiques au domaine. figure 1: les types des systèmes de dialogue. les conversations contiennent plusieurs tours de paroles entre deux ou plusieurs individus. afin de produire une réponse adéquate à une conversation, il est important de considérer tous ces tours (nature multi-tours) ce qui rend la tâche plus complexe. plusieurs travaux ont abordé le problème de la sélection du prochain tour de parole dans les conversations écrites. certains exploitent tous les tours de parole de ces conversations pour sélectionner la réponse la plus adéquate à chacun d'eux @xcite @xcite . d'autres négligent cette information pour ordonner les réponses candidates selon leur pertinence vis-à-vis du dernier tour de parole @xcite . les systèmes d'ordonnancement de réponses classent un ensemble de réponses candidates en se basant sur leur cohérence par rapport au contexte de la conversation. dans la contexte tour 1 hi, i can not longer access the graphical login screen on ubuntu 12.04 tour 2 what exactly happen ? tour 3 i can't remember the error message, would it have auto-logged to a file or should i reboot quick ? tour 4 you mean it won't automaticaly start and what happen then ? tour 5 it just stop at a text screen, but i can access the command line login via alt f1-6, and start x manually there. i think it might me lightdm that's break but i'm not sure réponses candidates réponse 1 for me lightdm often won't start automatically either. it show me console tty1 instead and i have to start lightdm manually réponse 2 what about sources.list ? les travaux récents soit utilisent des architectures complexes pour capturer des similarités entre le contexte et la réponse ou nécessitent des modules externes afin de produire des informations complémentaires utiles à la tâche @xcite @xcite . certains de ces modules requièrent en plus, des connaissances externes collectées manuellement et qui sont fortement liées à un domaine d'application spécifique. dans ce travail, nous améliorons un système d'ordonnancement de réponses à base d'un dual encodeur @xcite . pour cela, nous proposons une architecture simple, qui ne requiert pas de modules externes et entraînée de bout en bout. notre système s'appuie sur la similarité entre le contexte de la conversation et la réponse candidate. à partir des vecteurs du contexte et de la réponse encodés par un dual encodeur lstm (long short-term mermory) @xcite , nous calculons leur produit vectoriel. le vecteur résultant mesure la similarité entre le contexte et la réponse. nous transformons ce vecteur de similarité en une probabilité avec une couche entièrement connectée et une fonction sigmoïde. cette probabilité est utilisée par la suite pour ordonner les réponses candidates selon leur adéquation au contexte. cette nouvelle méthode de calcul de similarité permet de capturer des propriétés sémantiques communes entre le contexte et la réponse. nous avons évalué notre approche sur un large corpus de dialogues issus du canal #ubuntu sur le freenode irc et nous avons suivi lowe et al. (2015), wu et al. (2016), xu et al. (2017) et wu et al. (2017) pour le choix des métriques d'évaluation : le rappel@k et le mean recall rank (mrr). les résultats expérimentaux montrent des améliorations significatives 5 . la suite de cet article est organisée comme suit : nous résumons les travaux autour des systèmes conversationnels dans la section 2. ensuite nous formalisons le problème et décrivons l'architecture de notre système dans la section 3. les détails d'implémentation et les résultats expérimentaux sont donnés en section 4. nous concluons dans la section 5 avec quelques perspectives. 5. validées à l'aide d'un test de significativité.