Portabilité linguistique des modèles de langage pré-appris appliqués à la tâche de dialogue humain-machine en français (2023)

Abstract: Dans cet article, nous proposons une étude de la portabilité linguistique des modèles de langage pré-appris (MLPs) appliqués à une tâche de dialogue à domaine ouvert. La langue cible (L_T) retenue dans cette étude est le français. Elle dispose de peu de ressources spécifiques pour la tâche considérée et nous permet de réaliser une évaluation humaine. La langue source (L_S) est l’anglais qui concentre la majorité des travaux récents dans ce domaine. Construire des MLPs spécifiques pour chaque langue nécessite de collecter de nouveaux jeux de données et cela est coûteux. Ainsi, à partir des ressources disponibles en L_S et L_T, nous souhaitons évaluer les performances atteignables par un système de conversation en L_T . Pour cela, nous proposons trois approches : TrainOnTarget où le corpus L_S est traduit vers L_T avant l’affinage du modèle, TestOnSource où un modèle L_S est couplé avec des modules de traduction au moment du décodage et TrainOnSourceAdaptOnTarget, qui utilise un MLP multilingue - ici BLOOM (BigScience Workshop, 2022) - avec l’architecture MAD-X Adapter (Pfeiffer et al., 2020) pour apprendre la tâche en L_S et l’adapter à L_T . Les modèles sont évalués dans des conditions de dialogue oral et les stratégies sont comparées en termes de qualité perçue lors l’interaction.

## introduction depuis l'apparition des modèles transformers @xcite , plusieurs variantes de mlps ont été déployées dans le domaine du traitement automatique du langage. les transformers autorégressifs (utilisant le bloc décodeur) comme gpt @xcite , @xcite etc. se positionnent sur l'état de l'art pour de nombreuses tâches génératives, dont le dialogue à domaine ouvert. mais pour cela les systèmes doivent développer certaines capacités humaines telles que l'empathie, et avoir un personnalité consistante durant l'interaction @xcite . dans cette optique, des corpus spécifiques ont été collectés en faisant interagir des humains. on peut citer par exemple : personachat @xcite , empathetic dialogues @xcite , blended skill talk @xcite etc. sur lesquels les mlps peuvent être affinés. la majorité des corpus disponibles sont en anglais, ou en chinois. l'absence de corpus d'apprentissage spécifiques du même type en français, empêche l'obtention directe de modèles similaires. dans ce travail, nous étudions les stratégies de portabilité des chatbots et des corpus d'une langue source (l s , ici l'anglais) vers une langue cible (l t , ici le français). en exploitant le maximum de ressources disponibles dans l s et l t (outils de traduction automatique neuronale (tan), corpus et mlps), nous avons mis en place et mené une évaluation humaine de différents systèmes obtenus par trois approches : trainonsource, testontarget, trainonsourceandadaptontarget. nous avons ensuite comparé ces modèles à un modèle de référence en l s à savoir blenderbot 1.0 @xcite . pour cela, nous avons revisité les approches proposées pour la portabilité linguistique des modules de compréhension de la parole @xcite afin de les appliquer au cas des mlps pour la conversation orale humain-machine. a notre connaissance, l'un des seuls travaux à avoir abordé la question du développement multilingue des ressources pour les chitchat bots basés sur les plms est @xcite qui propose des traductions en plusieurs langues du corpus personachat et l'utilise pour apprendre des modèles en différentes langues. pour la modélisation du dialogue, nous avons utilisé le même schéma d'apprentissage que celui proposé par @xcite . en plus de reprendre ce qu'ils ont fait avec un modèle de type gpt @xcite , nous avons exploré l'application de la même approche en français et avec le modèle bloom @xcite , un modèle multilingue en libre accès foot_0 . dans cette étude préliminaire, plutôt que de nous concentrer sur l'amélioration de la performance intrinsèque du dialogue, nous évaluons comment les données et les modèles de l s peuvent être exploités pour développer des modèles conversationnels simples basés sur des mlps en l t . les approches testonsource et trainontarget s'appuient sur l'utilisation de modules de tan à différentes étapes. pour cela, nous avons utilisé l'api google translate comme dans (lin et al., 2020), excellentes performances et facilité d'utilisation expliquent ce choix parmi d'autres. figure 2 -trainontarget testonsource : l'approche consiste à utiliser les jeux de données, les modèles de dialogue et les mlps disponibles en l s et les combiner avec deux systèmes de tan qui opèrent pendant les conversations bot-humain en l t . le premier (en orange dans la figure 1) traduit l'énoncé de l'utilisateur et le deuxième (en vert dans la figure 1) traduit la sortie du système. la disponibilité d'un grand nombre de ressources, notamment les modèles de dialogue à domaine ouvert en l s , est un atout majeur pour cette approche. par conséquent, il est intéressant d'évaluer les performances de ces systèmes sur des entrées traduites de l t à l s lors de l'inférence. trainontarget : illustrée dans la figure 2, cette approche consiste à affiner les mlps dans l t (en vert) pour une tâche de chitchat sur un corpus traduit automatiquement depuis l s (en jaune). le français (l t ) dispose de quelques mlps qui peuvent être utilisés comme base pour des modèles de dialogue. cette approche suppose que les connaissances spécifiques à la langue, apprises par les mlps en l t , peuvent aider à gérer les échantillons bruités issus de la tan. trainonsourceadaptontarget : les approches précédentes s'appuient sur le fait qu'en dehors du chitchat, l t est une langue dotée disposant de modèles de tan et de mlps ce qui n'est pas le cas de beaucoup de langues d'où l'idée d'utiliser des mlps multilingues. nous reproduisons l'architecture mad-x (pfeiffer et al., 2020) pour le dialogue en utilisant bloom qui a des capacités de traduction et qui intègre une grande variété de langues peu dotées. dans la figure 3, les flèches vides montrent la 1 ère étape d'affinage des adaptateurs de tâche (sur les données de l s ) avec les adaptateurs de langue l s gelés. dans la 2 ième étape (flèches pleines), les adaptateurs de langue (toujours gelés) passent de l s à l t et les mêmes adaptateurs de tâche sont affinés en utilisant peu de données l t (ou des données traduites). en amont de ces étapes, les adaptateurs de langue l s et l t sont appris indépendamment en gelant les paramètres du transformer. afin de comparer et d'évaluer les trois approches présentées dans la section 2, nous avons affiné différent mlps de l s , l t et une version multilingue. corpus d'entraînement : personachat (zhang et al., 2018) est constitué d'un ensemble de dialogues entre deux humains en anglais, chacun se voyant attribué une personnalité initiale en quelques phrases. objectif d'entraînement : nous avons utilisé un double objectif. d'une part la modélisation de langue avec comme entrée la concaténation de la personnalité, l'historique et la réponse. c'est uniquement sur cette dernière que la fonction d'optimisation (loss function) est calculée. d'autre part la classification multichoix, pour apprendre à sélectionner la bonne réponse dans un ensemble comprenant plusieurs distracteurs. description des modèles : pour trainontarget, nous avons affiné gpt-fr (simoulin & crabbé, 2021) (124m paramètres), comparable en termes d'architecture et de dimension au modèle transfer-transfo (wolf et al., 2019) basé sur gpt-1 (117m) qui est utilisé pour testonsource. enfin, pour trainonsourceadaptontarget, le modèle utilisé est bloom-560m. multilingue, il est le seul à permettre cette approche. cette caractéristiques nous permet de l'utiliser également pour construire des modèles en l s et en l t pour les deux premières approches respectivement. ## évaluation de part une structure one-to-many @xcite , l'évaluation automatique du dialogue n'est pas toujours en accord avec l'évaluation humaine, qui reste la plus fiable. nous reportons ici les résultats de l'évaluation humaine accompagnés d'une analyse basée sur les conversations collectées. les résultats de l'évaluation automatique sont reportés en annexe. évaluation humaine : nous avons collecté 120 conversations via l'interface rasa-x @xcite en 2 phases : dans la 1 ère , nous avons déployé gpt-fr, gpt et blenderbot 1 et dans la 2 ième , les 4 modèles basés sur bloom. elles ont ensuite été notées de 1 à 5 selon trois critères sélectionnés sur la base de ceux figurant dans @xcite @xcite : la cohérence, l'engagement et le naturel. les résultats sont reporté dans le tableau 1. dans la figure 4, on observe que blenderbot se distingue de tous les autres à l'exception du modèle madxbloom-fr qui semble produire des réponses plus longue en moyenne. ceci est dû au fait que, au moment du décodage, ce dernier a été contraint de générer au moins dix nouveaux tokens contrairement aux autres modèles car ayant tendance à générer des messages vides ou très courts avec des mots pas complets. enfin, globalement les différents modèles ont un comportement qui varie peu d'un utilisateur à autre. cela met en évidence la problématique p3 mentionnée dans (bowden & walker, 2023) à savoir un manque de personnalisation qui pourrait avoir un impact sur l'expérience utilisateur. figure 5 -nombre moyen de mots par tour de dialogue des testeurs dans la figure 5 on observe a contrario que le comportement des utilisateurs varie beaucoup selon le modèle. une analyse plus fine des dialogues concernés semble indiquer que pour blenderbot, la référence, cela pourrait signifier un bon engagement de l'utilisateur tandis que pour madxbloom-fr (l'un des moins bien noté) cela pourrait illustrer les tentatives des utilisateurs de compenser la faible qualité des réponses en réorientant le modèle et en s'adaptant à lui. aussi ce critère ne permet pas de distinguer clairement la qualité des modèles. prédiction des évaluations dans une configuration paradise @xcite : l'évaluation humaine implique un processus coûteux de collecte et annotations des conversations. une solution est de prédire les notes d'évaluation directement à partir de mesures objectives sur les conversations. pour vérifier cette possibilité, nous mettons en place une approche de type paradise. le tableau 3 reporte les corrélations (r) entre les mesures objectives et les évaluations humaines. on observe dans le tableau 3 que r est plus important avec les mesures directement dépendantes des modèles : taille vocabulaire modèle qui représente le nombre de lemmes différents utilisés par le modèle dans une conversation et le nombre de mots moyens par tour de dialogue modèle. nous avons entraîné différents modèles de régression des notations à partir des précédentes mesures normalisées (régression linéaire, svr, arbre de décision et mlp suivant ce qui a été fait dans @xcite ). de notre jeu de 120 conversations, 10% sont aléatoirement assignées au jeu de test et nous entraînons les modèles sur celles restantes. les notations sont elles aussi normalisées par évaluateur pour réduire le biais dans la notation. dans le tableau 4 on observe des mse relativement élevées sauf pour le critère engagement où on arrive avec le svr à une mse de 0.07, un coefficient de détermination de 0.82 et surtout une corrélation de 92% significative à @xmath0.001. avec les ## conclusion le développement des modèles de dialogue à domaine ouvert en français est encore loin derrière les modèles anglais, ou même chinois, aujourd'hui. il en va de même pour de nombreuses autres langues. la raison principale est le manque de corpus spécialisés. cependant, la disponibilité de mlps en français et d'outils tan sont des atouts pouvant être mis à profit pour exploiter les ressources d'une langue plus dotée pour cette tâche. dans cette optique, nous avons évalué trois approches différentes et comparé les modèles obtenus et un modèle de référence anglais utilisé avec un traducteur automatique. la stratégie trainontarget avec un modèle multilingue a donné les meilleurs résultats (hors modèle de référence) lors de l'évaluation humaine. ceci ouvre la voie à de futurs travaux sur l'utilisation de données traduites automatiquement avec des modèles multilingues tels bloom qui possèdent implicitement des capacités de traduction. l'amélioration des objectifs d'apprentissage pourrait alors permettre de rattraper les performances des modèles de référence des langues bien dotées pour la tâche, malgré l'obstacle que constitue la rareté des corpus spécifiques à chaque langue. le fait qu'en dehors des dialogues à domaine ouvert, le français soit une langue bien dotée n'est pas totalement limitant pour ces approches. en effet, notre meilleur modèle était basé sur l'approche trainontarget avec bloom, un modèle multilingue incluant plusieurs langues peu dotées et en accès libre.