Mise en place d’un modèle compact à architecture Transformer pour la détection jointe des intentions et des concepts dans le cadre d’un système interactif de questions-réponses (2023)

Abstract: Les tâches de détection d’intention et d’identification des concepts sont toutes deux des éléments importants de la compréhension de la parole. Elles sont souvent réalisées par deux modules différents au sein d’un pipeline. L’apparition de modèles réalisant conjointement ces deux tâches a permis d’exploiter les dépendances entre elles et d’améliorer les performances obtenues. Plus récemment, des modèles de détection jointe reposant sur des architectures Transformer ont été décrits dans la littérature. Par ailleurs, avec la popularité et taille croissante des modèles Transformer ainsi que les inquiétudes ergonomiques et écologiques grandissantes, des modèles compacts ont été proposés. Dans cet article, nous présentons la mise en place et l’évaluation d’un modèle compact pour la détection jointe de l’intention et des concepts. Notre contexte applicatif est celui d’un système interactif de questions-réponses français.

## introduction la compréhension du langage naturel ou nlu (natural language understanding) est un domaine classique du traitement de la parole transcrite ainsi qu'un élément essentiel aux systèmes de dialogues. son but est d'extraire les concepts sémantiques du discours. elle consiste notamment en la détection de l'intention et l'identification des concepts d'une phrase (ou tâche de slot filling). ces deux tâches sont illustrées en tableau 1 avec l'exemple "trouve les horaires de la bibliothèque municipale demain". dans cet exemple, l'intention est d'obtenir les horaires d'ouverture d'un lieu précis à une date précise : deux concepts devant être identifiés pour formuler la réponse attendue. ces deux tâches sont fréquemment réalisées par des modules indépendants insérés dans un même pipeline et ne partageant pas directement d'informations entre-eux @xcite . en conséquence, le pipeline peut souffrir de propagation et d'accumulation d'erreurs. depuis une quinzaine d'années @xcite , des modèles réalisant conjointement ces tâches ont été proposés. ils reposent sur différentes stratégies impliquant notamment des champs aléatoires conditionnels @xcite , des réseaux neuronaux convolutifs @xcite , des réseaux neuronaux récurrents @xcite @xcite , des modèles avec slot-gate (goo et al., 2018) ou des mécanismes d'attention @xcite . cette détection jointe permet d'exploiter les dépendances entre les deux tâches et d'améliorer les performances obtenues. certains de ces travaux, réalisés principalement sur des données en langue anglaise, ont pu être adaptés pour d'autres langues en conservant les mêmes architectures @xcite . plus récemment, l'apparition des modèles transformer @xcite utilisant des mécanismes d'attention a permis de réaliser de nombreux progrès dans le domaine du traitement automatique des langues (tal). des modèles pré-entraînés reposant sur des variations de cette architecture, tel que le modèle bert @xcite , ont permis d'atteindre de nouveaux états de l'art pour de multiples tâches du tal. des modèles s'appuyant sur ces architectures transformer pour réaliser une détection jointe de l'intention et des concepts ont été proposés dans la littérature @xcite @xcite . ces modèles permettent d'obtenir de meilleures performances que les précédents modèles présentés pour la détection jointe. parallèlement, une tendance à la création de modèles de langues de tailles croissantes, en termes de données et de nombre de paramètres, est constatée. si cette augmentation permet d'obtenir des performances grandissantes, elle s'associe à un coût financier ainsi qu'écologique @xcite @xcite . de plus, de trop grands modèles ne sont pas toujours utilisables en fonction de limites matérielles. afin de répondre à ces problématiques, des modèles de langues compacts aux performances similaires à ceux de plus grandes tailles sont proposés @xcite . c'est notamment le cas d'albert @xcite , version allégée de bert, et de son équivalent pré-entraîné sur un corpus français fralbert @xcite . tous deux sont optimisés grâce à des méthodes de réduction et de partage des poids. nos contributions principales sont l'élaboration d'un corpus en langue française de questions destinées à un système de dialogue fournissant des renseignements généraux sur des bibliothèques universitaires, son annotation en intentions et concepts pour des tâches de nlu, la mise en place d'un modèle compact réalisant une détection jointe des intentions et concepts évalué sur ce corpus et sa comparaison à un modèle de plus grande taille. le contexte applicatif est décrit en section 2. les modèles présentés reposent sur des architectures existantes, présentées en section 3, avec l'utilisation de modèles préentraînés sur des corpus français. les données utilisées, les optimisations des modèles et les protocoles expérimentaux, ainsi que les résultats et leurs analyses sont exposés en section 4. ## contexte notre problématique initiale concerne la création d'un système de compréhension du langage lorsque aucune donnée n'est disponible. notre contexte applicatif est le projet dibiso. ce projet est issu d'une collaboration entre la dibiso (direction des bibliothèques, de l'information et de la science ouverte) et le lisn (laboratoire interdisciplinaire des sciences du numérique). il consiste en l'élaboration d'un système interactif de questions-réponses (sqr) destiné à fournir des renseignements relatifs aux bibliothèques universitaires paris-saclay. le lisn et la dibiso étant engagés sur le plan écologique et l'impact de l'intelligence artificielle sur l'environnement n'étant pas négligeable (strubell et al., 2019; bender et al., 2021), il fut décidé que les solutions adoptées pour ce projet s'inscriraient dans une utilisation raisonnée des ressources. une première étude de faisabilité révéla l'absence de corpus disponible répondant précisément à ce besoin. nous avons réalisé une campagne de collecte de données annotées. dans ce but, un prototype fut créé et mis à disposition d'une vingtaine d'annotateurs sélectionnés par la dibiso. les données utilisées pour la conception de ce prototype ont été fournies par la plateforme ubib foot_0 , permettant de mettre en relation les usagers de certaines bibliothèques universitaires avec des bibliothécaires à travers une interface de messagerie instantanée. afin d'en permettre un déploiement rapide, la partie agent de dialogue de ce prototype fut construite avec la librairie rasa foot_1 (bocklisch et al., 2017) destinée à la mise en place aisée de systèmes conversationnels (chatbot). les données initiales furent découpées en corpus d'entraînement et d'évaluation puis augmentées par des données générées. techniquement, le prototype réalise d'abord une identification jointe de l'intention et des concepts des questions des utilisateurs à travers un premier modèle reposant sur un transformer. ce modèle repose sur une architecture diet (bunk et al., 2020). selon l'intention détectée, la réponse fournie est soit générique, soit générée en fonction des concepts identifiés ou fait appel à d'autres modèles pour identifier le passage le plus pertinent dans une base de données issues des pages internet des bibliothèques universitaires. grâce à ce prototype, 471 questions ont été récupérées. l'analyse des erreurs obtenues nous laisse suggérer qu'une amélioration du système d'identification jointe de l'intention et des concepts est nécessaire pour permettre au sqr de fournir des réponses plus pertinentes. par ailleurs, bien que modulable, la librairie rasa présente un effet « boîte noire » limitant les manipulations possibles. dans l'optique de construire un nouveau sqr plus manipulable et permettant toujours une détection jointe de l'intention et des concepts d'une question, un modèle reposant sur une architecture jointe bert (chen et al., 2019) est envisagé. ## conclusion dans cet article, nous avons détaillé la mise en place d'un modèle réalisant une détection jointe de l'intention et des concepts, dont l'architecture repose sur un modèle transformer compact. notre contexte applicatif, un système interactif de questions-réponses (sqr), ne disposait initialement d'aucun corpus répondant précisément à notre besoin. un premier prototype utilisant un corpus relativement similaire (corpus ubib), et reposant sur une architecture de classifieur diet @xcite a permis de collecter un corpus de 471 questions. à partir de ces nouvelles données, des modèles reposant sur une architecture bert joint @xcite ont été entraînés. le modèle compact de transformer fralbert base,wiki-4gb a été utilisé pour l'élaboration du classifieur diet et des modèles joints. dans le cas des modèles joints, fralbert a été comparé avec le transformer camembert base,wiki-4gb . une de nos finalités étant d'évaluer si le modèle compact fralbert a des performances comparables à un modèle de plus grande taille pour cette détection jointe et dans notre contexte applicatif. nos résultats montrent que les nouvelles données obtenues, bien que correspondant mieux à notre contexte, sont insuffisantes à elles seules pour permettre de meilleures performances que le prototype sur la tâche d'identification des concepts. elles permettent par contre aux modèles joints d'obtenir une meilleure exactitude pour la tâche de détection d'intention. un entraînement à la fois sur les données ubib et les données récoltées permet d'obtenir des modèles joints plus performants que le prototype diet fralbert sur les deux tâches. bien que notre étude ne permette pas une véritable comparaison entre les architectures classifieur diet et bert joint, nous pouvons donc envisager remplacer le classificateur diet actuel de notre sqr par un modèle joint entraîné selon notre protocole expérimental. par ailleurs, le modèle joint fralbert entraîné sur les deux corpus présente des performances similaires à son équivalent camembert joint. l'usage de fralbert dans notre sqr permettra donc l'obtention de bons résultats en réduisant notre consommation des ressources. enfin, nous prévoyons d'enrichir notre corpus dibiso, notamment pour lui ajouter les concepts qui lui manquent. pour cela, l'utilisation de méthodes de génération ou d'augmentation de données, comme les méthodes de patron @xcite ou tri-training @xcite , seront envisagées.