Adaptation des modèles de langue à des domaines de spécialité par un masquage sélectif fondé sur le genre et les caractéristiques thématiques (2024)

Abstract: Les modèles de langue pré-entraînés ont permis de réaliser des avancées significatives dans diverses tâches de traitement automatique du langage naturel (TALN).Une des caractéristiques des modèles reposant sur une architecture Transformeur concerne la stratégie de masquage utilisée pour capturer les relations syntaxiques et sémantiques inhérentes à une langue. Dans les architectures de type encodeur, comme par exemple BERT, les mots à masquer sont choisis aléatoirement. Cette stratégie ne tient néanmoins pas compte des caractéristiques linguistiques spécifiques à un domaine.Dans ce travail, nous proposons de réaliser un masquage sélectif des mots en fonction de leur saillance thématique dans les documents dans lesquels ils se produisent et de leur spécificité au genre de document.Les performances des modèles résultant d’un pré-entraînement continu dans le domaine juridique soulignent l’efficacité de notre approche sur le benchmark LexGLUE en langue anglaise.

## introduction les modèles de langue pré-entraînés à grande échelle sont devenus indispensables pour modéliser le langage humain, améliorant considérablement les performances dans diverses tâches de traitement automatique du langage naturel (taln) @xcite @xcite . toutefois, le pré-entraînement de tels modèles pour des domaines de spécialité n'est pas toujours possible car il requiert une importante quantité de données qui n'est pas toujours disponible, mais aussi en raison du coût de calcul élevé qu'il représente. une solution réside ainsi dans le pré-entraînement continu (continual pre-training, cpt) pour spécialiser des modèles de fondation @xcite @xcite . classiquement, les modèles ainsi construits réutilisent l'algorithme d'apprentissage utilisé lors du pré-entraînement initial. dans les modèles qui reposent sur une architecture de type encodeur à la bert @xcite , l'algorithme utilisé est le modèle de langage masqué (masked language modeling, mlm). dans cet algorithme, le modèle apprend à prédire un mot masqué aléatoirement dans une séquence. les modèles résultants de cet apprentissage ont montré leur capacité à capturer les relations sémantiques complexes et les structures syntaxiques inhérentes au langage naturel. certains travaux ont étendu le mlm, notamment pour affiner la capacité des modèles à capturer des expressions multimots @xcite @xcite . cependant, aucune étude n'a envisagé d'étendre le mlm pour prendre en compte la spécificité du genre de document étudié. dans cet article, nous présentons une nouvelle approche de masquage sélectif pour l'adaptation de modèles de langue à des domaines de spécialité qui exploite les informations relatives à la spécificité au genre de document et à la topicalité. notre approche pondère les mots en fonction de leur spécificité au genre de documents (on parle aussi de "caractère méta-discursif") et de leur saillance thématique. nous utilisons un score tf×idf pour mesurer la saillance et proposons une formule pour estimer la spécificité. en utilisant ces scores pour choisir les mots à masquer, nous forçons le modèle à s'adapter à la compréhension et à la prédiction des mots spécifiques à un domaine cible. pour illustrer l'efficacité de notre approche, nous menons des expériences sur le pré-entraînement continu de modèles type bert dans le domaine juridique, en comparant différentes stratégies de masquage des mots. ## paramètres expérimentaux nous utilisons comme base les modèles pré-entraînés bert @xcite et @xcite . l'efficacité de notre approche de masquage est évaluée par un pré-entraînement continu sur ces modèles, en se concentrant sur l'adaptation au domaine juridique. dans cette section, nous présentons d'abord les données utilisées pour le pré-entraînement continu (section 4.1). puis, les tâches d'évaluation (section 4.2) et enfin les détails expérimentaux (section 4.3). ## conclusion et perspectives nos expériences montrent que nos approches de masquage sélectif, qui intègrent les caractéristiques du genre et du thème du document, jouent un rôle crucial dans l'adaptation des modèles à un domaine de spécialité. nous observons des améliorations dans chacune les tâches du benchmark lexglue axé sur le domaine juridique. en particulier, des améliorations importantes ont été obtenues sur les tâches ecthr et eur-lex pour les modèles bert et legalbert. néanmoins, les améliorations obtenues ne sont pas consistantes pour chaque modèle et chaque tâche et indiquent que le choix de la pondération semble dépendant de la tâche. ainsi, plusieurs axes de recherche émergent : tout d'abord, mesurer la capacité de notre approche à généraliser à d'autres domaines, tels que le domaine clinique ou scientifique. ensuite, étudier l'impact de notre approche dans le cadre de l'adaptation à la tâche.