IR - S en T rans B io: Modèles Neuronaux Siamois pour la Recherche d’Information Biomédicale (2023)

Abstract: L’entraînement de modèles transformeurs de langages sur des données biomédicales a permis d’obtenir des résultats prometteurs. Cependant, ces modèles de langage nécessitent pour chaque tâche un affinement (fine-tuning) sur des données supervisées très spécifiques qui sont peu disponibles dans le domaine biomédical. Dans le cadre de la classification d’articles scientifiques et les réponses aux questions biomédicales, nous proposons d’utiliser de nouveaux modèles neuronaux siamois (sentence transformers) qui plongent des textes à comparer dans un espace vectoriel. Nos modèles optimisent une fonction objectif d’apprentissage contrastif auto-supervisé sur des articles issus de la base de données bibliographique MEDLINE associés à leurs mots-clés MeSH (Medical Subject Headings). Les résultats obtenus sur plusieurs benchmarks montrent que les modèles proposés permettent de résoudre ces tâches sans exemples (zero-shot) et sont comparables à des modèles transformeurs biomédicaux affinés sur des données supervisés spécifiques aux problèmes traités. De plus, nous exploitons nos modèles dans la tâche de la recherche d’information biomédicale. Nous montrons que la combinaison de la méthode BM25 et de nos modèles permet d’obtenir des améliorations supplémentaires dans ce cadre.

## introduction le développement de modèles transformeurs pré-entraînés, tels que bert (bidirectional encoder representations from transformers) @xcite , a permis d'améliorer les performances du traitement automatique du langage (tal). l'abondance de données biomédicales disponibles, comme les articles scientifiques, a aussi rendu possible l'entraînement de ces modèles sur des corpus de textes (p. ex. documents, dossiers cliniques de patients) pour des applications biomédicales de prédiction @xcite @xcite . ces modèles de langage nécessitent cependant un affinement (fine-tuning) pour chaque tâche sur des données supervisées très spécifiques et rarement disponibles, ce qui limite fortement leur usage en pratique. comme la plupart des tâches de tal biomédical (p. ex. extraction de relations, classification de documents, questionsréponses) peuvent se réduire au calcul d'une mesure de similarité sémantique entre deux textes (p. ex. catégorie/résumé d'un article, requête/résultats, question/réponse), nous proposons ici de construire un nouveau modèle transformeur siamois (sentence transformeur) ir-sentransbio (information retrieval-sentence transformer in biomedical data) pré-entraîné qui plonge des paires de textes sémantiquement liés (longs et courts) dans un même espace de représentation vectoriel. en plus d'être applicable à plusieurs types de tâches de tal, un modèle siamois a aussi l'avantage de permettre de gagner du temps lors de son utilisation en précalculant les représentations vectorielles des textes. par exemple, en recherche documentaire, un modèle siamois peut permettre de précalculer et d'indexer les représentations vectorielles des textes du corpus ciblé pour n'en calculer que la représentation des requêtes lorsqu'elles sont soumises au moteur, contrairement aux modèles transformeurs "affinés" qui prennent en entrée la combinaison de toutes les paires de textes à comparer. grâce à ce modèle, nous souhaitons : i) éviter les coûts engendrés par l'étiquetage des données, les calculs d'entraînement et d'affinement ; et ii) réduire considérablement ceux de la prédiction en proposant un modèle auto-supervisé de référence directement applicable à un large éventail de tâches biomédicales. dans ce contexte, nous comparons plusieurs modèles transformeurs siamois que nous avons entraînés sur des paires de textes formées, d'une part, de résumés du corpus d'articles biomédicaux pubmed foot_0 , et d'autre part, des mots-clés mesh (medical subject headings) foot_1 qui leur sont associés. nous utilisons une fonction objectif d'apprentissage contrastif auto-supervisé. étant donnée une paire de textes (résumé, mots-clés), le modèle doit prédire laquelle, parmi un ensemble d'autres paires de textes échantillonnées au hasard, lui est réellement associée dans pubmed. nous montrons ensuite expérimentalement sur plusieurs benchmarks biomédicaux que sans affinement pour une tâche spécifique, notre meilleur modèle siamois pré-entraîné permet, sans exemples d'apprentissage (zero shot), de classer des documents et de répondre à des questions, et cela avec des résultats comparables aux modèles transformeurs biomédicaux ou encore généralistes affinés sur des données supervisées spécifiques aux problèmes traités. en dernier lieu, nous mettons en pratique ces modèles en les exploitant pour la recherche d'information biomédicale. pour évaluer notre approche, nous l'appliquons sur deux corpus biomédicaux, à savoir trec-covid @xcite et nfcorpus @xcite . nous montrons aussi que la combinaison de la méthode bm25 avec nos modèles permet d'améliorer les performances de recherche d'information. cet article est structuré de la manière suivante : dans la section 2, nous proposons une revue de la littérature qui explore les performances des transformeurs dans la tâche de recherche d'information (ri). la section 3 présente en détail les modèles transformeurs pré-entraînés et leur application dans les modèles siamois. nous décrivons nos propres modèles siamois dans la section 4. les résultats obtenus sur des benchmarks de référence sont exposés dans la section 5. dans la section 6, nous détaillons la tâche de recherche d'information biomédicale et analysons les performances de nos modèles dans ce domaine. enfin, nous concluons et ouvrons des perspectives de recherche dans la section 7. dans @xcite , les auteurs créent un nouveau corpus en langue vietnamienne et proposent un système de question-réponse à deux étapes pour ce corpus. le système récupère des documents pertinents en se basant sur la question d'entrée à l'aide d'un moteur de recherche basé sur le tf-idf. dans la deuxième étape, le système utilise un modèle s-bert affiné pour identifier la phrase la plus pertinente dans les documents récupérés et pour extraire la réponse à la question. dans @xcite , les auteurs utilisent également les bi-encodeurs pour la tâche de la ri et montrent que cette approche permet d'obtenir de très bons résultats sur différents benchmarks dans un domaine général. @xcite propose l'application des transformeurs tels que bert et gpt sur des tâches de tal biomédicales comme la reconnaissance d'entités nommées et l'extraction des relations. les résultats qu'ils ont obtenu montrent l'avantage de réajustement de ces modèles sur ces tâches. dans @xcite , les auteurs évaluent les performances de plusieurs modèles pré-entraînés et de modèles affinés sur une tâche de question-réponse clinique en utilisant l'ensemble de données medquad. ils comparent les performances de ces modèles à plusieurs méthodes de base et analysent l'impact de la sélection de l'ensemble de données sur les performances. ils cherchent à identifier les ensembles de données de pré-entraînement et d'affinement les plus efficaces pour cette tâche. les auteurs de @xcite proposent un modèle pré-entraîné sur le corpus breathe (corpus médical) pour la tâche de question-réponse. ils montrent que l'entraînement de ces modèles sur des données biomédicales leur permettent de dépasser les modèles de base comme bert. ## les transformeurs les transformeurs sont des réseaux neuronaux basés sur le mécanisme d'auto-attention multi-têtes améliorant l'efficacité de l'apprentissage des modèles de grande taille. il est composé d'un encodeur qui transforme le texte d'entrée en vecteur, et d'un décodeur qui transforme ce vecteur en texte en sortie. le mécanisme d'attention fournit de meilleures performances grâce à la modélisation des liens entre les éléments d'entrée et de sortie. un modèle de langage pré-entraîné (mlp) est un réseau neuronal entraîné sur une grande quantité de données non annotées de manière non supervisée. le modèle est ensuite transféré pour une tâche de tal cible (downstream task), où un ensemble de données annotées plus petit et spécifique à la tâche est utilisé pour affiner le mlp permettant ainsi de construire le modèle final capable d'exécuter la tâche cible (ajustement d'un mlp). ## modèles de langage proposés les transformeurs siamois donnent de bons résultats dans des domaines généralistes, mais pas dans les domaines de spécialité, comme le domaine biomédical @xcite . nous proposons ici de nouveaux modèles siamois pré-entraînés sur le corpus pubmed. les transformeurs siamois ont été initialement conçus pour transformer des phrases (de taille similaire) en vecteurs. nous proposons dans notre approche de transformer dans le même espace vectoriel les termes mesh, les titres et les résumés des articles pubmed en entraînant un modèle de transformeur siamois sur ces données que nous avons préparées. nous voulons nous assurer qu'il y a une correspondance dans cet espace vectoriel entre le texte court et le texte long. nous avons donc entraîné nos modèles avec des paires d'entrées (titre, terme mesh) et (résumé, terme mesh). à partir de ces données, nous avons construit deux types de modèles : le premier type est nos propres transformeurs siamois (biostransformers) construits à partir d'un transformeur pré-entraîné sur des données biomédicales et le second est un transformeur siamois déjà pré-entraîné sur des données généralistes (bios-minilm). biostransformers. pour ce type, nous nous sommes inspirés du modèle sentence-bert @xcite en remplaçant bert par d'autres transformeurs. nous avons utilisé des transformeurs qui ont été entraînés sur des données biomédicales (bio-transformeurs). pour construire les transformeurs siamois (biostransformers), nous avons ajouté une couche de pooling et modifié la fonction objectif. ensuite, nous les avons entraîné sur nos données. la couche de pooling calcule le vecteur moyen des vecteurs de sortie du transformeur (token embeddings). les deux textes en entrée passent successivement dans le transformeur produisant deux vecteurs u et v en sortie du pooling, qui sont par la suite utilisées par la fonction objectif. parmi les bio-transformeurs disponibles, nous avons sélectionné les modèles les plus performants : bluebert @xcite , pubmedbert @xcite et bioelectra @xcite . ces modèles ont été entraînés sur pubmed, à part bluebert qui a également été entraîné sur des notes cliniques.