Adaptation des connaissances médicales pour les grands modèles de langue : Stratégies et analyse comparative (2025)

Abstract: Cet article présente une étude sur l’adaptation des grands modèles de langue (LLMs) à des domaines spécialisés disposant de données limitées. Bien que certaines recherches remettent en question le pré-entraînement adaptatif (DAPT) dans le contexte médical en anglais, nous montrons que l’adaptation au domaine peut être efficace sous certaines conditions. En prenant comme exemple l’adaptation au domaine médical en français, nous comparons de manière systématique le pré-entraînement continu (CPT), l’affinage supervisé (SFT) et une approche combinée (CPT suivi de SFT). Nos résultats indiquent que l’adaptation d’un modèle généraliste à de nouvelles données dans le domaine médical offre des améliorations notables (taux de réussite de 87%), tandis que l’adaptation supplémentaire de modèles déjà familiarisés avec ce domaine procure des bénéfices limités. Bien que CPT+SFT offre les meilleures performances globales, SFT-seul présente des résultats solides et requiert moins de ressources matérielles.

## introduction les récents progrès des grands modèles de langue (llms) ont intensifié le débat sur leur adaptation à des domaines et langues spécialisés. bien que diverses stratégies existent, choisir la meilleure approche demeure complexe lorsque l'on vise un domaine précis dans une langue à ressources limitées. cela est notamment le cas dans le domaine médical, où la plupart des travaux se concentrent sur des modèles construits principalement à partir de données anglophones (p. ex. biomistral @xcite ou openbiollm @xcite ). le développement de modèles spécialisés hors anglais se heurte à la rareté des données, à l'importance du coût de calcul et aux biais potentiels introduits par l'évaluation sur des jeux de données traduits. en médecine, ces défis sont cruciaux, car la fiabilité et la précision sont primordiales, alors même que les ressources francophones restent limitées. les travaux de jeong et al. (2024) questionnent l'intérêt du pré-entraînement adaptatif (dapt) en contexte médical, montrant que les modèles biomédicaux n'apportent pas toujours d'améliorations intéressantes par rapport aux versions génériques. cette remise en cause soulève la question de la stratégie la plus efficace, surtout lorsque les connaissances du domaine sont peu présentes dans le modèle initial. pour répondre à ces enjeux, nous étudions diverses méthodes d'adaptation de llms biomédicaux en français, comparant le pré-entraînement continu (cpt), l'affinage supervisé (sft) et une approche hybride (cpt suivi de sft). notre point de départ est le modèle généraliste mistral-7b @xcite , utilisé à la fois dans sa version d'origine et sa variante pré-entraînée sur des textes médicaux en anglais. notre protocole d'évaluation inclut des jeux de données anglais traduits en français @xcite et medmcqa @xcite ) ainsi que des questions natives en français, évaluées via des tâches de questions à choix multiples et à réponses ouvertes. les apports de travail peuvent se résumer ainsi : l'adaptation à d'autres langues demeure complexe, faute de ressources spécialisées disponibles. plusieurs travaux récents adoptent une perspective multilingue, notamment medical mt5 (garcía-ferrero et al., 2024), bimedix (pieri et al., 2024), apollo (wang et al., 2024) et mmedlm (qiu et al., 2024). toutefois, leur évaluation repose souvent sur des jeux de données traduits, avec peu de tests en langue native, ce qui limite l'analyse de leurs performances réelles. l'évaluation des llms médicaux pose des défis particuliers : la plupart des ensembles de référence (pubmedqa (jin et al., 2019), medqa (jin et al., 2019), medmcqa (pal et al., 2022)) sont conçus pour l'anglais, et les traductions peuvent atténuer les nuances culturelles et terminologiques. de plus, nombre de benchmarks se concentrent sur des qcm, laissant planer des doutes quant à l'évaluation globale des capacités du modèle. 3 expériences sélection du modèle stratégies d? adaptation cpt+sft sft cpt généraliste médical généraliste affiné par instruction évaluation qcm test de signification statistique vs benchmarks traduits / natifs qro figure 1 -schéma d'évaluation des stratégies d'adaptation, illustrant les trois composantes principales : sélection du modèle, stratégies d'adaptation et méthodologie d'évaluation (incluant questions à choix multiples (qcm) et questions à réponses ouvertes (qro). nous proposons un cadre d'évaluation pour l'adaptation de modèles de langue dans des contextes à faibles ressources, comme illustré dans la figure 1 . à partir de plusieurs modèles de base, nous comparons différents chemins d'adaptation pour déterminer l'impact du choix initial et de la stratégie sur les performances et le coût de calcul. notre étude s'articule autour de deux questions de recherche : qr1 : le choix du modèle de base (généraliste vs. déjà adapté au domaine médical en anglais) influence-t-il significativement le succès de l'adaptation ? qr2 : quelle stratégie d'adaptation offre le meilleur compromis entre performance et coût de calcul ? pour y répondre, nous présentons : (i) les modèles de base et les approches d'adaptation en section 3.1, (ii) les données d'entraînement en section 3.2, (iii) les procédures d'entraînement en section 3.3, et (iv) le protocole d'évaluation en section 3.4.