Instructions to use HealthDataHub/PARTAGES-Qwen3-0.6B-PDAPT-SLERP with libraries, inference providers, notebooks, and local apps. Follow these links to get started.

Libraries

How to use HealthDataHub/PARTAGES-Qwen3-0.6B-PDAPT-SLERP with Transformers:

# Use a pipeline as a high-level helper
from transformers import pipeline

pipe = pipeline("text-generation", model="HealthDataHub/PARTAGES-Qwen3-0.6B-PDAPT-SLERP")
messages = [
    {"role": "user", "content": "Who are you?"},
]
pipe(messages)

# pip install -U transformers accelerate
# Load model directly
from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("HealthDataHub/PARTAGES-Qwen3-0.6B-PDAPT-SLERP")
model = AutoModelForCausalLM.from_pretrained("HealthDataHub/PARTAGES-Qwen3-0.6B-PDAPT-SLERP", device_map="auto")
messages = [
    {"role": "user", "content": "Who are you?"},
]
inputs = tokenizer.apply_chat_template(
	messages,
	add_generation_prompt=True,
	tokenize=True,
	return_dict=True,
	return_tensors="pt",
).to(model.device)

outputs = model.generate(**inputs, max_new_tokens=256)
print(tokenizer.decode(outputs[0][inputs["input_ids"].shape[-1]:]))

Inference
Notebooks
Google Colab
Kaggle
Local Apps Settings

vLLM

How to use HealthDataHub/PARTAGES-Qwen3-0.6B-PDAPT-SLERP with vLLM:

Install from pip and serve model

# Install vLLM from pip:
pip install vllm
# Start the vLLM server:
vllm serve "HealthDataHub/PARTAGES-Qwen3-0.6B-PDAPT-SLERP"
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:8000/v1/chat/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "HealthDataHub/PARTAGES-Qwen3-0.6B-PDAPT-SLERP",
		"messages": [
			{
				"role": "user",
				"content": "What is the capital of France?"
			}
		]
	}'

Use Docker

docker model run hf.co/HealthDataHub/PARTAGES-Qwen3-0.6B-PDAPT-SLERP

SGLang

How to use HealthDataHub/PARTAGES-Qwen3-0.6B-PDAPT-SLERP with SGLang:

Install from pip and serve model

# Install SGLang from pip:
pip install sglang
# Start the SGLang server:
python3 -m sglang.launch_server \
    --model-path "HealthDataHub/PARTAGES-Qwen3-0.6B-PDAPT-SLERP" \
    --host 0.0.0.0 \
    --port 30000
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:30000/v1/chat/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "HealthDataHub/PARTAGES-Qwen3-0.6B-PDAPT-SLERP",
		"messages": [
			{
				"role": "user",
				"content": "What is the capital of France?"
			}
		]
	}'

Use Docker images

docker run --gpus all \
    --shm-size 32g \
    -p 30000:30000 \
    -v ~/.cache/huggingface:/root/.cache/huggingface \
    --env "HF_TOKEN=<secret>" \
    --ipc=host \
    lmsysorg/sglang:latest \
    python3 -m sglang.launch_server \
        --model-path "HealthDataHub/PARTAGES-Qwen3-0.6B-PDAPT-SLERP" \
        --host 0.0.0.0 \
        --port 30000
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:30000/v1/chat/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "HealthDataHub/PARTAGES-Qwen3-0.6B-PDAPT-SLERP",
		"messages": [
			{
				"role": "user",
				"content": "What is the capital of France?"
			}
		]
	}'

Docker Model Runner
How to use HealthDataHub/PARTAGES-Qwen3-0.6B-PDAPT-SLERP with Docker Model Runner:
```
docker model run hf.co/HealthDataHub/PARTAGES-Qwen3-0.6B-PDAPT-SLERP
```

HealthDataHub/PARTAGES-Qwen3-0.6B-Base

Objectifs de l'algorithme

Les modèles de langage PARTAGES ont pour objectif de servir de base préapprise, pouvant être adaptée à différentes tâches et à différents cas d’usage au sein des établissements de santé.

Ce modèle est un modèle de langue causal (décodeur) de 0,6 milliard de paramètres, obtenu par pré-entraînement continu (DAPT, Domain-Adaptive Pre-Training) de Qwen3-0.6B-Base sur le corpus biomédical français PARCOMED, puis fusionné (SLERP) avec le modèle de base afin de limiter la dégradation des capacités générales.

Contrairement aux modèles PARTAGES-research, ce modèle a été appris uniquement à partir de sources dont la licence autorise un usage commercial. Il est donc compatible avec un usage de recherche comme avec un usage commercial.

Méthodologie

Données utilisées

Corpus PARCOMED (version compatible avec un usage commercial) : 892 343 documents, environ 884 millions de mots, essentiellement des documents scientifiques (≈ 94 % des mots : HAL, HAS, ISTEX…), complétés par des notices de médicaments (BDPM, EMEA V3), des cas cliniques synthétiques (FRASIMED), des textes réglementaires (CNEDiMTS, QUALISCOPE), des articles Wikipédia (médecine, pharmacie, biologie) et d'autres sources. Le détail des sources est donné dans la table 1 de l'article associé.

Prétraitement des données

Nettoyage des documents (pipeline inspiré de FlauBERT) : conversion et normalisation Unicode, suppression des caractères hors encodage français standard, suppression des espaces multiples et des URL.
Tokenisation avec le tokenizer de Qwen3-0.6B-Base.
Découpage en séquences de 2 048 tokens (les documents plus longs sont découpés avec un chevauchement de 4 tokens). Le corpus tokenisé représente environ 1,95 milliard de tokens.

Pré-entraînement continu (Causal Language Modeling)

Le modèle a été initialisé à partir des poids de Qwen3-0.6B-Base, puis entraîné en continu sur PARCOMED avec un objectif de modélisation de langue causale (CLM), avec les hyperparamètres suivants :

Paramètre	Valeur
Modèle de base	Qwen3-0.6B-Base
Objectif	Causal Language Modeling
Longueur de séquence	2 048 tokens
Nombre total de pas de mise à jour	4 320 (≈ 2,53 époques)
Taille de batch effective	1 152 séquences (accumulation de gradient et parallélisme de données inclus)
Learning rate	2e-5, constant
Warmup	Aucun
Précision	BF16
Parallélisme	PyTorch Fully Sharded Data Parallel (FSDP)
Matériel	48 GPU NVIDIA H100 (supercalculateur Jean Zay, GENCI/IDRIS)

Un checkpoint a été sauvegardé tous les 720 pas. Le checkpoint retenu pour la fusion est celui du pas 2160 (voir ci-dessous).

Fusion de modèles (SLERP)

Le pré-entraînement continu seul dégrade les performances sur les tâches hors domaine médical. Les poids du checkpoint spécialisé ont donc été combinés avec ceux du modèle de base par interpolation sphérique linéaire (SLERP, avec mergekit), avec un coefficient t = 0.5. C'est ce modèle fusionné qui est publié ici.

Modèles fusionnés

Qwen/Qwen3-0.6B-Base
Checkpoint PARTAGES-PDAPT de Qwen3-0.6B-Base (pas 2160)

Configuration

slices:
  - sources:
    - model: Qwen/Qwen3-0.6B-Base
      layer_range: [0, 28]
    - model: <checkpoint PDAPT, pas 2160>
      layer_range: [0, 28]
merge_method: slerp
base_model: Qwen/Qwen3-0.6B-Base
parameters:
  t:
    - value: 0.5
dtype: bfloat16

Validation

L'évaluation repose sur le framework lm-evaluation-harness, avec quatre groupes de tâches (7 tâches chacun) : médecine en français (FR-MEDICAL, domaine et langue cibles), médecine en anglais (EN-MEDICAL), et autres domaines spécialisés en français et en anglais (FR-OTHER, EN-OTHER). Les tâches médicales sont issues de MMLU (3-shot, accuracy) et de MMLU-Pro-X (5-shot, exact match) pour la catégorie « Health » ; les tâches hors médecine sont issues de MMLU-Pro-X (5-shot, exact match). Les versions françaises de MMLU proviennent des traductions de BioMistral. Les valeurs sont données avec l'erreur standard (bootstrap).

Les résultats ci-dessous comparent Qwen3-0.6B-Base, le modèle après pré-entraînement continu seul (+PDAPT) et le modèle fusionné publié ici (+SLERP).

FR-MEDICAL (accuracy, %)

Modèle	Anat.	C.K.	CBio.	CMed.	Health	MGen.	ProMed.
Qwen3-0.6B-Base	30.4±4.0	49.8±3.1	39.6±4.1	42.8±3.8	15.9±1.4	48.0±5.0	37.1±2.9
+PDAPT	39.3±4.2	50.2±3.1	41.0±4.1	49.1±3.8	16.9±1.4	48.0±5.0	44.5±3.0
+SLERP (ce modèle)	43.7±4.3	49.8±3.1	43.8±4.1	42.8±3.8	18.0±1.5	44.0±5.0	37.9±2.9

EN-MEDICAL (accuracy, %)

Modèle	Anat.	C.K.	CBio.	CMed.	Health	MGen.	ProMed.
Qwen3-0.6B-Base	47.4±4.3	57.0±3.0	59.7±4.1	52.6±3.8	22.4±1.6	62.0±4.9	55.5±3.0
+PDAPT	40.7±4.2	51.3±3.1	59.0±4.1	51.4±3.8	18.0±1.5	52.0±5.0	50.7±3.0
+SLERP (ce modèle)	41.5±4.3	54.0±3.1	59.7±4.1	53.2±3.8	22.0±1.6	59.0±4.9	53.7±3.0

FR-OTHER (exact match, %)

Modèle	Bus.	CS	Econ.	Hist.	Law	Phil.	Psych.
Qwen3-0.6B-Base	19.1±1.4	19.5±2.0	23.5±1.5	13.4±1.7	7.3±0.8	17.0±1.7	26.2±1.6
+PDAPT	15.8±1.3	8.8±1.4	16.1±1.3	14.2±1.8	8.4±0.9	16.2±1.7	18.4±1.4
+SLERP (ce modèle)	19.4±1.4	12.7±1.6	21.4±1.4	15.0±1.8	7.2±0.8	15.8±1.6	26.7±1.6

EN-OTHER (exact match, %)

Modèle	Bus.	CS	Econ.	Hist.	Law	Phil.	Psych.
Qwen3-0.6B-Base	28.8±1.6	26.1±2.2	31.5±1.6	16.0±1.9	11.2±1.0	19.4±1.8	36.6±1.7
+PDAPT	18.1±1.4	20.5±2.0	25.7±1.5	15.5±1.9	10.3±1.0	15.8±1.6	27.7±1.6
+SLERP (ce modèle)	27.0±1.6	24.9±2.1	30.7±1.6	17.1±1.9	10.4±1.0	19.0±1.8	34.5±1.7

Principaux constats (voir l'article pour l'analyse complète) :

Sur FR-MEDICAL, le modèle fusionné améliore significativement Anatomy, College Biology et Health par rapport au modèle de base.
Le pré-entraînement continu seul entraîne des baisses significatives sur plusieurs tâches hors domaine (FR-OTHER, EN-OTHER) et en anglais médical ; après fusion SLERP, plus aucune baisse statistiquement significative n'est observée.
À l'échelle des moyennes par groupe, l'effet global du DAPT reste limité. Les gains les plus nets sont observés sur les plus petits modèles, dont celui-ci.

Date de dernière mise à jour

v1.0 : octobre 2026

Comment utiliser l'algorithme

from transformers import AutoTokenizer, AutoModelForCausalLM

model_id = "HealthDataHub/PARTAGES-Qwen3-0.6B-Base"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id)

Il s'agit d'un modèle de base (non instruit) destiné à être affiné sur des tâches spécifiques. Le code des expériences est disponible sur PARTAGES-dev/partages-llm.

Support

Point de contact HDH : direction.scientifique@health-data-hub.fr

Usage prévu et limites d’utilisation

Ce modèle est un modèle de langue préappris destiné à être adapté à des tâches spécifiques. Il n’est pas destiné à être utilisé tel quel en production. Les performances et les limites du modèle dépendent du cas d’usage et des données utilisées pour son adaptation. Les résultats doivent être évalués et validés avant toute utilisation opérationnelle. Dans le domaine de la santé, ce modèle ne constitue pas en lui-même un dispositif médical, un outil de diagnostic ou une aide à la décision clinique. Toute utilisation dans un contexte clinique doit faire l’objet d’une validation appropriée et respecter les exigences réglementaires applicables.

Limites connues : le modèle a été évalué uniquement sur des questions à choix multiples (MMLU, MMLU-Pro-X) et non sur des tâches de traitement de documents cliniques ; seule la famille Qwen3 et l'objectif de modélisation causale ont été explorés ; le corpus est dominé par des documents scientifiques.

Citation

@inproceedings{mannion2026biomedical,
  title     = {Is Biomedical Specialization Still Worth It? Insights from Domain-Adaptive Language Modelling with a New French Health Corpus},
  author    = {Mannion, Aidan and Macaire, C{\'e}cile and Violle, Armand and Ohayon, St{\'e}phane and Tannier, Xavier and Schwab, Didier and Goeuriot, Lorraine and Portet, Fran{\c{c}}ois},
  booktitle = {Proceedings of the Fifteenth Language Resources and Evaluation Conference (LREC 2026)},
  pages     = {10617--10633},
  year      = {2026},
  address   = {Palma, Spain}
}

Auteurs

Aidan MANNION, Cécile MACAIRE, Armand VIOLLE, Stéphane OHAYON, Xavier TANNIER, Didier SCHWAB, Lorraine GOEURIOT, François PORTET (projet PARTAGES)

Downloads last month: 134

Safetensors

Model size

0.8B params

Tensor type

BF16

Model tree for HealthDataHub/PARTAGES-Qwen3-0.6B-PDAPT-SLERP

Base model

Qwen/Qwen3-0.6B-Base

Finetuned

(729)

this model

HealthDataHub
/

PARTAGES-Qwen3-0.6B-PDAPT-SLERP