WannaMed • WannaGoTech

WannaMed ASR v2 (1.7B) — 0,48 % CER (99,52 % de précision) & 0,82 % WER

WannaMedASR v2 (1,7B) : 0,48 % d'erreur caractère (99,52 % de précision) & 0,82 % WER en dictée médicale et radiologique IA

WannaMedASR v2 (1,7B paramètres) est le modèle fondamental de reconnaissance vocale médicale et radiologique en français développé pour la suite WannaMed par la société WannaGoTech et couplé à WannaMed Tx (4B) au sein de la barre de dictée WannaMedBar v2.0.0. Entraîné sur 36 057 comptes rendus cliniques et radiologiques vérifiés sans faute (137 267 phrases uniques sur 9 modalités d'imagerie), 289 enregistrements vocaux cliniques Gold (WAV PCM 16-bit, 16 000 Hz), 13 219 termes du lexique Dragon Médical et consolidé sur 7 référentiels médicaux francophones publics (AWANNABY SNOMED CT 1000, Olicorne UltiMed 41 744 fixes, PxCorpus Zenodo 6524162, MultiMed, RNTC Quaero/CIM-10, Doctolib-Lab FineMed-FR), il atteint un record certifié de 0,48 % de taux d'erreur caractère (CER) et 0,82 % de taux d'erreur mot (WER) (99,52 % de précision) sur le Benchmark Véridique Hold-Out Non-Vu (0 % de fuite de données).


1. Synthèse des Performances Certifiées (WannaMedASR v2 vs v1 vs Modèles Généralistes)

En radiologie et en consultation hospitalière, une seule lettre ou un seul préfixe modifie le diagnostic médical (hypoéchogène vs hyperéchogène, hématome sous-dural vs épidural, séquence pondérée en diffusion b1000, artère cérébrale moyenne droite, milligrammes vs microgrammes).

Indicateur Clé de Performance (KPI — Norme jiwer Levenshtein) WannaMedASR v2 (3-Stage LoRA • Hold-Out) WannaMedASR v1 (Passe 3) Gain vs Base (Modèle 1.7B Générique) Gain vs Whisper Large-v3-Turbo
CER : Dictée Clinique Gold (Voix Médecins Hold-Out) 0,48 % CER (99,52 % précision) 1,78 % CER -88,4 % d'erreurs (4,14 % → 0,48 %) 31,0x plus précis (14,90 % → 0,48 %)
WER : Dictée Clinique Gold (Voix Médecins Hold-Out) 0,82 % WER (99,18 % précision) 7,14 % WER -94,6 % d'erreurs (15,13 % → 0,82 %) 37,9x plus précis (31,09 % → 0,82 %)
Imagerie & Clinique : 9 Modalités Non-Vues (TDM, IRM, Écho...) 0,41 % CER / 0,74 % WER (99,59 %) 2,26 % CER / 8,96 % WER -89,3 % CER (3,84 % → 0,41 %) 38,7x plus précis en CER (15,86 % → 0,41 %)
Pièges Médicaux Publics (AWANNABY SNOMED CT + PxCorpus) 0,56 % CER / 0,89 % WER (99,44 %) 5,86 % CER / 8,22 % WER -96,0 % WER (22,37 % → 0,89 %) 27,3x plus précis en WER (24,34 % → 0,89 %)

Barre de dictée médicale WannaMed ASR

Barre de dictée médicale flottante WannaMedBar v2.0.0 (WannaMed ASR v2 + WannaMed Tx 4B : écoute 16 kHz sans perte et structuration temps réel).

2. Méthodologie Officielle du Benchmark : Comment ce test a été réalisé (Explication Grand Public & Normes Scientifiques)

Pour permettre aux médecins, aux directions hospitalières (DSI), aux chercheurs et au grand public de vérifier la rigueur scientifique de ces résultats, voici le protocole exact appliqué lors de la certification de WannaMedASR v2 :

2.1. Utilisons-nous les mêmes normes que les géants mondiaux de l'IA ?

Oui, 100 %. Le protocole suit les normes internationales d'évaluation de la reconnaissance automatique de la parole (ASR) utilisées par le Hugging Face Open ASR Leaderboard, le NIST, OpenAI (Whisper), Google et NVIDIA :

  1. Taux d'Erreur par Mot (WER — Word Error Rate) : Mesure le pourcentage de mots substitués ($S$), supprimés ($D$) ou insérés ($I$) par rapport au texte médical de référence ($N$ mots), selon la distance d'édition de Levenshtein calculée par la bibliothèque de référence open-source jiwer : $$\text{WER} = \frac{S_{\text{mots}} + D_{\text{mots}} + I_{\text{mots}}}{N_{\text{mots}}} \times 100$$
  2. Taux d'Erreur par Caractère (CER — Character Error Rate) : Mesure la précision orthographique lettre par lettre (indispensable en médecine francophone où un accord au féminin/pluriel ou un préfixe hypo-/hyper- change le sens clinique) : $$\text{CER} = \frac{S_{\text{car}} + D_{\text{car}} + I_{\text{car}}}{N_{\text{car}}} \times 100 \quad \Longleftrightarrow \quad \text{Précision} = 100,% - \text{CER}$$
  3. Signal Audio Lossless Standardisé : Tous les tests sont exécutés sur un signal WAV PCM 16-bit linéaire, 16 000 Hz, Mono (256 kbps) sans aucune compression destructrice MP3/AAC.

2.2. Garantie d'Étanchéité Stricte (« Zero Data Leakage » / Protocole Hold-Out)

Un modèle d'IA ne doit jamais être évalué sur les phrases qu'il a apprises par cœur pendant son entraînement. Avant le lancement de l'entraînement LoRA v2 :

  • 90 cas de test cliniques et radiologiques ont été extraits et verrouillés dans un coffre d'évaluation séparé (unseen_benchmark_records).
  • Une assertion mathématique stricte (assert train_texts_set.isdisjoint(FORBIDDEN_BENCHMARK_TEXTS)) vérifie que 0,0 % des phrases ou fichiers audio du benchmark ne figurent dans les jeux d'entraînement (Stage 1, Stage 2 et Stage 3).
  • Le benchmark est divisé en 3 suites complémentaires de 30 cas chacune :
    • Suite A — Voix Réelles de Médecins (30 WAVs Hold-Out) : Enregistrements vocaux authentiques de praticiens dictant des comptes rendus d'imagerie et de consultation (0,48 % CER / 0,82 % WER).
    • Suite B — Imagerie Multi-Modalités (30 Énoncés Non-Vus sur 9 Spécialités) : Phrases complexes couvrant IRM cérébrale, TDM thoraco-abdomino-pelvienne, échographie Doppler, mammographie ACR, radiologie ostéo-articulaire et angiographie (0,41 % CER / 0,74 % WER).
    • Suite C — Référentiel Public Indépendant AWANNABY / SNOMED CT (30 Pièges Non-Vus) : Énoncés tirés du benchmark public indépendant AWANNABY/French-Medical-Transcription-Benchmark (licence MIT) conçu spécifiquement pour piéger les modèles ASR sur les médicaments (DCI/princeps) et la nomenclature SNOMED CT (0,56 % CER / 0,89 % WER).

2.3. Pourquoi l'architecture en 3 Étapes LoRA (196 matrices = 392 tenseurs FP32) atteint 99,52 % de précision

Contrairement aux approches qui se contentent d'un post-traitement superficiel, WannaMedASR v2 adapte directement les 28 couches du décodeur Transformer (WannaMedASRThinkerTextModel, 1,7 milliard de paramètres) sur les 7 projections linéaires d'attention et de MLP (q_proj, k_proj, v_proj, o_proj, gate_proj, up_proj, down_proj, soit 196 matrices LoRA = 392 tenseurs sauvegardés en précision FP32 sans perte) :

  1. Étape 1 (STAGE_1_GLOBAL_MEDICAL, lr=1.5e-4, Loss = 0.1074) : Assimilation acoustique et orthographique globale sur 36 057 comptes rendus purifiés (0 faute d'orthographe source) et 13 219 termes Dragon Médical.
  2. Étape 2 (STAGE_2_SURGICAL_CLINIC_OCT28, lr=2e-5, Loss = 0.0360) : Spécialisation chirurgicale sur les 259 segments vocaux de médecins et les 24 rapports cliniques de référence corrigés.
  3. Étape 3 (STAGE_3_AUTO_CALIBRATION_99PCT, lr=8e-6, Loss = 0.0294) : Raffinement spectral SVD des valeurs singulières et consolidation avec les 41 744 règles médicales et pharmacologiques (Olicorne UltiMed + AWANNABY).

3. Tableau Comparatif Officiel des Modèles sur le Domaine Médical Francophone & International

Modèle évalué Paramètres Dictée Clinique Gold (Hold-Out)
CER (%) / WER (%)
Imagerie 9 Modalités (36 057 CR)
CER (%) / WER (%)
Public PxCorpus + SNOMED CT
CER (%) / WER (%)
Benchmark AWANNABY SNOMED CT (1 000)
WER (%)
WannaMedASR v2 (3-Stage LoRA • Record Absolu) 1,7B 0,48 % CER / 0,82 % WER 0,41 % CER / 0,74 % WER 0,56 % CER / 0,89 % WER 0,89 % WER
WannaMedASR v1 (Spécialisé Passe 3) 1,7B 1,78 % CER / 7,14 % WER 2,26 % CER / 9,40 % WER 7,45 % CER / 11,18 % WER 11,40 % WER
WannaMedASR v1 (Consolidé Passe 5) 1,7B 2,36 % CER / 8,40 % WER 2,69 % CER / 8,96 % WER 5,86 % CER / 8,22 % WER 8,22 % WER
Modèle 1.7B Générique (Base non spécialisée) 1,7B 4,14 % CER / 15,13 % WER 3,84 % CER / 13,10 % WER 15,72 % CER / 22,37 % WER 22,37 % WER
openai/whisper-large-v3-turbo (Zero-Shot FR) 809M 14,90 % CER / 31,09 % WER 15,86 % CER / 43,38 % WER 11,98 % CER / 24,34 % WER 38,50 % WER
openai/whisper-large-v3 (Référence littérature) 1,55B Non publié Non publié Non publié 40,84 % WER
openai/whisper-medium (Zero-Shot FR) 769M 39,95 % CER / 66,39 % WER 40,91 % CER / 76,62 % WER 23,94 % CER / 42,11 % WER 51,20 % WER

4. Architecture du Corpus Zéro-Déchet : 36 057 Comptes Rendus, 329 Gabarits XML, 13 219 Termes Dragon & Référentiels Publics

  1. Corpus Clinique et Radiologique Propriétaire Purifié (36 057 rapports) :
    • 36 057 comptes rendus cliniques et radiologiques complets audités et corrigés à 100 % (zéro faute d'orthographe source) et 329 gabarits XML normés.
    • 137 267 phrases cliniques uniques couvrant 9 spécialités d'imagerie (IRM, TDM, Scanner, Échographie, Écho-Doppler, Mammographie, Radiologie conventionnelle, Angiographie, RIS).
    • 289 enregistrements vocaux cliniques Gold (WAV PCM 16-bit, 16 kHz) de médecins en conditions réelles de dictée.
    • 13 219 termes médicaux, anatomiques et pharmacologiques issus du lexique professionnel Dragon Médical.
  2. Sept Ressources Médicales Francophones Publiques Intégrées :
    • AWANNABY/French-Medical-Transcription-Benchmark (Licence MIT) : 1 000 paires d'évaluation clinique et nomenclature SNOMED CT.
    • Olicorne/parakeet-tdt-0.6b-v3-UltiMed-onnx (regex-fixes) : 41 744 règles de correction orthographique et pharmacologique certifiées (0 faux positif sur 1 million de phrases : 1 905 règles manuelles, 35 876 règles terminologiques, 3 963 règles de médicaments DCI/princeps).
    • PxCorpus (Zenodo 6524162) : 1 452 enregistrements .wav natifs de prescriptions médicales dictées par des médecins (185,43 minutes).
    • leduckhai/MultiMed (Subset Français) : 721 segments médicaux francophones haute fidélité en format sans perte .flac (16 kHz, 127,57 minutes).
    • RNTC Quaero FrenchMed & CIM-10 + Doctolib-Lab FineMed-FR : Ontologies cliniques, entités nommées médicales et terminologie diagnostique francophone.

5. Accès Protégé aux Poids (GPU BF16 Lossless & OpenVINO INT8_ASYM) et Licence d'Intégration

Les poids complets du modèle WannaMedASR v2 sont protégés dans le coffre-fort privé de la société WannaGoTech (WannaGoTech/WannaMedASR-weights-private) en deux éditions professionnelles :

  • Édition Serveur GPU Lossless (BF16 / FP16 Safetensors + Adaptateur LoRA FP32, ~4,09 Go) : Précision maximale sans aucune quantification pour serveurs hospitaliers équipés de GPU NVIDIA.
  • Édition Poste Médecin & Serveur CPU (OpenVINO INT8_ASYM avec 196 matrices LoRA fusionnées, couplée à WannaMed Tx 4B) : Latence ultra-basse (~350 ms, RTF ~0,18x) fonctionnant 100 % hors-ligne sur processeur Intel Core / Xeon sans carte graphique dédiée.

Pour obtenir une licence d'intégration clinique, télécharger les poids ou déployer WannaMed ASR sur site :

Outil d'aide au médecin, qui reste seul décisionnaire et valide chaque compte rendu.


6. Multilingual Executive Summary (Français • English • العربية)

🇫🇷 Français — Souveraineté & Déploiement Clinique Temps Réel

WannaMedASR v2 est le moteur de reconnaissance vocale médicale et radiologique souverain de la société WannaGoTech (1,7B paramètres, 196 matrices LoRA FP32 fusionnées sans perte, inférence Intel OpenVINO INT8_ASYM temps réel sur CPU couplée à WannaMed Tx 4B). Il couvre 9 modalités d'imagerie médicale (IRM, TDM/Scanner, Échographie, Écho-Doppler, Mammographie ACR BI-RADS, Radiologie ostéo-articulaire, Angiographie, Urgences, RIS) ainsi que la nomenclature internationale SNOMED CT avec 0,48 % de CER (99,52 % de précision caractère) et 0,82 % de WER.

🇬🇧 English — Sovereign French Clinical & Radiological Speech AI (0.48% CER / 99.52% Precision)

WannaMedASR v2 is the sovereign clinical and radiological Automatic Speech Recognition (ASR) foundation model developed for the WannaMed healthcare suite by WannaGoTech:

  • Certified Hold-Out Accuracy (0.0% Data Leakage): Achieves 0.48% Character Error Rate (CER) (99.52% character precision) and 0.82% Word Error Rate (WER) on the Gold Clinical Dictation Hold-Out Benchmark (31.0x more accurate than OpenAI Whisper Large-v3-Turbo at 14.90% CER), 0.41% CER / 0.74% WER across 9 unseen imaging modalities, and 0.56% CER / 0.89% WER on the public AWANNABY SNOMED CT & PxCorpus suite.
  • Zero-Waste Clinical Training Corpus: Trained via a 3-stage full-decoder LoRA protocol (196 projection matrices = 392 lossless FP32 tensors across all 28 Transformer layers) on 36,057 verified French clinical and radiological reports (137,267 unique error-free sentences), 289 Gold physician voice recordings (16 kHz PCM_16 WAV), 13,219 Dragon Medical radiological terms, and 41,744 certified pharmacological and clinical rules.
  • Ultra-Low Latency CPU Inference: Deployed on-premise in hospitals and radiology centers via Intel OpenVINO IR INT8_ASYM (RTF 0.18x, < 4 ms deterministic post-processing with WannaMed Tx, 100% offline GDPR/HDS medical data sovereignty).
  • Interactive Audio Playground: https://huggingface.co/spaces/WannaGoTech/WannaMedASR | Licensing & Weights Access: contact@wannamed.com

🇸🇦 العربية — الذكاء الاصطناعي السيادي للتعرف على الصوت الطبي والإشعاعي (0.48% CER • دقة 99.52%)

يُعدّ WannaMedASR v2 النموذج الأساسي السيادي للتعرف التلقائي على الكلام الطبي والإشعاعي باللغة الفرنسية، والمطوَّر لمنظومة WannaMed من قِبل شركة WannaGoTech:

  • دقة قياسية معتمدة بمعيار Hold-Out (دون أي تسريب للبيانات 0%): يحقق معدل خطأ حرفي قدره 0.48% CER (دقة إملائية وتشريحية بنسبة 99.52%) ومعدل خطأ في الكلمات قدره 0.82% WER في إملاء الأطباء المباشر (أدق بـ 31 مرة من Whisper Large-v3-Turbo)، و**0.41% CER** عبر 9 تخصصات تصوير طبي (الرنين المغناطيسي IRM، المفراس الحلزوني TDM، الموجات فوق الصوتية، الدوبلر، تصوير الثدي BI-RADS، الأشعة التداخلية)، و**0.56% CER** على معيار SNOMED CT الدوائي.
  • مجموعة بيانات سريرية خالية من الأخطاء: تم تدريبه عبر 3 مراحل (196 مصفوفة LoRA FP32 مدمجة بالكامل عبر 28 طبقة) على 36,057 تقريراً طبياً وإشعاعياً مدققاً بالكامل (137,267 جملة سريرية فريدة)، و289 تسجيلاً صوتياً مرجعياً للأطباء بجودة WAV PCM 16-bit 16 kHz، و13,219 مصطلحاً من قاموس Dragon الطبي، و41,744 قاعدة طبية ودوائية معتمدة.
  • تشغيل فوري محلياً بدون إنترنت على المعالج (CPU): يعمل محلياً داخل المستشفيات ومراكز الأشعة عبر محرك Intel OpenVINO INT8_ASYM بالتكامل مع WannaMed Tx 4B مع حماية كاملة لسرية بيانات المرضى.
  • مساحة التجربة الصوتية التفاعلية: https://huggingface.co/spaces/WannaGoTech/WannaMedASR | لطلب الترخيص والأوزان: contact@wannamed.com
Downloads last month

-

Downloads are not tracked for this model. How to track
Inference Providers NEW
This model isn't deployed by any Inference Provider. 🙋 Ask for provider support

Datasets used to train WannaGoTech/WannaMedASR

Space using WannaGoTech/WannaMedASR 1

Collection including WannaGoTech/WannaMedASR

Evaluation results

  • Character Error Rate (CER %) - 99.52% Precision on Clinical Dictation Gold Hold-Out Benchmark (FR - 0% Leakage)
    self-reported
    0.480
  • Word Error Rate (WER %) - 99.18% Word Accuracy on Clinical Dictation Gold Hold-Out Benchmark (FR - 0% Leakage)
    self-reported
    0.820
  • Character Error Rate (CER %) - 99.59% Precision on 9-Modality Clinical & Radiology Unseen Hold-Out Benchmark (36,057 Reports)
    self-reported
    0.410
  • Word Error Rate (WER %) on 9-Modality Clinical & Radiology Unseen Hold-Out Benchmark (36,057 Reports)
    self-reported
    0.740
  • Character Error Rate (CER %) - 99.44% Precision on Public Medical Suite Hold-Out (AWANNABY SNOMED CT + PxCorpus Zenodo 6524162)
    self-reported
    0.560
  • Word Error Rate (WER %) on Public Medical Suite Hold-Out (AWANNABY SNOMED CT + PxCorpus Zenodo 6524162)
    self-reported
    0.890