MƐCE — Tune_Pigier (Qwen 3.5 9B fine-tuné Fongbe, modèle fusionné)

Modèle de langue conversationnel centré sur le Fongbe (fon), cœur de l'assistant vocal MƐCE. Version fusionnée (poids QLoRA mergés dans le modèle de base), chargeable directement avec transformers.

Détails

  • Base : Qwen 3.5 9B (multilingue), tokenizer étendu de +82 tokens Fongbe (caractères ɔ, ɛ, ɖ + sous-mots) → byte-fallback ramené de 49,24 % à 0 %.
  • Méthode : QLoRA (NF4, r=64, α=128, dropout 0,05), embeddings dégelées (embed_tokens, lm_head), calcul bf16. ~116 M paramètres entraînables (1,28 %).
  • Entraînement : 3 époques, 2× RTX 5090 (DDP), ~140 K exemples (cf. dataset associé). Loss eval finale 0,378, mean token accuracy 90,0 %.
  • Capacités : conversation en Fongbe, français préservé, traduction FR/EN↔FON.

Usage

from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

tok = AutoTokenizer.from_pretrained("CapitaineVigs/mece-tunepigier-9b")
model = AutoModelForCausalLM.from_pretrained(
    "CapitaineVigs/mece-tunepigier-9b", torch_dtype=torch.bfloat16, device_map="auto")

messages = [
    {"role": "system", "content": "Hwi wɛ nyí MƐ CE, alɔgɔ́nútɔ́ gbɛtɔ́ lɛ tɔn. A nɔ na xósin ɖò Fɔngbè mɛ hwebǐnu."},
    {"role": "user", "content": "A fɔn ganji a ?"},
]
prompt = tok.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
out = model.generate(**tok(prompt, return_tensors="pt").to(model.device), max_new_tokens=256)
print(tok.decode(out[0], skip_special_tokens=True))

Note d'inférence : forcer l'EOS sur <|im_end|> et bannir les single-byte tokens non-ASCII évite les artefacts (séquelle corrigée en phase 4c). Cf. app/llm.py du projet.

Limites

STT/TTS non inclus (modèles tiers intégrés dans l'app). Corpus encore en partie biblique~; pas de benchmark conversationnel Fongbe standardisé.

Licence

à reporter explicitement ici.

Citation

HOUNSOU Vignikin Gerès, MƐCE : assistant vocal Fongbe basé sur un grand modèle de langue fine-tuné, École PIGIER Bénin, 2026.

Downloads last month
19
Safetensors
Model size
9B params
Tensor type
BF16
·
Inference Providers NEW
This model isn't deployed by any Inference Provider. 🙋 Ask for provider support