Ronaldodev/finanfa-ai-luth-lfm2-1.2b

FINANFA AI 🇧🇯 — essai Luth-LFM2-1.2B

FINANFA AI est un modèle de langage spécialisé sur les connaissances du Bénin : histoire, royaumes, politique, institutions, culture, Vodun, géographie, économie, langues nationales et vie quotidienne.

⚠️ Ce dépôt est un essai sur une base plus grande que la version de référence Ronaldodev/finanfa-ai-luth-0.6b (Luth-0.6B-Instruct, architecture Qwen3) : base kurakurai/Luth-LFM2-1.2B (fine-tune français de LiquidAI/LFM2-1.2B, ronaldodev), testée après que plusieurs runs sur la base 0.6B aient montré des signes de plafond de capacité -- rappel factuel instable d'un run à l'autre sur un sous-ensemble de faits biographiques précis, malgré un contenu correct et sur-échantillonné dans le dataset d'entraînement. Dataset et rééquilibrage identiques entre les deux notebooks : seule la taille/architecture du modèle de base change, pour isoler cette variable.

Ce modèle est un fine-tuning LoRA (adaptation de domaine par-dessus un checkpoint déjà instruction-tuné) de kurakurai/Luth-LFM2-1.2B, entraîné sur le dataset privé Ronaldodev/finanfa-ai-dataset (non public, curé manuellement).

Modèle de base

• Base : kurakurai/Luth-LFM2-1.2B (architecture hybride LFM2 : blocs de convolution à porte + blocs d'attention GQA, fine-tune de LiquidAI/LFM2-1.2B)
• Méthode : LoRA (r=32, alpha=32, dropout=0), adaptateur fusionné (merge_and_unload)
• Modules LoRA ciblés : q_proj, k_proj, v_proj, out_proj, in_proj, w1, w2, w3

Dataset utilisé

• Dataset source : Ronaldodev/finanfa-ai-dataset (privé)
• Conversations valides après nettoyage (doublons exacts retirés) : 20286
• Après rééquilibrage pour cet entraînement (plafonnement de decoupage_territorial) : 15561
• Catégories couvertes : 71
• Split : train 24608 / validation 778 / test 778 (≈ 90 / 5 / 5, stratifié par catégorie)
• Sur-échantillonnage dans le train set uniquement : {k} x{v}, {k} x{v}, {k} x{v}, {k} x{v}, {k} x{v}, {k} x{v}, {k} x{v}, {k} x{v}, {k} x{v}, {k} x{v}, {k} x{v}, {k} x{v}, {k} x{v}, {k} x{v}, {k} x{v} (+10603 exemples)
• Format : conversations system / user / assistant, système identique sur tout le dataset : "Tu es FINANFA AI, un assistant spécialisé dans les connaissances du Bénin. Si tu n'es pas certain d'un fait précis (date, chiffre, accusation), dis-le clairement plutôt que d'inventer."

Entraînement

• Époques : 3 (avec early stopping, patience=3, sur eval_loss)
• Taille de batch effective : 16
• Learning rate : 0.0001 (volontairement bas : fine-tuning de continuation sur un checkpoint déjà instruction-tuné, pas un entraînement depuis un modèle de base brut)
• Longueur de séquence max : 1024 tokens
• Matériel : GPU Kaggle/Colab (T4)

Métriques

• Perte (loss) sur le jeu de test tenu à l'écart de l'entraînement : 0.9008
• Évaluation qualitative : comparaison manuelle Luth-0.6B-Instruct (base) vs FINANFA-Luth sur un banc de 384 questions (voir exemples ci-dessous et qualitative_eval.json fourni dans ce dépôt).
• ⚠️ Première version expérimentale sur cette base : aucune métrique automatique d'exactitude factuelle n'a encore été mise en place.

Exemples

Q : Qui était Béhanzin ?

FINANFA-Luth : Béhanzin a été roi du Dahomey de 1889 à 1894, le dernier souverain à avoir résisté militairement à la colonisation française.

Q : Qui était Houégbadja ?

FINANFA-Luth : Houégbadja, né en 1850 près de Kétou et mort en 1916, était un chef de guerre baatonu qui a dirigé le royaume de Nikki pendant une période importante de l'histoire politique du Dahomey précolonial.

Q : Qui était le roi Agadja ?

FINANFA-Luth : Agadja a régné sur le Dahomey de 1797 à 1818. Il a renforcé l'armée et les comptes rendus de guerre contre les Français.

Q : Qui était le roi Ghézo ?

FINANFA-Luth : Ghézo a régné sur le Dahomey de 1818 à 1858. Il est connu pour avoir transformé l'armée et l'administration du royaume.

Q : Qui était le roi Glèlè ?

FINANFA-Luth : Glèlè, né au XIXe siècle, a régné sur le Dahomey de 1889 à 1894. Il est connu pour avoir signé la paix de Gbèkpa avec la France et pour avoir été le premier souverain à reconnaître la suprématie française.

Q : Qui étaient les Amazones du Dahomey ?

FINANFA-Luth : Ce sont des femmes soldats qui formaient une force militaire importante dans l'armée du royaume du Dahomey.

Limites connues

• Modèle 2x plus lourd que la version de référence Luth-0.6B (1,2B vs 0,6B paramètres), à évaluer selon les contraintes réelles de latence/déploiement du projet -- l'objectif de cet essai est de déterminer si le gain de fiabilité factuelle justifie ce coût.
• Licence LFM1.0 (pas Apache 2.0) : gratuite sous 10M$ de revenus annuels, à revérifier avant toute diffusion large si ce seuil est dépassé.
• Le dataset d'entraînement a été dédoublonné uniquement sur les doublons exacts ; des quasi-doublons sémantiques peuvent subsister entre train/validation/test.
• Face à une information manquante ou ambiguë dans un document fourni (bruit d'extraction web réel), le modèle de base Luth-LFM2-1.2B-Instruct pourrait montrer la même tendance à inventer une valeur plutôt que d'avouer l'incertitude que sa version 0.6B (non re-testé spécifiquement en zero-shot pour ce notebook) — ce fine-tuning cible ce comportement via le sur-échantillonnage de fidelite_documents/resume_fidele, comme pour la version 0.6B.
• Ne doit pas être utilisé comme source unique pour des décisions médicales, juridiques ou administratives.
• Actuellement uniquement en français ; les langues nationales du Bénin (fon, yoruba, bariba, dendi, mina, adja) sont prévues pour une phase ultérieure du projet.

Licence

other

Citation

Projet FINANFA AI 🇧🇯, développé par Ronaldodev.