bebe-gpt-ca-titres

Mini-transformer (architecture GPT2) entraîné de zéro (poids aléatoires au départ) qui route une demande client vers une filière bancaire. C'est un objet pédagogique : il sert à montrer, en formation, que « le LLM que vous utilisez tous les jours, c'est CECI — les mêmes briques (tokens, contexte, prédiction du token suivant, gradient), mais ~200 000 fois plus gros ».

On l'a fabriqué de A à Z (données → entraînement → format GGUF) et il tourne en local dans LM Studio comme n'importe quel vrai modèle.

Modèle jouet, entraîné sur 120 demandes fictives (aucune donnée réelle, aucun nom de client). À ne pas utiliser pour autre chose qu'une démo.

Fiche technique

Champ Valeur
Architecture GPT2 décodeur — n_layer=4, n_head=4, n_embd=128, n_ctx=128
Paramètres ~7,2 M (7 242 624)
Tokenizer GPT2 BPE standard (vocab 50257)
Pré-entraînement aucun (from scratch)
Entraînement 80 epochs, AdamW lr 5e-4, ~3 min sur CPU, perte finale 0,167
Format safetensors (Hugging Face) et bebe-gpt-ca-titres.gguf (f16, 16 Mo)
Filières VALEURS_MOBILIERES, EPARGNE_SALARIALE, EPARGNE_BANCAIRE, MOBILITE_BANCAIRE

Utilisation dans LM Studio (GGUF)

Le GGUF embarque un template de chat. Dans l'onglet Chat, tape la demande en français naturel et envoie — la filière sort :

passer un ordre d'achat sur une action   ->  VALEURS_MOBILIERES
cloturer mon depot a terme                ->  EPARGNE_BANCAIRE

Régler Temperature = 0. Runtime CPU (avx2) recommandé.

Utilisation en complétion brute (llama.cpp / API)

Modèle de complétion : amorcer avec {demande} => (sans espace après le => — l'espace casse la tokenisation BPE), greedy.

prompt : "passer un ordre d'achat sur une action =>"
sortie : " VALEURS_MOBILIERES"

Résultats

Sur un banc de 10 phrases tenues à l'écart de l'entraînement : 10/10 de bonne filière (en complétion brute et dans LM Studio).

Limites (le vrai enseignement)

  • Aucun « je ne sais pas ». Hors domaine, il force une filière avec aplomb (« quelle est la capitale de la France » → une filière au hasard). Il ne comprend pas : il complète.
  • Sur-apprentissage assumé sur 120 exemples ; sensible au format du prompt.
  • Pas de garde-fous (ton, refus, sûreté) : c'est ce qu'un vrai LLM ajoute, invisible sur 4 filières.

Données

120 demandes fictives, 4 filières équilibrées (30 chacune), 100 % neutres.

Licence

MIT. Fabriqué pour une formation GEN AI (Comundi / CA Titres).

Downloads last month
63
Safetensors
Model size
7.24M params
Tensor type
F32
·
Inference Providers NEW
This model isn't deployed by any Inference Provider. 🙋 Ask for provider support