mini-GPT italiano (MLX, 12M parametri)

Un transformer decoder-only scritto da zero con MLX e addestrato su un MacBook con 29 libri italiani di pubblico dominio. È un progetto didattico: serve a capire come funziona un language model, non a produrre testo utile.

A small GPT-style language model written from scratch in MLX and trained on 29 public-domain Italian books. Educational project: it writes Italian-looking prose whose meaning does not hold beyond a sentence.

Codice, test, esperimenti e un manuale che spiega ogni componente: https://github.com/patricale/mini-gpt-mlx.

Che cosa sa fare

Continua un testo in italiano letterario dell'Ottocento e del primo Novecento. Ortografia, punteggiatura e dialoghi sono quasi sempre ben formati; il senso non regge oltre la singola frase e ogni tanto compaiono parole inventate.

Quel ramo del lago di Comodomo e della Signora, che erano infatti commossi, fin dall'esser loro fatto per lui, da un tempo in cui il diletto si avrebbe fatto male.

Architettura

Tipo decoder-only, pre-norm, weight tying tra embedding e LM head
Dimensioni 6 layer, 6 head, d_model 384, contesto 256 token
Parametri 12.194.688
Posizioni RoPE (Rotary Position Embedding)
Normalizzazione RMSNorm
MLP GELU, rapporto 4
Tokenizer BPE a livello di byte, vocabolario 4096, scritto da zero

Non è un'architettura di transformers: per usarlo serve il codice incluso in questo repository (cartella minigpt/, circa 1000 righe commentate).

Come si usa

Servono un Mac con Apple Silicon e Python 3.12.

pip install mlx numpy pyyaml
python example.py --prompt "Quel ramo del lago di Como" --temperature 0.8 --top-p 0.9

Oppure da Python, dalla cartella scaricata:

import json
import mlx.core as mx
from minigpt.config import ModelConfig
from minigpt.generate import generate
from minigpt.model import GPT
from minigpt.tokenizer import BPETokenizer

model = GPT(ModelConfig(**json.load(open("config.json"))["model"]))
model.load_weights("model.safetensors")
tok = BPETokenizer.load("tokenizer.json")

ids = mx.array([tok.encode("Quel ramo del lago di Como")])
out = generate(model, ids, max_new_tokens=200, temperature=0.8, top_p=0.9)
print(tok.decode(out[0].tolist()))

Dati

29 libri in italiano da Project Gutenberg, tutti di pubblico dominio: Manzoni, Dante, Leopardi, Collodi, Pirandello, Fogazzaro, De Amicis, Deledda, Salgari, D'Annunzio, Capuana, Serao, De Roberto, Rovetta. In tutto 14,1 milioni di caratteri, cioè 3,89 milioni di token di training e 0,43 milioni di validation (divisione 90/10 dentro ogni libro, così tutti gli autori compaiono in validation).

Training

Step 3.000, batch 64 × 256 token (circa 12,6 passate sul corpus)
Ottimizzatore AdamW scritto a mano, β = (0,9, 0,95), weight decay 0,1
Learning rate 6e-4 con 200 step di warmup, poi coseno fino a 6e-5
Regolarizzazione dropout 0,2, gradient clipping a 1,0
Hardware MacBook Pro M4 Pro, 24 GB; circa 29 minuti

Risultati

Metrica Valore
Loss di validation 3,540
Perplexity di validation 34,5

La valutazione è su 20 batch fissi del set di validation. Senza dropout lo stesso modello va in overfitting dopo 2000 step (miglior loss 3,628): il corpus è piccolo rispetto ai parametri.

Limiti

  • Non capisce e non sa nulla: produce testo dall'aspetto plausibile, senza coerenza oltre la frase e senza alcuna affidabilità sui fatti.
  • Solo italiano letterario d'epoca: lessico, grafia e punteggiatura sono quelli dei libri di training (per esempio i dialoghi introdotti da -- o —). Su testo moderno, tecnico o in altre lingue il risultato è peggiore.
  • I testi riflettono la loro epoca, compresi stereotipi e linguaggio oggi inaccettabili, che il modello può riprodurre.
  • Contesto di 256 token (circa 800 caratteri); oltre, la generazione tiene solo la parte finale del testo.
  • Non è stato valutato per nessun uso pratico e non va usato in applicazioni reali.
Downloads last month
54
Safetensors
Model size
12.2M params
Tensor type
F32
·
MLX
Hardware compatibility
Log In to add your hardware

Quantized

Inference Providers NEW
This model isn't deployed by any Inference Provider. 🙋 Ask for provider support