jacopof/lumina-complete

🚀 Lumina-Next 135M (Step 8.025 — Benchmark deterministico: 87.5%)

Lumina-Next 135M (103.4M parametri con tied embeddings) è l'architettura di nuova generazione per l'ecosistema Lumina AI, progettata per offrire la massima efficienza su dispositivi edge (laptop, CPU, GPU consumer) con supporto per contesti lunghi (8.192 – 32.768 token) e una forte specializzazione nel Coding Python, nella logica formale e nella lingua italiana.

Il checkpoint corrente è il risultato di 8.000 step cumulativi di addestramento con token throughput medio di quasi 14.000 token/s.

---

⚡ Caratteristiche Architetturali Principali

• Parametri Reali: 103.39 Milioni (con tied embeddings; 135M unshared)
• Formato Pesi: safetensors, pytorch_model.bin, onnx, gguf
• Contesto Nativo Base: 8.192 token (estendibile dinamicamente fino a 32.768 token tramite YaRN)
• RoPE (Rotary Position Embeddings): con frequenza base $\theta = 500.000,0$ e interpolazione frequenziale YaRN
• Grouped Query Attention (GQA 3:1): 9 teste Query, 3 teste Key/Value (head_dim = 64)
• Normalizzazione: RMSNorm ad alta velocità pre-attention e pre-MLP
• Attivazione MLP: SwiGLU ($d_{ff} = 1536$)
• Tokenizer: Byte-Level BPE (32.000 Vocabolario) addestrato congiuntamente su Python, SQL, Git e lingua italiana

---

📈 Tabella di Convergenza e Benchmark Ufficiale

Ciclo	Step Cumulativi	Loss Cross-Entropy	Score Benchmark (8 Domande)	Capacità Emergenti
Baseline	Step 0	8.9042	0.0% (0/16)	Rumore casuale / UTF-8 frammentato
Ciclo 1	Step 500	3.6652	0.0% (0/16)	Vocabolario e sintassi di base
Ciclo 2	Step 1.500	1.9958	25.0% (4/16)	Logica temporale e onestà su date future
Ciclo 3	Step 2.500	1.5491	31.2% (5/16)	Spiegazione regole ausiliari essere/avere
Ciclo 4	Step 3.500	1.1533	37.5% (6/16)	Definizioni biochimiche fotosintesi
Ciclo 5	Step 5.000	0.7269	37.5% (6/16)	Consolidamento convergenza e riduzione loss
Ciclo 6	Step 6.500	0.4548	50.0% (8/16)	Lago di Garda esatto (370 km²), Fotosintesi perfetta
Ciclo 7	Step 8.025	0.1353	87.5% (14/16)	Benchmark deterministico: geografia, grammatica, scienza, calendario, coding e onestà superati; aritmetica resta da migliorare

---

📦 Formati Rilasciati

Nota di valutazione: il benchmark riportato è un controllo locale su 8 domande (16 punti), non una misura generale di intelligenza. Il modello può ancora produrre ripetizioni o testo incoerente nelle risposte lunghe; per calcoli, dati aggiornati e decisioni importanti è necessaria una verifica esterna. L'applicazione Lumina aggiunge controlli locali deterministici, che non fanno parte dei pesi pubblicati.

1. model.safetensors: formato PyTorch/Transformers sicuro e compatto (394 MB).
2. lumina_next_135m.onnx: esportazione ONNX con dynamic axes per inferenza locale ad alta velocità su CPU e DirectML (465 MB).
3. lumina_next_135m.gguf: compatibile con LM Studio e llama.cpp (465 MB).

---

💻 Utilizzo Rapido in Python

import torch
from modeling_lumina_next import LuminaNextForCausalLM
from tokenizers import ByteLevelBPETokenizer

# Carica tokenizer e modello da Hugging Face
tokenizer = ByteLevelBPETokenizer("vocab.json", "merges.txt")
model = LuminaNextForCausalLM.from_pretrained("jacopof/lumina-next-135m")
model = model.to("cuda" if torch.cuda.is_available() else "cpu", dtype=torch.bfloat16)

prompt = "<|im_start|>user\nQual è il lago più grande d'Italia?<|im_end|>\n<|im_start|>assistant\n"
input_ids = torch.tensor([tokenizer.encode(prompt).ids]).to(model.device)

# Generazione con KV Cache
output_ids = model.generate(input_ids, max_new_tokens=100, temperature=0.2)
print(tokenizer.decode(output_ids[0].tolist()))

---

📜 Licenza

Rilasciato sotto licenza libera e aperta MIT. Sviluppato da Jacopo Forti (jacopof).