🤖 R-08 Transformer Baseline 45M (Dense GPT-2 Control Model)
Modello di Controllo per il Paragone con l'Architettura Geodetica Sentinel R-08:
Questo modello Transformer denso da 44.9M parametri e 14 strati di attenzione con vocabolario a 1.2k pezzi è stato addestrato da Thomas Seri appositamente come modello di controllo per confrontare in modo scientifico, a parità di token e vocabolario, le prestazioni con la famiglia Sentinel R-08:
- 🚀 Nuovo Sentinel R-08 v7.2 (51.6M, 12 Hubs + 1D Conv): Tom2701/R-08-v7.2 su Hugging Face | GitHub v7.2
- 🌐 Sentinel R-08 v7 Pyramid (44.5M): Tom2701/R-08 su Hugging Face | GitHub
Modello Dense Transformer di Controllo Diretto (~45M parametri, 14 strati di attenzione causale, Vocabolario 1.2k pezzi) addestrato per lo studio comparativo A/B di Sentinel R-08 e Sentinel R-08 v7.2.
- 👤 Autore: Thomas Seri (Sentinel LifeOS)
- 🏛️ Architettura: Transformer Decoder-Only standard (GPT-2 style), Pre-LayerNorm, Weight Tying
- 📏 Dimensione Parametri: 44.905.984 parametri unici (~44.9M)
- 🔤 Vocabolario: 1.251 pezzi subword (
vocab_stages, 1.2k), identico a Sentinel R-08 - 📚 Dataset di Pretraining:
v22_chinchilla_mix(740M token, Chinchilla-optimal per ~45M parametri) - 🏋️ Addestramento: 185.000 step di Pretraining + 10.000 step di Midtraining
- 🔗 Modello Target Comparato: Sentinel R-08 (v7 Pyramid 3-Spheres Mesh)
🎯 Obiettivo Scientifico dello Studio A/B
Per valutare in modo rigoroso, indipendente e scientificamente riproducibile le proprietà della nuova architettura neurale a 3 sfere geodetiche e centro piramidale (Sentinel R-08) rispetto alle reti transformer convenzionali, è stato progettato e addestrato questo modello di baseline:
- Parità di Dati e Token: Stesso dataset (
v22_chinchilla_mix, 740M token), stesso vocabolario (1.251 pezzi subword), stesso contesto (256 token), stessa pipeline di caricamento e stesso hardware di sviluppo (Apple Silicon MPS). - Parità di Parametri: 44.9M parametri densi vs 44.5M parametri geodetici.
- Differenza Architetturale Unica:
- Transformer Baseline: 14 strati di attenzione densa continua token-to-token ($d_{\text{model}}=512$, 8 teste).
- Sentinel R-08 (v7 Pyramid): Soli 2 strati di attenzione densa assistiti da 3 geosfere triangolari a 80 facce e centro piramidale a 1-hop.
📊 Benchmark Comparativi A/B (Risultati di Laboratorio)
| Metrica di Laboratorio | Sentinel R08 (v7 Pyramid) | 🚀 Sentinel R-08 v7.2 | Transformer Baseline (185k Pretrain) | Transformer Baseline (10k Midtrain) | Vantaggio Architetturale Famiglia R08 |
|---|---|---|---|---|---|
| Parametri Totali | 44.5M | 51.6M | 44.9M | 44.9M | Pesi equivalenti (~45-50M) |
| Strati di Attenzione Densa | 2 strati | 2 strati | 14 strati | 14 strati | -85.7% strati densi |
| Vocabolario Subword | 1.251 pezzi | 1.251 pezzi | 1.251 pezzi | 1.251 pezzi | Identico (1.2k) |
| BLiMP-IT (Accuratezza Grammaticale) | 80.95% | 82.02% 🏆 | 82.53% | 85.84% | Competitivo con soli 2 strati |
| MultiBLiMP (Ragionamento Sintattico) | 73.46% | 73.46% | 85.15% | 86.83% | Solida base logica |
| Resistenza Allucinazioni (Zero-Shot Truth Rate) | 62.5% (Fatti IT 4/4) | 56.2% (Fatti 3/4) | 56.2% | 68.8% (Fatti IT 4/4) | R08 competitivo al Pretrain 185k |
| Throughput Training (MPS Apple Silicon) | ~10.150 tok/s | ~7.200 tok/s | ~8.650 tok/s | ~8.650 tok/s | Elevata efficienza computazionale |
| Consumo Energetico per Token | 2.3 mJ / token | 2.4 mJ / token | 3.3 mJ / token | 3.3 mJ / token | -28.3% / -31.2% consumo energetico 🔋 |
| Impronta Memoria KV-Cache (a 512 token) | 0.8 MB (2.1 MB/seq) | 0.8 MB (2.1 MB/seq) | 5.6 MB (14.7 MB/seq) | 5.6 MB (14.7 MB/seq) | -85.7% traffico RAM/Cache 💾 |
🔬 Considerazioni e Riscontri Scientifici
- Trade-off Accuratezza vs Risorse:
- Il Transformer denso a 14 strati raggiunge un'accuratezza linguistica dell'85.84% su BLiMP-IT grazie all'elevato numero di matrici $Q \times K^T$ dense su tutta la profondità della rete.
- Tuttavia, questo comporta un consumo energetico superiore del +31.2% e un'impronta di memoria KV-Cache 7 volte maggiore (5.6 MB vs 0.8 MB per sequenza).
- Efficienza Geodetica di R-08:
- Sentinel R-08 raggiunge l'80.95% su BLiMP-IT eliminando l'85.7% dell'attenzione densa e sostituendola con il routing sferico triangolare a 80 facce, dimostrando un'efficienza ideale per Edge AI e dispositivi embedded a batteria.
🚀 Utilizzo Rapido (Inference Quickstart)
Il modello può essere caricato ed eseguito localmente su qualsiasi architettura (Apple Silicon MPS, GPU CUDA o CPU):
from modeling_transformer import TransformerModel, TransformerTokenizer
# 1. Carica Tokenizer e Modello (Midtrain 10k di default)
tokenizer = TransformerTokenizer.from_pretrained("Tom2701/R-08-Transformer-Baseline")
model = TransformerModel.from_pretrained("Tom2701/R-08-Transformer-Baseline")
# (Opzionale: per caricare il checkpoint di Pretraining 185k)
# model_pre = TransformerModel.from_pretrained(
# "Tom2701/R-08-Transformer-Baseline",
# weights_file="model_pretrain_185k.safetensors"
# )
# 2. Genera testo
prompt = "La capitale d'Italia è "
risposta = model.generate(
prompt=prompt,
tokenizer=tokenizer,
max_new_tokens=32,
temperature=0.7,
top_p=0.9,
repetition_penalty=1.15
)
print(prompt + risposta)
📦 Checkpoint & File Inclusi
Nel repository sono inclusi tutti i formati per ricerca e inferenza mobile:
transformer-baseline-45m-f16.gguf(87.1 MB): File binario quantizzato nativo per Pocket AI, PocketPal AI, LM Studio e llama.cpp. Può essere trascinato direttamente nell'app su iPhone, iPad o Mac!model.safetensors(174 MB): Checkpoint finale PyTorch dopo 10.000 step di midtraining (85.84% BLiMP-IT).model_pretrain_185k.safetensors(174 MB): Checkpoint dopo 185.000 step di pretraining Chinchilla puro (82.53% BLiMP-IT).tokenizer.json&tokenizer_config.json: Compatibilità standard Hugging FaceAutoTokenizer.
📜 Licenza e Citazione
Il codice e i pesi di questo modello baseline sono rilasciati sotto licenza Apache 2.0 per garantire la massima trasparenza, riproducibilità scientifica e verificabilità della ricerca comparativa.
@misc{seri2026transformerbaseline,
author = {Seri, Thomas},
title = {R-08 Transformer Baseline 45M: Dense GPT-2 Control Benchmark for Geodesic Mesh Networks},
year = {2026},
publisher = {Hugging Face / GitHub},
howpublished = {\url{https://huggingface.co/Tom2701/R-08-Transformer-Baseline}}
}
🔗 Progetto Principale Sentinel R-08: https://github.com/Thomasseri/R-08 | https://huggingface.co/Tom2701/R-08
- Downloads last month
- 464