⚡ Light — mini-LLM entrenada desde cero

Modelo entrenado con el proyecto light.

• Arquitectura: transformer decoder-only (RoPE + RMSNorm + SwiGLU), desde cero
• Parámetros: 1,196,672
• Tamaños: 4 capas, 128 dim, 1024 tokens, contexto 192
• Tokenizer: byte-level BPE con pre-tokenización por palabras

Para generar texto:

import torch
from tokenizer import BPETokenizer
from model import GPT
from config import ModelConfig

ckpt = torch.load("best.ckpt", map_location="cpu", weights_only=True)
model = GPT(ModelConfig(**ckpt["model_cfg"])).eval()
model.load_state_dict(ckpt["model_state"])
tok = BPETokenizer.load("tokenizer.json")

ids = tok.encode("En un lugar de la Mancha")
idx = torch.tensor([ids])
out = model.generate(idx, 200, temperature=0.7, top_p=0.95, repetition_penalty=1.1)
print(tok.decode(out[0].tolist()))

Limitaciones

Modelo pequeño de aprendizaje: imita el estilo de su corpus; no conversa ni responde preguntas.