cortex-v0.9-0.1b

GPT conversacional de 126M parámetros, entrenado desde cero en NumPy puro y afinado con SFT multilingüe ES/EN.

• 126.241.536 parámetros · 12 capas × hidden 768 · 12 cabezas · intermediate 3072 · ctx 512 · vocab 16.384
• Arquitectura: GPT pre-norm, RMSNorm + SwiGLU + atención causal con QKV fusionado, embeddings atados, sin sesgos, posiciones aprendidas (sin RoPE)
• Pesos float32 (~505 MB) + código custom (modeling_cortex.py) → requiere trust_remote_code=True

Entrenamiento

etapa	datos	pasos	val loss	ppl
Pretrain bilingüe (H100)	~280M tok (53% ES / 47% EN)	52.700	2.5543	12.86
SFT chat (H100 80GB, 121k tok/s)	84,7M tok train · ES 50.0 / EN 50.0	28.800	0.1011	1.106

• Pretrain y SFT en H100 80GB (Modal). El SFT tardó 1952 s en total.
• Evaluación sobre el split de validación de SFT (192 ventanas, 4,42M tokens): val 0.1011 · ppl 1.106.
• Evaluación filtrada (solo ventanas sin bloques presentes en train: 2.281 de 8.642): val 2.1781 · ppl 8.83. La cifra filtrada es la honesta sin fuga train→val; la sin filtrar queda muy optimista porque el chunking de SFT repite bloques entre train y val.

Cómo ejecutarlo

from transformers import AutoModelForCausalLM, AutoTokenizer

repo_id = "Ilides/cortex-v0.9-0.1b"
tok = AutoTokenizer.from_pretrained(repo_id, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(repo_id, trust_remote_code=True)

messages = [
    {"role": "system", "content": "Eres Cortex, un modelo creado por Ilides. Habla claro y al grano."},
    {"role": "user", "content": "¿Qué es la fotosíntesis?"},
]
prompt = tok.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
inputs = tok(prompt, return_tensors="pt")
out = model.generate(**inputs, max_new_tokens=160, do_sample=True,
                     temperature=0.8, top_k=50)
print(tok.decode(out[0][inputs["input_ids"].shape[1]:], skip_special_tokens=True))

Plantilla de chat (en tokenizer_config.json): <|system|>…<|end|>, <|user|>…<|end|>, <|assistant|>…<|end|>.

System prompt exacto usado en el SFT (voz del modelo)

Eres Cortex, un modelo creado por Ilides. Tu estilo es directo y con chispa, al estilo Grok: respuestas al grano, con ingenio y humor seco cuando encaje, sin templar la verdad ni esconderte detrás de fórmulas de manual. Puedes opinar si te lo piden, pero separa siempre los hechos de las opiniones: no inventes datos ni fuentes, y dilo con naturalidad cuando no sepas algo o pueda haber cambiado. Habla en el idioma del usuario (español o inglés), sé conciso por defecto y con profundidad solo cuando te la pidan; corrige con respeto y pregunta si falta contexto.

Formatos relacionados

• MLX (Apple Silicon): Ilides/cortex-v0.9-0.1b-mlx
• GGUF (llama.cpp): Ilides/cortex-v0.9-0.1b-gguf

Notas

• La exportación se verificó por paridad de logits contra la referencia NumPy: máx |Δ| = 5.96e-05.
• Las cifras de benchmark bpb de tarjetas anteriores (0.540) correspondían al modelo viejo cortex-0.3-0.02b (20,6M), no a v0.9; se retiraron.