Ilides/cortex-0.3-0.02b-gguf

cortex-0.3-0.02b · GGUF (llama.cpp)

Formato GGUF de Ilides/cortex-0.3-0.02b (20.6 M parámetros, arquitectura cortex), generado con gguf-py y verificado leyéndolo de vuelta con GGUFReader.

Archivos

Fichero	Tamaño	Cuantización
cortex-0.3-0.02b-f16.gguf	41.9 MB	F16
cortex-0.3-0.02b-q8_0.gguf	22.5 MB	Q8_0 (8 bits, bloques de 32)

⚠️ Requiere un port de arquitectura en llama.cpp

El archivo es un GGUF válido (arch=cortex, ctx=512, layers=6, vocab BPE completo de 16384 tokens con merges y tipos, tokenizer.ggml.pre=cortex), pero llama.cpp upstream aún no conoce la arquitectura cortex (RMSNorm + SwiGLU + posiciones aprendidas sin RoPE). Para ejecutarlo hay que añadir el modelo según la guía oficial: https://github.com/ggml-org/llama.cpp/discussions/16770

Mientras tanto, la ruta ejecutable oficial es el repo MLX: Ilides/cortex-0.3-0.02b-mlx, o bien el repo base con PyTorch/transformers.

Verificación (hecha en la exportación)

Lectura de vuelta con GGUFReader:

• metadatos: general.architecture=cortex, context_length=512, block_count=6
• tokenizer: model=bpe, pre=cortex, 16384 tokens y 16119 merges idénticos al tokenizer original, tipos (NORMAL/CONTROL/BYTE) idénticos
• los 45 tensores dequantizados contra los pesos F32 originales con tolerancia max(atol, rtol·max|peso|):
  • F16: peor err/tol = 0.754 (< 1 ⇒ OK)
  • Q8_0: peor err/tol = 0.946 (< 1 ⇒ OK)

Tensores

token_embd.weight, position_embd.weight, output_norm.weight y por capa blk.{i}.{attn_norm,ffn_norm}.weight, blk.{i}.attn.{qkv,proj}.weight, blk.{i}.ffn.{gate,up,down}.weight (orientación llama.cpp: salida × entrada).