Ilides/cortex-0.3-0.02b-mlx

cortex-0.3-0.02b · MLX (Apple Silicon)

Versión MLX (Metal) de Ilides/cortex-0.3-0.02b, el GPT conversacional de 20.6 M parámetros entrenado desde cero en NumPy puro. Ejecuta nativamente en Apple Silicon sin PyTorch.

Requisitos

pip install mlx safetensors transformers regex

Uso

# batería de prompts de prueba (por defecto)
python generate_mlx.py

# una pregunta
python generate_mlx.py "¿Qué eres?" --max-new 128

# chat interactivo (escribe "salir" para terminar)
python generate_mlx.py --interactive --temperature 0.8

Bundle autocontenido: weights.safetensors (45 tensores) + model.py (arquitectura) + generate_mlx.py (CLI) + tokenizer. No depende de mlx-lm ni de código externo del Hub.

Verificación

Paridad de logits MLX vs NumPy (implementación de referencia): max|Δ| = 3.65e-05 (< 1e-4). Tokens EOS efectivos: {0, 6}.

Arquitectura

cortex: embeddings de posición aprendidos (sin RoPE), RMSNorm + atención multi-cabeza + SwiGLU, embeddings atados (tie_word_embeddings). Contexto 512, 6 capas, d_model 192, vocab 16384 (BPE byte-level).