Qwen3.8-27B-saor

Modelo Qwen3.8-27B con los bloques FFN podados por magnitud (se conservan las conexiones de mayor |w|) según un perfil de densidad por capa optimizado con CMA-ES (genoma CPPN de 466 floats como generador indirecto del perfil). Los pesos activos se re-empaquetan en Q4_K y la adyacencia se almacena en el formato GGUF disperso D16 (tensores ffn_dag_adjacency + ffn_dag_weights).

Arquitectura base: híbrida gated-DeltaNet + attention (65 bloques FFN [5120 → 17408]).

Métrica	Valor
Divergencia KL (vs base, n_pos=4)	0.0103
Compresión D_arch (gate / modelo)	0.1223 / 0.0408
Capas esparsas / densas	45 / 20
Método de poda	Magnitud (top-|w|) + perfil CPPN

El perfil deja las últimas 20 capas completamente densas (sensibles antes del lm_head) y concentra la esparsidad en las capas intermedias (pico ~0.31 en la capa 15). Para referencia: la poda uniforme a sp 0.25 da KL 0.143; la topología CPPN binaria (sin magnitud) da KL 2.5-8.8.

Ejecutar con Hayai

Hayai es un motor de inferencia GGUF con streaming por capas y offload OpenCL que lee el formato D16 nativo.

# 1. Compilar Hayai
cd hayai && cargo build --release

# 2. Dry-run del plan (metadatos → ops por capa)
cargo run --release -p hayai-cli -- plan --model Qwen3.8-27B-saor.gguf

# 3. Generar texto
cargo run --release -p hayai-cli -- generate \
  --model Qwen3.8-27B-saor.gguf \
  --prompt "The capital of France is" \
  --max-tokens 64 \
  --device auto

Nota: 27B en una RTX 4050 (6 GB VRAM) usa el streaming por capas (--memory-strategy minimal) — la generación es lenta pero sin requisito de VRAM. En un dispositivo con más memoria el modelo puede quedar residente.

Evaluar la divergencia KL

cargo run --release --example kl_eval -- \
  --orig Qwen3.8-27B-UD-Q4_K_M.gguf \
  --sparse Qwen3.8-27B-saor.gguf \
  --prompts calib128.txt --n-positions 4 --device auto

Archivos

• Qwen3.8-27B-saor.gguf — el modelo disperso (15.5 GB, Q4_K).
• sparsities.txt — perfil de esparsidad por capa (65 floats) que genera el modelo (reproducibilidad).

Reproducibilidad

El perfil se obtuvo con el loop evolutivo de SAOR (via_b_evolve --batch-eval --magnitude): CMA-ES sobre un genoma CPPN que decodifica el perfil de densidad por capa; la adyacencia = las conexiones de mayor |w| a esa densidad. El mejor genoma (466 f32) y el histórico de 12 generaciones están disponibles bajo demanda.

Atribución: modelo base unsloth/Qwen3.8-27B-GGUF (Qwen) — consulte la licencia del modelo base para uso comercial.