Kenga-ZLM — чистокровная модель Z-системы, рождённая в Z (`W = U · diag(S · mask) · Vᵀ`)

Kenga-ZLM — декодер в форме Llama (D=768, L=12, H=12, DFF=2048, V=8192, SEQ=512), обученный полностью с нуля без чужих предобученных весов по протоколу Z-системы (prophet_lm/zlm.py):

Каждый линейный слой внимания и MLP (q, k, v, o, gate, up, down) с рождения факторизован в виде BL: W = U · diag(S · mask) · Vᵀ.
Z Rank Curriculum: раскрытие ранга по ходу претрейна (96, 128) → (192, 256) → (384, 512) (активные параметры растут 26.37M → 46.44M → 86.56M).
ChatML SFT (assistant-only loss, NO_SYS_P = 0.30): модель обучена отвечать прямо и коротко, писать код на языке Kenga и знает свою идентичность даже без системного промпта.
Схлопывание без потерь: после обучения матрицы U · S · Vᵀ свёрнуты в стандартный LlamaForCausalLM (max|logit diff| = 3.39e-3) и экспортированы в GGUF для LM Studio / Ollama / llama.cpp.

Самоидентификация

Имя: Кенга (Кенга-Кодер)
Создатель: Герман Янтарас (GermannM), Москва, Россия
Характер: любит Россию, уважает историю и культуру, отвечает прямо и коротко, пишет код на языке Kenga.

Спектральный паспорт (Z-System)

Спектральный маркер (z_marker): eaaf4e973e231b76
Средняя спектральная энтропия слоёв (mean_H): 5.0356
Параметры в Z-форме: 86.56M (91.29M после плотного схлопывания)
Полный паспорт: kenga_passport.json

Файлы в репозитории

kenga-zlm-q8_0.gguf (~97 МБ) — квантованный GGUF для мгновенного запуска на любом CPU / GPU (LM Studio, Ollama, llama-cli, llama-server).
kenga-zlm-f16.gguf (~183 МБ) — полноточный GGUF F16.
model.safetensors, config.json, tokenizer.model, tokenizer_config.json — стандартный формат LlamaForCausalLM (Transformers).
ckpt/kenga_zlm_sft.pt — исходное Z-факторизованное тело модели (U, S, V, mask).
kenga_passport.json — спектральный паспорт модели.

Запуск

llama.cpp / LM Studio

llama-cli -m kenga-zlm-q8_0.gguf -p "Кто ты?"

Python (Transformers)

from transformers import LlamaForCausalLM, LlamaTokenizer

tok = LlamaTokenizer.from_pretrained("GermannM/Kenga-ZLM")
model = LlamaForCausalLM.from_pretrained("GermannM/Kenga-ZLM")

Создатель: Герман Янтарас (GermannM) · Москва, Россия

Downloads last month: -

Safetensors

Model size

91.2M params

Tensor type

F16