Z-Born 4.5M — рождённая в Z
Z-Born — первая модель Z-системы, которая родилась в Z-форме: с рождения
обучалась в факторизованном виде W = U·S·Vᵀ, а не была сжата постфактум.
Это 4.5 миллиона параметров, которые работают на CPU и пишут связный английский.
Born in Z, not compressed post-hoc. Collapse (truncation to rank k) is a physical process with its own laws; a network trained from birth in factored form is collapse-immune by construction.
Архитектура
1-layer tanh RNN в факторизованной форме:
Wx = Ux · diag(Sx) · Vxᵀ (ранг k=32)
Wh = Uh · diag(Sh) · Vhᵀ (ранг k=32)
h_t = tanh(x_t·Wx + h·Wh + b)
head: Linear(2048 → 2048 BPE-токенов)
v = 2048BPE-токенов,hid = 2048, рангk = 32- Стоимость шага
O(hid·k), а неO(hid²)— широкий скрытый слой бесплатен - 4 462 656 параметров (fp32: 17 MB)
Обучение
- Корпус: WikiText-2 + WikiText-103 + TinyStories (~876M токенов), BPE-2048
- 300 000 шагов, CPU, 35.7 часа
- Рождена в Z-форме: параметры U, S, V с рождения (QR-инициализация, спектр 1.0→0.3)
Качество (честно)
| метрика | значение |
|---|---|
| val NLL (смешанный корпус) | 3.974 (ppl 53.2) |
| TinyStories NLL | 2.148 (ppl 8.57) |
| параметров | 4.46M |
Пример генерации (CPU, ~0.1 с/токен):
Once upon a time, a little bird named Benny. Molly was not so happy. He loved to play with her toys and watch the park. The lady was sorry to always remembered a special day...
Быстрый старт
pip install torch tokenizers
python demo.py "Once upon a time"
python demo.py "The meaning of life is"
Файлы
| файл | что это |
|---|---|
zborn.pt |
веса модели (torch, {'model': state_dict, 'meta': {...}}) |
tokenizer.json |
BPE-токенизатор (tokenizers) |
demo.py |
живой чат на CPU (самодостаточный) |
meta.json |
метаданные обучения |
Ограничения (честно)
- Это 4.5M параметров — не ассистент общего назначения. Это модель-исследование: доказательство, что маленькая модель, рождённая в факторизованной форме, даёт связную генерацию на CPU.
- Обучалась на 876M токенов — знания узкие, факты из учебников отсутствуют.
- Не настроена на диалог (instruction tuning не проводился).
- Код чат-демо — минимальный (top-k + repetition penalty), без стриминга.
Z-система
Z-Born — продукт Z-системы (z-system): физики информационных объектов. Нейросетевые матрицы раскладываются через SVD на направления (U, V), масштабы (S) и обрезание спектра до ранга k — «коллапс». Модель, рождённая в этой форме, использует весь свой ранг (см. кривую коллапса) и не требует пост-фактум сжатия. В репозитории Z-системы — законы повреждения, спаривания, термодинамика спектра, телепортация (Z-поток).
Кривая коллапса (измерено, val NLL)
| rank | NLL | ppl |
|---|---|---|
| 32 (база) | 4.003 | 54.8 |
| 24 | 5.447 | 232 |
| 16 | 6.346 | 570 |
| 8 | 7.648 | 2096 |
| 4 | 8.070 | 3197 |
| 16 + лечение (400 шагов) | 5.210 | 183 |
Честное чтение: усечение ранга дорого — модель использует все 32 направления (спектр S после обучения плоский, без хвоста). Лечение (дообучение на усечённом ранге) возвращает ~49% ущерба за 400 шагов. Плотный counterfactual (dense RNN, SVD-усечение) в работе — сравнение наклонов кривых на 200M-паре.
Связанный проект — Kenga (github.com/GermannM3/kenga-lang): язык программирования для живого ИИ (Prophet-память, тензоры, свой decoder, C99-бутстрап без Rust). Z даёт физику внутренней структуры модели, Kenga — среду, в которой модель живёт. Проекты развиваются независимо; объединение — отдельный эксперимент.
© Герман Янтарас. MIT.