Dropdead072/kestrel-22m-checkpoints

Kestrel-22M-A4M: чекпоинты претрейна

Учебные чекпоинты для домашнего задания курса «Обучение LLM»: decoder-only MoE (8 SwiGLU-экспертов, top-2), 22 303 488 параметров.

• ckpt_A.pt -- претрейн AdamW, ckpt_M.pt -- претрейн Muon (из общего init.pt, сид 1337);
• формат: {"model": state_dict (fp32), "meta": {...}}; загрузка: kestrel.model.model.load_checkpoint;
• pretrain_logs.json -- кривые обучения, reference.json -- эталонные val loss и статистика.

Гиперпараметры претрейна: seq_len 512, батч 64, 1500 шагов, пиковый lr 0.002, WSD (warmup 100, спад 0.2), AdamW betas (0.9, 0.95), weight decay 0.1, Muon momentum 0.95.

Данные: FineWeb-Edu (sample-10BT), лицензия данных ODC-By 1.0; код и ссылка на курс: <впишите>.