RetNet-0.5B-v21

RetNet 0.5B（504,179,896 参数）第 v21 代权重，从零训练。

这一代和上一代的区别

159,857 步 / 10.23B 训练 token / 9.81B 唯一 token（19.46 token/参数）；8 段语料自动接力（预训练→中文网页→代码→教材→代码剩余→中文编程→数学→新旧混合 SFT）；可热加载的训练计划（阶段预算 / LR / 存档节奏在线改）

用法

from transformers import AutoModelForCausalLM, AutoTokenizer

model = AutoModelForCausalLM.from_pretrained("Ayaka157/RetNet-0.5B-v21", trust_remote_code=True)
tok = AutoTokenizer.from_pretrained("Ayaka157/RetNet-0.5B-v21", trust_remote_code=True)

ids = tok("人工智能的未来是", return_tensors="pt").input_ids
out = model.generate(ids, max_new_tokens=64, do_sample=True, temperature=0.8)
print(tok.decode(out[0], skip_special_tokens=True))

trust_remote_code=True 是必需的：这是自定义架构，代码随仓库发布 （modeling_retnet.py），不在 transformers 里。

训练与评测

见项目主页的 docs/。本代的关键数字：

指标	值
域内 held-out loss（5 个分片）	3.5023（ep3 基线 3.6287）
上一代（ep3）基线	3.6287
相对变化	-3.5%（中途最佳 -21.5% @ step 17,500）
训练 token	9.81B 唯一 / 19.46 tok/param
硬件	2× RTX PRO 6000（DDP）