zhouaz/qilin-10b-exact-random-init

Qilin-10B Exact（随机初始化，参数量精确 10B 级）

这不是训练过的模型 —— 从零手写的 Qilin 架构的随机初始化权重。

参数量

10,000,002,048（10.000B） —— 与目标逐位一致（解析公式与实例化双重断言通过）。

说明：Qilin 的参数量存在 2,560 的整除格点（所有可调项均为 2560 的倍数，仅 per-head RMSNorm 24×128 + 路由 bias 24×64 ≡ 2,048 mod 2,560），因此恰好 10,000,000,000 不可达；本仓库取格点上最接近 10B 的值 10,000,002,048（偏差 +0.00000002%）。

架构（与 zhouaz/qilin-10b-random-init 完全相同的组件，仅尺寸微调）

组件	论文
TPA-KVonly 注意力（K/V rank-4 CP 分解）	arXiv:2501.06425
Partial RoPE 作用于 B factor（rotary_dim 64/128）	官方 T6 partial-rope 变体
Sandwich RMSNorm（4 norms/层）+ per-head RMSNorm	arXiv:2408.00118
ReLU² FFN（2 矩阵）	arXiv:2109.08668
Fine-grained MoE：64 routed top-4（inter 1100）+ 1 shared（inter 5063）+ aux-loss-free bias	arXiv:2412.19437

• vocab 131,096（tied），24 层，hidden 2560，20 heads × head_dim 128，max_position 32768
• 每 token 激活 ≈ 1.89B 参数；bf16 权重 5 分片共 ≈20.0 GB

加载

from transformers import AutoModelForCausalLM
model = AutoModelForCausalLM.from_pretrained(
    "zhouaz/qilin-10b-exact-random-init", trust_remote_code=True, dtype="bfloat16"
)