HYHPING2023/checkpoint-fp8-w8a8

Qwen3.5-35B-A3B W8A8 (FP8_DYNAMIC) 量化模型

W8A8 全量量化(compressed-tensors 格式):MoE experts / GDN linear_attn / attention 全部 F8_E4M3(per-channel 静态权重 + per-token 动态激活,无需校准),visual / lm_head / router / shared_expert_gate 保持 BF16。体积 ~37GB。

服务方式

# sglang >= 0.5.17 或本目录 config.json 已修复后(见下)的 0.5.12 均可
python -m sglang.launch_server \
  --model-path <本目录> --trust-remote-code \
  --quantization compressed-tensors \
  --tp 1 --port 30004 --mem-fraction-static 0.6

必须显式传 --quantization compressed-tensors,否则会按 bf16 裸加载导致权重错乱。

sglang 0.5.12 加载失败(GDN scale not found)的修复

现象:0.5.12 启动时报 Parameter model.layers.N.linear_attn.in_proj_qkvz/ba/out_proj.weight_scale not found in params_dict, 输出乱码。

原因:checkpoint 的 quantization_config.ignore 里含 llm-compressor 自动生成的 ...linear_attn / ...linear_attn.norm 结构性条目;sglang 0.5.12 的 ignore 匹配是 子串匹配,导致 ...linear_attn 把其下所有投影(in_proj_qkv/z/b/a、out_proj)都判为 "忽略" → 按无量化创建 → 没有 weight_scale 参数 → 分离保存的量化 scale 键加载不上。 (sglang >= 0.5.17 已改为只做后缀匹配,不受影响。)

修复:删除 ignore 里 60 个 ...linear_attn / ...linear_attn.norm 条目(251→191)。 本目录已就绪的修复版为 config.sglang012.json;当前 config.json 即为修复版, 原版备份在 config.json.bak。

在部署副本上执行(无需重新量化):

import json
p = "config.json"   # 部署机上的 <本目录>/config.json
c = json.load(open(p))
c["quantization_config"]["ignore"] = [
    i for i in c["quantization_config"]["ignore"]
    if not i.endswith(".linear_attn") and not i.endswith(".linear_attn.norm")
]
json.dump(c, open(p, "w"), indent=2, ensure_ascii=False)
print("ignore:", len(c["quantization_config"]["ignore"]))

改完重启 sglang 即可。官方 260809 F1 验证:修复前后精度一致(±0.007 噪声内)。

备注

• -FP8-Dynamic-safe(GDN 留 BF16)兼容更老的 sglang,但 GDN 会失去 FP8 加速, decode 实测约慢 2×;能用本修复就用本目录。
• 如 serve 视频请求,需保证 qwen_vl.py 视频补丁(IMAGE_FACTOR=32, VIDEO_MAX_PIXELS=1_000_000)与 preprocessor max_pixels=762000 一致。