Qwen3.8-27B-w8a8

1. 基本信息

项目 信息
原始模型名 Qwen3.8-27B
原始模型链接 Qwen/Qwen3.8-27B
msmodelslim 仓库 https://gitcode.com/keith_wa/ModelSlim_joejoezhou_qwen38/tree/qwen3_8_27b_adapter
msmodelslim commit id 173fc3787b496d4ef2e1e995bbf17c19f65a2083

2 量化脚本:

pip install transformers==5.14.0

msmodelslim quant --model_type Qwen3.8-27B --quant_type w8a8 --model_path weight/Qwen3.8-27B --save_path weight/Qwen3.8-27B-w8a8 --device npu:0,1,2,3,4,5,6,7 --trust_remote_code True

3 精度测试结果

模型名 量化格式 数据集 测试精度 % 官方精度 %
Qwen3.8-27B-w8a8 w8a8 GPQA 89.9 89.2
  • 精度存在波动,建议多次测试。
Downloads last month
15
Inference Providers NEW
This model isn't deployed by any Inference Provider. 🙋 Ask for provider support