Edit model card

Qwen2-7B-Instruct Quantized with AutoFP8

使用 larryvrh/belle_resampled_78K_CN 校准静态量化的 Qwen/Qwen2-7B-Instruct 模型。

主要为中文通常语言逻辑任务,为 vLLM 准备。

评估

使用 lm-evaluation-harness + vLLM 进行评估:

项目 Qwen2-7B-Instruct 此项目 Recovery
ceval-valid 81.87 81.65 99.73%
cmmlu 81.78 81.26 99.36%
agieval_logiqa_zh (5 shots) 47.63 48.54 101.91%
平均 70.43 70.48 100.07%
Downloads last month
7
Safetensors
Model size
7.62B params
Tensor type
BF16
·
F8_E4M3
·
Inference Examples
Unable to determine this model's library. Check the docs .