Qwen3.5-2B-FP8-Dynamic-LLMCompressor

基于 Qwen3.5-2B 制作的 动态 FP8 量化模型，使用 llm-compressor 0.14.0 制作，以 compressed-tensors 0.19.0 格式保存。

量化配置

采用 FP8_DYNAMIC 对 96 个语言线性层做量化。权重按输出通道使用静态尺度，激活按 token 动态缩放，制作时无需校准数据。权重共 3.311 GiB。 visual、linear_attn、lm_head 及其他非目标层保留浮点精度，KV cache 沿用推理引擎的默认设置。

制作所用的上游提交号未记录。

文本推理

完整下载仓库后，在支持 compressed-tensors 的 vLLM 0.32.0 环境运行。模型目录应包含权重、索引、配置和 tokenizer。示例使用文本输入。

import json
import os
from collections.abc import Mapping
from pathlib import Path

# 在导入推理库之前启用离线模式，不下载任何模型文件。
os.environ["HF_HUB_OFFLINE"] = "1"
os.environ["TRANSFORMERS_OFFLINE"] = "1"

MODEL_DIR = Path(".").resolve()  # 从下载后的完整模型目录运行


def token_ids_from_template(encoded):
    # Transformers 5 可能返回 BatchEncoding/UserDict，而不一定是普通 dict。
    if isinstance(encoded, Mapping):
        if "input_ids" not in encoded:
            raise ValueError("Chat template 未返回 input_ids")
        encoded = encoded["input_ids"]
    if hasattr(encoded, "tolist"):
        encoded = encoded.tolist()
    if (isinstance(encoded, (list, tuple)) and len(encoded) == 1
            and isinstance(encoded[0], (list, tuple))):
        encoded = encoded[0]
    if not isinstance(encoded, (list, tuple)) or not encoded:
        raise TypeError("Chat template 必须返回非空 token ID 序列")
    if any(isinstance(token, bool) or not isinstance(token, int) or token < 0
           for token in encoded):
        raise TypeError("Token ID 必须为非负整数")
    return list(encoded)


def main():
    from vllm import LLM, SamplingParams

    if not MODEL_DIR.is_dir() or not (MODEL_DIR / "config.json").is_file():
        raise FileNotFoundError("请将 MODEL_DIR 改为完整的本地模型目录")
    if not list(MODEL_DIR.glob("*.safetensors")):
        raise FileNotFoundError("模型权重缺失，不能使用本地占位目录")

    config = json.loads((MODEL_DIR / "config.json").read_text(encoding="utf-8"))
    if config.get("quantization_config", {}).get("quant_method") != "compressed-tensors":
        raise ValueError("该示例要求本模型的 compressed-tensors checkpoint")
    generation_path = MODEL_DIR / "generation_config.json"
    generation = json.loads(generation_path.read_text(encoding="utf-8")) if generation_path.exists() else {}
    eos = generation.get("eos_token_id")
    if eos is None:
        eos = config.get("eos_token_id")
    if eos is None:
        eos = config.get("text_config", {}).get("eos_token_id")
    stop_ids = eos if isinstance(eos, list) else ([eos] if eos is not None else [])

    llm = LLM(
        model=str(MODEL_DIR),
        tokenizer=str(MODEL_DIR),
        dtype="float16",
        tensor_parallel_size=1,
        max_model_len=4096,
        gpu_memory_utilization=0.75,
        enforce_eager=True,
        max_num_seqs=1,
        enable_prefix_caching=False,
        limit_mm_per_prompt={"image": 0, "video": 0},
        generation_config="vllm",
        trust_remote_code=False,
        seed=42,
    )
    tokenizer = llm.get_tokenizer()
    messages = [{"role": "user", "content": "小明有 2 个苹果，又得到 3 个，现在一共有几个？\n请在最后一行用 #### 数字 给出答案。"}]
    encoded = tokenizer.apply_chat_template(
        messages, tokenize=True, add_generation_prompt=True,
    )
    # 不传 enable_thinking，保留 checkpoint 聊天模板的默认行为。
    token_ids = token_ids_from_template(encoded)
    max_new_tokens = 1024
    if len(token_ids) + max_new_tokens > 4096:
        raise ValueError("提示长度加生成预算超过 4096；本示例不自动截断输入")
    sampling = SamplingParams(
        temperature=0.0,
        top_p=1.0,
        top_k=-1,
        n=1,
        max_tokens=max_new_tokens,
        seed=42,
        ignore_eos=False,
        stop_token_ids=stop_ids,
        repetition_penalty=generation.get("repetition_penalty", 1.0),
        min_tokens=generation.get("min_new_tokens") or 0,
        presence_penalty=0.0,
        frequency_penalty=0.0,
        skip_special_tokens=True,
    )
    outputs = llm.generate(
        [{"prompt_token_ids": token_ids}],
        sampling_params=sampling,
        use_tqdm=False,
    )
    print(tokenizer.decode(outputs[0].outputs[0].token_ids, skip_special_tokens=True))


if __name__ == "__main__":
    main()

验证结果

在 RTX 4090 D 上使用 vLLM 0.32.0，加载日志记录的内核为 CUTLASS FP8。下表为 GSM8K 测试集前 100 题，贪心生成，每题最多 1024 个新 token，单请求顺序执行。 FP8 Block128 为同批对照。

模型	正确/题数	准确率	可解析率	触顶率	串行 token/s	worker peak allocated GiB	worker peak reserved GiB	权重文件 GiB	加载文件合计 GiB
FP16	71/100	71.00%	92.00%	7.00%	55.823	17.268	17.324	4.236	4.257
FP8 Dynamic	70/100	70.00%	97.00%	2.00%	47.499	17.113	17.121	3.311	3.330
FP8 Block128	72/100	72.00%	95.00%	4.00%	44.134	17.283	17.334	3.310	3.329

复现与许可

以下命令在配套量化代码项目中运行。

python run.py quantize --tool llmcompressor --method fp8 --stage full

量化参数见 config.json 和 recipe.yaml，文件校验值见 SHA256SUMS。模型沿用基座的 Apache-2.0 许可。

下载

与作者的 ModelScope 仓库同步发布，权重、数据及评测记录保持一致。

pip install -U huggingface_hub
hf download wkhaifor/Qwen3.5-2B-FP8-Dynamic-LLMCompressor --local-dir ./Qwen3.5-2B-FP8-Dynamic-LLMCompressor

下载后进入仓库目录，再按上面的示例运行。