AXERA-TECH/MiniCPM5-2B-GPTQ-Int4

原始模型：https://huggingface.co/openbmb/MiniCPM5-2B

GPTQ Int4 量化参数：

quantize_config = QuantizeConfig(
        method="gptq",
        bits=4,
        group_size=128,
        desc_act=True,
        static_groups=True,
        sym=True,
        act_group_aware=False,
    )

以下几个参数是AX650的硬性要求，AX650只支持这种参数的GPTQ模型

bits=4,
static_groups=True,
sym=True,

desc_act=True 打开它有助于提升量化精度。 static_groups 和 act_group_aware是互斥项，不能同时为True。这是GPTQModel 中的量化逻辑决定的。