hcnote/Qing-Sec-20B-Qwen3.8-27B-Slim-INT8

Qing-Sec-20B torchao 量化版(INT8 / INT4 / FP8)

Qing-Sec-20B(青卫·安全大模型)的 torchao 权重量化版本,适配 HuggingFace transformers 原生推理生态(含 vLLM/SGLang 对 torchao 的支持)。基座 Qwen3.8-27B → 结构化剪枝 19.29B → 网络安全领域微调,由新疆幻城网安科技有限责任公司出品。

👉 完整模型卡(训练过程、评测结果、已知问题、致谢)请看主仓库:hcnote/Qing-Sec-20B-Qwen3.8-27B-Slim

版本矩阵

仓库	量化类型	体积(约)	说明
…-INT8	int8_weight_only	19.4 GB	近无损,较 bf16 省 50% 显存
…-INT4	int4_weight_only_group128	11 GB	128 组量化,性价比档
…-FP8	float8_weight_only	19.4 GB	FP8 硬件(H100/L4+)友好

使用方法

# 与普通 HF 模型完全一致,量化配置已写入 config.json
from transformers import AutoModelForCausalLM, AutoTokenizer
import torch
m = AutoModelForCausalLM.from_pretrained(
    "hcnote/Qing-Sec-20B-Qwen3.8-27B-Slim-INT8",
    dtype=torch.bfloat16, device_map="auto", trust_remote_code=True)
# 需已安装: pip install torchao

重要:生成时务必配置 repetition_penalty=1.1(贪心裸解码偶发重复循环,详见主仓库模型卡专题)。

用途限制

仅限授权安全测试、防御研究、安全教学等合法用途。详细条款见主仓库。

联系我们

• 官网 https://hcnote.cn · 公益安全网关 https://api.hcnsec.cn/ · QQ 群 253193620
• 特别感谢:新疆农业职业技术大学、新疆财经大学、新疆大学、新疆瞬知云科人工智能有限公司,以及 hcnote.cn 全体免费用户