MiniCPM5-2B-orth-r23

🖥️ 全部研究在一块 GTX 1060 6GB 消费级显卡上完成（WSL2，无云资源）。 All research was done on a single consumer GTX 1060 6GB.

研究标本：对 openbmb/MiniCPM5-2B（标准 Llama 架构、 42 层思维链模型）做拒绝方向权重正交化（abliteration）后的派生模型。 方法复现自 Arditi et al. (2024)；消融方向经生成式因果选层定位于第 23/42 层（55% 深度）。

⚠️ 免责声明 — 使用前必读

本模型的安全对齐已被部分移除（拒绝方向从残差流写入矩阵中正交化消除）：

• 它对大部分有害/违法/不道德请求会顺从，内置护栏显著削弱（注意：非完全移除，见"局限"）；
• 仅面向正当研究发布：可解释性、AI 安全与拒绝机制研究、红队、鲁棒性评估；
• 使用者对生成内容承担全部责任；不要在未加自有安全层的情况下部署给终端用户；
• 使用须遵守基座模型的 Apache-2.0 协议及适用法律。作者不对任何滥用后果负责。

下载或使用即表示你已知晓并接受上述条款。

效果（held-out test，n=32，本地实测，无任何运行时 hook）

条件	基座	本模型
英文有害指令拒绝率	0.50	0.12
中文有害指令拒绝率	1.00	0.72（顽固残留，见局限）
英文无害指令拒绝率（过度拒绝）	0.00	0.03

已知局限（如实声明）

1. 顽固残留：该模型的拒绝是"多通路"的——rank-1 消融残留 12–22%（集中在仇恨言论、 对未成年人犯罪指引等高危类别）。hook 式 k=16 子空间消融可清零，但会损伤良性任务 （代码等结构化输出在 k≥8 开始退化），故本权重版保留 rank-1。
2. 跨语言弱：EN·ZH 方向余弦仅 0.51–0.59（决策层附近），中文拒绝基本不由英文方向介导—— 中文有害指令拒绝率仅降到 0.72。
3. 拒绝判定为子串匹配（非 LLM 评委）；未做 MMLU 等标准能力基准。

完整研究（含与 Spark-X2.5-1.7B 的跨模型机制对比、顽固残留消融实验、子空间权衡曲线）见仓库内 REPORT.md。

使用

标准 Llama 架构，无需 remote code；支持 vLLM（需 compute capability ≥ 7.5）：

from transformers import AutoModelForCausalLM, AutoTokenizer
tok = AutoTokenizer.from_pretrained("benzeng/MiniCPM5-2B-orth-r23")
model = AutoModelForCausalLM.from_pretrained("benzeng/MiniCPM5-2B-orth-r23",
                                             dtype="bfloat16", device_map="cuda")

chat template 支持 enable_thinking。工具调用可用（模板原生 <function> 约定； 注意 <function 等是特殊 token，解码时需保留）。

引用

方法：Arditi et al., 2024, Refusal in Language Models Is Mediated by a Single Direction（arXiv:2406.11717）。 基座模型：OpenBMB MiniCPM5-2B（Apache-2.0）。