Create README.md
UD-IQ2-M 版本无此问题,仅 Q2_K 受影响。
UD-IQ2-M 由 Unsloth 制作("UD" 是 "Unsloth Dynamic" 的缩写,"UD" 量化版本仅由 Unsloth 制作,因为制作它们时使用了一种专有的、专属于 Unsloth 集团的方法),然而 Unsloth 只发布经过审查(censored)版本的模型,你所测试的版本是由另一个不是 Unsloth 的用户制作的,它是基于一个据说经过某种未公开的 abliteration 流程的模型所做的 Q2_K 量化(模型的卡片上没有提供任何信息,没有关于所用方法的信息,也没有拒绝率或 KL 散度的信息,什么都没有,据我们所知,KL 散度可能过高,导致模型因此受损,这或许能解释你在发布的截图中所得到的结果)。
我自己测试的 Q2_K.gguf 版本可以在这里找到:https://huggingface.co/llmfan46/MiniMax-M3-uncensored-heretic-aggressive-compressed-quants-pack-GGUF/blob/main/MiniMax-M3-uncensored-heretic-aggressive-Q2_K.gguf
该 GGUF 是基于我使用 Heretic 方法自行取消审查(uncensoring)的结果创建的,你可以在此处找到对应的 Safetensors 文件:https://huggingface.co/llmfan46/MiniMax-M3-uncensored-heretic-aggressive
经过测试,我确认我的模型的 Q2_K 版本运行正常,证据见下图:
测试环境为 llama-ui,测试的模型是 Q2_K GGUF 版本,模型的拒绝率为 8/100(原始经过审查的模型拒绝率为 98/100),KL 散度仅为 0.0258。
你可以通过以下链接购买访问权限:https://ko-fi.com/s/67f5b40b85
付款后,你将获得该模型以下 GGUF 量化版本的访问权限:
https://huggingface.co/llmfan46/MiniMax-M3-uncensored-heretic-aggressive-compressed-quants-pack-GGUF
- Q5_K_M
- Q5_K_S
- Q4_K_M
- Q4_K_S
- Q3_K_L
- Q3_K_M
- Q3_K_S
- Q2_K
