No description provided.
yangshuai-shuijiao changed pull request status to closed

UD-IQ2-M 版本无此问题,仅 Q2_K 受影响。

UD-IQ2-M 由 Unsloth 制作("UD" 是 "Unsloth Dynamic" 的缩写,"UD" 量化版本仅由 Unsloth 制作,因为制作它们时使用了一种专有的、专属于 Unsloth 集团的方法),然而 Unsloth 只发布经过审查(censored)版本的模型,你所测试的版本是由另一个不是 Unsloth 的用户制作的,它是基于一个据说经过某种未公开的 abliteration 流程的模型所做的 Q2_K 量化(模型的卡片上没有提供任何信息,没有关于所用方法的信息,也没有拒绝率或 KL 散度的信息,什么都没有,据我们所知,KL 散度可能过高,导致模型因此受损,这或许能解释你在发布的截图中所得到的结果)。

我自己测试的 Q2_K.gguf 版本可以在这里找到:https://huggingface.co/llmfan46/MiniMax-M3-uncensored-heretic-aggressive-compressed-quants-pack-GGUF/blob/main/MiniMax-M3-uncensored-heretic-aggressive-Q2_K.gguf

该 GGUF 是基于我使用 Heretic 方法自行取消审查(uncensoring)的结果创建的,你可以在此处找到对应的 Safetensors 文件:https://huggingface.co/llmfan46/MiniMax-M3-uncensored-heretic-aggressive

经过测试,我确认我的模型的 Q2_K 版本运行正常,证据见下图:

proof_of_model_working_with_llamaui_minimaxm3_q2_k_ggufv2

测试环境为 llama-ui,测试的模型是 Q2_K GGUF 版本,模型的拒绝率为 8/100(原始经过审查的模型拒绝率为 98/100),KL 散度仅为 0.0258。

你可以通过以下链接购买访问权限:https://ko-fi.com/s/67f5b40b85

付款后,你将获得该模型以下 GGUF 量化版本的访问权限:

https://huggingface.co/llmfan46/MiniMax-M3-uncensored-heretic-aggressive-compressed-quants-pack-GGUF

  • Q5_K_M
  • Q5_K_S
  • Q4_K_M
  • Q4_K_S
  • Q3_K_L
  • Q3_K_M
  • Q3_K_S
  • Q2_K

Sign up or log in to comment