是否会出GGUF版本的Q4_K_M量化呢？
#1
by
JamePeng2023
- opened
是否会出GGUF版本的Q4_K_M量化呢？
这个好像可以自行用CPU转
nold的量化（hf-mirror的镜像站适合在国内使用）https://huggingface.co/nold/openbuddy-mixtral-7bx8-v18.1-32k-GGUF
https://hf-mirror.com/nold/openbuddy-mixtral-7bx8-v18.1-32k-GGUF
LoneStriker的量化
https://huggingface.co/LoneStriker/openbuddy-mixtral-7bx8-v18.1-32k-GGUF
https://hf-mirror.com/LoneStriker/openbuddy-mixtral-7bx8-v18.1-32k-GGUF
可以直接在huggingface的models中搜索 关键词openbuddy gguf，策略recently created，hf上有像LoneStriker，nold，TheBloke，Nexesenex，dranger003，s3nh，ikawrakow这样一水的大佬平时做各种模型的gguf量化的，可以给人follow一下
要是需要基于iMatrix重要性矩阵新方法的gguf量化那就得自己整了 或者试试联系Nexesenex
用上面的两个GGUF感觉结果很奇怪，之前thebloke转的16.3就很正常
@JamePeng2023 确实，从v17开始我就发现他们转的gguf有问题，只有the bloke转的可以正常使用。我现在不得不用OpenBuddy官方的GPTQ量化版本。