希望提供gguf版本

#17
by windkkk - opened

希望提供gguf版本

Knowledge Engineering Group (KEG) & Data Mining at Tsinghua University org

我们会考虑加入适配计划

希望加入GGUF呀,望眼欲穿

强烈建议增加gguf

确实 GGUF 方便多了啊, 不能量化9B的那怕是测试也够呛

开发gguf版本啊,适应主流啊,想要做大做强还是要对接国外主流啊

Knowledge Engineering Group (KEG) & Data Mining at Tsinghua University org

在适配ollama了,在计划内

GGUF,有完整的MODELFILE吗

Sign up or log in to comment