能否增加gguf版本的量化模型?

#5
by dzmfg - opened

gguf配合llama.cpp推理速度较快。

Sign up or log in to comment