shenzhi-wang

/

Llama3-70B-Chinese-Chat

like 91

可以先考虑用我们的GGUF q4版本，或者Ollama q4/q8版本

https://huggingface.co/shenzhi-wang/Llama3-70B-Chinese-Chat-GGUF-4bit
https://ollama.com/wangshenzhi/llama3-70b-chinese-chat-ollama-q4
https://ollama.com/wangshenzhi/llama3-70b-chinese-chat-ollama-q8

非常感谢你的回复，而且给出了相关的详细资料。现在的情况是：由于是p100-16G的GPU，使用Ollama运行速度非常慢，现在使用vllm的特殊版能够运行GPTQ-Int8，而且速度能够比Ollama快10倍，所以才找GPTQ量化版本。但由于自己不会量化，所以才试着问一下，如果你不方便的话就算了。

能否提供GPTQ-INT8的，想和int4的对比一下

这是原版的：https://modelscope.cn/models/huangjintao/Meta-Llama-3-70B-Instruct-GPTQ-Int8/summary