能不能提供awq或gptq量化模型
#6
by
bujido
- opened
这是大模型部署最常用的量化规格，在vllm性能远比ollama优异，也更方便部署
+1
请问能提供GPTQ-Int8版本吗？
我的显卡无法运行AWQ量化模型，所以可以提供GPTQ-Int8版本吗?
是否能提供AWQ或者GPTQ-INT4 版本.
这是大模型部署最常用的量化规格，在vllm性能远比ollama优异，也更方便部署
+1
请问能提供GPTQ-Int8版本吗？
我的显卡无法运行AWQ量化模型，所以可以提供GPTQ-Int8版本吗?
是否能提供AWQ或者GPTQ-INT4 版本.