存在的问题：1、bitsandbytes目前不支持windows，
#15
by
windkkk
- opened
存在的问题：1、bitsandbytes目前不支持windows，所以无法量化，希望提供量化版本的模型。
2、模型没做切割，所以专用GPU的内容满时，共享GPU无法接着加载。12G的显卡也爆。
bitsandbytes可以用这里的：https://github.com/jllllll/bitsandbytes-windows-webui
jklj077
changed discussion status to
closed