考虑把模型文件拆分一下不,照顾下部分开发者比较低配的硬件……

#8
by hackersilentchen - opened

当前模型文件太大,加载消耗的内存/显存好高啊……

01-ai org

量化的版本在路上了~
您也可以看看这里:https://huggingface.co/01-ai/Yi-34B/discussions/1#6546d48e8db75bfe5d6004bd
感谢关注~

FancyZhao changed discussion status to closed

Sign up or log in to comment