CUDA out of memory

#2
by Sanglujun - opened

22G的2080Ti 使用model.quantize(8).cuda(),还没有加载完100%就报内存溢出了

image.png

24GB的rtx3090也是CUDA out of memory

Baichuan Intelligent Technology org

是否按照文档操作了。在量化这部分,模型加载没有 device_map='auto'

是否按照文档操作了。在量化这部分,模型加载没有 device_map='auto'

谢谢,确实是这个原因

Sanglujun changed discussion status to closed

是否按照文档操作了。在量化这部分,模型加载没有 device_map='auto'

谢谢,确实是这个原因

但从CPU加载模型有点慢,你们大概多久?

Sign up or log in to comment