才刚刚跑完QWEN-7B-CHAT，来打卡，对比看看
#2
by
hackersilentchen
- opened
没有开源chat模型么？
内存炸了，能不能切成小文件哦，消费级选手伤不起
加内存到64G，跑起来了
请问对GPU有什么要求吗？
没有开源chat模型么？
后续会开放Chat版的模型, 请持续关注.
内存炸了，能不能切成小文件哦，消费级选手伤不起
切成小文件不会影响加载所需内存.
float32类型加载大概需要52G内存, float16是26G, 可检查一下加载的类型.
https://huggingface.co/docs/transformers/big_models
Sharded checkpoints will reduce the peak memory required for loading
分片检查点将减少加载所需的峰值内存
没有开源chat模型么？
后续会开放Chat版的模型, 请持续关注.
内存炸了，能不能切成小文件哦，消费级选手伤不起
切成小文件不会影响加载所需内存.
float32类型加载大概需要52G内存, float16是26G, 可检查一下加载的类型.
已经加了float16，参数无效……