如何在多gpu上加载

#16
by jersonal - opened

我想使用模型分布在2块gpu上加载,单个GPU(8G)无法加载fp16精度的。

和glm一样挂载,相关问题请查询glm官方项目

Sign up or log in to comment