如何fine turn?
#2
by
Aspirin
- opened
如题，如何微调这个模型呢？
看作者意思是chatGLM基础上裁剪的，其他和这个一样，微调应该也完全一样吧
是的，微调和其他ChatGLM微调实现一样
我刚才试了一下，裁剪后显存依然超过10G，并不是特别明显，还是我设置有问题？
这个修改只是减少了约13%的词表大小，没有特别特别明显的显存下降。但是因为是完全无损的，所以就相当于免费午餐。
如果想要更小显存的版本可以参考使用这个量化之后的版本
https://huggingface.co/silver/chatglm-6b-int4-slim
silver
changed discussion status to
closed