关于chatglm2-6b进行P-tuning v2出现效果不佳情况的一个记录或讨论

#74
by LittleGreen - opened

在对chatglm2-6b进行P-tuning v2后出现了模型无法回答问题的情况,所使用的数据集只包含了数量小于100个的样本,在训练后哪怕50steps记录的参数也无法正确回答问题;同样的数据集,应用在了chatglm2-6b-32k中,在P-tuning v2处理后能够正确回答相应的问题。

Sign up or log in to comment