【Issue】模型经过泛化后,会不会丢失原有的微调属性

#1
by Moemu - opened

如标题,我在担心这个问题。因为我们并没有给出通用领域的训练集和nsfw内容。这里面大部分会不会有Prompt的功劳?

我个人认为,泛化和prompt一定有关系

在你提供的数据中,我为其添加了基于对话的prompt进行训练,训练效果绝对要比无prompt更好

如果有任何观点或者问题,你可以加我Q:1959921673
讨论一下微调方面的经验
另外,最近我也在做微调教程,可以关注这个项目,后期会出wiki:https://github.com/Seikaijyu/RWKV-PEFT-Simple

image.png

image.png

另外,还有一件事,最近我打算利用使用沐雪数据集微调的模型做多轮沐雪对话集,可以敬请期待

Seikaijyu changed discussion status to closed

Sign up or log in to comment