微调自己数据集泛化性较差
#18
by
chriske
- opened
您好，我在做问答任务，以对比学习数据方式构造数据，用m3e-base微调2w条数据集，训练集内的数据可以相似度高（0.8左右），但是倒装或者修改下问法，就相似度很低了（0.2左右），请问这是过拟合了吗？
训练过程，3060Ti训练了50个epoch（耗时半小时），损失降至0.2
嗯，这是过拟合了，50个 epoch 可能太多了，训练多少个 epoch 可以通过验证集的 loss 来确定。验证集的 loss 不下降了，就可以停止训练了
请问这个finetune过程显示的是训练时的loss吧？如何显示验证的los
在给定了验证集时，验证 loss 会在 epoch 之间输出。就像下面这样
