模型使用ptv2微调后其他能力下降该如何解决
#52
by
couldn
- opened
模型使用ptv2微调后其他能力下降该如何解决
用全量微调
语料库不均衡肯定会造成其他能力下降，我在对话的时候关掉prefix encoder，做下游任务的时候再启用。如果你只是单纯想调几条instruction，不要调太多轮就不会有明显下降了。
模型使用ptv2微调后其他能力下降该如何解决
用全量微调
语料库不均衡肯定会造成其他能力下降，我在对话的时候关掉prefix encoder，做下游任务的时候再启用。如果你只是单纯想调几条instruction，不要调太多轮就不会有明显下降了。