How Can We Prevent Catastrophic Forgetting and Preserve Knowledge During LLM Fine-tuning?
隨著LLaMA的更新，模型的能力越來越完善，但我也發現模型變得越來越難微調。主要問題是：經過微調後，模型會明顯失去原本的技能，這就是所謂的「災難性遺忘」(Catastrophic...
Tags: deeplearning