モデルマージを用いたLLM翻訳における破滅的忘却の抑制

本稿では翻訳能力を向上させるデータを用いて継続事前学習を行ったモデルを対象に，モデルマージを用いて破滅的忘却を抑制する方法について検討する．継続事前学習前後のモデルをマージすることにより，一般的タスク能力の忘却を抑えつつ，翻訳能力をベースモデルよりも向上させられることを示す．さらに，モデルマージの手法間の比較や，各マージ手法のパラメータ設定による結果の変化についても調査を行い，今後の研究の方向性を示す．