本稿では翻訳能力を向上させるデータを用いて継続事前学習を行ったモデルを対象に，モデルマージを用いて破滅的忘却を抑制する方法について検討する．継続事前学習前後のモデルをマージすることにより，一般的タスク能力の忘却を抑えつつ，翻訳能力をベースモデルよりも向上させられることを示す．さらに，モデルマージの手法間の比較や，各マージ手法のパラメータ設定による結果の変化についても調査を行い，今後の研究の方向性を示す．

事前学習済みの言語モデルに対し，特定のタスクやドメインに特化したデータを用意し，それらを学習させることにより，当該タスクやドメインに対する性能を向上させることができる．例えば，文献[1]では，事前学習済みの英語中心の言語モデルに対し，日本語のコーパスを用いて継続事前学習を行うことにより，日本語能力を高めている．このように事前学習済み言語モデルに対して，別のデータを用意して継続して事前学習を行うことを一般的に継続事前学習と呼ぶ．継続事前学習を用いることで，言語モデルをランダム初期値から訓練する場合に比べ，少ない計算コストで特定のタスクの性能が高い言語モデルを獲得することができる．一方で，継続事前学習を行うことで，事前学習済み言語モデルが獲得していた一部の能力を失ってしまう破滅的忘却が発生することが報告されている[2]．このような背景から，文献[3]や[4]など，継続事前学習の欠点となる破滅的忘却を解消または軽減する方法が盛んに研究されるようになった．本稿でも継続事前学習における破滅的忘却を抑制する方法について議論する．本研究では，これまで主に提案されていきた手法は，計算資源を多く必要とする方法であり，限られた計算資源しかない状況で効果を得ることが難しいという課題があることに着目し，限られた計算資源で継続事前学習における破滅的忘却を抑える方法を検討する．具体的には，モデルマージ[5]の考えを活用した方法を提案し，翻訳能力を向上させるデータを用いて継続事前学習を行い，ベースとなる事前学習済みモデルよりも翻訳能力を向上させつつ，他のタスクの性能を維持できるかを実験により検証する．