モデルマージを用いたLLM翻訳における破滅的忘却の抑制

事前学習済みの言語モデルに対し，特定のタスクやドメインに特化したデータを用意し，それらを学習させることにより，当該タスクやドメインに対する性能を向上させることができる．例えば，文献[1]では，事前学習済みの英語中心の言語モデルに対し，日本語のコーパスを用いて継続事前学習を行うことにより，日本語能力を高めている．このように事前学習済み言語モデルに対して，別のデータを用意して継続して事前学習を行うことを一般的に継続事前学習と呼ぶ．継続事前学習を用いることで，言語モデルをランダム初期値から訓練する場合に比べ，少ない計算コストで特定のタスクの性能が高い言語モデルを獲得することができる．一方で，継続事前学習を行うことで，事前学習済み言語モデルが獲得していた一部の能力を失ってしまう破滅的忘却が発生することが報告されている[2]．このような背景から，文献[3]や[4]など，継続事前学習の欠点となる破滅的忘却を解消または軽減する方法が盛んに研究されるようになった．本稿でも継続事前学習における破滅的忘却を抑制する方法について議論する．本研究では，これまで主に提案されていきた手法は，計算資源を多く必要とする方法であり，限られた計算資源しかない状況で効果を得ることが難しいという課題があることに着目し，限られた計算資源で継続事前学習における破滅的忘却を抑える方法を検討する．具体的には，モデルマージ[5]の考えを活用した方法を提案し，翻訳能力を向上させるデータを用いて継続事前学習を行い，ベースとなる事前学習済みモデルよりも翻訳能力を向上させつつ，他のタスクの性能を維持できるかを実験により検証する．