対訳データを用いた継続事前訓練による大規模言語モデルの翻訳精度評価

機械翻訳では，2017年にGoogleからTransformer[1]が提案されて以降，TransformerベースのEncoderとDecoderで構成されたモデルが使用されている．一方で，GPT[2,3]をはじめとする大規模言語モデルは，TransformerのDecoderのみで構成されている．そして，XGLM[4]，PaLM[5]，そしてLLaMA-2[6]など多言語で事前訓練された大規模言語モデルが提案された．しかし，パラメーター数が100億前後の大規模言語モデルの翻訳精度は，既存手法であるEncoder-Decoderモデルに大きく劣ることが報告されている．例えば，日英翻訳においてXGLM-7.5Bの8-shotは，対訳データで訓練されたEncoder-DecoderモデルであるNLLB-1.7Bと比較すると，BLEUで25ポイント以上，COMETで34ポイント以上低いスコアであることが報告されている[7]．この問題に対し本論文では，対訳データを用いた継続事前訓練を提案する．大規模言語モデルを対訳データで継続事前訓練し，少量の人手データでSupervisedFine-Tuning(以下SFTという)を行ったモデルを，WMT22[8]のテストデータをはじめとする12種のテストセットで評価した結果，対訳データで訓練されたEncoder-DecoderモデルよりBLEU・COMETの両方で統計的に有意な差が示された．