段落単位の対訳データによる大規模言語モデルの翻訳精度向上

GPT-4やLlamaのような大規模言語モデルが，要約や質問応答などの自然言語処理タスクで目覚ましい成果を収めている．機械翻訳においては，GPT-4やClaude-3のようなクローズドな大規模言語モデルの翻訳が，既存の翻訳モデルより人手評価が高いことが報告されている[1,2]．一方で，Llama-2-7Bや13Bのような，パラメータ数が100億前後の大規模言語モデルでは，既存の翻訳モデルより翻訳精度が大きく劣ることが報告されている[3]．この問題に対し，継続事前訓練のあとにSupervisedﬁne-tuningを行うという訓練手法が提案された[4,5,6,7]．この手法を適用することで，パラメータ数が100億前後の大規模言語モデルが，GPT-3.5や4と同等の精度になることが明らかとなった．しかし，この精度は文単位の対訳データをもとにしており，文脈を考慮する必要がある段落単位の翻訳においても有効かは明らかとなっていない．そこで本研究では，既存の対訳データから1文以上9文以下の段落単位の対訳データを作成し，段落単位の対訳データを継続事前訓練もしくはSupervisedﬁne-tuningの訓練データに含めて，翻訳精度の比較を行った．Llama-3ベースの大規模言語モデルを用いて，英日・日英翻訳について実験した結果，以下のことが明らかとなった．•段落単位の対訳データは，継続事前訓練およびSupervisedﬁne-tuningの両方に用いた場合が最も精度が高い．•段落単位の対訳データを訓練データに含めた場合，1文ずつ推論するより，段落単位をそのまま入力して推論した場合のほうが，精度が向上する．