大規模言語モデルは，自然言語処理タスクで優れた性能を発揮しているが，翻訳タスクではモデルサイズや訓練手法による性能差が見られる．本研究では，段落単位の対訳データを活用した継続事前訓練およびSupervisedﬁne-tuningが翻訳精度に与える効果を検証した．Llama-3ベースのモデルを用いて英日・日英翻訳を評価した結果．段落単位の対訳データを継続事前訓練とSupervisedFine-Tuningの両方で利用することで最も高い精度が得られた。また，推論時に段落全体を一括で翻訳する方法が有効であることを確認した．

GPT-4やLlamaのような大規模言語モデルが，要約や質問応答などの自然言語処理タスクで目覚ましい成果を収めている．機械翻訳においては，GPT-4やClaude-3のようなクローズドな大規模言語モデルの翻訳が，既存の翻訳モデルより人手評価が高いことが報告されている[1,2]．一方で，Llama-2-7Bや13Bのような，パラメータ数が100億前後の大規模言語モデルでは，既存の翻訳モデルより翻訳精度が大きく劣ることが報告されている[3]．この問題に対し，継続事前訓練のあとにSupervisedﬁne-tuningを行うという訓練手法が提案された[4,5,6,7]．この手法を適用することで，パラメータ数が100億前後の大規模言語モデルが，GPT-3.5や4と同等の精度になることが明らかとなった．しかし，この精度は文単位の対訳データをもとにしており，文脈を考慮する必要がある段落単位の翻訳においても有効かは明らかとなっていない．そこで本研究では，既存の対訳データから1文以上9文以下の段落単位の対訳データを作成し，段落単位の対訳データを継続事前訓練もしくはSupervisedﬁne-tuningの訓練データに含めて，翻訳精度の比較を行った．Llama-3ベースの大規模言語モデルを用いて，英日・日英翻訳について実験した結果，以下のことが明らかとなった．•段落単位の対訳データは，継続事前訓練およびSupervisedﬁne-tuningの両方に用いた場合が最も精度が高い．•段落単位の対訳データを訓練データに含めた場合，1文ずつ推論するより，段落単位をそのまま入力して推論した場合のほうが，精度が向上する．