段落単位の対訳データによる大規模言語モデルの翻訳精度向上

大規模言語モデルは，自然言語処理タスクで優れた性能を発揮しているが，翻訳タスクではモデルサイズや訓練手法による性能差が見られる．本研究では，段落単位の対訳データを活用した継続事前訓練およびSupervisedﬁne-tuningが翻訳精度に与える効果を検証した．Llama-3ベースのモデルを用いて英日・日英翻訳を評価した結果．段落単位の対訳データを継続事前訓練とSupervisedFine-Tuningの両方で利用することで最も高い精度が得られた。また，推論時に段落全体を一括で翻訳する方法が有効であることを確認した．