複数のLLMを活用した機械翻訳のための協力デコーディング

大規模言語モデル（LLM）は対話などの生成タスクで成功する一方，翻訳性能の向上や計算コストの高さに課題がある．そこで本論文では，これらの課題を解決するために機械翻訳に適した新たな協力デコーディング手法を提案する．本手法は各言語の単言語データの継続事前学習をしたのち，対訳データによる追加学習をした小型LLMと，より大型なLLMを組み合わせて翻訳を行う．日英・独英翻訳タスクについて双方向で実験した結果，提案手法はパラメータサイズの小さなモデルを学習することで計算コストを抑え,既存の協力デコーディング手法を上回る翻訳性能を示した．