複数のLLMを活用した機械翻訳のための協力デコーディング

GPT[1]やLlama[2]シリーズを筆頭に，大規模言語モデル(LargeLanguageModel,LLM)は大量のテキストを事前学習することで高い言語能力を有している．さらに，LLMへの継続的な学習によって特定の言語や知識などに適応する能力[3]や，インストラクションデータを用いた学習によって対話，翻訳，要約などの生成能力[4]を獲得できることが報告されている．機械翻訳分野においてもLLMを活用する動きがあり，継続事前学習と追加学習を組み合わせたALMA[5]や翻訳のワークフローをLLMに再現させたTower[6]が提案されている．こうしたLLMを活用した機械翻訳の課題として，特にパラメータサイズの小さいLLM(小型LLM)は従来のニューラル機械翻訳に比べると精度が低いことが指摘されている[5]．また，パラメータ数の大きなLLM(大型LLM）は継続事前学習，追加学習，推論にかかる計算コストが膨大となり，効率的な学習と推論方法の確立が求められている．本研究では，大型LLMを再学習せず，小型LLMを活用するプロキシチューニング[7]に着目し，継続事前学習と追加学習の計算コストを抑えた上で，汎用的な大型LLMの推論の補正によって翻訳性能の向上を目指す．提案手法（Collab-MT）では，機械翻訳タスクにおいて，対象となる言語で再学習した2つの小型LLMの推論結果を用いて大型LLMの生成確率を補正する．2つの小型LLMの再学習には，原言語と目的言語それぞれの単言語データで継続事前学習をしたのち，対訳データで追加学習を行う．そして，デコーディングの各ステップで，2つの小型LLMのソフトマックス関数を用いる前の出力値を大型LLMの出力値に加算することでトークンの生成確率を補正する．日英・独英翻訳について双方向で実験を行った結果，小型LLMの再学習によって計算コストを抑え，既存の協力デコーディング手法[7]に比べて，どの翻訳タスクもBLEUスコアが最低1.93ポイント向上した．