llmMT+1:非英語言語対LLM翻訳の実現法の検討

LLaMA-2[1]をはじめとする大規模言語モデル(以下LLMという)は，多くの自然言語処理タスクにおいて高い性能を達成している．Xuら[2]は，LLaMA-2に対して2段階の訓練を行うことで，英語中心の言語対，すなわち英語が目的言語か原言語のとちらかになる言語対の翻訳に対象としたALMAというモデルを提案した．このALMAは，翻訳対象である英語以外の言語の単言語データを使って継続事前学習(ContinualPre-Training:CPT)を行い，翻訳対象となる言語対の高品質な対訳データでSupervisedFine-Tuning(以下SFTという)を行うことにより，130億のLLMを使ってGPT-3.5に匹敵する翻訳精度を達成した[2]．また，Alvesら[3]は，Towerを提案した．Towerは，LLaMA-2に対してまず単言語データと対訳データ両方を用いたCPTを行った後に，高品質な対訳データを使ったSFTを行うことで，ALMAより高く，130億パラメータでGPT-4[4]に匹敵する翻訳精度を達成した．しかし，それら手法は，英語中心の言語対のみを対象としており，英語を含まない非英語言語対の翻訳の性能が低い問題が残されている[5]．この問題に対して本論文では，対象言語の訓練状況に応じて，3つの場合に分けて訓練データを選択するCPTを提案し，非英語言語対の翻訳を実現する方法について体系的に検討する．注目する言語に応じて単言語か対訳データを選択し，CPTを行った後，少量の対訳データでSFTを行う．得られたモデルをFlores200で評価した．結果，以下の知見を得られた：•非英語言語対が両方とも既に事前訓練済みの場合，非英語言語対の対訳データでSFTを行う．•非英語言語対の片方が既に事前訓練済みの場合，もう片方の単言語データでCPTを行い，非英語言語対の対訳データでSFTを行う．CPTの際には事前訓練済みの言語の単言語データをリプレイする．•非英語言語対が両方とも事前訓練済みではない場合，2つの言語の単言語データで同時にCPTを行い．非英語言語対の対訳データでSFTを行う．