Decoderのみを用いた機械翻訳モデルの分析

自然言語処理の様々なタスクにおいてEncoder–Decoderモデルは広く用いられている[1,2]．特に機械翻訳や文書要約などの生成タスクでEncoder–Decoderが主流になっている．その一方GPT[3,4,5]を代表するDecoder-onlyモデルの高精度な言語生成も注目を集めている．Wangら[6]はGPT-3のfew-shotlearningでの翻訳が教師なしモデルと同程度のBLEUを獲得したことから，Decoderのみを使った翻訳モデル(Decoder-onlyモデル)を提案した．原言語文と目的言語文を結合させ，言語モデリングタスクでDecoderを学習し，翻訳モデルとする．図1にDecoder-onlyモデルの推論時の概要図を示す．原言語文とタグ（<en2ja>など）を入力とし目的言語文を生成している．またGaoら[7]はWangらのモデルに対し原言語文全体をself-attentionで見れるように拡張することでEncoder–Decoderモデルと同等のBLEUを達成できることを報告した．これよりGaoらはEncoder–Decoderモデルは冗長であると主張している．しかし彼らの実験ではBLEUやTER[8]による自動評価しか行われておらず，Encoder–Decoder，Decoder-onlyモデル間の翻訳結果の詳細な分析がなされていない．そこで本研究では自動評価，人手評価の2つの観点からDecoder-onlyモデルの詳細な分析を行った．自動評価では流暢性を測るためにperplexityを，妥当性を測るためにBLEUに加えてCOMET[9]とWMD[10]を追加した．人手評価では定量的な評価として流暢性と妥当性を，定性的な評価として翻訳の質の評価（誤訳の分類）を行なった．本研究での主な発見は以下の通りである：•自動評価指標BLEU，COMET，WMDではEncoder–Decoderモデルの方がスコアが高いが，PerplexityではDeocder-onlyモデルがEncoder–Decoderモデルを上回った．•人手評価において流暢性と妥当性はDecoder-onlyモデルが良く，Mis-translationもEncoder–Decoderモデルと比較して少ない．