Dualformerの双方向性を活かしたパラメータ共有による機械翻訳

近年,ニューラル機械翻訳(NMT)の分野では,Transformer[1]をベースとしたモデルが目覚ましい成果を上げている.翻訳というタスクには,ある言語から別の言語への翻訳（例：日英）と,その逆方向の翻訳（例：英日）という対になる問題が必ず存在し,この性質は双方向性(Duality)と呼ばれる.この双方向性を利用して,互いの翻訳精度を高め合う枠組みとして双方向学習(DualLearning)が知られている.Xiaら[2]は,この双方向性の問題をモデルレベルで解決する手法(Model-levelduallearning)を提案した.彼らが提案した手法は,Transformerの構造を応用し,単一のモデルで双方向の翻訳を可能にするものである.Dualformerは2つのデコーダを持ち,一方を疑似的なエンコーダとして振る舞わせることで,パラメータを共有しながら双方向の学習を行う.森下ら[3]やChien[4]はXiaらと同様のアーキテクチャを持つTransformerベースのモデルの学習に補助タスクを導入し,モデル性能の改善を達成している.また,加藤ら[5]は同様のアーキテクチャのモデルがドメインシフトに頑健なモデルであることを示している.本稿では,Chienらや加藤らに従い,拡張されたTransformerをDualformerと呼ぶ.従来のDualformerには,さらなる性能向上とパラメータ効率化の余地が残されている.Dualformerはエンコーダとデコーダの役割をスイッチさせることでパラメータ共有を行っているが,2つのデコーダ自体は独立して存在しているためである.本研究では,Dualformerの双方向性をさらに活かした2つの手法を提案する.第一に,同一モデルアンサンブルである.各翻訳方向を多言語モデルのタスクとして捉え,学習データを混合することで,すべてのデコーダが双方向の翻訳能力を獲得するように学習を行う.これにより,単一のモデル内で異なる経路を用いたアンサンブルが可能となり,翻訳精度の向上が期待できる.第二に,デコーダの完全共有(SharedDualformer)である.従来2つ存在したデコーダを1つに統合し,タスク実行時に複製して利用することで,Dualformerとしての動作を維持しつつ,大幅なパラメータ削減と効率化を図る.本稿では,提案手法の有効性を検証するために,日英翻訳タスク（KFTTおよびASPEC）を用いた評価実験を行う.実験の結果,提案手法である同一モデルアンサンブルによる精度の向上,およびデコーダ共有によるパラメータ数の削減と性能維持が可能であることを示す.