双対学習機械翻訳モデルのドメインシフトに対する頑健性の検証

近年，ニューラル機械翻訳（NMT）の分野は発展が著しい．特に，Transformer[1]に基づくNMTモデルは，従来のRecurrentNeuralNetworkに基づくNMTモデルの性能を多くのタスクで凌駕している．一般的なTransformerベースNMTモデルはある言語対について単方向の翻訳を行うように学習される．一方，日英翻訳に対する英日翻訳のように翻訳問題には必ず逆向きの問題が存在し，これらは双対問題と呼ばれる．双対問題は他の系列変換タスクにも見られ，例えば音声認識と音声合成は言語音声・書き起こしテキスト間の双対問題である．双対問題を解くことで双方のモデル性能を高める手法は双対学習（DualLearning）と呼ばれる．NMTの分野では，Heら[2]が両方向のNMTモデルと各言語の言語モデルを用いて単言語データを相互に翻訳しあう双対学習を提案している．Xiaら[3]は双対問題をモデルレベルで解くModel-LevelDualLearningを提案している．この手法は双対問題を解く単一のモデルを学習するもので，NMTであれば１つのモデルで双方向翻訳が可能になる．森下ら[4]やChienら[5]は，Xiaらと同様のアーキテクチャを持つTransformerベースモデルの学習にReconstructionやDualIntegrationなどの補助タスクを導入している．これらの補助タスクの導入により，モデルパラメータを増やすことなくモデル性能の改善を達成している．本稿では表記の簡潔さのため，双方向翻訳のために拡張されたTransformerをChienらに従いDualformerと呼ぶ．Dualformerの先行研究[3][4][5]では，ドイツ語・英語，フランス語・英語，中国語・英語の３つの言語対が用いられており，いずれの言語対でもTransformerベースモデルからの性能改善が見られる．しかし，日本語・英語の言語対での結果は示されていない．またモデルの評価はすべてドメイン内データで行っており，Dualformerのドメインシフトに対する頑健性は不明である．そのため本研究では，独英翻訳および日英翻訳のDualformerをドメイン内・ドメイン外データで評価し，Dualformerのドメイン汎化性能を検証する．