ニューラル機械翻訳のモデルレベル双方向学習における単言語データの活用

翻訳問題は双方向性(Duality)を有する．双方向性とはある２タスクが対称的な入出力を持つ性質であり，この性質を持つタスク対を双方向問題と呼ぶ．タスク対の双方向性を利用して各タスクのモデル性能を相互的に高める手法は双方向学習（DualLearning）[1]と呼ばれる．また，Xiaら[2]は双方向学習を単一モデルで行うモデルレベル双方向学習(Model-LevelDualLearning)を提案している．この手法では，エンコーダ・デコーダモデルにおけるエンコーダとデコーダ間の構造的類似性に着目し，両者のパラメータを共有することで単一モデルでの双方向翻訳を可能にする．森下ら[3]やChienら[4]は翻訳タスクの補助として入力を再現するタスクを導入し，モデルレベル双方向学習の翻訳性能を改善している．しかし，モデルレベル双方向学習で単言語データを活用した例は少ない．単言語データは一般に対訳データよりも容易かつ大量に入手できる．そのため，これを活用できればさらなる翻訳性能の改善が見込める．実際，モデルレベルでない双方向学習では単言語データを活用し翻訳性能を改善する例が見られる．例えばIterativeBack-Translation[5][6]は，単言語データを用いた各方向の翻訳モデルでの疑似対訳データの作成とモデルの更新とを反復的に行い，学習データが少ない設定での性能改善[6]や訓練対訳データと異なるドメインへの適応[7][8]を達成している．本研究では，モデルレベル双方向学習での単言語データの利用法を提案する．具体的には，モデルレベル双方向学習の先行研究[3][4]で採用された，入力を再現する補助タスクを単言語データ用に拡張する．考案した補助タスクは２つあり，１つは単言語データを入力とする入力再現タスクBestsampling-basedReconstruction（BBR），もう１つはBBRを発展させた，オンラインで双方向に逆翻訳を行うタスクOnlineRound-tripTranslationである．また，一般に翻訳タスクに用いる対訳データと補助タスクに用いる単言語データはデータ量が異なりバッチ学習に困難が生じる．そのため，バッチ単位でタスクを切り替える訓練フレームワークProgressiveIterativeBack-Translationも提案する．