摂動を加えたkNN機械翻訳による多様な翻訳候補の生成

機械翻訳システムが多様かつ妥当な翻訳候補を出力することは，リランキング[1]や人手による後編集[2]といった後段の処理によって翻訳精度の向上が見込める点で重要である．しかし，ニューラル機械翻訳(NMT)システムの標準的な探索アルゴリズムであるビームサーチには，出力される複数の候補文がほとんど同一になってしまう多様性低下の問題が存在することが知られている[2,3,4]．これに対し，Vijayakumarら[3]やFreitagら[4]は翻訳候補の多様化を促進するビームサーチの変種(多様化デコード手法)を提案している．他方で，NMTシステムの標準的な損失関数であるクロスエントロピー損失を用いて訓練したモデルには，過剰修正(overcorrection[5])の問題が存在することが知られている．過剰修正とは，訓練データの分布とは異なる分布の予測に対し，その予測が妥当であっても出力確率を過剰に低く見積もってしまう現象のことである．そのため，前述の多様化デコード手法を標準的なNMTシステムが出力する確率分布に適用するだけでは，妥当であるが出力確率が低く翻訳候補に入りづらいトークンが存在し，多様性向上の効果が限定的になっている可能性がある．したがって，多様化デコード手法の効果を最大化するためには過剰修正に対処する必要があると考えられる．本研究では，その手段として用例ベースの機械翻訳手法の一種であるkNN機械翻訳[6]に着目する．kNN機械翻訳は，デコード時に用例データからのk近傍探索によって多くの妥当なターゲットトークンを検索・抽出できるため，過剰修正の問題に対処できることがYangら[7]によって示唆されている．しかし，kNN機械翻訳のk近傍探索では探索の対象が制限されており，多様性を損ねてしまう．そこで，我々はkNN機械翻訳を応用し，kNN機械翻訳におけるk近傍探索時に摂動を加えることでトークンを探索する範囲を確率的に拡大する手法を提案する(図1)．この手法と多様化デコード手法を併用することで，翻訳性能を維持しつつ翻訳候補の多様化が期待できる．本稿では，ドメイン適応と一般ドメインで評価を行い，両設定において，提案法によって翻訳性能を維持しながら多様性が向上することを示した．また，本手法において，摂動の大きさを調整することで多様性が制御できることも判明した．