近傍文検索を用いたサブセットkNNニューラル機械翻訳

Transformer[2]ニューラル機械翻訳（NeuralMa-chineTranslation;NMT）は，従来の統計的手法より翻訳精度と流暢性が高く，注目を浴びている．近年，訓練データと異なるドメインの翻訳精度が低下する課題に対処するため，TransformerNMTに用例検索の手法を組み込んだkNN-MT[1]が提案されている．kNN-MTは，訓練済みNMTモデルの中間表現を用いて，データストアと呼ばれるキー・値メモリに対訳データを格納し，翻訳中の各時刻で𝑘近傍事例を探索する．これにより，モデルを追加学習することなく翻訳精度を改善できることが報告されている．しかし，従来のkNN-MTでは対訳データの目的言語側の全トークンを対象に近傍探索するため，翻訳速度が通常のTransformerNMTより100～1000倍ほど遅くなるという問題点がある．本研究では入力文の近傍事例のみに検索対象を絞ることでkNN-MTの高速化を図る．また，ルックアップテーブルを用いて各事例との距離を効率的に求めることで，さらなる高速化を目指す．WMT19独英翻訳とドメイン適応翻訳実験を行い，提案法は従来法より翻訳精度が最大で1.6BLEUポイント，翻訳速度が最大で132.2倍改善することを確認した．