ニューラル機械翻訳のためのノイズ寛容なアンカー学習

高品質なNMTモデルの学習には大規模な対訳文対データが必要であるが、そのようなデータはWebクローリングなどで自動収集されているために対訳関係にないノイズデータが含まれ、これが翻訳モデルの品質低下を引き起こすことが知られている[1]。この問題に対処するため、ConferenceonMachineTranslation(WMT)では2018～2020年にかけて対訳コーパスフィルタリングに関するSharedTaskが開催された[2,3,4]。これらのSharedTaskを通して提案されたフィルタリング手法を用いて、Heroldら[5]は独語から英語の翻訳タスクにおいて合成混入させたノイズデータの内多くの種類について90%以上の除外に成功したと報告している。しかしながら、ノイズの種類によっては除外精度が70%程度に過ぎず、またクメール語から英語のタスクにおいては全体的に精度が低下した。現状のフィルタリング手法ではノイズデータは除外しきれず、また認識されている種類以外のノイズデータの存在も考えられる。そこで本研究では、Goldbergら[6]がサポートベクタマシン(SVM)[7]を用いた分類タスクのために提案したアンカー学習に注目した。SVMは二値分元々の特徴量アンカー特徴量⼆値ラベルSVMモデルNN*N=学習データ数⾼次元疎ベクトル(a)SVMモデルにおけるアンカー学習[6]アンカートークン⼊⼒⽂出⼒⽂NNMTモデル*N=学習データ数1低次元密ベクトル系列(b)NMTモデルにおけるアンカー学習(提案手法)類を行う識別モデルで、学習データとして特徴量ベクトルと二値分類ラベルを使用する。アンカー学習では、この特徴量ベクトルに各学習データ固有の新たな特徴量(アンカー特徴量)を追加し拡張する(図1a)。この新たに追加されたデータ固有の特徴量によって、各データがその他のデータに対して線形分離可能になる。これによりSVMモデルは、元々の特徴量から出力の推論が難しい場合においても、アンカー特徴量から正解の出力を推論することを丸覚えする選択肢が与えられる。こうしてアンカー学習は、誤った入出力関係をもつノイズデータからの学習におけるモデルへの悪影響を低減し、モデルの性能を向上させることが期待できる。なお、正確にはアンカー学習は入力から出力の推論が難しい場合(hard-to-learncases)に対応しており、これは翻訳タスクでの例としては低頻度な慣用句などの厳密にはノイズデータではない場合も含む。本研究では便宜的にそのような場合も含めノイズデータと呼称し、一方で入力から出力の推論が易しいデータを綺麗なデータと呼称する。.本研究では、系列変換モデルを用いた機械翻訳タスクを対象としたアンカー学習を提案する。機械学習モデルおよび入力データ形式の違いから、個々の学習データを弁別化するアンカーとして、アンカー特徴量ではなくアンカートークンを導入する。また、ナイーブにはアンカーは学習データと同数用意する必要があるが、大規模な学習データを用いる場合にアンカートークンの数が爆発し膨大な計算資源を必要とする問題がある。この解決のために本研究では、ランダムグルーピング手法と組み合わせ手法の2種類のアンカートークン手法を提案する。実験はASPEC英日翻訳とWMT2017英独翻訳の