言語横断検索とリランキングを用いる翻訳メモリ利用型NMT

近年，高品質な対訳文の集合である翻訳メモリをNMTに組み込む研究が多くなされている．Bultéら[2][3]は翻訳メモリをNMTに組み込むことで翻訳精度を向上させるNFRモデルを提案した．このモデルは，編集距離やsent2vec[4]に基づいて翻訳メモリの原言語文集合から類似文を検索し，類似訳文を入力原言語文と連結してNMTモデルへの入力とする．このモデルは，NMTモデルへの入力を前処理するだけで良いため，モデルのアーキテクチャを変更せずに翻訳メモリを組み込むことができる．ゆえに，既存のあらゆるNMTモデルとの互換性が高く，実装面での移植性も高い．一方で，この手法では対訳の揃った翻訳メモリを対象に検索せねばならず，目的言語文のみで構成された大規模単言語コーパス(単言語翻訳メモリ)だけでは活用できない．また，入力文長の制約から，これらの手法で利用可能な類似訳文の数は高々数文に限られるため，有益な類似訳文がいくら得られたとしてもそれら全てを活用することはできない．この制約を克服するため，Caiら[5]は目的言語の単言語翻訳メモリを利用する手法を提案した．ここでは，TransformerEncoderに基づく検索モデルを提案し，MIPS(MaximumInnerProductSearch)によって類似訳文検索を行う．ただし，検索モデルと翻訳モデルは同時に訓練される必要があるため独自のアーキテクチャを必要とし，NFRの利点である既存のNMTモデルへの互換性が大幅に低下する．また，Hossainら[1]は，多数の類似文を活用する手法としてretrieve-edit-rerankの枠組みを提案した．彼らは，(1)複数の相異なる類似文を検索して，(2)異なる複数の出力文候補を生成し，(3)対数尤度に基づいてリランキングを行う手法を提案した．本論文では，このretrieve-edit-rerankの枠組みを踏襲し，中でも(1)および(3)に着目して研究を行った．(1)では，言語に依らない文埋め込みを生成する事前学習済みモデルmSBERT・LaBSEを用いて目的言語文集合を対象に言語横断検索を行う手法を提案し，(3)リランキングフェーズでは，文長に対する正規化を行ったより良いランキング手法を提案する．提案法の評価にあたり，ASPEC[6]英日コーパス，および，EUBookshopCorpus[7]の英仏コーパスを利用した．その結果，文埋め込みに基づく検索手法を用いた場合は，編集距離で検索する場合に対して有意にBLEUを向上させた．また，異なる類似訳文を用いて生成された異なる出力文候補のリランキングにおいても提案法は既存手法を大幅に上回った．