双方向翻訳モデルの相互学習におけるデータ多様化の適用

近年ニューラル機械翻訳(NMT)が広く浸透している.NMTモデルの学習には大量の対訳コーパスが必要であるが,ドメインによっては十分な量の学習データを集めることが難しく,その場合品質が高い翻訳モデルを作ることは困難である.これに対し,単言語コーパスを追加の学習リソースとして利用するBackTranslation(BT)[1]手法や,BTを順方向・逆方向のモデルで相互に反復することで,両方向のモデルを複数回に渡って改善するIterativeBackTranslation(IBT)[2,3,4]手法が提案されている.BTやIBTはデータ拡張により翻訳モデルの精度を向上できるほか[1],単言語コーパスのドメインにモデルを適用させるという面でも高い効果を発揮することが報告されている[5,6,7].一方,追加の学習リソースを用いずに複数のモデルで多様な疑似対訳文を生成するデータ拡張手法も存在する[11].本研究では,IBTに対し複数のモデルによる出力文を用いた学習を行うことで従来のIBT手法の効果を更に向上させる手法を提案する.具体的には,順方向・逆方向のモデルを初期パラメータの値を変えた上で複数用意し,それぞれのモデルで翻訳文を出力することで,複数の疑似対訳文を生成する.複数個のモデルによる異なる出力を混合して再学習のための学習データとして使うことで,通常のIBTより高い精度でモデルを学習することできる.また,複数個のモデルを利用してアンサンブル翻訳を行うことで,更に翻訳精度を高めることもできる.英日コーパスと英独コーパスでの実験を通して,提案手法が通常のIBTと比較してより高いBLEUスコアを達成することを確認した.1.1関連研究Sennrichら[1]はNMTにおいてBackTranslation(BT)によりターゲット言語側の単言語コーパスをソース側言語に翻訳することで疑似的な対訳文を作り,データを拡張した上でモデルを再学習する手法を提案した.Hoangら[2]やZhangら[3],森田ら[4]は,BackTranslationを順方向と逆方向のモデルで相互に繰り返し適用することで両モデルの翻訳精度を向上させるIBT手法によりBTを上回るBLEUを達成したことを報告した.藤澤ら[5],Jinら[6],森田ら[7]はIBT手法がドメイン適応の面でも効果的であることを示した.Nguyenら[11]が提案したDataDiversiﬁcation(DD)手法では,対訳コーパスから順方向・逆方向のモデルをパラメータの初期値を変更してk個ずつ学習し,学習に使った対訳コーパスの文を翻訳することで計2k個の疑似データを得て,それらを学習データに追加することでモデルの翻訳精度を向上させている.