複数の参照訳を考慮したニューラル機械翻訳モデルの学習手法

文の翻訳において，訳者や文脈などの条件によって目的言語の訳文は異なるものが期待されうる．実際，機械翻訳タスクのベンチマークによく用いられる対訳コーパスにおいて，原文に対して複数の参照訳を持つ文対が共存することがある．日英対訳コーパスJESC[1]および英独対訳コーパスWMT14En-De[2]の学習データセットにおいて，複数の参照訳を持つ原文の数および原文を共有する参照訳ののべ数を表1に示す．また，一つの原文が持つ参照訳の個数の分布を図1に示す．機械翻訳タスクによく用いられる対訳コーパスに，一つの原文が複数の参照訳を持つ例が無視できない割合で存在することがわかる．一方で，既存の機械翻訳モデルの学習時に，対訳コーパス内に前述のような例が存在するという情報は明示的には用いられない．そこで，本研究では一つの原文が複数の参照訳を持っているという情報を明示的にモデリングした機械翻訳モデルの学習損失を提案する．提案手法により，対訳コーパス内に存在する，原JESCWMT14En-De文対数2,797,3883,896,364複数参照訳を持つ原文の数153,60937,529原文を共有する参照訳の数574,519118,003文が複数の参照訳を持っているという情報を機械翻訳モデルの学習に明示的に使用することができ，機械翻訳モデルの性能向上が見込まれる．なお，本研究では機械翻訳タスクのみを扱うが，提案手法は機械翻訳に限らず自己回帰生成を用いた文章生成全体に適用可能である．