ニューラル機械翻訳モデルにおける構成的汎化能力の評価

構成性は，全体の意味は部分の意味とその統語的な組み合わせ方により定まるという，言語の重要な性質の一つである[1]．見たことのない複合表現を既知の単語や統語構造から理解し，生成することができるという構成的汎化能力は，言語理解において重要な能力の一つである[2]．近年，ニューラルモデルが様々な自然言語処理タスクを高い精度で解く能力を持つことが示されているが，構成的汎化能力を持つかどうかに関しては盛んに議論がされている．これまでに，様々な種類の構成的汎化の評価のためのベンチマークや評価手法が複数提案されている[3,4,5]．ニューラルモデルの構成的汎化能力に関するこれらの既存の研究は，主に意味解析のような上流タスクで行われており，上流タスクに限らない多角的な評価のために，機械翻訳をはじめとする下流タスクにおける評価手法が求められている．一方で，既存の機械翻訳タスクを用いた構成的汎化の評価手法のほとんどは，既知の単語の未知の組み合わせ方に関する汎化である，語彙的汎化のみに注目している[6,7,8]．そのため，既知の統語構造の未知の組み合わせ方に関する汎化である，構造的汎化を必要とする文を機械翻訳モデルがどの程度正しく翻訳できるかは明確でない．そこで本研究では，語彙や文の構造をコントロールした上，構造的汎化を中心に様々な種類の構成的汎化能力を問う日英対訳データセットを構築する．1）また，構築したデータセットを用いて，ニューラル機械翻訳モデルの構成的汎化能力を評価する．評価結果から，機械翻訳における構成的汎化は現在のニューラルモデルには難しいことを示す．