構成的汎化におけるTransformerの内部機序の分析

ニューラルモデルの構成的汎化能力は，人間のような言語能力の実現に向けた重要な課題の一つである．既存研究は，モデルの出力に着目して構成的汎化能力を評価しており，モデルの構成的汎化における内部機序は明らかでない．そこで本研究では，構成的汎化に寄与するサブネットワークの探索とモデルの統語的特徴の活用に関する因果分析を行い，Transformerの内部機序を分析する．実験結果からTransformerは構成的汎化において統語的特徴に一定程度依存することが示された．一方で，モデル全体よりも優れた汎化性能を持つサブネットワークは，統語的特徴を用いた構成的な解法に加え，非構成的な解法にも依存することも示された．