ニューラルモデルの構成的汎化能力は，人間のような言語能力の実現に向けた重要な課題の一つである．既存研究は，モデルの出力に着目して構成的汎化能力を評価しており，モデルの構成的汎化における内部機序は明らかでない．そこで本研究では，構成的汎化に寄与するサブネットワークの探索とモデルの統語的特徴の活用に関する因果分析を行い，Transformerの内部機序を分析する．実験結果からTransformerは構成的汎化において統語的特徴に一定程度依存することが示された．一方で，モデル全体よりも優れた汎化性能を持つサブネットワークは，統語的特徴を用いた構成的な解法に加え，非構成的な解法にも依存することも示された．

既知の単語や統語構造に基づいて，新しい言語表現の意味を理解する能力である構成的汎化は，未知の言語データに対する頑健性における重要な要素の一つである．ニューラルモデルの構成的汎化能力を評価するために，既存の研究のほとんどは，ベンチマークにおけるモデル出力の評価に焦点を当ててきた[1,2,3,4].しかし，ベンチマークで良いパフォーマンスを示すモデルが必ずしも構成的な解法によって正しい出力に至っているとは限らない．また，近年モデルの解釈可能性に関する研究が活発に進められており，Transformer[5]ベースのモデルの内部機序が調査されてきた[6,7]が，構成的汎化を対象とした研究はほぼ存在しない．[8]と[9]は，構成的汎化における内部機序を分析したが，構成的汎化においてどのような言語的特徴が重要な役割を担うのかは分析していない．したがって，構成的汎化におけるモデルの内部メカニズムは未だに明らかでない．本研究では，構成的汎化を必要とするタスクにおいてTransformerがどのように統語的特徴に依存するかに注目し，内部機序を分析する．分析手法は，Training:Johngavethekidacuponthetable.前置詞句直接⽬的語Generalization:Johngavethekidinthecaracup.前置詞句間接⽬的語モデルは統語構造を⽤いるか？Subnetworkprobing因果分析るTransformerの内部機序を分析する．度を示すサブネットワークを特定すること，および(ii)元のモデルとそのサブネットワークにおける統語的特徴の因果効果を評価することからなる．因果分析では，モデルから統語的特徴を除去し，除去の前後で汎化性能を比較する．厳密に構成的汎化能力を評価・分析するために，事前学習済みのモデルではなく，スクラッチから学習したTransformerモデルを用いる．事前学習データには，モデルの汎化能力を評価する際に対象とする統語構造が含まれている可能性があり，事前学習済みのモデルは構成的汎化能力の正確な評価が難しいためである[10]．また，構成的汎化の評価で一般的に用いられる機械翻訳と意味解析の二つのタスクを用い，それぞれのタスクに対し二つの構成的汎化のパターンで評価を行う．実験結果から，モデルとその構成的汎化の精度に寄与するサブネットワークは，構成的汎化において統語的特徴を活用することが示唆された．一方で，このサブネットワークは，統語的特徴を用いない解法にも依存していることが明らかになった．そのため，モデルは部分的に非構成的な解法で構成的汎化.パターン学習データ分布外評価データ前置詞句in間接目的語(PP-IOBJ)ThechildgavethepenonthetabletoLiam.Thefriendgavethegirlintheroomahat.前置詞句in主語(PP-SUBJ)Thechildbrokeacuponthetable.Thefriendintheroombrokeacup.1.ベースモデルの学習3.因果分析メインタスクで評価学習データ統語的特徴Accuracyの削除