構成的汎化におけるTransformerの内部機序の分析

既知の単語や統語構造に基づいて，新しい言語表現の意味を理解する能力である構成的汎化は，未知の言語データに対する頑健性における重要な要素の一つである．ニューラルモデルの構成的汎化能力を評価するために，既存の研究のほとんどは，ベンチマークにおけるモデル出力の評価に焦点を当ててきた[1,2,3,4].しかし，ベンチマークで良いパフォーマンスを示すモデルが必ずしも構成的な解法によって正しい出力に至っているとは限らない．また，近年モデルの解釈可能性に関する研究が活発に進められており，Transformer[5]ベースのモデルの内部機序が調査されてきた[6,7]が，構成的汎化を対象とした研究はほぼ存在しない．[8]と[9]は，構成的汎化における内部機序を分析したが，構成的汎化においてどのような言語的特徴が重要な役割を担うのかは分析していない．したがって，構成的汎化におけるモデルの内部メカニズムは未だに明らかでない．本研究では，構成的汎化を必要とするタスクにおいてTransformerがどのように統語的特徴に依存するかに注目し，内部機序を分析する．分析手法は，Training:Johngavethekidacuponthetable.前置詞句直接⽬的語Generalization:Johngavethekidinthecaracup.前置詞句間接⽬的語モデルは統語構造を⽤いるか？Subnetworkprobing因果分析るTransformerの内部機序を分析する．度を示すサブネットワークを特定すること，および(ii)元のモデルとそのサブネットワークにおける統語的特徴の因果効果を評価することからなる．因果分析では，モデルから統語的特徴を除去し，除去の前後で汎化性能を比較する．厳密に構成的汎化能力を評価・分析するために，事前学習済みのモデルではなく，スクラッチから学習したTransformerモデルを用いる．事前学習データには，モデルの汎化能力を評価する際に対象とする統語構造が含まれている可能性があり，事前学習済みのモデルは構成的汎化能力の正確な評価が難しいためである[10]．また，構成的汎化の評価で一般的に用いられる機械翻訳と意味解析の二つのタスクを用い，それぞれのタスクに対し二つの構成的汎化のパターンで評価を行う．実験結果から，モデルとその構成的汎化の精度に寄与するサブネットワークは，構成的汎化において統語的特徴を活用することが示唆された．一方で，このサブネットワークは，統語的特徴を用いない解法にも依存していることが明らかになった．そのため，モデルは部分的に非構成的な解法で構成的汎化.パターン学習データ分布外評価データ前置詞句in間接目的語(PP-IOBJ)ThechildgavethepenonthetabletoLiam.Thefriendgavethegirlintheroomahat.前置詞句in主語(PP-SUBJ)Thechildbrokeacuponthetable.Thefriendintheroombrokeacup.1.ベースモデルの学習3.因果分析メインタスクで評価学習データ統語的特徴Accuracyの削除