言語モデルにおける共通統語メカニズムの分析

言語モデルは，複雑な階層構造を伴う統語処理において高い能力を示しつつある．しかし，その内部機序が言語学の知見とどの程度整合し，人間の処理メカニズムと類似しているかは未解明である．言語学は異なる構文間に共通する普遍的な要素を記述してきたが，言語モデルにおいても，表層的には異なる構文間で共通の処理メカニズムが利用されているかを明らかにすることは，言語の構造および言語モデルのより深い理解に繋がる[1]．モデルの挙動に内部構成要素が及ぼす因果的影響を特定する手法として，因果的分析手法[2,3,4]が用いられている．先行研究では，この手法を用いて統語メカニズムの分析[5,6]が行われており，特に主述の一致[7]やフィラー・ギャップ依存関係(FGD)[8]を処理するメカニズムの共通性が分析されているが，課題も存在する．まず，既存の分析はモデルがどのトークンを重要視しているかに関する分析に留まっており，層や注意機構ヘッドの粒度での分析されておらず，どの粒度までメカニズムが共通しているかは示されていない．次に，先行研究[5,8]は学習を伴う分析手法を採用していることから，過学習の懸念があり[9]，特定されたメカニズムが分布外にまで汎化するかは明らかでない．そこで本研究では，学習を伴わない因果的分析手法であるactivationpatching(AP)[2,3]を用い，層・注意機構ヘッド単位で異なる構文間のメカニズムの共通性を分析する．分析対象としてFGDと否定極性項目（NPI）の二つを用い，それぞれにおいてメカニズムが共通しているのか，している場合にはそれが何かを明らかにする．また，特定されたメカニズムの妥当性を検証するため，特定した構成要素の操作による容認性判断ベンチマークにおけるモデルの精度変化を検証し，加えて分布外(OOD)データによる評価で学習を伴う分析手法であるdistributedalignmentsearch(DAS)[4]との比較を行う．分析の結果，FGDには共通のメカニズムが存在する一方，NPIでは共通メカニズムは確認されなかった．また，FGDのメカニズムに寄与する構成要素は序盤から中間層に位置するごく少数の注意機構ヘッドに局所化されていることが明らかになった．また，特定した構成要素の活性値を操作することで，容認性判断タスクの精度改善が見られた．さらに，DASはOOD設定において分析結果が大幅に変化し，語彙や構文の分布に過学習する可能性が示唆された一方で，APは一貫した結果を示した．