言語モデルにおける共通統語メカニズムの分析

言語モデルは振る舞いとしては高い統語処理能力を示すが，その内部機序が言語学的な共通性を反映しているかは自明でない．本研究では，因果的分析手法を用い，フィラー・ギャップ依存関係(FGD)と否定極性項目(NPI)を対象に，異なる構文間でのメカニズムの共通性を層・注意機構ヘッド単位で分析した．分析の結果，FGDには序盤から中間層に共通して寄与する限られた数の注意機構ヘッドが存在する一方，NPIには存在しなかった．また，特定した注意機構ヘッドの操作により容認性判断ベンチマークにおけるモデルの精度が向上し，さらに分析に用いた手法が分布外データに対して高い頑健性を示したことから，分析結果の妥当性が支持された．