全域木による言語モデルの分析

言語は構造を有している．言語獲得や言語変化といった言語現象は，生成文法の立場でも認知言語学の立場でも，背後にある何らかの構造よって説明されてきた[1,2,3]．このような性質を踏まえると，言語を計算的にモデル化する言語モデルもまた，何らかの構造的性質を示すと考えられる[4]．このような言語の構造的性質にもかかわらず，解釈可能性研究や層枝刈りといった大規模言語モデル（LLM）に関する研究では，層間あるいはモジュール間の分析を行う際に，これらの構造がしばしば見過ごされてきた．これまでの研究の中には，構文解析手法を用い，トークン間関係に基づいて層間分析を行うものも存在する．生成文法的観点からの言語学的分析に基づく研究では，注意重みが統語構造を反映していること[5,6,7,8]，表現が統語情報を符号化していること[9,10,11,12,13]，そして統語構造がボトムアップ的に出現すること[14]が示されている．これらの研究は，LLMがトークン間の関係か*共同筆頭著者ら得られる構造を保持し利用していることを明らかにしている一方で，特定の正解構造を前提とした静的な構造に焦点を当てている．しかし，言語に動的な構造を見出すことができる[2,3]ことを考えると，言語モデルの内部構造の分析としては，ボトムアップな方法の方がより適切であると考えられる．そこで本研究では，依存構造解析[15,16]に着想を得た層分析の手法を提案する．この手法では，LLMの内部表現を用いて最大全域木を構築する．各層の出力における残差ストリームを用いて，トークン表現間のL2距離に基づく類似度を計算することで，各層ごとに最大全域木を構築する．これらの木は，言語モデル内部における意味的な表現構造を大域的な観点から捉えることを可能にする．実験の結果，提案手法によって，層間類似度を木構造の類似度で比較すると，モデルによって異なる変化や構築のパターンを示すことが明らかになった．さらに，木編集距離[17]は層の枝刈りの指標として有効であることが確認された．これらの結果は，構造を考慮した大域的な視点が言語モデルの分析や最適化に役立つことを示している．