全域木による言語モデルの分析

言語には何らかの構造が見られ，言語獲得や言語変化はその構造によって説明される．この特徴を踏まえると，言語モデルもまた，内部に何らかの構造を有していると考えられる．本研究ではモデルの層内におけるトークン表現間の意味的関係性に基づいて層ごとに全域木を導出し，層間で内部構造がどのように関係するかを木構造の類似度や特性の変化から分析する手法を提案する．実験の結果，この手法によって得られた木構造のパターンはモデルのよって異なることが明らかになった．さらに，この構造を考慮した層間の類似度は層の枝刈りにおいても有効であり，言語モデルの解釈や最適化における有用性を示している．