TransformerLLMの内部挙動改善：隠れ状態ベクトルの数値的収束性の向上

Transformerの隠れ状態ベクトルから，意思決定過程の詳細な解析や解釈が可能である．特に，各層の隠れ状態ベクトルを語彙次元に射影することで，Transformer内部で次単語予測の推論過程を可視化できる[1,2]．この手法により，各層で予測される単語が最終層で予測される単語に意味的に近づいていく傾向が観測できる．これらの研究から各層の予測分布の意味的な収束性は示唆されるが，一方で，隠れ状態ベクトル自体の数値的な収束性は確認されていない．実際，コサイン類似度を用いた調査により，隠れ状態は中間層ではほとんど変化せず，最終層付近で大きく変化することが示されている[3]．この結果は，中間層のモデルへの寄与が小さい一方で，最終層付近では隠れ状態が大きく変化していることを示唆しており，予測分布に基づく結果とは異なる性質を持つ．直感的には，モデルの浅い層では大まかな次単語予測を行うために隠れ状態が大きく変化し，深い層では予測を微調整する段階に移行するため，隠れ状態の変化は小さくなることが期待される（図1）．この隠れ状態ベクトルの数値的な遷移を「隠れ状態ベクトルInputLayer0InputInput𝒉𝟎Layer1𝟎𝟎𝒉𝟏𝒉𝐥𝐚𝐬𝐭𝒉𝐥𝐚𝐬𝐭𝟏𝟐𝟏𝟐Layer2𝒉𝟐ConvergedNotConvergedLayer3𝒉𝐥𝐚𝐬𝐭学習済みの隠れ状態ベクトル（青点）で，中間層が隠れ状態の変化に寄与せずに，最終層で大きな変化が起こっている．一方で，自己蒸留後のモデルの隠れ状態ベクトル（赤点）は，深い層ほど隠れ状態の変化が小さくなっており，収束性が改善している．の収束性」と定義する．本研究の目標は，予測分布の意味的収束性と隠れ状態ベクトルの数値的な収束性の乖離に対処し，隠れ状態ベクトルの数値的収束性を改善することで，より解釈性の高いモデルを構築することである．意味的収束性を保ちながら，隠れ状態ベクトルの数値的な収束性を改善するために，中間表現を利用して，同一モデル内で知識蒸留を行う自己蒸留[4]を事前学習済みモデルに対して行う．この結果，最終層付近での隠れ状態ベクトルの移動量が減少し，隠れ状態ベクトルの収束性が改善された（図3）．さらに，意味的収束性との整合性が確認された（図7）．