TransformerLLMの内部挙動改善：隠れ状態ベクトルの数値的収束性の向上

Transformerの事前学習済みモデルでは，各層の予測分布の意味的収束性が示される一方で，隠れ状態ベクトルの数値的収束性が確認されておらず，両者に乖離があることが問題である．本研究では，事前学習済みモデルに自己蒸留を適用し，隠れ状態ベクトルの数値的収束性を改善する．自己蒸留は，同一モデル内で深い層から浅い層へ知識を蒸留し，モデルの性能を維持しながら隠れ状態ベクトルの収束性を高めることが可能である．提案手法により，最終層付近での隠れ状態ベクトルの収束性が向上した．