Transformer事前学習における最終層隠れ状態ジャンプの抑制

本論文では，Transformerに基づく言語モデルの内部挙動を分析する．近年の多くの事前学習済みモデルでは，入力・出力隠れ状態間の角度距離の変化が中間層では小さい一方で，最終層付近では極端に大きくなる現象が観測されている．本研究では，この現象を「ジャンプ」と定義する．また，ジャンプの大きさを定量化する指標を導入し，多くの公開モデルにおける普遍性と，事前学習中にこの現象が増幅されることを示す．次に，事前学習時にジャンプを抑制する正則化手法（JREG）を提案する．Llama系の3種類のモデルサイズでモデルを学習し評価した結果，モデル構造を変更することなく，ベースラインより高いタスク性能が得られた．