本論文では，Transformerに基づく言語モデルの内部挙動を分析する．近年の多くの事前学習済みモデルでは，入力・出力隠れ状態間の角度距離の変化が中間層では小さい一方で，最終層付近では極端に大きくなる現象が観測されている．本研究では，この現象を「ジャンプ」と定義する．また，ジャンプの大きさを定量化する指標を導入し，多くの公開モデルにおける普遍性と，事前学習中にこの現象が増幅されることを示す．次に，事前学習時にジャンプを抑制する正則化手法（JREG）を提案する．Llama系の3種類のモデルサイズでモデルを学習し評価した結果，モデル構造を変更することなく，ベースラインより高いタスク性能が得られた．

Transformerに基づく言語モデル（Transformer-LMs）は，幅広い人工知能（AI）タスクにおいて卓越した性能を示している[1,2]．この成功を背景として，これらのモデルが多様な指示に対して適切かつ流暢な応答を生成できる内部メカニズムを解明しようとする研究が活発化している[3,4]．その結果，Transformer-LMsの内部挙動を解釈する研究は，近年のAI研究における重要な分野の一つとなっている[5,6]．Transformer-LMsのモデル構造に関しては，事前学習済み言語モデルに冗長あるいは非効率なパラメータが多数存在することが報告されている一方[7,8,9]，そうした冗長性が効果的な事前学習に寄与しているとする研究も存在する[10,11,12]．特に，Llama系の事前学習済みモデルでは，中間層に冗長かつ非効率なTransformer層が多く存在することが指摘されている[9]．これは，中間層が入力とほぼ同一方向の隠れ状態ベクトルを出力しており，角度距離の変化が極めて小さいことを意味する．一方で，最終層付近では角度距離が急激に変化する現観察：最終層における隠れ状態のジャンプ隠れ状態の変位量仮説：言語モデルの望ましくない特性Jump!0.40.20Layer提案手法：損失関数への正則化項の追加JREG:Jump-SuppressingRegularizer最終層における「ジャンプ」の抑制中間層全体に処理を分散下流タスク性能の向上状態の変化は小さい一方で，最終層において顕著なジャンプが観測される．このジャンプを事前学習時に抑制することで，中間層の能力活用を促し，性能向上が期待できる．象が観測されている[9,7]．本論文では，中間層における隠れ状態ベクトルの角度変化が小さい一方で，最終層付近において大きな角度変化が観測されるという層間の非対称的な挙動に着目する．このような層間の不均衡は，モデル全体の表現能力を制限し，パラメータの冗長性を増大させる可能性がある．我々は，この現象を，モデルが中間層を十分に活用せず，最終層に過度に依存している結果として生じていると仮説を立て，これを実験的に検証する．図1に本研究の概要を示す．まず，最終層付近におけるジャンプ強度を定量化する指標を導入する．次に，多くの公開されている事前学習済みモデルにおいてジャンプが広く観測され，学習の進行とともに顕著になることを示す．さらに，我々はこのジャンプを望ましくない性質と捉え，事前学習時に最終層周辺のジャンプを強く抑制する正則化手法Jump-SuppressingRegularizerThisworkispublishedwithoutpeerreviewandislicensedbytheauthor(s)underCCBY4.0(https://creativecommons.org/licenses/by/4.0/).org/licenses/by/4.0/).0.40.20.0