注意機構におけるAttentionSinkのバイアス項的解釈

Transformer[1]ベースの大規模言語モデル（LLM）において，内部の注意機構が文頭トークンなど特定のトークンに対して意味的重要度とは無関係に注意が偏るAttentionSink現象が報告されている[2]．この現象を考慮した工夫を導入することで性能劣化を抑えつつ注意機構の計算量を削減できるなど工学的に注目が集まっている[2–4]．その一方，この現象の発生メカニズムや機能については未だ完全には解明されていない．いくつかの既存研究は，この現象をSoftmax関数の正規化制約やモデルの構造的な制約に起因する学習の副産物として解釈している．例えば，AttentionSinkを不要な注意重みを退避させる「ゴミ捨て場」[2]や実質的な情報の更新を行わない「操作無し（no-op）」[5,6]として扱うものから，VisionTransformer[7]において情報を一時的に保存するための「レジスタ」[8]として扱うものまで多岐にわたる．また，AttentionSinkと密接に関連するものとして，中間層において注意が偏る特定のトークンで一部のニューロンが極端に大きな活性値を示す残差ストリーム𝒖𝒔𝒊𝒏𝒌≈𝝁（1）単一方向（2）分散の低さ（3）大きなノルム+++W!+𝑢'()*動的な注意計算アテンション層静的なバイアスµ𝑢"#$%&'[Sink]Acatismy出力ベクトル空間ℝ"(§4)StaticSinkPatching(SSP)での介入(§3)幾何学特徴の観察(§3)文脈に依存せず常に一定の方向と巨大なノルムを持ち，実質的なバイアス項として機能しているならば，（§4）Sinkトークンによる動的な注意機構の出力を，静的な平均ベクトル𝝁で置換することが可能であるMassiveActivations[9]が報告されている．Sunら[9]は，これらの異常活性値がモデル内部でバイアス項として機能する可能性を示唆している．この知見を踏まえると，AttentionSinkについても同様にバイアス項としての機能を持つ可能性が考えられる．しかし，この現象が、バイアス項を持たない近年のモデルアーキテクチャに特有の機能補完なのか，それともアーキテクチャに依存せず発生し，既存のバイアス項と協調する普遍的な機能なのかについては，統一的な見解が得られていない．本研究では，AttentionSinkがモデル構造の欠落を補完する暗黙的なバイアス項のように機能しているという仮説を検証する．具体的には，注意機構においてSinkトークンに由来する更新ベクトルの影響力，情報の単純性，および時間的な安定性を分析することで，文脈に依存しない定数ベクトルとしての性質を幾何学的に検証する．さらに，その動的計算を定数で置換する介入手法“StaticSinkThisworkispublishedwithoutpeerreviewandislicensedbytheauthor(s)underCCBY4.0(https://creativecommons.org/licenses/by/4.0/).org/licenses/by/4.0/).pythia-6.9bLlama-2-7b-hfMistral-7B-v0.1Qwen2.5-7BQwen3-8B-Base1.00.9SpectralRatio0.80.7R0.60.50.00.20.40.60.81.0RelativeLayerDepth(0=Input,1=Output)sink,𝑖(𝑠)（実線）とSink以外の全ての文脈トークン由来の更新ベクトルの平均𝒖(ℓ)ctx,𝑖(𝑠)（点線）における第一特異成分の支配率．値が1に近いほど，更新ベクトルが静的なバイアスとして機能していることを示唆する．し，最大の特異値𝜎(ℓ)1を持つ方向が全体に占める寄与率（SpectralRatio）を次のように計算する．SpectralRatio(ℓ)=(𝜎(ℓ)1)2/∑(𝜎(ℓ)𝑘)2(5)𝑘これを，Sinkトークン以外の全てのトークン由来の更新ベクトル(以降𝒖(ℓ)ctx,𝑖(𝑠)と呼ぶ)に対しても同様に計測し，その結果を図3に示す．いずれのモデルにおいてもSinkトークン由来の更新ベクトル（実線）では多くの層でSpectralRatioが80%以上であり，文脈トークン由来の更新ベクトル（点線）に比べて明確に高かった．これはSinkトークン由来の更新ベクトルが，入力文脈の内容に関わらず，高次元空間内でほとんど単一の方向（1次元部分空間）に縮退していることを示している．したがって，Sinkトークンは複雑な言語的特徴量ではなく，まるでバイアス項のように，単純なスカラー倍で表現可能な文脈非依存の定数ベクトルを各トークンの表現へ足し込んでいると解釈できる．3.3NormalizedVariance:時間的静止性Sinkトークンが真にバイアス項として機能しているのであれば，その出力は方向だけでなく，大きさも含めて時間的にほぼ一定のはずである．この仮説を検証するため，Sinkトークン由来の更新ベクトルのうち，時間的に変動する成分（分散）が占める割合𝑅(ℓ)を以下のように定量化し，結果を図4に示す．𝑅(ℓ)=𝔼𝑡[||𝒖(ℓ)sink,𝑡−𝝁(ℓ)sink||22]𝔼𝑡[||𝒖(ℓ)sink,𝑡||22](6)通常の文脈トークン由来の更新ベクトル（点線）は文脈に応じた変動により𝑅(ℓ)≈1.0付近を推移するのに対し，Sinkトークン由来の更新ベクトル（実線）は𝑅(ℓ)が10−2–10−1という小さい値を示した．100pythia-6.9bLlama-2-7b-hfMistral-7B-v0.1Qwen2.5-7BQwen3-8B-Base101R10