注意機構におけるAttentionSinkのバイアス項的解釈

大規模言語モデルでは，文頭トークンに注意が集中するAttentionSink現象が知られている．この現象の機能的役割や，モデルアーキテクチャへの依存性については未だ十分に解明されていない．本研究では，注意機構において文頭トークンから各トークン表現へ加算される更新ベクトルの幾何学的な特性を分析し，それが文脈に依存しない定数ベクトルのようであることから，AttentionSink現象がバイアスのように機能している可能性を示す．さらに，推論時に該当の更新ベクトルを事前計算した定数ベクトル（固定のバイアス項）で置換する介入実験を行い，モデルの出力品質が維持されることを確かめる．