周波数エントロピーによる位置埋込みの解明

Transformerに基づいた大規模言語モデルは様々な生成タスクにおいて優れた能力を発揮している[1,2]．回転行列を用いた位置符号化であるRoPE（RotaryPositionEmbedding）[3]は大規模言語モデルの標準的な位置表現であり，Llama，Qwen，Gemmaモデル等で広く採用されている．しかしRoPEの「どの周波数次元が生成性能に寄与しているのか」について先行研究の主張は割れている．例えば，高周波が重要で低周波成分は不要[4]という報告，逆に高周波は使われないという報告[5]，低周波が長距離依存に寄与しやすいという報告[6]が並立している．これら既存研究の多くは，高周波や低周波といった粗い二分法に依存しており，この混乱の根本原因は，次元単位で比較可能な定量指標が欠けていた点にある．また，Llama-4[7]では，RoPE層とNoPE層を交互に併用するiRoPEを導入したが，その内部における周波数的挙動は十分に解明されていない．このように，RoPE各次元の役割に関する知見は一貫せず，観察的な議論に留まっており，理論と実証をつなぐ統一的な解析枠組みが求められる．そこで本稿では，RoPEを構成する各回転ペアを「トークン位置に沿って変化する1次元の信号」と1）∗Equalcontribution.本研究は2025年8月NTT株式会社人間情報研究所でのインターンシップの成果を含む．の分布図とクエリのℓ2ノルムのヒートマップみなし，その信号の周波数成分の偏りを，シャノンエントロピーに基づく周波数エントロピーとして数値化する．これにより，回転ペアごとに「どの周波数がどの程度テキスト生成性能に寄与しているのか」を定量的に評価可能であり，RoPEだけでなく，NoPEの評価にも適用可能である．FEは（i）局所スペクトルの集中度（周波数帯）を測るSpectrumFEと，（ii）トークン軸の周期性（周期的な次元）を測るSequenceFEからなる．これにより，次元単位で周波数の比較が可能となる．Llama-4モデルの解析から，周期的な次元はRoPE層で顕在化しNoPE層で消える一方，周波数帯は層・ヘッド・モデルに依存して出現することを示す．さらに推論時のみの重み付け介入（重み付けRoPE）により，低SpectrumFEとなる周波数帯は性能に必須だが，高SpectrumFE外れ値となる周期的な次元は冗長であることを示す．さらに，周波数帯や周期性といった特徴は，低周波・高周波という区別に基づいて決まるものではないことを示す．これにより，従来の粗い二分的分析が生んできた矛盾を解消する．