位置符号化の基底拡大戦略は外挿性能を制限する

RotaryPositionEmbedding（RoPE）[1]は，Transformer系大規模言語モデル(LLM)[2,3,4,5,6]で広く用いられている位置符号化であり，基底周波数𝜃に基づく回転行列によってトークン位置を表現する．この時，RoPEの基底𝜃を従来の10,000や500,000以上へ拡大する戦略が一般的である[2,4,5]．この設計は，相対距離に伴う注意スコアの急激な減衰を抑制するという直感に基づいており，長系列に有効と考えられている．しかし，𝜃を拡大するだけでは事前学習時の最大系列長(本稿では𝐿trainと定義する)を超えた生成性能(外挿性能)は十分に得られず，LLMが取り扱える系列長を拡張するために長系列データを用いて再学習を行う必要がある[4,7]．一方，Barberoらは，相対距離に伴う注意スコアの急激な減衰は起こりえず，クエリおよびキーの低周波次元において，全トークンにわたって高い値が連続している周波数帯が存在することを指摘した[8]．また，この周波数帯より低周波のRoPE次元をNoPEに置き換えても性能が劣化しないことを示し，これらの次元が位置情報を必要としない可能性を示した．この背景から，𝜃の拡大はRoPEの表現力を高めるのか，それとも無効な次元を増やすだけなのか？という疑問が生じる．本研究ではこの疑問に答えるマップ．縦軸は系列長，横軸はRoPEの各回転ペア（𝑖∈{0,1,...,𝑑/2}）．▼が指す次元が周波数帯である．ため，周波数帯に着目し，周波数帯が何が要因で，いつ，どこに，どのように存在するのかを実証的かつ理論的に明らかにした．その結果，RoPEは全次元を一様に利用しているのではなく，𝜃と事前学習時の最大系列長𝐿trainに依存して，限られた次元にのみ位置表現能力が集中することがわかった．さらに，𝜃を𝐿trainと同じ値に設定し，RoPE次元を最も効率的に活用することで，外挿性能が向上することを発見した．すなわち，従来，RoPEでは外挿性能が低いためコンテキスト拡張のための再学習が不可欠と考えられてきたが，RoPEの基底𝜃の拡大戦略は外挿性能を制限しており，最大系列長𝐿trainと同じ値に設定すると外挿性能が備わることを示す．