位置符号化の基底拡大戦略は外挿性能を制限する

RotaryPositionEmbedding（RoPE）はLLMで広く用いられており，一般に基底𝜃を大きい値に設定することで長文脈性能が向上すると考えられているが，コンテキスト拡張には依然として再学習が不可欠である．しかし，本研究では，基底𝜃を事前学習時の最大系列長に設定し，推論時に大きくするだけで，微調整なしで外挿性能が向上し，コンテキスト拡張のための再学習が不要となることを示す．この設定の妥当性は，RoPEの周波数帯構造の実証的および理論的分析によって裏付けられる．