周波数エントロピーによる位置埋込みの解明

RoPEにおける周波数次元の役割は，高周波・低周波という粗い二分に基づく分析により，先行研究間で矛盾した解釈が与えられてきた．本研究は，各回転ペアを信号として周波数エントロピーで評価することで，周波数帯と周期性という二つの構造を分離して捉える．その結果，性能に本質的なのは周波数帯であり，周期性は冗長であることを示し，これらの特徴は高周波・低周波に依存しないことを示し，従来の矛盾した結果を解消する．