ウェーブレット位置符号化

Transformerに基づいた大規模言語モデルは様々な生成タスクにおいて優れた能力を発揮している[1,2]．しかし，事前学習時の計算資源の制約から，入力文の最大系列長（本稿では，𝐿𝑚𝑎𝑥と定義する）を事前に決める必要があり，その結果，𝐿𝑚𝑎𝑥よりも長い文を外挿すると性能が大きく下がる．これはモデルが事前学習時に𝐿𝑚𝑎𝑥を超える位置の表現を学習していないことが原因である[3]．位置の表現の学習には，正弦波位置符号化（SPE）[1]や回転行列による位置符号化（RoPE）[4]など，正弦波のような無限かつ周期性を持つものが有効とされている．特に，RoPEは長文を扱う多くの大規模言語モデルで多く採用されている．しかしながら，RoPEの外挿性能は低いため，一般的には位置補間手法[5]が適用されるが，これらは事前学習に加えて追加の微調整が必要であり，学習コストがさらにかかってしまう．これに対し，線形バイアスを使った位置符号化（ALiBi）[3]は微調整なしで外挿が可能である．しかし，ALiBiは，スライディングウィンドウ[6]のようにアテンションの受容野を制限するため[7]，遠い依存関係にある情報は取得できない課題がある．本研究では，外挿可能かつアテンションの受容野を制限しない位置符号化について検討する．初埋め込みの代わりに，ウェーブレット関数𝜓𝑎,𝑏に基づいて相対位置(𝑝𝑚,𝑛)𝑇を計算する．この例ではリッカーウェーブレットを示している．スケール𝑎とシフト𝑏は，ヘッドの次元数𝑑によって変わる．めに，RoPEは時間周波数解析手法であるウェーブレット変換（WT）[9]の一形態であると解釈できることを示す．時間周波数解析は信号を時間と周波数に解析し，時間経過に伴う信号の動的な変化を捉えることができる．文内の各トークンの位置を時間として解釈したとき，RoPEは位置の順序に従って変換を行うのではなく，次元の数に従って変換を行うため，時間経過に伴う信号の動的な変化を捉えることができない．さらに，WTにおけるスケールパラメタに対応する窓サイズは一定であり，RoPEは信号を複数のスケールで分析できるというWTの重要な特性を十分に活用できていない．これらの分析から，本研究ではWTを位置符号化に適用したウェーブレット位置符号化を提案する．位置の順序に沿ってWTを実行し複数の窓サイズを導入することで，本来の機能を位置符号化に適用する．さらに，相対位置表現（RPE）の方法論[8]に従うことで，提案手法は比較的容易に実装することができる．外挿機能の実験結果から，従来の位置符号化と比べて提案手法が有効であることがわかった．.