言語モデルのパラメータから探るDetokenizationメカニズム

近年の多くの言語モデル(LM)[1–5]はサブワードトークン[6,7]を入出力に用いる．そのため，LMは“Sapiens”のような単語や名前を，“Sap”と“iens”のように部分に分割された形で扱うことがある．このようにトークン分割（Tokenization）は必ずしも言語的に意味のあるものになるとは限らず，言語モデルの初期層は，こうしたサブワードトークン列をより意味のある単語や名前の表現に変換するDetokenizationの役割を持つとされている[8]．Detokenizationに関して，これまではモデルへの入力文の選択やプローブの訓練を伴う経験的な実験がなされ，どの層がDetokenizationに関連する振る舞いを示すかが示されてきた[9,10]．本研究では，GPT-2[2]の第1層の注意機構を分解することで，Detokenizationの重要な側面のいくつかが経験的な1）github.com/gokamoda/lm-detokenization構に着目し，モデルの重みを分析する．モデル計算を分解することで，Detokenizationの2つの重要な条件であるBigramの再構築と近いトークンへの注意を分離して解釈する.手法を用いずともモデルの重みから理解できることを示す．Detokenizationにおいて重要なのは，単語やフレーズを構成するトークンに対する注意である．これまでの研究では，Detokenizationのn-gramに対する注意を分析してきた[9,10]．しかし，これらの分析はトークン埋め込みによる影響と位置埋め込みによる影響を分離していない．本研究では，LayerNormを考慮しながら，位置情報を除いた表現の注意に対する影響を分析する(§3)．もう一つの重要な側面は，近いトークンへの注意である．本研究では重みに対する分析を行い，GPT-2の第1層では，入力トークンに関係なく，位置的に近いトークンに高い注意が割り当てられることを示す（§4）．さらに，学習された絶対位置埋め込みに2つの成分から構成されることを示す．第1の成分は，ALiBi[11]に類似した線形バイアス成分と見なすことができる．第2の成分は，正弦波形状を持ち，正弦波[1]やロータリー[12]位置エンコーディングを思い起こさせる．これらの2つの成分が.重なり合うことで，近いトークンに対する注意の偏りが生じていることを示す．