部分空間法に着想を得たTransformerのアテンションヘッドにおける特徴抽出

Transformer[1]をベースとした大規模言語モデル(LLM)が人間並の意味理解や意味生成を実現するなど高い性能を示している．LLMは単語ベクトルを入力とした演算を内部で行い質問応答などのタスクを実行するが，モデルが複雑であることから，その内部計算の解釈は困難である．Transformerベースの言語モデルに関して，その内部解明を試みる研究はBERTology[2]と呼称されるほど盛んであり，分類器を用いて符号化されている言語的情報を調べるなど多くの研究手法が提案されている[3]．特に，アテンションと呼ばれる計算過程（自己注意機構）の分析から，Transformerが文の句構造など統語的関係を捕捉していると考えられる[4]．本研究では，Transformerベースの言語モデルにおける単語分散表現の合成メカニズムを明らかにすることを目的として，アテンション内部における計算過程の解釈に取り組む．アテンションヘッドと呼ばれるサブユニットでは，入力ベクトルを低次元ベクトルへ変換した上で，ベクトル間の演算が行われる．この線型写像は特徴抽出を行う部分空間への射影と見做すことができる．部分空間法と呼ばれるパターン認識の手法[5]においてノルムを最大化する部分空間を用いて特徴ベクトルのクラス分類を行うことに着想を得て，射影によるノルムの変化率に着目した新たな指標を定義する．その上で，この指標を用いてヘッドに対応する部分空間が抽出している言語的特徴を同定する手法を提案する．Transformerベースの言語モデルの一つであるBERT[6]の学習済みモデルを用いた実験において，各アテンションヘッドが異なる言語的特徴を抽出している可能性があることを示す．