部分空間法に着想を得たTransformerのアテンションヘッドにおける特徴抽出

Transformerをベースとした言語モデルは，幅広い自然言語処理タスクにおいて高い性能を示している．本研究は，文における単語分散表現の合成メカニズムを解明するため，Transformerのアテンションヘッドに注目し，その内部計算を部分空間への射影と捉え，ノルムの変化率により各ヘッドで捕捉される言語的な特徴を同定する新たな手法を提案する．事前学習済みBERTを用いた実証実験では，各アテンションヘッドが異なる特徴を抽出している可能性が示唆される．