部分空間の擬似直交性によるTransformer言語モデルの内部表現の解釈

本研究は，Transformer言語モデルにおける内部表現を解釈するために，擬似直交性の概念を新たに導入してそのアテンション層およびFFN出力層の部分空間の幾何的関係を分析する．FFN層のウェイト行列の行空間が語彙空間と擬似直交していることを示した上で，FFN層からの出力が意味的概念を担うコンセプトベクトルとして機能し，内部表現の文脈化に寄与している可能性を明らかにする．