部分空間の擬似直交性によるTransformer言語モデルの内部表現の解釈

1.1MechanisticinterpretabilityMechanisticinterpretability（MI:内部機序解釈可能性）[1]と呼ばれる一連の研究では，深層学習モデルの内部表現を解釈するため学習済みニューラルネットワークをリバースエンジニアリングする．パラメータや内部表現を直接数理的に分析して，解釈可能な計算回路や特徴量を特定し，その機序の説明(mechanisticexplanation)を与える．MI研究は大規模言語モデル(LLM)において特に活発である[2]．LLMの内部機序には依然として多くの未解明な側面が存在する．その解明は性能改善に加え，自然言語の構造や意味合成[3]に関する新たな知見をもたらすことが期待される．1.2LogitLens:単語分布への写像MI研究で注目される手法の一つとして，Logitlens[4]がある．これは，LLMの内部表現を単語埋め込み行列を用いて単語分布へ写像する（“logit”を計算する）ことで，人が理解できる表現（単語）に対応づけ解釈する手法である．例えば，[5]はGPT2のFeedForwardNetwork(FFN)層の出力ウェイトへLogitlensを適用すると意味的な概念を共有する単語群が現れることを実証的に示した．一方で，Logitlensが有効でない場合も報告され，内部表現を解釈できるよう復号化するための改善方法が研究されている[6].また，[7]は，FFN層とは異なる変換を用いてAttention層の作用を解釈している．これらの観察事実はTransformerの各層が異なる性質の計算を行うことを示唆する．1.3部分空間の疑似直交性単語分散表現に関する先行研究[8,9]は，単語ベクトルの集合が代数系としてのベクトル空間をなしており，語義や特徴が線形部分空間に対応する構造にあることを示唆する（線形表現仮説[10]）．本研究では，Transformerの各層が異なる線形部分空間を構成している可能性に着眼し，その幾何的な関係を調べる．本研究の新規な試みとして，ノイズを許容して直交性の定義を緩めた擬似直交という概念を適用し，次元数以上の擬似的な直交基底がTransformer各層の部分空間をなすことを示す．FFN層が概念を表現するベクトル（コンセプトベクトル）を事前学習しており，その出力が単語表現を文脈化して意味を再構成している可能性を指摘する．