LLM内部表現における予測可能成分と新規成分の分解

大規模言語モデル（LLM）の内部表現を理解することは，モデルの挙動検証，失敗要因の特定，制御可能性や信頼性の向上において重要である[1]．しかし，自己回帰言語モデルにおける各トークン位置の内部表現には，それまでの文脈を要約した状態と，そのトークン位置で新たに入力されたトークンによる更新が同時に混在する．その結果，LLMの内部表現に含まれる情報の解釈を曖昧にし，線形プローブなどの内部表現の分析で観測される差異が文脈に影響されているのか，その位置のトークンに影響されているのかを判別することが困難である．そのため，ある層・ある位置の内部表現が，過去のトークンに依存した文脈情報と，そのトークン固有の情報のどちらに由来しているのか分解する必要がある．本研究では，重みを固定したLLMの内部表現ℎ≤𝑡から，次トークン位置の内部表現ℎ𝑡+1を予測する外部予測器を学習し，その予測ˆℎ𝑡+1を「予測可能成分」，残差𝑟𝑡+1=ℎ𝑡+1−ˆℎ𝑡+1を「新規成分」と定義する．この枠組みにより，内部表現に混在する「過去のトークンから決まる文脈情報」と「その位置で入力されたトークンによる新規情報」を分解し，それぞれが保持する情報を切り分けて分析する．