LLMの内部表現には「過去のトークンから決まる文脈情報」と「その位置で入力されたトークンによる新規情報」とが混在する．この混在により，線形プローブなどによる分析で観測される差異が，文脈由来なのか入力トークン由来なのかを切り分けることが難しい．本研究では，重みを固定したLLMの内部表現（ℎ≤𝑡）から，次トークン位置の内部表現（ℎ𝑡+1）を予測する外部予測器を学習し，その予測（ˆℎ𝑡+1）を予測可能成分，残差（𝑟𝑡+1=ℎ𝑡+1−ˆℎ𝑡+1）を新規成分として分解する枠組みを提案する．実験では，層およびトークン位置ごとに予測可能性を系統的に評価した．さらに線形プローブにより，（ˆℎ𝑡+1）は文書ドメイン分類に，（𝑟𝑡+1）は次トークン種類分類に有利であることを確認し，両者には異なる情報が線形に埋め込まれている可能性を示唆した．

大規模言語モデル（LLM）の内部表現を理解することは，モデルの挙動検証，失敗要因の特定，制御可能性や信頼性の向上において重要である[1]．しかし，自己回帰言語モデルにおける各トークン位置の内部表現には，それまでの文脈を要約した状態と，そのトークン位置で新たに入力されたトークンによる更新が同時に混在する．その結果，LLMの内部表現に含まれる情報の解釈を曖昧にし，線形プローブなどの内部表現の分析で観測される差異が文脈に影響されているのか，その位置のトークンに影響されているのかを判別することが困難である．そのため，ある層・ある位置の内部表現が，過去のトークンに依存した文脈情報と，そのトークン固有の情報のどちらに由来しているのか分解する必要がある．本研究では，重みを固定したLLMの内部表現ℎ≤𝑡から，次トークン位置の内部表現ℎ𝑡+1を予測する外部予測器を学習し，その予測ˆℎ𝑡+1を「予測可能成分」，残差𝑟𝑡+1=ℎ𝑡+1−ˆℎ𝑡+1を「新規成分」と定義する．この枠組みにより，内部表現に混在する「過去のトークンから決まる文脈情報」と「その位置で入力されたトークンによる新規情報」を分解し，それぞれが保持する情報を切り分けて分析する．