大規模言語モデルの数値系列解釈メカニズムの解明に向けて：プロンプトの有無が順位情報表現に与える影響

大規模言語モデル（LLM）は，算術演算や数値的推論を含む多様な数学的タスクにおいて高い性能を示している．一方で，これらの能力がモデル内部のどのような表現や計算過程に基づいて実現されているのかについては明らかになっていない．特に，数値が系列として与えられる場合に，モデルが入力系列のどの位置に注目し，タスクに必要な情報を記憶しているのか調査されていない．本研究は数値系列を入力としたタスクを対象にプロンプト有無の違いがトランスフォーマーの隠れ状態ベクトルに与える影響を分析する．具体的には，各層におけるKey，Query，Value，および残差ストリームを抽出し，線形プロービングを用いて出力に必要な情報が読み出し可能となるか検証する．分析の結果，最大値の位置情報はプロンプトの有無に関わらず中間層以降で高精度に読み出し可能である一方，第2・第3位に大きい値の情報はプロンプトを与えても抽出が困難であることが明らかになった．本研究の結果は，LLMにおける数値系列の処理が，モデルの事前学習によって形成された固有の内部表現に強く依存していることを示唆する．