大規模言語モデル（LLM）は，算術演算や数値的推論を含む多様な数学的タスクにおいて高い性能を示している．一方で，これらの能力がモデル内部のどのような表現や計算過程に基づいて実現されているのかについては明らかになっていない．特に，数値が系列として与えられる場合に，モデルが入力系列のどの位置に注目し，タスクに必要な情報を記憶しているのか調査されていない．本研究は数値系列を入力としたタスクを対象にプロンプト有無の違いがトランスフォーマーの隠れ状態ベクトルに与える影響を分析する．具体的には，各層におけるKey，Query，Value，および残差ストリームを抽出し，線形プロービングを用いて出力に必要な情報が読み出し可能となるか検証する．分析の結果，最大値の位置情報はプロンプトの有無に関わらず中間層以降で高精度に読み出し可能である一方，第2・第3位に大きい値の情報はプロンプトを与えても抽出が困難であることが明らかになった．本研究の結果は，LLMにおける数値系列の処理が，モデルの事前学習によって形成された固有の内部表現に強く依存していることを示唆する．

近年，大規模言語モデル（LLM）は自然言語生成にとどまらず，算術演算や数学的推論，数値時系列処理といった高度な数値解釈が必要ななタスクにおいても高い性能を示している[1,2]．このような能力の拡張は，LLMが数値を含む入力に対して，単なる表層的なパターン認識を超えた処理を内部で行っている可能性を示唆している．しかし，モデルが高い正解率を示す場合であっても，その回答がどフローを示す．の隠れ状態ベクトルや計算過程に基づいて生成されているのか，入出力のみから判断することは困難である．本研究では，数値系列を入力とするタスクを対象に，プロンプト有無という条件の違いがトランスフォーマーの隠れ状態ベクトルに与える影響をるか否かというプロンプト条件の違いは，モデルが注目すべき情報や計算の進め方に影響を与えると考える．トランスフォーマーの各層におけるKey，Query，Value，および残差ストリームを抽出し，線形プロービングを用いてタスクの回答に必要な情報がどの入力位置・どの層で読み出し可能となるかを隠れ状態ベクトルに与える影響分析を通じて，LLMの数値系列解釈メカニズム解明に向けた知見を提供する．