大規模言語モデルの数値系列解釈メカニズムの解明に向けて：プロンプトの有無が順位情報表現に与える影響

近年，大規模言語モデル（LLM）は自然言語生成にとどまらず，算術演算や数学的推論，数値時系列処理といった高度な数値解釈が必要ななタスクにおいても高い性能を示している[1,2]．このような能力の拡張は，LLMが数値を含む入力に対して，単なる表層的なパターン認識を超えた処理を内部で行っている可能性を示唆している．しかし，モデルが高い正解率を示す場合であっても，その回答がどフローを示す．の隠れ状態ベクトルや計算過程に基づいて生成されているのか，入出力のみから判断することは困難である．本研究では，数値系列を入力とするタスクを対象に，プロンプト有無という条件の違いがトランスフォーマーの隠れ状態ベクトルに与える影響をるか否かというプロンプト条件の違いは，モデルが注目すべき情報や計算の進め方に影響を与えると考える．トランスフォーマーの各層におけるKey，Query，Value，および残差ストリームを抽出し，線形プロービングを用いてタスクの回答に必要な情報がどの入力位置・どの層で読み出し可能となるかを隠れ状態ベクトルに与える影響分析を通じて，LLMの数値系列解釈メカニズム解明に向けた知見を提供する．