In-contextLearning(ICL)は，言語モデルにおける新たな少数ショット学習パラダイムとして注目されているが，その内在的メカニズムは十分に解明されていない.本研究では，ICLの推論ダイナミクスを3つの基本操作に分解し，それらを基盤として推論回路を構築した上で精密な測定を行い，従来の研究で観察されてきた現象を統一的に説明することを試みた.さらに，提案した回路を無効化するアブレーション分析の結果，ICLの性能が顕著に低下することが確認され，提案した推論回路がICLの主要なメカニズムであることが示唆された1）.

In-contextLearning(ICL)[1,2]は，言語モデル(LM)における少数ショット学習パラダイムである.ICLでは，通常，図1のような入力列[𝑥1][𝑠1][𝑦1][𝑥2][𝑠2][𝑦2]...[𝑥𝑞][𝑠𝑞]を構築する.ここで，𝑥𝑖は入力テキスト(𝑥1∼𝑘はデモ，𝑥𝑞はクエリと呼ばれる)，𝑦𝑖はラベルトークン，𝑠𝑖は，その直後にラベルトークンが来ることを意味する記号(以後「予兆トークン」;例えば“Label:”内のコロン)である.この入力列をLMに入力することで，次のトークンの予測確率を計算し，その予測確率を𝑥𝑞のラベル予測値として利用する.ICLは広い関心を集めており，先行研究では，ICLのメカニズムの理論的または実証的な説明が試みられてきた[3,4,5,6,7,8,9,10,11,12,13]．しかしながら，大規模言語モデル(LLM)のICLにおける推論ダイナミクスや興味深い推論現象を十分に理解できる包括的な説明は未だに存在しない.そこで本論文では，ICLの推論ダイナミクスとして，3つの基本操作からなる推論回路を提案する．具体的には，ICLの推論プロセスを図1のように分割する.Step1:入力テキストエンコード.各入力1）本論文の完全版はICLR2025に投稿されており，https://arxiv.org/abs/2410.04468からアクセスできる.各入力テキストをエンコードする.Step2:デモの内部表現を，対応するラベルセマンティクスと統合する.Step3:クエリの内部表現に類似する統合ラベルの内部表現を検索し，それをクエリの内部表現にコピーする.テキスト𝑥𝑖を，対応する予兆トークン𝑠𝑖の隠れ状態に線形表現としてエンコードする.Step2:セマンティクス統合.各デモについて，Step1で作られた𝑠𝑖の内部表現を，対応するラベルトークン𝑦𝑖の隠れ状態と統合する.Step3:特徴検索とコピー.クエリ𝑠𝑞の内部表現に類似する，Step2で作られたラベルトークン𝑦1:𝑘の内部表現を，タスク関連部分空間内で検索し，それをクエリ𝑠𝑞の内部表現と統合する.Step2-3はICLの主要メカニズムであるInductionCircuitに相当するが，これらの先行研究は人工的な実験に留まっており，より大規模で複雑なLLMの推論ダイナミクスを説明できるかは自明でない.本研究の貢献は，(1)ICLの推論ダイナミクスを説明する3ステップの推論回路を提案し，LLMを用いて各ステップの存在を実証的に確認したこと(§2,3,4)，(2)アブレーション分析により，提案した回路が主要な役割を果たしていることを確認したこと(§5)，(3)ICLの推論プロセスの既存研究で観察された現象を解明するためにより詳細な測定を実施したこと(§2,3,4,付録B)，である.1.1実験設定最新のLLMであるLlama3(8B,70B)[14]，Falcon(7B,40B)[15]を用いた.特に断りのない限り，本論.0.2750.300.2500.250.225MNKAMNKA0.2000.200.175yk+1xk+10.1500.15sk+10.125020406080文の結果はLlama370Bに基づくものである.これは，その深く狭い構造が階層的な推論ダイナミクスを示しやすいためである.また，文分類データセットSST-2[16]，MR[17]，FinancialPhrasebank[18]，SST-5[16]，TREC[19,20]，AGNews[21]を用いてICL形式のテスト入力を構築した.特に断りのない限り，ICLへの入力には𝑘=4個のデモを使用し，これらの結果の平均値を報告する.その他のモデルの結果，テストデータのサンプリング方法やプロンプトテンプレート等の詳細は，完全版論文1）を参照されたい.