文脈内構造切替下での大規模言語モデルにおける文脈内表現学習の幾何学的解析

大規模言語モデル（LLM）は，追加のパラメータ更新を伴わずに，入力された文脈（例示や指示）に応じて出力分布を変化させることができる[1]．この能力は文脈内学習（in-contextlearning）として広く研究されてきた．一方で，長い文脈における文脈内学習では，文脈の途中で入力–出力関係（規則）が変化する，あるいは複数の規則が混在する非定常な状況も考えられる．Kossenら[2]は，文脈中のラベル関係を途中で変更する設定を通して，モデルが文脈内情報を一様には利用せず，クエリに近い情報を優先する傾向を報告している．LLMの挙動を理解するうえで，出力（次トークン予測）だけでなくモデル内部の表現の変化を併せて捉えることが重要である．とくに，Transformerブロックの残差ストリームは予測に必要な状態（beliefstate）の幾何を線形に保持し得ることが示されている[3]．また，訓練過程におけるgrokkingでは，訓練性能が早期に飽和した後に汎化性能が遅れて向上し，その転移に伴って内部表現が幾何学的に整列して低次元の構造が顕在化することが報告されている[4]．このような観点から，文脈内学習を入出文脈埋め込みTransformerブロック注意1注意2注意⋯GMLP残差ストリーム文脈長ムにおける内部表現の幾何学的な整列（グラフ構造に沿った滑らかさの増大）を模式的に示す概念図．力の指標（正解率や確率質量など）のみで評価すると，文脈から抽出された情報が内部でどのような表現として形成・更新されているかを直接には捉えにくい．この点に対しParkら[5]は，有限無向グラフ上のランダムウォーク列を入力するグラフ遷移（graphtracing）タスクを提案し，文脈から遷移構造を推測できるほど，内部表現がグラフの接続関係に整合するように再編成されること，およびその整合度をディリクレエネルギー（DirichletEnergy）により定量化できることを示した．本研究でもこの枠組みに立脚し，グラフ遷移タスクのモデルの出力分布に基づく精度指標（近傍ノードへの確率質量）に加えて，タスク構造と直接対応し内部表現に基づく幾何学的指標（ディリクレエネルギー）を併用することで，規則切替に伴う表現の変化を比較する．図1に，本稿で扱うタスク設定と指標の関係を概観するための概念図を示す．本稿の中心的な問いは，文脈内で規則が切り替わるとき，モデル内部の表現が切替前規則に整合した幾何構造をどのように扱うかである．具体的には，切替後規則への適応に際して切替前規則の表現構造Thisworkispublishedwithoutpeerreviewandislicensedbytheauthor(s)underCCBY4.0(https://creativecommons.org/licenses/by/4.0/).org/licenses/by/4.0/).GridOldNewOld(newvocab)OldAccNewAcc1.0Rule-followingaccuracyRule-followingaccuracy0.80.60.40.20.0050010001500200025003000Contextlength(tokens)GridOldNewOld(newvocab)EnergyoldL10EnergynewL10EnergyoldL12EnergynewL12EnergyoldL14EnergynewL14EnergyoldL16EnergynewL16NormalizedDirichletEnergyNormalizedDirichletEnergy0.080.060.040.020.00050010001500200025003000Contextlength(tokens)（上）とディリクレエネルギー（下）の時間変化．ンレベルで分離されるため，切替前規則に整合した表現構造が切替後を通じて保持されるか，また切替後規則の構造がどのように形成されるかを直接に観察できる．結果1.Gridにおける新語彙条件の各指標の変化を図3に示す．規則切替直後（푡=1000）には，切替前規則に対する規則追従精度が大きく低下するが，文脈が進むにつれて切替後規則に対する規則追従精度が上昇し，高い水準へ到達した．同時に，切替前規則・切替後規則に対するディリクレエネルギーは各区間の開始直後に急速に低下して安定化し，規則の接続構造に整合するように内部表現が再配置されることが確認できる．結果2.切替後規則に対するディリクレエネルギーEℓ(퐺new)は，切替前規則に対するディリクレエネルギーEℓ(퐺old)よりも高い値までしか減少せず，収束した．結果３.さらに，切替前規則に対するディリクレエネルギーEℓ(퐺old)は切替後を通じて大きく悪化せず，切替前で形成された滑らかさが維持される傾向が見られた．規則を切替前規則へ戻すと（푡=2000），切替前規則側の規則追従精度は比較的短い文脈長で以前の水準へ回復し収束した．全グラフ族（Grid/Hex/Ring）にわたる結果の一覧は，付録の図5および図6に示す．