LLMエージェントにおける指示曖昧性の内部表現解析

大規模言語モデル（LLM）は情報検索（QA）から，実環境への介入を伴う「自律エージェント」へとその役割を急速に拡大している[1]．しかし，現実世界においてユーザーが発する指示は，常に明確であるとは限らない（図1,左）．曖昧な指示に対するエージェントの恣意的な解釈の元での実行は，現実世界における不可逆的な誤操作に直結する危険性を孕んでいる．したがって，エージェントが指示の曖昧さを正しく検知し，必要に応じてユーザーに聞き返す能力を持つことは，システムの安全性を担保する上で重要である．指示の曖昧性検知の課題に対しては，既存研究の多くは，高精度な検知器の構築という「エンジニアリング」に焦点を当ててきた[2,3,4,5,6]．しかし，実環境への作用を伴うクリティカルな環境では，ブラックボックスな出力監視のみによる安全性担保には限界がある[7]．予期せぬエラーを防ぎ信頼性を根本から高めるには，LLM内部における指示曖昧性の処理メカニズムの解明が不可欠である．そこで本研究では，指示遂行タスクにおけるモデ入力（曖昧な指示）モデル（LLM）テキスト出力と内部状態の乖離LLMの応答生成によるテキスト生成結果add_block(3,4,4,green)…恣意的な解釈による実行「緑のブロックを上に乗せて」⇒どちらの上？内部状態(Probe)LinearProbe“AMBIGUOUS”ル内部・出力の乖離．「緑のブロックを上に置いて」という多義的な指示に対し，モデル内部では曖昧性が表現されているもののテキスト出力は指示に対する恣意的な解釈により実行してしまうルの内部機序の解明を最終目標として，以下の3つのリサーチクエスチョン（RQ）に取り組む．•RQ1:曖昧なユーザー指示は，LLMの内部でどのように表現されているか？•RQ2:内部表現から抽出できる曖昧性情報は，プロンプトベースのテキスト出力による判定と比べてどの程度異なるか？•RQ3:プロンプト手法は，曖昧なユーザの指示の内部表現にどのような影響を与えるのか？我々の仮説は次の通りである:(1)QAタスクにおける回答可能性と同様[8]，指示曖昧性は中間層以降で線形分離可能な形で符号化されている，(2)SycophancyBias[9]の影響により，モデルは内部で曖昧性を表現していても出力に反映しない場合がある，(3)プロンプトはモデル内部の曖昧性情報を精錬しテキスト出力に正確に反映することに寄与するが[10]，内部表現そのものには影響がない．これらの仮説を検証するために，モデルの内部状態から推定できる指示曖昧性と，プロンプトから得られる出力を比較した（図1）．具体的には，InstructionTuning済みLLMとIGLUデータセット[11]を用い，(1)LinearProbingによる各層内部状態の曖昧性情報の測定，(2)各種プロンプトThisworkispublishedwithoutpeerreviewandislicensedbytheauthor(s)underCCBY4.0(https://creativecommons.org/licenses/by/4.0/).org/licenses/by/4.0/).生成による曖昧性判定評価．Hint（曖昧性の示唆），CoT（Chain-of-Thought），Shot数によるタスク成功率（EM）と曖昧性判定精度（F1）の比較．各モデルにおける最大値を太字で示す．SettingQwen3-14BGemma-3-12BHintCoTShotEMF1EMF1××Zero0.2370.4860.0350.485××Few0.2930.5000.2020.486×✓Zero0.5140.4960.1570.483×✓Few0.5340.5100.3090.508✓×Zero0.0980.6270.1200.577✓×Few0.3170.5960.2030.551✓✓Zero0.4780.5830.2580.511✓✓Few0.4900.6240.2750.598検知」とみなす．4.2内部分析モデル内部における曖昧性情報の符号化を検証するため，LinearProbingを用いる．具体的には，モデルの第𝑙層における隠れ状態ベクトルh(𝑙)を入力とし，指示の明確性ラベル𝑦labelを予測するロジスティック回帰分類器を学習させる．具体的には，文献[8]に倣い以下の4つの位置（トークン）における隠れ状態を使用する．•prompt_end:入力プロンプトの末尾•thinking_end:CoT生成終了時（CoTありの場合のみ）•plan_start:実行プラン生成の直前•output_end:生成終了時学習データを用いて分類器を学習し，検証データによりハイパーパラメータを最適化する．その後，決定されたハイパーパラメータを用いて学習データおよび検証データを統合して再学習を行い，テストデータを用いて曖昧性判定精度を評価する．5実験5.1実験設定本研究では，指示の曖昧性を評価するベンチマークとして，3次元ブロック構築環境における対話タスクであるIGLU2022データセット[11]を利用した．本章では実験設定の概要を述べ，詳細なデータセット構成，モデル仕様，およびプロンプトについては付録Aに記載する．データセット．公開されているIGLU2022のキスト出力と内部状態（LinearProbing）の曖昧性判定性能（MacroF1）の比較．Probingは同設定内で最も性能が高かった層・位置の値を採用．ModelTextF1ProbingF1BestLayerInfoQwen3-4B0.5110.606layer34(prompt_end)Qwen3-8B0.5880.625layer35(prompt_end)Qwen3-14B0.6240.625layer22(prompt_end)Gemma-3-4B0.5330.584layer27(prompt_end)Gemma-3-12B0.5980.621layer30(output_end)Singleturn学習用データをベースに，タスク遂行評価（ブロック配置の成否）と曖昧性判定（指示の曖昧さラベル）を同時に検証可能な統合データセットを構築した．データセットは全体を通して指示が明確（Clear）な事例が大半を占めており，曖昧（Ambiguous）な事例は全体の約9.4%の不均衡な構成である．本実験では，これを分割し作成したテストデータを用いて評価を行った．モデルとプロンプト．Qwen3（4B,8B,14B）およびGemma-3（4B,12B）シリーズのInstructionTuning済みモデルを用いた．各モデルに対し，指示の曖昧性を示唆する「ヒント」の有無，およびCoTの有無，Few-shot提示の有無を操作した複数の条件下でプロンプトの比較を行った．5.2結果:テキスト出力における性能プロンプトを用いた応答生成の結果，CoTやFew-shotの導入は，明確な指示に対するタスク成功率（ExactMatch）を向上させた．一方で，指示の曖昧性判定（MacroF1）については，CoTやFew-shotによる一貫した改善効果は見られず，曖昧性を示唆する「ヒント」を与えない条件下ではランダム推測（≈0.5）と同等の精度に留まった．ヒントの付与は判定精度を全体的に底上げするものの，そこでもCoT等のプロンプト工夫による追加的な改善効果は限定的であった（表1）．5.3結果:内部状態における曖昧性の表現指示曖昧性が内部表現に符号化されている．内部表現を入力としたProbeは，ほとんどのモデルにおいてランダム推測を上回る精度（MacroF1>0.6）で曖昧性を識別できていることが明らかになった（表2）．また，層ごとの詳細な分析からは，中間層から深層にかけて識別性能がピークに達する傾向が見られた（図2）．加えて，最終層では低下する傾向が観org/licenses/by/4.0/).無が「タスク成功率（明確な指示）」と「内部状態による曖昧性識別精度」に与える影響の比較．CoTはタスク遂行能力（EM）を大幅に改善するが，内部の曖昧性検知（ProbingF1）には寄与しない（あるいは低下させる）乖離が見られる．TaskSuccess(EM)InternalProbing(F1)Settingw/oCoTw/CoTw/oCoTw/CoTZero-shot0.2370.5140.6510.608Few-shot0.2930.5340.6480.659察された．これは，出力生成時に他の概念が優勢になっている可能性を示唆している．テキスト出力との乖離．プロンプトに曖昧性を示唆するヒントを与える条件下においても，LLMの生成テキストから曖昧性判定する手法と比べ，Probeによる曖昧性の識別は同等以上の精度となることが明らかになった（表2）．これは，LLMが内部で曖昧性を表現していても，生成された応答にはその情報が十分に顕在化していない，あるいは活用しきれていないことを示唆している．この要因として，ユーザーの期待に応えようとするSycophancyBias[9]の影響により，モデルが内部で曖昧性を表現していながらも，「実行可能」な振る舞いを優先して生成を行っている可能性が示唆される．CoTは曖昧性の内部表現を改善しない．CoTがタスク成功率を向上させつつも，内部の識別精度には影響を与えなかった点について考察する．表3に示す通り，CoTの導入によりQwen3-14Bのタスク成功率（EM）は大幅に向上したが，内部状態による識別精度（ProbingF1）は改善せず，むしろ僅かに低下する傾向が見られた．この結果は，CoTがモデル内部における「曖昧性の符号化」そのものを強化しているわけではないことを示唆している．これは，推論能力の強化と内部の曖昧性表現が連動しない可能性を示しており，エージェントの制御においてはこれらを区別して扱う必要性を示している．LLMの内部状態は多義的な情報が重ね合わせとして表現されており[12,10]，指示の曖昧性もまた，このような基底的な概念の一つとして，プロンプトに依らず指示から直接形成される可能性が高い．6結論本研究では，LinearProbingを用いてLLMにおける指示曖昧性の表現を解析した．実験の結果，モデル内部の曖昧性表現がテキスト出力に十分に反映されていない可能性が示唆された．具体的には，曖昧1.0OutputEndPlanStartPromptEndThinkingEnd0.8MacroF1Score0.60.40.20.0010203040LayerF1）の推移（ヒントなし・CoTあり・Few-shot条件）．破線はランダムベースライン（F1=0.5）を示す．中間層から深層にかけて性能が向上していることが確認できる．性は中間層から深層にかけて線形分離可能な形で符号化されており，そのピークでの識別精度はテキスト出力と同等かそれ以上であった．さらに，CoTはタスク遂行能力を改善する一方で，内部の曖昧性識別精度には寄与しないことが明らかになった．これは，推論プロセスを強化するプロンプトの工夫と，モデル内部の曖昧性表現は必ずしも連動しない可能性を示唆している．本研究はエージェントの指示曖昧性を内部表現レベルで初めて解析し，安全性評価の新たな視点を提供するものである．限界．本研究の限界として，データの不均衡や特定のタスク環境（IGLU）への依存が挙げられ，今後はより広範な検証が求められる．また，分析手法であるLinearProbingは相関関係の提示に留まり，因果関係の特定には至っておらず，ショートカット学習の可能性も完全には排除できていない．曖昧性の判定に関わるメカニズムを厳密に解明するには，今後Steering[15]等を用いた因果介入による検証が必要である．さらに，本手法による曖昧性判定の精度（MacroF1最大0.651）は，Fine-tuningを用いた先行研究（BERT:0.732[2],LLaMA-2:0.818[5]）には及ばない．しかし，本研究の目的は最高性能の追求ではなく，曖昧な指示がモデル内部でいかに処理されるかを理解することにある．org/licenses/by/4.0/).