因果推論におけるLLMの構造的迎合の定量化とプロンプトによる抑制

LLMの因果推論能力を測定するベンチマークや，因果グラフの理解度を問う枠組みの整備が急速に進んでいる[1,2,3]．CausalBench[1]は，LLMの因果推論能力を包括的に評価するためのベンチマークであり，因果関係の識別や構造の推定など，多岐にわたるタスクを含んでいる．これらの既存研究の多くは，モデルが因果に関する正しい推論をいかに自律的に導き出せるか，あるいは与えられたグラフを正確に解釈できるかという「能力評価」に主眼を置いている．しかし，実務におけるLLMの活用シーンを考えると，ユーザーが仮説として因果グラフを提示し，それを前提としてデータの解釈や施策の検討を行わせる「人間とAIの協調推論」が想定される．この際，ユーザーが提示するDAGは必ずしも正解とは限らず，誤りや不完全な仮説が含まれうる．ここで深刻な課題となるのが，LLMの「構造的迎合（StructuralSycophancy）」である．LLMはユーorg/licenses/by/4.0/).org/licenses/by/4.0/).量を評価する．𝑁∑AvgClaims=1𝑖=1|𝐶𝑖|(2)𝑁ここで|𝐶𝑖|は各試行において抽出された有効な因果主張（causes/doesnotcause）の数である．AvgClaimsが低いことは，モデルが不確実性を検知して判断を保留（Abstain）したか，あるいは指示に従えず回答形式（JSON）が崩れ，抽出に失敗したことを示す．5プロンプト介入提示DAGをどの程度「規範」として扱うか，また誤ったDAGに対してどのように意思決定を行うかに応じ，以下の3段階のプロンプト介入を比較する．•P0(Strict):提示DAGを絶対的な規範とし，データと矛盾する場合でもそれに厳密に従って因果的説明を記述することを要求する．•P1(Verify):提示DAGを「検証対象の仮説」として扱う．統計サマリとの整合性を検証して最小修正DAGを提案し，「提示DAGに基づく結論」と「修正DAGに基づく結論」の両方を出力する．これは，モデルが矛盾を正しく検知・言語化できるかを診断する設定である．•P2(Verify-Repair):P1と同様の検証と修正に加え，最終的な結論として誤った提示DAGを棄却し，「修正DAGに基づく結論のみ」を出力する．これは，誤情報へのアンカリングを断ち切り，正しい構造へコミットできるかを評価する設定である．なお，JSON出力形式については，P1ではclaimsgivenとclaimsrevisedの2フィールドを，P2では単一のclaims（実質的にrevised相当）を要求するスキーマを採用している．P1とP2の設計意図：診断か，意思決定かP1(Verify)は，モデルが矛盾に気づいているかを確認する「診断的」な役割を持つ．ここでは，あえて誤ったDAGと修正案を併記させることで，迎合を抑制しつつも，元の文脈（ユーザー提示）を完全に否定しない「慎重な（non-committal）」態度を許容する．対してP2(Verify-Repair)は，実運用を見据えた「意思決定」の評価である．実務において誤った因果グラフに基づく結論を出力することはリスクとなるため，ここでは誤った構造を最終出力から排除し，修正後の構造に「コミット」する能力を問うて件平均）．Claims）の変化（条件平均）．いる．6実験結果と考察Gemini2.0Flash,Claude3.5Haiku,Llama3.370B,GPT-4.1-miniを対象とした比較実験を行った．各条件における試行の平均値について，シナリオ(5)×誤DAGタイプ(3)の結果を集計した．6.1検証指示による迎合の抑制とモデル依存性移行により，全モデルでORIが低下した．P1は「診断」フェーズであり，モデルは矛盾を検知して修正案を生成するものの，元の提示DAGも同時に出力している．この段階でのORI低下は，モデルが「盲目的な従属」から脱却し，データの矛盾を認識できたことを示している．しかし，「意思決定」を迫るP2(Verify-Repair)では，挙動が大きく分かれた．Claude3.5HaikuやGPT-4.1-miniではORIが低く維持された（誤ったアンカーを排除できた）のに対し，Gemini2.0FlashではORIが再上昇した．これは，Geminiにおいて「誤った提示DAGを完全に捨てて結論を出す」ことへの抵抗感，あるいはアンカー効果（Anchoringorg/licenses/by/4.0/).Eﬀect）が強く働き，修正案のみを出力するという強い制約下でかえって元の構造に引きずられた推論を行ってしまった可能性を示唆する．6.2迎合抑制と説明量のトレードオフ：躊躇と決断究における重要なトレードオフを浮き彫りにしている．P1(Verify)では多くのモデルでAvgClaimsが低下した．これは，提示DAGとデータの矛盾を検知した結果，確信度が下がり，断定的な主張を避ける（Abstain）傾向が強まったためである．つまり，ORIの低下（迎合抑制）は，必ずしも「正しい回答への転換」だけを意味せず，「沈黙による誤回答の回避」も含んでいる．このトレードオフを克服したのがGPT-4.1-miniであり，P2でAvgClaimsがV字回復している．これは，P2の「修正DAGのみで結論せよ」という強い決定要求が，P1での迷いを断ち切り，修正後の構造（データに即した構造）へのコミット（Commitment）を促した理想的な挙動である．一方，Llama3.370B等でP2のAvgClaimsがさらに低下している現象は，誤った前提を捨て去る負荷に耐えきれず，出力自体が崩壊（パース失敗）または過度な安全策（回答拒否）をとった結果と考えられる．この結果は，迎合を抑制する介入が，モデルによっては有用性の著しい低下を招くリスクを示している．6.3Llama3.370Bにおける特異な挙動Llama3.370BのP1における極端に低いORI（-0.6）と低いAvgClaimsは，検証指示に対して過剰反応し，提示DAGを用いた推論プロセスそのものを放棄した可能性が高い．これは「修正」というよりは「提示情報の無視」に近い挙動であり，制御された意思決定支援としては課題が残る．7一般的なプロンプトエンジニアリングへの示唆本研究で得られた知見は，DAGに限らず，より広範なユーザーインタラクションに適用可能である．•診断（Diagnosis）と意思決定（Decision）の分離:誤情報が含まれうるコンテキストを扱う際，まずP1のように両論併記で矛盾を洗い出させ（診断），その後にP2のように最終判断を下させる（意思決定）という2段階の設計が有効である．•安全性と有用性のトレードオフ:P2のような「誤情報の排除」を明示したプロンプトは，迎合を防ぐ安全装置として機能するが，同時に回答の拒否や減少を招くリスクがある．実運用では，単にORIを下げることだけを目標とせず，必要な情報量（AvgClaims）が維持されているかを監視し，モデルの耐性に応じた介入強度を選択する必要がある．8結論本稿では，LLMの構造的迎合を定量化し，検証プロンプトの効果を検証した．検証指示（P1）は迎合の「診断」に有効であるが，誤った構造を捨て去る「意思決定（P2）」においてはモデル間で能力差が顕著に現れた．同時に，検証の厳格化は「平均主張数（AvgClaims）」の減少というコストを伴うことが明らかになった．迎合を抑制できたとしても，モデルが過度に慎重になり沈黙してしまっては，意思決定支援システムとしての有用性は損なわれる．したがって，実務的にはORIを単に下げることだけを目指すのではなく，主張量とのトレードオフを考慮した最適な介入強度を見極める必要がある．また，検証プロンプトの有効性はモデルの指示追従能力に強く依存するため，モデル特性に応じた設計が不可欠である．org/licenses/by/4.0/).