潜在多様体に基づく中間推論のステアリング

大規模言語モデル(LargeLanguageModel;LLM)の推論能力は急速に進展している[1]．Chain-of-Thought(CoT)[2]，Self-Consistency[3]，Tree-of-Thought[4]などの明示的に中間推論ステップを生成する手法は，LLMの下流タスクにおける精度向上を可能とする．LLMの推論過程を出力させることは，モデルがどのような思考で結論に至ったのかを分析することを容易にし，その推論挙動の解釈可能性を高める．しかしながら，LLMは最終的な回答が正解であるにも関わらず，誤った推論過程を生成する場合があり[5,6]，これは推論過程の論理的整合性の評価が必要であることを示す．本課題を解決するために，LLMの振る舞いを推論時に制御する手法であるActivationEngineering[7]による推論過程のステアリングが活用されている．Kirtaniaは，証明生成における中間推論の整合性向上にActivationSteeringを用いた[8]．一方で，既存手法はユークリッド空間上の線形演算による隠れ状態の操作に依存しており，隠れ状態が多様体として表現されることを考慮していない．本研究では，潜在多様体上でLLMの隠れ状態をステアリングする手法を提案する．提案手法の概要を図1に示す．本手法では，gpt-oss-20b[9]により推論ステップごとの品質スコアを付与したデータセットでVAEを学習し，対象LLMの隠れ状態を潜在空間上のより高品質な領域にステアリングする．VAEが隠れ状態を近似的にガウス分布に正則化された空間に写像することで，元の隠れ状態空間にみられる異方性が緩和されるため，潜在空間上での線形演算が安定すると考えられる．Llama3.2[10]とQwen3[11]の6種類のLLMを対象に，GSM8kデータセット[12]で提案手法を評価する．評価実験の結果，提案手法は最終回答の精度を向上するのみでなく，生成される推論過程の論理的整合性，忠実性およびステップ単位の一貫性のスコアを向上させることが示された．本研究の主要な貢献は以下の通りである．1.潜在空間上で隠れ状態を操作し，より論理的整合性の取れた推論過程を生成する手法の提案