𝑛-gramに基づく推論モデルの信頼度と較正特性の分析

大規模言語モデル[1,2,3,4]は，最終的な答えのみを直接出力するのではなく，その過程として段階的な推論を明示的に生成することで性能を向上させる手法が広く用いられている[5,6,7]．このような流れの中で，強化学習などを用いて推論過程そのものを学習に組み込んだ推論モデル（Reasoningmodels）[8,9,10,11]が注目を集めている．一方で，推論モデルが生成する推論過程には，「AかBか判断が難しい」「情報が不足している」「別の可能性も考えられる」といった言語的な不確実性表現が含まれる場合があるにもかかわらず，最終的な出力はしばしば高い確信度を伴って生成されることが指摘されている[12,13]．このような推論過程と最終出力との間に生じる過信の乖離は，モデルが自身の不確実性を適切に表現できていないことを示唆しており，誤答や幻覚に対しても過度に確信的な回org/licenses/by/4.0/).org/licenses/by/4.0/).1.0DeepSeek-QwenDeepSeek-Llama0.80.60.40.20.00.20.40.60.81.00.00.00.20.40.60.81.0𝑛-gramを抽出する．これにより，モデルが高い確信度を示す推論と低い確信度を示す推論に影響を与える言語表現を定量的に明らかにする．4実験設定モデル.実験で用いる推論モデルにはモデルの大きさや性能などを考慮して，DeepSeek-R1[8]から蒸留された[30]LlamaおよびQwen，またPhi-4[31]とGPT-OSS[32]を用いる．詳細な実験設定およびモデル名は付録に記載する．データセット.QAデータセットには，信頼度を算出可能な複数選択QAを用いる．具体的に数学のタスクであるMathQA[33]，様々な分野を有するMMLU[34]，長文読解や英文理解のHellaSwag[35]，RACE[36]，およびCosmosQA[37]の5つのデータセットを用いる．MathQAは5択，それ以外のQAは4択である．MMLUには数学や情報科学，物理などの推論を要する分野に絞り，それぞれのデータサイズは2,985，1,990，10,042，3,498，2,985件ある．5実験結果および分析信頼度と精度をプロットした信頼度曲線を図1に，また回帰分析の結果を表1に記載する．図1の結果を見ると，全てのモデルにおいて信頼度が高い時に相応した正解率が出ていないことがわかり，常に過剰信頼であることが示される．推論モデルの信頼度は適切か.信頼度曲線の図はx軸が3節で説明した信頼度，またy軸は正解率を表す．信頼度曲線の解釈として，それぞれのビンに分けた際に信頼度に沿った正解率であるかを可視化し，モデルが過剰信頼か過小信頼かどうか判断することのできる(例えば70%の自身で予測した問題の正解率は70%であることが望ましい)．本研究では先行研究に倣って[38,39,40]，それ70%であることが望ましいということである．Phi-4GPT-OSS0.00.20.40.60.81.00.00.20.40.60.81.0ぞれのビンを10本に分け，そのビンに含まれる信頼度の平均および，正解率をプロットしている．結果を見ると，点線で書かれた生成手法では信頼度が高い区間のほとんど(0.4以降)で最適な線よりも低いことを表し，これは信頼度が大きい一方で正解率が相応していない過剰信頼の状態を示す．この結果は強制デコード手法の結果や他のモデルを見ても同じ傾向であり，過剰信頼であることがわかる[12]．どのような言語情報が信頼度に影響するか.る影響を示す．Qwenでは，信頼度に正の寄与を示す𝑛-gramとしてoption,optionhmmlettry,maybe,perhaps,perhapswaitperhapscalculateなど，解答を断定せず複数の可能性を示唆する表現が多い．一方，負の寄与を示す表現にはperhapsmistakewaitletcheck,letcheck,subtract,makesuredidn1）makemistake，doublecheckなど思考を整理する表現が多い．Llamaにおいても同様に，ﬁgure,perhaps,lookingoptions,waitperhaps,answerwaitdoublecheckなど推論中の検討や再思考を示す表現が信頼度を高める一方，needdetermine,calculate,totalnumberなど，思考を整理する表現が信頼度を下げる傾向がある．以上より，両モデルに共通して，推論モデルの信頼度は推論の正確さよりも，推論過程をどのような表現にするかで影響されることが分かる．さらに，先行研究により[20]，waitやhmmなどの語を意図的に挿入して推論を長くすることが，性能向上に寄与することが知られている．我々はこれらの語が性能向上に寄与するだけでなく，モデルの信頼度にも影響を与える重要な要素であることを明らかにした．正解率と信頼度に影響を与える言語表現.る𝑛-gramが多数観察される．特に，青太字で示さ1）Vectorizerのtoken_patternにより’tが除去されている．org/licenses/by/4.0/).特徴量に対してZスコア標準化している．†は標準化前の特徴量が0であった結果を示す．青太字は信頼度が低下し正解率が向上した特徴，赤下線は信頼度が向上し正解率が低下した特徴を示す．1-gram信頼度精度頻度2-gram信頼度精度頻度3-gram信頼度精度頻度4-gram信頼度精度頻度5-gram信頼度精度頻度looking1.970.00†27776optionsanswer