大規模言語モデル（LLM）の確信度推定において，モデルに確信度を自己申告させるVerbalizedConﬁdence（VC）の有効性が報告されているが，その適用範囲は明確でない．本研究では，シングルホップ／マルチホップQAタスクにおいてVCが較正（Calibration;確信度と正答率の一致度）および識別（正誤の識別能力）を改善する条件を，出力の一貫性に基づくベースラインとの比較により検証した．その結果，シングルホップでは一部のVC手法がベースラインを上回り，マルチホップではChain-of-Thought（CoT）が有効な場合がある一方，モデルによってはベースラインを下回る結果も観測された．さらに，公開情報に基づく便宜的分類としてポストトレーニングに強化学習（RL）を含むモデル群と含まないモデル群を比較すると，前者でVCによる改善が見られやすい傾向があった．

大規模言語モデル（LLM）の実サービス適用が進むにつれ，LLMが事実と矛盾する情報を生成する「事実性」の問題は依然として重要な課題となっている[1,2]．この問題に対する解決策の一つが確信度推定であり，モデルの出力に対する確信度を定量化することを目的とする[3]．確信度推定手法のうち，複数サンプルの一貫性に基づく手法は頑健な較正（Calibration）を示すことが報告されている．Farquharら[4]はSemanticEntropyが良好な較正を達成することを示した．一方，Tianら[5]は，RLHFで学習されたモデルを用いたシングルホップQAにおいて，VerbalizedConﬁdence（VC）が，複数サンプルの頻度に基づくLabelprobability（Labelprob.）より良好な較正を示すケースを報告した．また，Podolakら[6]は推論モデルの推論トークSingle-hopMulti-hop0.3BetterBetter0.2ECE(improvement)0.10.00.1VCtop-1VCtop-2VCCoTRL-basednon-RL0.20.30.40.20.10.00.10.20.10.00.1ROC-AUCROC-AUC対性能（ΔROC-AUC,ΔECE；右上ほど良い）．ΔROC-AUCはROC-AUCの差（method−Labelprob.），ΔECEはECEの改善量（Labelprob.−method）．マーカーはモデル群（RL-based/non-RL）を示す．薄色は個別条件，濃色は平均，エラーバーは標準偏差．ン数を制御する実験を行い，推論量を増やすとVCの識別能力がSemanticEntropyの水準に近づくことを報告した．筆者ら[7]は，マルチホップQAにおける根拠レベルの確信度評価において，Labelprob.が最も頑健であることを示した．これらの知見は，VCの有効性がタスクの複雑性（シングルホップvsマルチホップ），確信度の粒度（回答レベルvs根拠レベル），およびモデルの学習手法に依存する可能性を示唆している．そこで本研究では，複数生成の一貫性に基づくLabelprob.をベースラインとして，回答レベルの確信度においてVCが有効となる条件を，複数のLLMを用いシングルホップおよびマルチホップQAタスクで検証する．検証には筆者らの先行研究[7]の枠組み1）を用いる．図1に，Labelprob.に対する各手法の相対性能を示す（詳細は§4参照）．さらに，推論モデルを用いた予備的検証も行い，推論量の効果を比較する．本研究の貢献は以下の3点である．1.VCの有効条件の明確化:RL-based（GPT-4.1系，1）https://github.com/aiishii/finegrained_confThisworkispublishedwithoutpeerreviewandislicensedbytheauthor(s)underCCBY4.0(https://creativecommons.org/licenses/by/4.0/).org/licenses/by/4.0/).的な分類としてモデルを2群に分けて分析する．なお，本分類は便宜的整理であり，因果的結論を主張するものではない．RL-based（GPT-4.1系，Llama-4）は，ポストトレーニングにRLベースの選好最適化を含む（可能性が高い）モデル群である．non-RL（Phi-4）は，RLベースの選好最適化を含まない（または公開情報からは確認できない）モデル群である．GPT-4.1系は，GPT-4がRLHFによって微調整されたことが報告されている一方で，GPT-4.1の学習手法の詳細は公開資料では明記されていない．本稿では，GPT-4.1がGPT-4系列の後継として提供されていることを踏まえ，便宜上，同様のRLHF等を含む可能性が高いと推定した．Llama-4についても公開情報にポストトレーニングの詳細が明記されていないが，本稿では便宜上，RL-based（推定）に分類した．Phi-4はMicrosoft社の技術報告[20]においてSFTのみが明記されている．実験はAzureAIFoundry経由で実施した．Labelprob.は温度0.7で10回サンプリングし，VC/Tokenprob.は温度0で生成した．自動評価の設定（判定スキーマ，プロンプト，温度設定など）は筆者らの先行研究[7]と同一である．なお，Phi-4の2WikiMultiHopQAは回答精度が著しく低く確信度推定が不安定であったため評価対象から除外し，GPT-4.1を対象に追加した．4結果録表4を参照されたい．シングルホップQA:SciQにおいて，RL-basedではVCtop-2が最良のECEを達成した（GPT-4.1-mini:0.10，Llama-4:0.07）．VCCoTは効果が限定的であり，Tianら[5]の知見と整合する．non-RLのPhi-4では，Labelprob.がECE・ROCともに最良であり，全てのVC手法がLabelprob.を下回った．Selective-AUCについても概ねROC-AUCと同様の傾向が見られ，VCの有効性がモデル群に依存することが確認された（付録表4）．マルチホップQA:2WikiおよびJEMHopにおいて，RL-basedではVCCoTまたはVCtop-2によりLabelprob.から改善が見られた（Llama-4,2Wiki:ECE0.55→0.35）．Tokenprob.が取得可能なGPT-4.1系では，Tokenprob.がECE・ROCともに最良となる2Wiki（マルチホップ），JEMHop（マルチホップ）．各モデル，データセット，指標内で相対的な良否を色で表示（水色:良好，橙色:不良，無色:中間）し，最良値は太字．表中のROCはROC-AUCの略記．SciQ(EN)2Wiki(EN)JEMHop(JP)モデル手法ECE↓ROC↑ECE↓ROC↑ECE↓ROC↑RL-basedLabelprob.0.200.620.500.680.220.78VCtop-10.230.680.500.590.310.77VCtop-20.100.760.400.630.300.77VCCoT0.220.620.410.630.240.80GPT-4.1-miniLabelprob.0.210.590.550.620.380.69VCtop-10.180.690.520.520.410.56VCtop-20.070.690.350.640.270.67VCCoT0.160.640.360.690.310.68Llama-4non-RLLabelprob.0.140.79––0.120.79VCtop-10.270.70––0.480.68VCtop-20.170.69––0.470.70VCCoT0.280.67––0.460.57Phi-4場合があった（2Wiki,GPT-4.1:ECE0.35,ROC0.83；付録表4）．non-RLのPhi-4ではLabelprob.が最良（ECE0.12，ROC0.79）であり，VCCoTは逆効果となった（ROC:0.79→0.57）．モデル群別の傾向:ホップではRL-basedのVCtop-2が右上象限（Labelprob.より優位）に位置する一方，non-RLではVCによる改善が見られなかった．マルチホップでは手法間の優劣が条件により異なり，Tokenprob.が取得可能な場合はそれが有利だが，API制約下ではLabelprob.が安定した性能を示した．ただし，non-RLはPhi-4の1モデルに限られるため，この傾向の一般性には追加検証が必要である．推論モデルにおける推論量の効果（予備的検証）:Podolakら[6]による，推論モデルの推論トークン数を制御することでVCの識別能力がSemanticEntropyの水準に近づくという知見について，簡易的な設定で検証した．推論モデルとしてDeepSeek-R1-05286）（AzureAIFoundry経由）を用い，SemanticEntropyと同様に複数生成の一貫性に基づくLabelprob.を比較対象とした（詳細は付録B参照）．加に伴いROC-AUCは概ね改善するが，中程度の予6）Podolakらが使用したDeepSeek-R1-Distill-Qwen-32Bは，DeepSeek-R1を教師として蒸留した小型モデルである．本研究ではDeepSeek-R1-0528（API経由）を使用しており，モデル構造が異なるため結果が一致しない可能性がある．org/licenses/by/4.0/).ROC-AUC(better)ECE(better)Labelprob.(reference)2WikiJEMHopQASciQ0.50.80.40.7ROC-AUCECE0.30.60.20.50.10200500100002005001000Reasoningbudget(tokens)02005001000ROC-AUC（↑），点線がECE（↓）．水平線はLabelprob.の参照値を示す．推論量の増加に伴いROC-AUCは改善傾向を示すが，ECEの改善は限定的である．算（200–500トークン）で頭打ちとなるデータセットもあった（2Wiki:500トークンで0.71→1000トークンで0.67）．また，ECEの改善は限定的であり，推論量の増加が較正の改善に直結しないことを示唆する．5考察本節では，観察された傾向の要因を議論する．VCの効果とポストトレーニング手法:RL-based（GPT-4.1系，Llama-4）ではシングルホップでVCによる改善が見られた一方，non-RL（Phi-4）では改善が限定的であった．この差は，RLベースの訓練過程で確信度表現が最適化されていることが一つの可能性として考えられるが，non-RLがPhi-4のみであるため，一般化には追加検証が必要である．top-2の優位性:シングルホップにおいてVCtop-2がtop-1より優れた結果を示した．これは，上位2候補を出力させることでモデルに代替案の検討を促し，確信度が適切に分散して過信が抑制されるためと考えられる．実際，top-1では確信度が高い値に集中する傾向が見られた一方，top-2では分布がより広がる傾向が観察された．CoTの効果：シングルホップvsマルチホップ:Tianら[5]はシングルホップでCoTが較正を改善しないと報告した．本研究でもシングルホップでは同様の傾向を確認した一方，マルチホップでは異なる結果が得られた．マルチホップでは複数の推論ステップが必要であり，CoTによって推論過程を明示することで較正・識別が改善する傾向が観測された．この差異は，シングルホップでは推論が単純なため追加の言語化が確信度に寄与しにくい一方，マルチホップでは各ステップの不確実性がCoTを通じて確信度に反映されやすくなるためと考えられる．CoTが回答精度を改善することはWeiら[21]等で既知であるが，本研究の貢献は，CoTが確信度推定（較正・識別）にも影響すること，およびその効果がモデルやタスクによって正負いずれにもなり得るこECEとを実証した点にある．non-RLのPhi-4ではマルチホップでCoTが逆効果となった．回答精度は0.48→0.53と向上したが，識別能力（ROC-AUC）は0.79→0.57と低下した．これは，CoTによって確信度が一様に高くなる過信が生じたためと考えられる．Tianら[5]はRLHFが確信度表現に影響を与えることを報告しており，RL-basedモデルでは「不確実なら低い確信度を出す」ことがRLの報酬信号を通じて学習されている可能性がある．一方，non-RLのPhi-4ではこの能力が獲得されていない可能性があるが，この仮説の検証にはRLの有無のみが異なるモデル対（例：ベースモデルとRLHF後モデル）での比較が必要であり，今後の課題である．実装上の示唆:Tokenprob.が取得可能な場合は有力な選択肢となる．API制約がある場合はLabelprob.が安定した性能を示す．VCは，シングルホップかつRL-basedではtop-2が有効であり，マルチホップではCoTが有効な場合がある．ただし，モデルによっては過信を招くリスクがあるため，手法選択では較正（ECE）と識別（ROC-AUC）の両面から評価することが重要である．6おわりに本研究は，VCの有効性がポストトレーニング手法，タスク複雑性，およびCoTの使用に依存しうることを，複数モデル・複数QAタスクで検証した．検証の結果，RLを含むモデルのシングルホップではtop-2がECEとROC-AUCを同時に改善した．マルチホップではCoTが有効な場合がある一方，モデルによっては過信を招き識別性能が低下する場合も観測された．これらの結果から，手法選択では較正（ECE）と識別（ROC-AUC）の両面から評価する必要がある．本研究の限界として，RLを含まないモデルの検証がPhi-4のみに限られており，この傾向の一般性は追加モデルでの検証が必要である．今後は，RLなしのinstruction-tunedモデルやRLの有無のみが異なるモデル対での比較を通じて，VCの有効条件とポストトレーニング手法の関係を明らかにしたい．また，マルチホップQA以外の複雑な推論タスクへの拡張も検討する．org/licenses/by/4.0/).