𝑛-gramに基づく推論モデルの信頼度と較正特性の分析

大規模言語モデルは，最終的な答えを生成する前に推論過程を明示的に出力することで性能が向上する．一方で，推論過程には「AかBか判断が難しい」「情報が不足している」といった言語的な不確実性表現が含まれる場合があるにもかかわらず，最終的な出力はしばしば過信的となる．このような推論過程と最終出力との間に生じる過信の乖離は，モデルの不確実性推定の信頼性を損ない，誤答や幻覚に対しても過度に確信的な回答を生成する要因となる．本研究では，推論過程内部に現れる言語表現と過信度合いとの関連性を回帰分析によって明らかにする．複数のモデルおよび複数の質問応答タスクを用いた実験の結果，モデルが特定の言語表現を生成することと，信頼度を過剰に高める，すなわちモデル自身が過信的になる傾向があることを明らかにした．さらに，特定の言語表現によって過剰信頼を軽減させ，正解率の向上にも寄与することを示した．