大規模言語モデルの生成の質は近年著しく向上し，人間によるものと区別のつかない文章の生成が可能となっている\cite{devlin-etal-2019-bert,brown2020language,touvron2023llama}．一方で，事実と異なる誤りを含む内容も自然な文章として生成してしまう問題が顕在化し\cite{huang2023survey}，誤情報の拡散や意思決定への影響といったリスクが増している．言語モデルによる誤情報生成への対策の一つに，モデルが生成した内容に対する確信度推定がある．確信度スコアが高いほど実際に生成内容が正しい確率が高くなるような確信度指標を設計することで，ユーザが出力を信頼するかの判断材料としたり，アプリケーションにおける生成内容の出力制御に用いるというものである．確信度指標としては，単に出力トークンに対する予測尤度を用いるのが素朴な方法であるが，予測尤度と生成内容の正確性は必ずしも対応しない．そのため，生成時に利用可能な他の情報を用いることで，生成内容の正確性をより精度良く推定できる指標が研究されている．生成時に確信度推定に利用できる情報はユーザ，開発者といった立場やモデルの公開レベルによって異なる．モデルの出力テキストのみを参照可能なブラックボックス条件下では，確信度を示す表現を出力テキストに含めさせる\cite{mielke-etal-2022-reducing}，複数の生成間の一貫性を見る\cite{manakul-etal-2023-selfcheckgpt}などの方法がある．モデルの内部状態を参照可能な設定では，テキストの埋め込み表現や注意機構の値などを用いる方法や\cite{ren2023outofdistribution,li2023inferencetime}，少量の訓練データを用い，学習に基づいて確信度スコアが実際の正答率に近づくよう調整する方法がある\cite{mielke-etal-2022-reducing}．一方，これらの既存研究では，言語モデルの訓練データの利用は想定されていない．これは，大規模言語モデルの多くがAPIアクセスやモデルパラメータの公開のみに留まっており，訓練データそのものにアクセスできるケースが少ない現状を反映していると考えられる．しかしながら，著作権や透明性担保の観点から言語モデルの訓練に使われたデータの開示への要請は高まりつつあり，訓練に用いられたコーパスを検索できる仕組みが提供される例も現れている\cite{piktus2023roots}．また，テキスト生成の質改善においては訓練データの利用が有用であることが既に知られている\cite{Khandelwal-etal-2020-knnlm}．以上のような背景から，本研究では言語モデルの訓練データにアクセス可能な状況を想定し，確信度指標の改善に訓練データの利用が有用であるかを検討する．具体的には，言語モデルの出力に関連のある訓練データ中の事例に基づきモデル出力の確信度を計算する複数の確信度指標を設計し，言語モデルの知識評価ベンチマークであるLAMA(Petronietal.2019)を用いて評価した．関連事例の検索には，訓練データを文脈表現および文分散表現に基づき検索可能なデータストアを構築して用いる方法と，文中のエンティティに基づくテキスト一致検索とを比較検討した．言語モデルとしては，データストアが数TB規模に相当する訓練データで学習可能な中規模モデルのうち，LAMAベンチマークで高い性能を示すBERTモデル\cite{devlin-etal-2019-bert}を使用し，英語Wikipediaを訓練データとして事前学習を行った．なお，本研究において外部の知識源ではなくモデルの訓練データを用いるのは，確信度推定の主目的が，言語モデルが学習した知識に基づいて正確に出力を行えているかを判定することにあるためである．外部の情報源を参照して，言語モデルの知識の範囲外の事柄について真偽を判定することは，本研究の直接的な目的ではない点に注意する．実験から，言語モデルの予測尤度と訓練データ中の関連事例の情報を組み合わせて用いることで，訓練データを用いない場合と比較して確信度指標の性能が向上することを確認した．このことから，モデル出力の確信度推定の観点からも，言語モデル学習に用いた訓練データへのアクセスは有用であることが示唆される．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S2