大規模言語モデル（LargeLanguageModel:LLM）の普及により，カスタマーサポート事業では外部知識に基づき回答するRetrievalAugmentedGeneration（RAG）の導入検討が積極的に行われている．しかし，ユーザーの質問に対する答えが検索で得られなかった場合，誤った情報を生成してしまう可能性が高い．このような場合，本来であれば回答不能であることをLLMが認識してユーザーに伝えることが望ましい．そこで，本研究では回答可能かに関する認識の正確さを自己認識的不確実性と定め，LLMを用いて定量的に評価する．さらに，LLMを用いた回答の修正が自己認識的不確実性の向上に有効であるかを検証する．

LLMの普及に伴い，カスタマーサポートのチャットボットには高品質な対応が求められている．この分野では，ユーザーからの質問は製品やサービス情報など企業独自の情報に関連する内容が多い．しかし，LLMの学習には企業が独自に保有する情報は含まれていないことが多いため，単純にLLMを使用するだけでは最新で誤りのない高品質な回答を生成することは難しい．そこで，外部知識からユーザーの質問に関連する情報を抽出し，その情報に基づいた回答を生成することが可能なRAG[1,2,3]が注目されている．しかし，RAGはユーザーの質問に対する答えが検索により得られなかった場合，誤った回答を生成する可能性が高いという課題がある．このような場合，本来は「回答に十分な情報が見つかりませんでした」といったように回答不能であることをユーザーに伝えることが望ましい．特に，カスタマーサポートにおける社内ドキュメントはWeb上の文書などと比較すると小規模であるため，回答に必要な情報が検索対象となる外部知識に存在しない場合が多く，RAGを事業応用における障壁となっている．そのため，RAGが回答可能かどうかを正しく認識できることと，それを適切に評価できることが重要となる．一般的に誤情報を生成する問題はhallucination[4]と呼ばれる．本研究で我々が注目する外部知識の不足による誤回答生成は，hallucinationの中でも特に，回答可能かどうかといった不確実性の認識の失敗によるものである．現在この課題に焦点を当てたRAGの評価指標は少ない．そこで本研究では，RAGにおけるテキスト生成モデルが回答可能かに関する認識の正確さを表す評価指標を自己認識的不確実性と定義し，LLMを用いてこれを評価する．