RAGにおける自己認識的不確実性の評価

大規模言語モデル（LargeLanguageModel:LLM）の普及により，カスタマーサポート事業では外部知識に基づき回答するRetrievalAugmentedGeneration（RAG）の導入検討が積極的に行われている．しかし，ユーザーの質問に対する答えが検索で得られなかった場合，誤った情報を生成してしまう可能性が高い．このような場合，本来であれば回答不能であることをLLMが認識してユーザーに伝えることが望ましい．そこで，本研究では回答可能かに関する認識の正確さを自己認識的不確実性と定め，LLMを用いて定量的に評価する．さらに，LLMを用いた回答の修正が自己認識的不確実性の向上に有効であるかを検証する．