RAGにおける自己認識的不確実性の評価

LLMの普及に伴い，カスタマーサポートのチャットボットには高品質な対応が求められている．この分野では，ユーザーからの質問は製品やサービス情報など企業独自の情報に関連する内容が多い．しかし，LLMの学習には企業が独自に保有する情報は含まれていないことが多いため，単純にLLMを使用するだけでは最新で誤りのない高品質な回答を生成することは難しい．そこで，外部知識からユーザーの質問に関連する情報を抽出し，その情報に基づいた回答を生成することが可能なRAG[1,2,3]が注目されている．しかし，RAGはユーザーの質問に対する答えが検索により得られなかった場合，誤った回答を生成する可能性が高いという課題がある．このような場合，本来は「回答に十分な情報が見つかりませんでした」といったように回答不能であることをユーザーに伝えることが望ましい．特に，カスタマーサポートにおける社内ドキュメントはWeb上の文書などと比較すると小規模であるため，回答に必要な情報が検索対象となる外部知識に存在しない場合が多く，RAGを事業応用における障壁となっている．そのため，RAGが回答可能かどうかを正しく認識できることと，それを適切に評価できることが重要となる．一般的に誤情報を生成する問題はhallucination[4]と呼ばれる．本研究で我々が注目する外部知識の不足による誤回答生成は，hallucinationの中でも特に，回答可能かどうかといった不確実性の認識の失敗によるものである．現在この課題に焦点を当てたRAGの評価指標は少ない．そこで本研究では，RAGにおけるテキスト生成モデルが回答可能かに関する認識の正確さを表す評価指標を自己認識的不確実性と定義し，LLMを用いてこれを評価する．