RAGの応答正確性と連続応答性能の自動評価

自動的な評価フレームワークとしてRAGAs[5]が提RAG（Retrieval-AugmentedGeneration,検索拡張生案されており、生成回答が検索されたコンテキスト成）は、事前に準備された独自の知識ベースに対しにどれだけ準拠しているかなど、様々な観点からのて質問を問い合わせ、関連知識を含む文書等を検索評価をLLMを使って自動化している。しかしながし、その検索結果(コンテキスト)を質問と同時にら、上述した方法やRAGAsには、コンテキストのLLMに入力して回答を生成する技術である。RAG情報を考慮して、生成回答が正答例と比較して質問を用いることで特定領域の専門的で固有の外部知識への回答としてどれだけ正確なのかを直接評価すを利用した自動的な質問応答やチャット機能が実現る観点は含まれていない。本論文では、この観点をされる。例えば、製品マニュアルやシステムの運用LLMを用いて直接的に評価する方法を提案する。マニュアル、もしくは、組織内の特定業務(例えば、RAGの知識ベースにあるコンテキストは膨大であ承認、法務、購買、SDGsなど)に関連した文書に基り、その全てを評価用LLMのプロンプトに含めるづいた質問応答チャットシステムが、数多く開発さことはできない。そこで我々は、特に人手評価とのれ始めてきている。同時に、RAGに基づく質問応相関を測ることで、どのようなコンテキストを利用答システムの様々な観点からの実践的なテスト/評した方が良いのかを議論する。価技術の必要性も高まっている。RAGの出力には、第二に、本論文では、質問応答における連続応答生成回答だけでなく、文章リストなどの検索結果もの性能を評価する方法を提案する。近年のRAGシ含まれる。RAGの評価は、これらの検索結果や検索ステムでは、過去の質問応答の履歴を考慮して検索モジュールの構成を考慮することで、LLM単体のと回答生成を行うことで、マルチターンの質問応答評価よりも、多様なものとなり得る。を可能にしている。我々は、上記の意味での応答正本論文では、第一に、RAGに基づく質問応答シス確性において、この連続応答の性能がどのように評テムの応答正確性の評価について論じ、LLMを用い価されるべきかを考えたい。マルチターンの対話をた自動化の方法を提案する。ここで、応答正確性と評価する方法としては、回答に依存しない一連の質は、「回答の表現の仕方や粒度の正しさは一意には問を標準的な評価用データセットとして準備する方定まらないが、回答の正確さは(知識ベースの情報法[6]や、一連の質問と応答を生成しその自然さを―3563―.Qに対する生成回答Q:QuestionRAGbasedQ/Asystem(tobeevaluated)Qで検索したコンテキストA:GoldAnswerQ:Aに対する生成回答RAGbasedQ/Asystem(sameasabove)Q;A(QとAを適当に連結した文字列)評価する方法[7]などが提案されているが、これらは我々の目的に十分には適してはいない。RAGは特定領域向けであることが多く、汎用的な評価用データセットでの評価は効果的とは言えず、また、回答の正確性が評価される場面で、対話の自然さを評価することも効果的とは言えないからである。本論文では、質問と正答例からなる評価データセットを想定し、「評価対象RAGとの連続質問応答で、各質問に対して、その正答例のどの程度の情報を、どの程度の対話回数で、得ることができるか」という観点からの評価を考える。そして、LLMに基づく適切な回答判定,質問生成,回答構成のエージェントを用いて、この観点での評価を自動化する。