RAGの応答正確性と連続応答性能の自動評価

応答の正確さ」を指す。これは、例えば、DB(デーRAGに基づく質問応答システムによる応答の正タベース)の知識をベースにした際、「SQLにおい確性を自動評価する方法を提案する。特徴は、知識てUNIONとUNIONALLの違いは？」「デッドロックベース中のコンテキストを、質問、正答例と同時にとは何か？」といった質問を対象にし、「新しい詩考慮して、生成回答をLLMで評価する点である。とは？」といった質問を扱わないことを意味する。特にコンテキストの選び方に工夫を施す。また、マこのような意味での応答正確性は、RAGにおいて評ルチターンの質問応答における連続応答の性能を測価されるべき基本的な能力と考えられる。るための評価観点を導入し、この観点での評価を自応答正確性の自動評価は、例えば、質問ごとに動化する。その後、人手評価との相関、および、連正答例を準備し、生成回答と比較することで行続応答性能の差の検出に基づいた評価実験を実施われる。この比較には、ワード単位のrecall[1]やし、これらの提案手法の有効性、実効性を確認する。BERTScore[2]、またはPrometheus[3,4]等の評価用のLLMなどを用いることができる。また、RAGの