実用的な品質観点に基づくRAG性能評価用QAデータセットの自動生成

RAGシステムの評価には,高品質なQAデータセットが不可欠である.しかし,現行の手動作成方法は多大な時間的・人的コストを要し,また既存の自動生成ツールでは生成されたデータセットの品質に課題があるため実案件での利用が難しいという問題がある.そこで本論文では,RAGの評価データセットに求められる品質観点を整理した上で高品質なデータセットの自動生成手法を提案する.実験の結果,一定程度の品質を持つデータセットの生成が可能であり,また従来の実案件データセットと同様にRAGの精度向上を適切に捉えられることを確認した.