RAGシステムの評価には,高品質なQAデータセットが不可欠である.しかし,現行の手動作成方法は多大な時間的・人的コストを要し,また既存の自動生成ツールでは生成されたデータセットの品質に課題があるため実案件での利用が難しいという問題がある.そこで本論文では,RAGの評価データセットに求められる品質観点を整理した上で高品質なデータセットの自動生成手法を提案する.実験の結果,一定程度の品質を持つデータセットの生成が可能であり,また従来の実案件データセットと同様にRAGの精度向上を適切に捉えられることを確認した.

情報検索と生成を統合したRAG（RetrievalAug-mentedGeneration）システムは,外部データソースを活用しながら正確かつ柔軟な回答を生成できる点で注目を集めており[1],LLMによる生成のみではカバーしきれない事実性の担保や,ドメイン知識の補完といった課題に対して有効なアプローチとして知られている[2].このRAGシステムの性能評価においては,高品質なQAデータセットの存在が不可欠であるとされている[3]が,従来の人手によるQAデータセット作成手法は以下の課題を抱えている.作成コストの高さ:手動によるQAデータセットの構築は一般的に時間的・人的リソースの消費が大きく,特に,ドメイン知識を要する実案件では,専門家の確保や品質を確認のためにさらに多大なコストが必要となる.ドメイン依存性:汎用的な性能評価のためには,複数のドメインにおける多様なデータセットが必要になるが,人手では作成コストが莫大になるため現実的ではない.データの更新容易性:実運用ではQAの対象や内容が時間の経過とともに変化するため,評価データセットも随時更新を行う必要があるが,人手更新の運用コストは大きな負担となる.これらの課題を解決するため,本研究ではLLMを用いた高品質なQAデータセットの自動生成に取り組む.