実用的な品質観点に基づくRAG性能評価用QAデータセットの自動生成

情報検索と生成を統合したRAG（RetrievalAug-mentedGeneration）システムは,外部データソースを活用しながら正確かつ柔軟な回答を生成できる点で注目を集めており[1],LLMによる生成のみではカバーしきれない事実性の担保や,ドメイン知識の補完といった課題に対して有効なアプローチとして知られている[2].このRAGシステムの性能評価においては,高品質なQAデータセットの存在が不可欠であるとされている[3]が,従来の人手によるQAデータセット作成手法は以下の課題を抱えている.作成コストの高さ:手動によるQAデータセットの構築は一般的に時間的・人的リソースの消費が大きく,特に,ドメイン知識を要する実案件では,専門家の確保や品質を確認のためにさらに多大なコストが必要となる.ドメイン依存性:汎用的な性能評価のためには,複数のドメインにおける多様なデータセットが必要になるが,人手では作成コストが莫大になるため現実的ではない.データの更新容易性:実運用ではQAの対象や内容が時間の経過とともに変化するため,評価データセットも随時更新を行う必要があるが,人手更新の運用コストは大きな負担となる.これらの課題を解決するため,本研究ではLLMを用いた高品質なQAデータセットの自動生成に取り組む.