失敗知識データベースを活用したRAG評価用Why型QAデータセットの自動生成

RAG（RetrievalAugmentedGeneration）は、情報検索と大規模言語モデル(LLM)による生成を組み合わせたシステムであり、外部データを活用することで正確かつ柔軟な回答を生成できることから注目されている[1]。RAGは、LLMの生成のみでは対応しきれない事実性の確保やドメイン知識の補完といった問題に対する有効な解決策として認識されている[2]。RAGシステムの性能を適切に評価するためには、高品質なQAデータセットが必要であるものの、人手によるQAデータセット作成には次のような課題が存在する[3]。作成コストの高さ：手動によるQAデータセットの構築は一般的に時間的・人的リソースの消費が大きく、特にドメイン知識を要する実案件では、専門家の確保や品質を確認のためにさらに多大なコストが必要となる。ドメイン依存性：汎用的な性能評価のためには、複数のドメインにおける多様なデータセットが必要になるが、人手では作成コストが莫大になるため現実的ではない。データの更新容易性：実運用ではQAの対象や内容が時間の経過とともに変化するため、評価データセットも随時更新を行う必要があるが、人手更新の運用コストは大きな負担となる。また、RAGシステムの評価は依然として困難であり、特に長文回答の厳密な正確さを定義することが困難なnon-factoid型質問において顕著である[4]。これらを解決するため、本研究ではLLMを用いてWhy型のQAデータセットの自動生成に取り組む。