RAGシステムの性能評価には、高品質なQAデータセットの存在が必要不可欠である。しかし、従来の手動作成では膨大な労力と時間が必要となるため、自動化による生成手法が注目されている。また、Where型やWhen型、What型などのfactoid型で、回答が短いテキストになるQAについては、データセットを自動生成する手法が提案されている一方、「なぜ」や「どうして」、「どのように」といったWhy型やHow型のような、non-factoid型で回答が比較的長いテキストになるQAについては、データセットの自動生成の研究が十分になされていない。本研究では、Why型に特化したQAデータセットを自動生成する手法を提案する。評価実験の結果、Why型の質問形式かつ一定程度の品質を持つデータセットが生成できることを確認した。

RAG（RetrievalAugmentedGeneration）は、情報検索と大規模言語モデル(LLM)による生成を組み合わせたシステムであり、外部データを活用することで正確かつ柔軟な回答を生成できることから注目されている[1]。RAGは、LLMの生成のみでは対応しきれない事実性の確保やドメイン知識の補完といった問題に対する有効な解決策として認識されている[2]。RAGシステムの性能を適切に評価するためには、高品質なQAデータセットが必要であるものの、人手によるQAデータセット作成には次のような課題が存在する[3]。作成コストの高さ：手動によるQAデータセットの構築は一般的に時間的・人的リソースの消費が大きく、特にドメイン知識を要する実案件では、専門家の確保や品質を確認のためにさらに多大なコストが必要となる。ドメイン依存性：汎用的な性能評価のためには、複数のドメインにおける多様なデータセットが必要になるが、人手では作成コストが莫大になるため現実的ではない。データの更新容易性：実運用ではQAの対象や内容が時間の経過とともに変化するため、評価データセットも随時更新を行う必要があるが、人手更新の運用コストは大きな負担となる。また、RAGシステムの評価は依然として困難であり、特に長文回答の厳密な正確さを定義することが困難なnon-factoid型質問において顕著である[4]。これらを解決するため、本研究ではLLMを用いてWhy型のQAデータセットの自動生成に取り組む。