失敗知識データベースを活用したRAG評価用Why型QAデータセットの自動生成

RAGシステムの性能評価には、高品質なQAデータセットの存在が必要不可欠である。しかし、従来の手動作成では膨大な労力と時間が必要となるため、自動化による生成手法が注目されている。また、Where型やWhen型、What型などのfactoid型で、回答が短いテキストになるQAについては、データセットを自動生成する手法が提案されている一方、「なぜ」や「どうして」、「どのように」といったWhy型やHow型のような、non-factoid型で回答が比較的長いテキストになるQAについては、データセットの自動生成の研究が十分になされていない。本研究では、Why型に特化したQAデータセットを自動生成する手法を提案する。評価実験の結果、Why型の質問形式かつ一定程度の品質を持つデータセットが生成できることを確認した。