PBIG-DATA:専門家による評価スコア付き製品アイデアデータセット

本論文では，専門家による評価スコアを付与した新規製品アイデアからなる大規模データセット「PBIG-DATA」を提案する.PBIG-DATAはLLMが生成したアイデアに対して技術・ビジネス分野の専門家が付与した約3,000件の多角的な評価スコアを含む.評価スコアの分析およびLLM-as-a-Judgeの性能評価を通して製品アイデアの自動生成における評価者間のスコアの揺れや個人の評価基準の一貫性といったタスクの性質を明らかにする.