本論文では，専門家による評価スコアを付与した新規製品アイデアからなる大規模データセット「PBIG-DATA」を提案する.PBIG-DATAはLLMが生成したアイデアに対して技術・ビジネス分野の専門家が付与した約3,000件の多角的な評価スコアを含む.評価スコアの分析およびLLM-as-a-Judgeの性能評価を通して製品アイデアの自動生成における評価者間のスコアの揺れや個人の評価基準の一貫性といったタスクの性質を明らかにする.

特許文献などの既存技術に関する説明文書を入力とした製品アイデア生成は,技術活用を目指す学術界および産業界の双方において注目されている[1,2].従来，アイデアの良し悪しを判断するための評価スコアが付与された大規模なデータセットが存在せず,他の創造的なアイデア生成タスクで報告されているような,評価スコアの主観性などのタスクの特徴分析が行われてこなかった[3,4].そこで我々は,専門家による評価スコアが付与された製品アイデアデータセットPBIG-DATAを提案し，本タスクの性質を分析する．PBIG-DATAにはLLMが生成した製品アイデア約300件と,それらに対して技術評価者およびビジネス評価者によって人手付与された評価スコア約3,000件が含まれる.アイデアの評価は具体性,技術的妥当性,革新性,競争優位性,ニーズの妥当性,市場規模という複数の評価軸によって行われた.本論文ではこのデータセットの分析から分かった