日本語創造性ベンチマークの構築

大規模言語モデル（LLM）の創造性を評価するために，JapaneseCreativityQuestions(JCQ)，DivergentAssociationTask(DAT)，そしてStoryAlterationTask(SAT)という3つのベンチマークを構築する.JCQでは，LLMを用いて創造性を包括的に評価する.一方，DATとSATでは，埋め込みを用いて，創造的能力の一面を測定する.さらに，JCQとDAT，およびJCQとSATの間の相関を分析する.JCQは網羅的な評価ができるが，比較的時間とコストがかかる.一方，DATとSATは網羅性が低いが，迅速に評価できる.