日本語創造性ベンチマークの構築

創造性は，人類の進歩と発展を支えてきた重要な能力である.芸術表現や科学的発見，社会問題の解決など，創造的思考は人間の活動の中核を担ってきた.近年，大規模言語モデル（LLM）の発展により，AIシステムにも文章生成や問題解決において，人間の創造的活動を支援・拡張する可能性が見出され，活発な研究が行われている[1,2,3,4].人間とLLMの両者にとって，創造性は，複雑化する現代社会の課題に対応し，新たな価値を生み出すための本質的な要素となっている.人間の創造性を評価するためのテストとして，TorranceTestofCreativeThinking(TTCT)がある.これは言語テストと図形テストからなる自由記述式のテストであり，例えば，「電球の通常でない使い方をできるだけ多く列挙してください.」といった問題がある.回答を評価する際は，「流暢性」，「柔軟性」，「独創性」，「精緻性」の4つの指標がよく使われる.これらの4指標は，他の多くの創造性研究でも一般的に採用されている[5,6,7].TTCTは心理学の分野で広く用いられており，多くの人々の創造性を測ることができる優れたテストであるとされている[8].また，DivergentAssociationTask(DAT)という創造性テストがあり，人間を対象とした研究が行われている[9].DATは，できるだけ意味的に離れた無関係な単語を列挙するタスクであり，単語間の意味的距離が大きいほど高いスコアが得られる.また，この研究ではAlternativeUsesTask(AUT)という創造性テストも行われている.これは，例えば「新聞」や「電球」のような一般的な物の使い方をできるだけ多く列挙させるタスクである.DATのスコアとAUTにおける「流暢性」および「独創性」のスコアが相関することが示されている.英語では，TTCTの言語テストを基にしたテストを作成し，OpenAIのGPT-4を評価者としてLLMの創造性を測定した研究[10]が存在する.日本語においては，LLMの創造性を評価するためのベンチマークは現在のところ存在しない.本研究では，日本語におけるLLMの創造性を目的に応じて多角的または効率的に測るため，3つのベンチマークを構築し，いくつかのLLMを評価する.1つ目はJapaneseCreativityQuestions(JCQ)である.Zhaoらの研究[10]に倣い，TTCTの言語テストを基に作成する.7つのタスクから構成し，評価には4つの指標を用いる.2つ目はDATである.3つ目はStoryAlterationTask(SAT)である.これは物語を改変させ，元の物語とどれだけ異なるかを測るテストである.JCQの評価では強力なLLMに評価させる.一方，DATとSATの評価では埋め込みを用いる.JCQは創造性を網羅的に評価できるが，評価には時間とリソースが必要となる.一方，DATとSATは埋め込みを活用することで，創造性の特定の側面を迅速かつ手軽に測定できる利点がある.これにより，必要に応じて網羅性を重視した評価と迅速性を重視した評価を使い分けて，LLMの創造性を測ることができる..タスク定義問題例非通常使用一般的な物体の珍しい使い方や多様な使い方を考えるタスク.電球の通常でない使い方をできるだけたくさん挙げてください.結果普通ではない，または仮説的な状況における結果や影響を予測するタスク.もしも世界中で24時間インターネットが使えなくなったら、社会や日常生活にどのような影響が生じるでしょうか？仮定仮定の，しばしば空想的なシナリオとその含意を考えるタスク.物を消滅させる力を手に入れました.あなたなら何を消しますか？できるだけ多くのアイデアを挙げてください.状況与えられた状況に対応するタスク.もしも重力の向きが反転したら、あなたはどうやって地上で生き残りますか？一般的問題多くの人にとって身近で日常的な問題に対し，解決策を生み出すタスク.冷蔵庫の中身を効率的に管理する方法を提案してください.改善既存の物やアイデアを改良したり，修正したりするタスク.一般的なベッドをより快適にする方法をできるだけ多く挙げてください.想像的物語与えられたプロンプトで物語を作るタスク.「月の裏の図書館」というタイトルで物語を作ってください.指標定義流暢性与えられた質問に応じて，関連するアイデアを数多く生み出す能力.本質的にはアイデアの量を測定する.柔軟性アイデアを生み出すことができるカテゴリーの多様性.代替案を考えたり，あるクラスや視点から別のクラスや視点に移行したり，与えられた問題や課題にさまざまな角度からアプローチしたりする能力.独創性生み出されたアイデアの独自性.独自なアイデアとは，普通とは異なる珍しい，または型破りなアイデアのこと.精緻性アイデアを発展させ，洗練させ，装飾する能力.細部を付け加え，ニュアンスを発展させ，基本的なコンセプトをより入り組んだ，あるいは複雑なものにすることを含む.