JapaneseMT-bench++:より自然なマルチターン対話設定の日本語大規模ベンチマーク

大規模言語モデル(LLM)の能力を網羅的に評価するのは大変に難しい課題である。LLMのベンチマークの一つに、マルチターンの対話的タスク遂行能力を評価するMT-benchがあり、日本文化に合うように改編されたJapaneseMT-benchも構築されている。しかし、これらのデータセットは80問と小規模であることと、2ターン目の質問が1ターン目の回答に依存していないという問題がある。我々はクラウドソーシングを用いることにより、5,000問程度にまで大規模化し、より広範に評価を行えるベンチマークを構築する。1ターン目の質問はワーカー、回答はワーカーとLLMによって作成することにより、多様な回答を得る。2ターン目の質問を作成する際は1ターン目の各回答に対して作成し、より自然な対話設定となるようにする。