大規模言語モデル(LLM)の能力を網羅的に評価するのは大変に難しい課題である。LLMのベンチマークの一つに、マルチターンの対話的タスク遂行能力を評価するMT-benchがあり、日本文化に合うように改編されたJapaneseMT-benchも構築されている。しかし、これらのデータセットは80問と小規模であることと、2ターン目の質問が1ターン目の回答に依存していないという問題がある。我々はクラウドソーシングを用いることにより、5,000問程度にまで大規模化し、より広範に評価を行えるベンチマークを構築する。1ターン目の質問はワーカー、回答はワーカーとLLMによって作成することにより、多様な回答を得る。2ターン目の質問を作成する際は1ターン目の各回答に対して作成し、より自然な対話設定となるようにする。

大規模言語モデル(LLM)は、人間のアシスタントとしてさまざまなタスクや問題解決に利用されている。これらは多くの場合、人間とLLMの間でマルチターンにわたる対話を行うことによって成し遂げられる。LLMにおけるこのようなマルチターンの対話的タスク遂行能力を評価するために、MT-bench[1]に代表されるベンチマークが構築、利用されている。MT-benchは2ターンからなる80対話についてLLMの回答を評価するベンチマークである。日本文化に合うように改編されたJapaneseMT-bench1）も日本語におけるLLMの評価で用いられている。しかし、これらのベンチマークは2ターン目の質問が1ターン目の回答に依存していないという問題と、80対話からなり小規模であるという問題があ1）https://github.com/Stability-AI/FastChat/tree/jp-stable/fastchat/llmjudgeる。このため、トピックは同じであるが関連度の低いシングルターンが連続していることが多く、また小規模であるために、広範なトピックや観点からのマルチターン能力を正確に測ることができない。我々はクラウドソーシングを用いることにより、約5,000対話に大規模化し、より広範な評価を行えるベンチマークであるJapaneseMT-bench++を構築する。2ターン目の質問は1ターン目の回答に対して作成し、より自然な対話設定となるようにする。各ターンの質問はワーカー、回答はワーカーとLLMによって作成することにより多様な対話を得る。さらに、構築したJapaneseMT-bench++を用いて、さまざまなLLMについてマルチターン対話における性能を比較し、結果を分析する。