JapaneseMT-bench++:より自然なマルチターン対話設定の日本語大規模ベンチマーク

大規模言語モデル(LLM)は、人間のアシスタントとしてさまざまなタスクや問題解決に利用されている。これらは多くの場合、人間とLLMの間でマルチターンにわたる対話を行うことによって成し遂げられる。LLMにおけるこのようなマルチターンの対話的タスク遂行能力を評価するために、MT-bench[1]に代表されるベンチマークが構築、利用されている。MT-benchは2ターンからなる80対話についてLLMの回答を評価するベンチマークである。日本文化に合うように改編されたJapaneseMT-bench1）も日本語におけるLLMの評価で用いられている。しかし、これらのベンチマークは2ターン目の質問が1ターン目の回答に依存していないという問題と、80対話からなり小規模であるという問題があ1）https://github.com/Stability-AI/FastChat/tree/jp-stable/fastchat/llmjudgeる。このため、トピックは同じであるが関連度の低いシングルターンが連続していることが多く、また小規模であるために、広範なトピックや観点からのマルチターン能力を正確に測ることができない。我々はクラウドソーシングを用いることにより、約5,000対話に大規模化し、より広範な評価を行えるベンチマークであるJapaneseMT-bench++を構築する。2ターン目の質問は1ターン目の回答に対して作成し、より自然な対話設定となるようにする。各ターンの質問はワーカー、回答はワーカーとLLMによって作成することにより多様な対話を得る。さらに、構築したJapaneseMT-bench++を用いて、さまざまなLLMについてマルチターン対話における性能を比較し、結果を分析する。