LCTGBench:日本語LLMの制御性ベンチマークの構築

OpenAI社のChatGPTの公開以降、世界中で大規模言語モデル(LargeLanguageModel:LLM)の研究・開発が加速している。高性能なLLMの開発サイクルに欠かせないのが、LLMの性能評価である。日本語のLLMの性能評価では、日本語言語理解ベンチマークJGLUE[3]などのデータセットによるリーダーボードや、高性能なLLMによる生成結果の一対比較[4]で品質評価が行われる。代表的なリーダーボードであるlm-evaluation-harness[5]1）では、JGLUEの他に、算術計算データセットMGSM[6]、要約データセットXL-Sum[7]など、多様なタスク[8,9]が用いられる。生成結果の一対比較では、高性能な1）本稿〆切時点、最新のリーダーボードはhttps://rinnakk.github.io/research/benchmarks/lm/で掲載。LLMとしてGPT-4[1]、データセットとしてRakudaBenchmark2）やJapaneseMT-Bench3）などが用いられる。これらのベンチマークでは、流暢性・正確性などの生成の品質に焦点を当ててLLMを評価している。しかし、LLMの事業における活用では、記事の入稿規程やSEO対策などを考慮することから、文字数制約や単語の制約の順守など、生成の制御性も求められる。英語では、制御性の評価に焦点を当てた調査[10]や評価データセットの構築[11]、単語数やキーワードの有無などの自動評価可能な制御項目の評価[12]や、要約タスクを基にした事実一貫性などの品質の観点からの制御項目の評価[13]が実施されている。しかし、日本語においてはこうした制御性に焦点を当てた取り組みは存在しない。本研究では、日本語LLMの制御性の評価に焦点を当てたベンチマークとして、LLMControlledTextGeneration(LCTG)Benchを構築する。LCTGBenchは2つの言語生成タスクで構成され4）、タスク横断的な制御性の評価が行えるように設計されている。本ベンチマークを用いた実験を通じて、GPT-4などの多言語LLMを含む11種類の日本語LLMの制御性に関する現状と課題を示す。