LCTGBench:日本語LLMの制御性ベンチマークの構築

日本を含む世界中で大規模言語モデル（LLM）の開発や事業における活用が加速していく中で、LLMの性能評価が重要課題になりつつある。LLMの事業における活用では、記事の入稿規程やSEO対策などを考慮することから、生成結果の内容の品質のみならず、文字数制約や単語の制約などの制御性もLLMの性能の評価対象となり得る。しかし、日本語LLMの制御性に着目した評価の枠組みは存在しない。本研究では、LLMの事業応用において留意すべき観点の一つである制御性に焦点を当て、評価ベンチマークLCTGBenchを構築する。GPT-4[1]やGemini[2]などの多言語LLMを含む11種類の日本語LLMを対象とするLCTGBenchを用いたベンチマーク実験を通して,日本語LLMの制御性に関する現状と課題を示す。