pfgen-bench:日本語事前学習モデルのための文章生成性能評価ベンチマーク

本研究では、日本語事前学習モデルの文章生成性能を評価するためのベンチマークであるpfgen-benchを提案する。本ベンチマークはFluency(流暢さ)、Truthfulness(真実性）、Helpfulness(有用性)の3つの評価軸から構成される。まず、日本の小中高の学習指導要領を参考に、13科目50問からなる、日本語圏特有の常識問題集を作成した。さらに、複数のLLMとルールベースのフィルタリング手法を用いて、高品質な参照回答群を構築した。その上で、さまざまなモデルの回答と参照回答群の近さをはかる3つの評価軸を設計し、生成結果の評価が可能なベンチマークを構築した。このベンチマークを使用した評価結果に基づくと、事前学習モデル間の性能差を明確に示し、LLMによる従来の評価とも一致する点が確認された。構築したベンチマークは公開し、一般に使用可能である。