本研究では、日本語事前学習モデルの文章生成性能を評価するためのベンチマークであるpfgen-benchを提案する。本ベンチマークはFluency(流暢さ)、Truthfulness(真実性）、Helpfulness(有用性)の3つの評価軸から構成される。まず、日本の小中高の学習指導要領を参考に、13科目50問からなる、日本語圏特有の常識問題集を作成した。さらに、複数のLLMとルールベースのフィルタリング手法を用いて、高品質な参照回答群を構築した。その上で、さまざまなモデルの回答と参照回答群の近さをはかる3つの評価軸を設計し、生成結果の評価が可能なベンチマークを構築した。このベンチマークを使用した評価結果に基づくと、事前学習モデル間の性能差を明確に示し、LLMによる従来の評価とも一致する点が確認された。構築したベンチマークは公開し、一般に使用可能である。

近年、事前学習された大規模言語モデル(LLM)は、翻訳や文章生成、質問応答などの自然言語処理タスクにおいて高い性能を示している。特に、Llama[1,2]やMixtral[3]などのモデルは、英語圏を中心に広く活用され、その汎用的な能力が評価されている。一方で、これらのモデルは主に英語データを基に訓練されており、日本語のような非英語圏の言語に対して同様の性能を発揮するかどうかは十分に検証されていない。従来の日本語生成能力の評価手法にはいくつかの問題点が存在する。多くのベンチマークが選択肢形式の問題を採用しているが、この形式ではモデルの∗EqualcontributionFullpaper:https://jxiv.jst.go.jp/index.php/jxiv/preprint/view/1008日本語生成能力が不十分であっても、日本語の読解力や英語の理解を駆使して正答を得ることができるため、生成能力を適切に評価することが難しい。また、JapaneseMT-bench1）のような日本語の生成能力を計測するベンチマークでも、英単語や外来語を多用した日本語として不自然な回答に対しても減点があまり行われず、日本語としての流暢さや文脈適合性を十分に評価できないという課題がある。また、生成能力の評価にあたっては、非常に性能の高い言語モデルを評価者として用いる必要もあり、計算コストの観点でも課題が存在する。本研究の目的は、日本語事前学習モデルの生成能力を小規模なモデルから大規模なモデルまで様々な規模のモデルをより高い分解能で評価するためのベンチマーク手法を提案することである。本ベンチマークでは、Fluency(流暢さ)、Truthfulness(真実性)、Helpfulness(有用性)の3つの評価軸を採用し、日本語モデルがどの程度正確で流暢な応答を生成できるかを評価する。これにより、日本語生成モデルが日本語の文脈に適応し、適切な回答を生成できるかを客観的に評価することが可能となる。本研究で構築したpfgen-benchはhttps://github.com/pfnet-research/pfgen-benchで公開している。