時事情報に関する日本語QAベンチマーク『ニュースQ』

近年，大規模言語モデル（LLM）の性能は飛躍的に向上しているが，ハルシネーションと呼ばれる，誤情報を生成してしまう問題が知られており，生成主体のLLMが持つ知識の信頼性や事実性を測定することは重要である．特に，時事に関する誤情報は，ユーザーの実生活における意思決定や行動に直接的な影響を与えるリスクが大きい．そこで本研究では，様々なジャンルのニュースをもとに作成された，時事的知識を日本語で問うベンチマーク『ニュースQ』1）を提案する．主要なLLMのベンチマーク正答率を算出したところ，高品質な日本語コーパスを事前学習する重要性が示唆されるとともに，よりパラメータサイズの大きいモデルの方が時事的な知識をより正確に把握している傾向が確認された．