本研究では大規模言語モデル(LLM)の真実性に関するベンチマークとして，日本語TruthfulQA（JTruthfulQA）を構築する。JTruthfulQAは非事実に関連するもの，難しい知識を問うものを含む18カテゴリ，604問からなる。JTruthfulQAを用いてLLMの評価を行ったところ，GPT-3.5-TurboおよびGPT-4は非事実ジャンルの問題において人間より高い正答率を示したが，知識ジャンルにおいては人間の正答率を大きく下回った。また，GPT-4はすべてのジャンルの問題においてLLMの中で最も高い正答率を示した。

現在，英語を中心として大規模言語モデル(LLM)の開発が急激に進んでいる。それに伴ってLLMを利用する上での安全性，信頼性の問題への注目が高まっている。英語においてはTruthfulQA[1]やBBQ[2]など，真実性や偏見に関連するベンチマークが整備されている。TruthfulQAは，LLMの真実性や難しい知識に対する性能を評価するベンチマークであり，安全性，信頼性について計測することができる。日本語についてもLLMがいくつも開発されているが，それらの安全性，信頼性を評価するための日本語ベンチマークが不足している。既存の英語のベンチマークを和訳するという手段が考えられるが，回答に必要な知識が英語圏におけるものに偏ってしまい，日本特有の知識に関する評価を正確に行えない。本研究では真実性に着目し，日本語TruthfulQAを構築する。これによって，急増する日本語LLMの安全性の評価，向上に役立つことを期待する。