# 日本語 TruthfuIQA の構築

中村友亮 河原大輔
早稲田大学理工学術院
\{yusuke69@ruri., dkw@\}waseda.jp

## 概要

本研究では大規模言語モデル (LLM) の真実性に関するベンチマークとして，日本語 TruthfulQA （JTruthfulQA）を構築する。JTruthfulQA は非事実に関連するもの，難しい知識を問うものを含む 18 カテゴリ，604 問からなる。JTruthfulQAを用いて LLM の評価を行ったところ， GPT-3.5-Turbo および GPT-4 は非事実ジャンルの問題において人間より高い正答率を示したが，知識ジャンルにおいては人間の正答率を大きく下回った。また，GPT-4 はすべてのジャンルの問題において LLM の中で最も高い正答率を示した。

## 1 はじめに

現在，英語を中心として大規模言語モデル (LLM) の開発が急激に進んでいる。それに伴って LLM を利用する上での安全性，信頼性の問題への注目が高まっている。英語においては TruthfulQA [1] や BBQ [2] など，真実性や偏見に関連するベンチマー クが整備されている。TruthfulQA は，LLM の真実性や難しい知識に対する性能を評価するベンチマークであり，安全性，信頼性について計測することができる。

日本語についても LLMがいくつも開発されているが，それらの安全性，信頼性を評価するための日本語ベンチマークが不足している。既存の英語のべンチマークを和訳するという手段が考えられるが，回答に必要な知識が英語圈におけるものに偏ってしまい，日本特有の知識に関する評価を正確に行えない。本研究では真実性に着目し, 日本語 TruthfulQA を構築する。これによって，急増する日本語 LLM の安全性の評価，向上に役立つことを期待する。

## 2 関連研究

LLM の評価項目として倫理とモラル，偏見，毒性，真実性，頑健性，リスクなどがある [3]。それぞ
れの評価項目のベンチマークとして，偏見については BBQ [2]，BOLD [4]，Crows-Pairs [5] など LLM が学習した知識に偏見が含まれるかどうかを検証するベンチマーク，真実性については TruthfulQA [1] や SelfAware [6] など LLM が正確な生成を行えるかを評価するベンチマークが存在する。また，リスク評価を中心として安全性能について多岐にわたる項目での評価を行う Do-Not-Answer [7] などがある。上記のベンチマークはいずれも英語で構築されたものである。

## 3 日本語 TruthfulQA の構築

3.1 節で TruthfulQA [1] について概説し，3.2 節にて本研究で構築する日本語 TruthfulQA (JTruthfulQA) の詳細を述べる。

## 3.1 TruthfulQA

概要 TruthfulQA は 38 カテゴリ，817 問からなる真実性に関するべンチマークである。各問題文と， カテゴリ，模範解答とそのソース，正答例，誤答例を含む。カテゴリには，迷信など一部の人々に信じられているが事実とは言えないものと，法律など難しい知識を問うものが存在する。事実である回答のみを真とし，迷信などは誤答とみなす。問題に回答しない，不確実性を表現する，または真実ではあるが関係のない回答は正答として取り扱っている。メインのタスクは問題に対する回答生成であり，各問題に対する LLM の zero-shot による生成が正答か誤答かを評価する。人手評価と自動評価があり，自動評価のために GPT-3 のファインチューニングを行っている。追加タスクでは複数の選択肢の中から正答を選ぶ。

構築方法まず，人によっては誤答すると予想される問題が著者らの手作業によって作成された。問題が容易なものとなることを防ぐために，GPT-3 が複数の生成1)を行って 3 回連続で正答したものを削

1）生成は 0 でない温度に設定して行われている。
表 1 JTruthfulQA の例

表 2 問題のジャンル・カテゴリ

除することによって 437 件の問題を作成している。 その後，この手続きの知見を活かして，人間も機械も誤答すると予想される 380 件の問題を追加で作成している。

## 3.2 JTruthfulQA の構築

JTruthfulQA はカテゴリ, 問題, 問題作成者によって作られた解答に加え, 人手や LLM で作成した正答例，誤答例から構成する。以下の 5 つのステップによって構築する。

クラウドソーシングによる問題・解答作成まず，表 2 に示すように，迷信など事実に基づかない事象に関する非事実ジャンル 8 カテゴリ, 日本固有の知識に関する知識ジャンル 10 カテゴリの計 18 カテゴリにおいて，クラウドソーシングで 50 個ずつ問題と解答のペアを作成する。各カテゴリにおいて我々が例題とそれに対する解答を用意し，クラウドソーシングでは図 1 のようにカテゴリ名，例題とその解答を提示する。

フィルタリング作成した問題から有用なもののみを残すため, 文字数が 6 文字以下のもの, および， クラウドソーシングの際に提示した例題との類似度が高いものを削除する。また，生成した問題文同士の類似度が高いものは，一つを残してそれ以外を除去する。類似度計算には BERTScore [8] を用いる。

解答・カテゴリの正誤判定残った問題について，解答とカテゴリのそれぞれが合っているかをクラウドソーシングで検証する。解答の検証時，クラウドワーカーにはウェブ検索を用いて問題文に対する解答が適当かどうか判定するよう指示を与える。 5 人のワーカーによるクラウドソーシングの結果， 5 人中 4 人以上が合っていると答えたものを正しいとみなす。解答が誤っている問題は除去し，カテゴリが誤っている問題は人手で振り直しを行う。 18 個のカテゴリに分類できないものは「その他」とする。
LLM による回答例の生成回答評価用に正答例 ・誤答例を作成するため，各問につき GPT-3.5-Turbo ${ }^{2)}$ で 6つ, 3 つの LLM $\left(\right.$ StableLM $^{3}$,, ELYZA $^{4)}$, Weblab $^{5)}$ ) で 2つずつの回答例を生成する。回答生成時には 50 文字以下で回答するように指示し，いずれのモデルも温度は 1 に設定する。回答例が長文になると回答評価時の正誤判定が困難になる恐れがあるため, 長文で生成する傾向にあった 3 つの LLM で生成された問題のうち，75 文字より長いものは除去する。

回答例の正誤判定 LLM で生成した回答に対して10人のクラウドワーカーによるクラウドソーシングで正誤を判定する。8 人以上が正しいと答えたものを正答， 2 人以下が正しいと答えたものを誤答とする。クラウドワーカーは正誤判定する際，カテゴリ，問題，問題作成者によって作られた解答を参照したうえで判定を行う。知識ジャンルの問題については，GPT-3.5-Turbo を用いて生成した 6 つの回答中，3つ以上が正答があったものは簡単すぎる問題として除去する。また，正答でも誤答でもない回答例は削除する。

これらのステップを経て，604 問の問題と各問につき平均 3.6 個の正答例，4.7 個の誤答例を得た。正答例には, 問題作成者によって作られた解答を含む。

4.1.2 節で評価後の人手による例を回答例に追加する。

## 4 実験

JTruthfulQA の問題に対して，クラウドソーシングによる人間の回答の収集，LLMによる回答生成を実施する。その後，回答が正しいかどうかについて

2) https://platform.openai.com/docs/models/gpt-3-5

3) https://huggingface.co/stabilityai/ japanese-stablelm-instruct-alpha-7b

4) https://huggingface.co/elyza/ ELYZA-japanese-Llama-2-7b-instruct

5) https://huggingface.co/matsuo-lab/ weblab-10b-instruction-sft

図 1 クラウドソーシングにおける例題提示の例

表 3 誤答の例

クラウドソーシングによって人手評価を行い，人間と LLM の正答率を検証する。自動評価手法として 2つのLLMのファインチューニングを行い，正誤判定を実施するほか，BLEU などのスコアを計算する。

## 4.1 実験設定

## 4.1.1 回答生成

6 種類の LLM (GPT-3.5-Turbo, GPT-4 ${ }^{6}$, StableLM, ELYZA, Weblab, LINE）において，各問につき 50 文字以内で回答するように指示を与える。プロンプトの形式は各モデルの公開元が使用例としていたものを基本とし，温度は 0 (0 に設定できない場合 0.1$)$ で回答の生成を行う。

人間の回答として，検索を許す，検索を許さないというそれぞれの指示を与えたうえで，各問につき 3 人のクラウドワーカーによって回答例を生成する。回答時には問題文のみが与えられる。

## 4.1.2 人手評価

LLM で生成した各回答に対して 5 人のクラウドワーカーによるクラウドソーシングで正誤の判定を行い，3 人以上が正しいと答えたものを正答， 2 人以下を誤答とする。クラウドワーカーは提示されたカテゴリ，問題，正答例，誤答例を参照して判定を行う。

人間の回答は，まず 3 人のクラウドワーカーによって作成される各回答について LLM と同様に正誤判定を行う。判定後の回答において，3つの回答中 2 つ以上が正しければ正答，1つ以下であれば誤答とみなす。また，評価後の回答例をデータセットの正答例，誤答例に追加する。これにより，正答例は平均 5.8 個，誤答例は平均 6.2 個となった。

6) https://platform.openai.com/docs/models/gpt-4-and-gpt-4-turbo

## 4.1.3 自動評価

問題に対する回答の正誤評価において，自動評価器を構築し, 人手評価との比較を行う。自動評価器は, GPT-3.5-Turbo, RoBERTa [9] の日本語モデルである早大 RoBERTa $^{7)}$ の 2 つの LLM をファインチューニングして構築する。訓練データは 3.2 節で構築した JTruthfulQA の問題とすべての回答例をそれぞれ結合したものである。テストデータとして JTruthfulQA の問題と 4.1.1 節で作成した回答をそれぞれ結合する。

早大 RoBERTa 入力をもとに正答か誤答かの二値分類として早大 RoBERTa のファインチューニングを実施する。その後ファインチューニングしたモデルを用いて，問題と4.1.1 節の回答を結合したものを入力として推論し，回答の評価を行う。

GPT-3.5-Turbo OpenAIの APIによって提供されているファインチューニングサービスを利用して GPT-3.5-Turbo のファインチューニングを行う。入力をもとに，正答ならば True，誤答ならば False と出力するようにプロンプトを記述する。推論時はモデルの出力に基づき, True を正答, False を誤答として評価を行う。

自動評価の一環として, BLEU, ROUGE-1, BERTScore の値も算出する。まず評価する回答と各正答例・誤答例とのスコアを求め，正答例のうちの最大值から誤答例のうちの最大値を引いたものを最終的な評価値とする。

## 4.2 実験結果

人間と GPT-4 の誤答の例，各 LLM の人手評価と自動評価の結果，ジャンルごとの各 LLM の正答率をそれぞれ表 $3 ， 4 ， 5$ に示す。

表 4 各 LLM の人手評価と自動評価の結果。GPT-3.5, RoBERTa の列はそれぞれ GPT-3.5-Turbo, 早大 RoBERTa のファインチューニングモデル (4.1.3 節) で評価した正答率を表す。

表 5 ジャンルごとの各 LLM の正答率 (人手評価)

## 4.2.1 人手評価

知識ジャンルでは検索あり，なしの場合で共に人間の回答の正答率がいずれの LLM よりも高かった。 また, 日本語 LLM の中では ELYZA が最も高い正答率を示した。非事実ジャンルでは GPT-3.5-Turbo, GPT-4 が人間よりも高い正答率を示し, 日本語 LLM の中では StableLM が最も高かった。全問題を通しての正答率はいずれの LLM も人間を超えなかったが，LLM の中では GPT-4 が最も高く，日本語 LLM の中では ELYZA が最も高かった。

誤答する問題の傾向として，検索のあり，なしに関わらず，人間は非事実ジャンルの中でも特に主観的な評価の問題の多くで誤答していた。対照的に， GPT-4 は知識ジャンル全般で誤答が多く, 表 3 のように解答と似た誤答が多かった。

日本語に対してより多くの知識を持っていると考えられる日本語 LLMだが，いずれの指標でも GPT-4 の精度を下回った。StableLM と Weblab は知識ジャンルにおいて GPT-3.5-Turbo よりも高い正答率を示した。ELYZA は非事実ジャンルで高い正答率を示したが，知識ジャンルで最も低い正答率を示した。原因として, ELYZA が英語モデルの Llama-2 を日本語でファインチューニングしたモデルであり，その他の日本語 LLM と比べて日本の知識に関する学習の割合が少なかったためと推測される。

## 4.2.2 自動評価

RoBERTa，GPT-3.5 共に正答率の順位は概ね人手評価と同様の結果であった。

人手評価の結果を正解とした自動評価の精度は GPT-3.5 の方が高かったが，API を通してのファインチューニングであるため，異なる環境での再現性は RoBERTa のほうが優れていると考えられる。

## 5 おわりに

本研究では真実性に関するベンチマークとして日本語 TruthfulQA を構築し，LLM の評価を行った。 すべてのジャンルの問題で GPT-4 が最も高い正答率を示した。GPT-3.5-Turbo および GPT-4 は，非事実ジャンルでは人間よりも正答率が高かったが，知識ジャンルでは人間の正答率を大きく下回った。

今後は，新たに開発されている日本語 LLM についても評価する予定である。また，LLM の学習コー パスが非事実ジャンル，知識ジャンルにおける正答率に及ぼす影響について調査したいと考えている。

## 謝辞

本研究は SB Intuitions 株式会社と早稲田大学の共

同研究により実施した。

## 参考文献

[1] Stephanie Lin, Jacob Hilton, and Owain Evans. TruthfulQA: Measuring how models mimic human falsehoods. In Smaranda Muresan, Preslav Nakov, and Aline Villavicencio, editors, Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 3214-3252, Dublin, Ireland, May 2022. Association for Computational Linguistics.

[2] Alicia Parrish, Angelica Chen, Nikita Nangia, Vishakh Padmakumar, Jason Phang, Jana Thompson, Phu Mon Htut, and Samuel Bowman. BBQ: A hand-built bias benchmark for question answering. In Smaranda Muresan, Preslav Nakov, and Aline Villavicencio, editors, Findings of the Association for Computational Linguistics: ACL 2022, pp. 2086-2105, Dublin, Ireland, May 2022. Association for Computational Linguistics.

[3] Zishan Guo, Renren Jin, Chuang Liu, Yufei Huang, Dan Shi, Supryadi, Linhao Yu, Yan Liu, Jiaxuan Li, Bojian Xiong, and Deyi Xiong. Evaluating large language models: A comprehensive survey, 2023.

[4] Jwala Dhamala, Tony Sun, Varun Kumar, Satyapriya Krishna, Yada Pruksachatkun, Kai-Wei Chang, and Rahul Gupta. Bold: Dataset and metrics for measuring biases in open-ended language generation. In Proceedings of the 2021 ACM Conference on Fairness, Accountability, and Transparency, FAccT '21. ACM, March 2021.

[5] Nikita Nangia, Clara Vania, Rasika Bhalerao, and Samuel R. Bowman. CrowS-pairs: A challenge dataset for measuring social biases in masked language models. In Bonnie Webber, Trevor Cohn, Yulan He, and Yang Liu, editors, Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 19531967, Online, November 2020. Association for Computational Linguistics.

[6] Zhangyue Yin, Qiushi Sun, Qipeng Guo, Jiawen Wu, Xipeng Qiu, and Xuanjing Huang. Do large language models know what they don't know? In Anna Rogers, Jordan Boyd-Graber, and Naoaki Okazaki, editors, Findings of the Association for Computational Linguistics: ACL 2023, pp. 8653-8665, Toronto, Canada, July 2023. Association for Computational Linguistics.

[7] Yuxia Wang, Haonan Li, Xudong Han, Preslav Nakov, and Timothy Baldwin. Do-not-answer: A dataset for evaluating safeguards in llms, 2023.

[8] Tianyi Zhang*, Varsha Kishore*, Felix Wu*, Kilian Q. Weinberger, and Yoav Artzi. Bertscore: Evaluating text generation with bert. In International Conference on Learning Representations, 2020.

[9] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. Roberta: A robustly optimized bert pretraining approach, 2019.

## A オープンな LLM による多肢選択式タスクの評価

TruthfulQA [1] と同様に，追加タスクとして多肢選択式タスクを作成した。タスクの性質上，オープンな LLM のみで評価した。

MC1 問題文と一つだけ正答を含む複数の回答選択肢を与え，正答を選択する。選択肢のうち，問題文の続きとして生成したときの対数確率が最も高いものをモデルの選択とする。スコアは全問題での正答率によって表す。

MC2 問題文と複数の正答，誤答選択肢を与え，正答のセットに対して割り当てられた正規化された総合確率をスコアとする。

表 6 オープンソース LLM の多肢選択式タスクの評価結果