4択クイズを題材にした多肢選択式
⽇本語質問応答データセットの構築
鈴⽊正敏
東北⼤学∕Studio Ousia

概要• ⽇本語⾔語モデルの評価に利⽤できる
多肢選択式の⽇本語質問応答データセットを作成• 国内のクイズ⼤会で使⽤された4択クイズの問題が題材⇒ ⽇本特有の事物に関する知識を多く含む• 作成したデータセットを⽤いて既存の⽇本語⾔語モデルの性能を評価• 作成したデータセット（⼀部）と評価スクリプトを公開• 🤗 Hub: tohoku-nlp/abc-multiple-choice• GitHub: cl-tohoku/abc-multiple-choice2

⽬次• 背景と⽬的• 関連研究• 提案データセット• 評価実験
• 分析
• まとめ

3

背景
• ⾔語モデルが保持する世界知識を測るために⾼品質な質問応答データセットは不可⽋• 世界知識＝実世界の事物に関する知識• ここ1, 2年で⽇本語の⼤規模⾔語モデルが多く登場
それらモデルがもつ世界知識を評価したい• しかし, ⽇本語の⾼品質な質問応答データセットは稀少• ⽂章読解を伴わずに知識を試すデータが必要• ⾃動評価のためには択⼀問題の形式が好都合

4

本研究の⽬的
⽇本語の⾔語モデルがもつ世界知識を評価するための多肢選択式質問応答データセットを作成する
本研究の貢献• 国内のクイズ⼤会で使⽤された4択クイズの問題をもとにデータセットを作成• 参加者の知識を試す⽬的で作られた⾼品質なデータ• ⽇本特有の事物に関する問題を多く含む• 作成したデータセットを⽤いて既存の⽇本語の⼤規模⾔語モデルの性能を評価

5

⽬次• 背景と⽬的• 関連研究• ⽇本語の質問応答データセット• 多⾔語の質問応答データセット• 提案データセット• 評価実験
• 分析
• まとめ

6

⽇本語の質問応答データセット（⽇本語の⼤規模⾔語モデルの評価に使われている主なもの）• JCommonsenseQA [Kurihara+ 22, 栗原+ 22]• 常識推論能⼒を評価するための5択問題のデータセット• JEMHopQA [⽯井+ 23, ⽯井+ 24]• 多段階の推論を必要とする質問からなるデータセット• JSQuAD [Kurihara+ 22 , 栗原+ 22], JaQuAD [So+ 22]• Wikipedia記事の読解問題のデータセット• NIILC [関根 03]• 百科事典を対象とした質問応答データセット• JAQKET [鈴⽊+ 20], AI王データセット1• クイズ問題を題材に作成した20択 or ⼀問⼀答形式のデータセット⇒ 世界知識を評価するための択⼀問題のデータセットはほぼない
1. https://sites.google.com/view/project-aio/dataset7多⾔語の質問応答データセットの難点• 翻訳の品質に問題• 例: X-CSQA [Lin+ 21]
笛が溜まりそうな場所は？
A. パーティーB. オーケストラ

C. 楽器店

D. マーチングバンド

E. シンフォニー

何かの重さが軽くないとしたら、それは何か？
A. 肝⼼なこと

B. 闇

C. 重い

D. 煩い

E. 闇

• ⽇本特有の知識が少なく, ⽇本語モデルの評価に不向き• 例: MKQA [Longpre+ 21]

ツインタワーが建てられるまでどの位の時間がかかりましたか
ラムズはいつスーパーボウルでプレーしましたか8

⽬次• 背景と⽬的• 関連研究• 提案データセット• 評価実験
• 分析
• まとめ

9

提案データセット• 競技クイズの⼤会「abc」1で実際に使⽤された4択クイズの問題を利⽤• 第10回（2010年）から第21回（2023年）までの⼤会で使⽤された計1,500問からデータセットを作成• 第12回⼤会（2012年）までの問題（450問）は無料で⼊⼿可能⇒ データセットを公開: 🤗 tohoku-nlp/abc-multiple-choice• 第13回⼤会（2013年）以降の問題は有料⇒ 1,500問の全データは公開せず, 実験結果のみ報告※本発表資料で使⽤しているクイズ問題例はいずれも公開したデータセットに含まれるものです1. https://abc-dive.com/portal/

10

クイズ問題の例

11• ⽇本や世界の事物に関する知識を試す問題が多数『斜陽』『⼈間失格』などの作品を残した作家は?
1. 三島由紀夫

2. ⽥中英光

3. 有島武郎

4. 太宰治アメリカの⼤都市‧ボストンがある州は?
1. マサチューセッツ州

2. ニューハンプシャー州 3. メリーランド州

4. コネチカット州

アニメ『サザエさん』で、磯野家の隣に住んでいるのは?
1. 中島家2. 花沢家3. ⽳⼦家4. 伊佐坂家

脚の縞模様が美しいことから「森の貴婦⼈」とも呼ばれる動物は?
1. ジャイアントパンダ

2. オカピ

3. コビトカバ

4. ボンゴ神⼾市にはその個⼈美術館もある、劇団「天井桟敷」のポスターで知られる画家‧デザイナーは?
1. 福⽥繁雄

2. 横尾忠則

3. ⻲倉雄策

4. 粟津潔余談: データセット構築の苦労話（？）• 問題データはPDFで提供されている（⼀部Excelもあり）

12• Copy & Paste によるテキスト抽出が上⼿くいかないことも 😕

『「abc the12th / EQIDEN2014」 公式問題集』より引⽤• 解決策: スクリーンショットをOCR→⽬視で確認‧修正• OCR機能は最新のmacOSに標準で備わっている（便利で⾼精度）

古くなった問題のフィルタリング

13• 時事問題など, 現在では意味が成⽴しない問題が存在• 「今年」などの⽂⾔を含むもの, 事実関係が変わったもの, etc.

今年8⽉25⽇に佐藤健、武井咲主演による実写版映画が公開される、和⽉伸宏の⼈気マンガは?
1.『武装錬⾦』

2.『エンバーミング』

3. 『るろうに剣⼼』

4.『GUN BLAZE WEST』（出題⽇: 2012/03/18）

現在15⽇ある⽇本の国⺠の祝⽇のうち、ちょうど真ん中にあたる8番⽬の祝⽇は何?
1. 昭和の⽇

2. 憲法記念⽇

3. みどりの⽇

4. こどもの⽇（出題⽇: 2013/03/24; 2016年に「⼭の⽇」が加わり, 2020年に「天皇誕⽣⽇」が移動したため, 不成⽴）

• 解決策: 1,500問全てに⽬を通し, 成⽴しない問題を除外※気合いが必要• フィルタリング後の問題数は1,340問（89.3%）

⽬次• 背景と⽬的• 関連研究• 提案データセット• 評価実験

• 対数尤度による評価（lm-evaluation-harness）• 選択肢の番号/語句の出⼒による評価（llm-jp-eval）

• 分析
• まとめ

14

評価⽅法 (1) 対数尤度

15• プロンプトに対して各選択肢の語句を出⼒させ,
最も対数尤度が⾼い選択肢を解答として採⽤する与えられた選択肢の中から、最適な答えを選んでください。
質問：太閤検地や⼑狩などの政策を⾏った、安⼟桃⼭時代の武将は?
選択肢：- 織⽥信⻑
- 明智光秀- 豊⾂秀吉- 徳川家康
回答：

織⽥信⻑

対数尤度

明智光秀
豊⾂秀吉
徳川家康

解答: 豊⾂秀吉• lm-evaluation-harness1 を使⽤• プロンプトは JCommonsenseQA 向けのものと同様に作成• プロンプトバージョンは 0.2.1 で実験（参考: Stability AI ブログ2）
1. https://github.com/EleutherAI/lm-evaluation-harness/tree/v0.4.1
2. https://ja.stability.ai/blog/japanese-stable-lm-beta

評価⽅法 (2-1) 選択肢の番号を出⼒

16• プロンプトに対して解答の選択肢の番号を出⼒させる
以下は、タスクを説明する指⽰と、⽂脈のある⼊⼒の組み合わせです。要求を適切に満たす応答を書きなさい。
### 指⽰:質問と回答の選択肢を⼊⼒として受け取り、選択肢から回答を選択してください。なお、回答は選択肢の番号（例：1）でするものとします。 回答となる数値をint型で返し、他には何も含めないことを厳守してください。
### ⼊⼒:質問：太閤検地や⼑狩などの政策を⾏った、安⼟桃⼭時代の武将は?
選択肢：1.織⽥信⻑,2.明智光秀,3.豊⾂秀吉,4.徳川家康### 応答:• llm-jp-eval [Han+ 24]1 を使⽤• 選択肢の番号を答えさせるのは LLM-jp で通常の問題設定• プロンプトは JCommonsenseQA 向けのものと同様に作成
1. https://github.com/llm-jp/llm-jp-eval/tree/v1.2.0

出⼒

3

評価⽅法 (2-2) 選択肢の語句を出⼒17• プロンプトに対して解答の選択肢の語句を出⼒させる• 🤔 選択肢の番号で答えるのは⼀種の創発的能⼒なのかも？

以下は、タスクを説明する指⽰と、⽂脈のある⼊⼒の組み合わせです。要求を適切に満たす応答を書きなさい。
### 指⽰:質問と回答の選択肢を⼊⼒として受け取り、選択肢から回答を選択してください。回答の他には何も含めないことを厳守してください。
### ⼊⼒:質問：太閤検地や⼑狩などの政策を⾏った、安⼟桃⼭時代の武将は?
選択肢：織⽥信⻑,明智光秀,豊⾂秀吉,徳川家康### 応答:• llm-jp-eval を使⽤• 選択肢の番号ではなく語句で答えるようプロンプトを変更

出⼒

豊⾂秀吉

評価⽅法の詳細• いずれの評価も 4-shot で実⾏• 例題は過去の⼤会の筆記問題をもとに作成（詳細は付録を参照）• 1,500問の全データに対して評価• 450問の公開データのみを⽤いた場合の結果は付録を参照• 評価指標: 正解率（完全⼀致）• 古くなった問題のフィルタリングの有無の2通りで算出• 評価に⽤いたスクリプトは GitHub にて公開
• https://github.com/cl-tohoku/abc-multiple-choice18評価対象のモデル• ⽇本語のモデル• cyberagent/calm2-7b• elyza/ELYZA-japanese-Llama-2-7b, 13b• llm-jp/llm-jp-13b-v1.0• stabilityai/japanese-stablelm-base-beta-7b, gamma-7b• stockmark/stockmark-13b• tokyotech-llm/Swallow-7b-hf, 13b• matsuo-lab/weblab-10b• 英語のモデル• meta-llama/Llama-2-7b-hf, 13b• mistralai/Mistral-7B-v0.1• OpenAI API のモデル
• gpt-3.5-turbo-0125• gpt-4-0125-preview

19

結果

カッコ内は古い問題をフィルタリング後の正解率
太字は1位, 下線は2位を⽰すモデル(1) 対数尤度(2-1) 番号を出⼒ (2-2) 語句を出⼒

calm2-7b0.622 (0.625)

0.240 (0.243)

0.573 (0.575)

ELYZA-japanese-Llama-2-7b0.449 (0.453)

0.376 (0.380)

0.405 (0.408)

ELYZA-japanese-Llama-2-13b

0.586 (0.592)

0.523 (0.524)

0.565 (0.569)

llm-jp-13b-v1.0

0.526 (0.521)

0.246 (0.250)

0.448 (0.449)

japanese-stablelm-base-beta-7b

0.498 (0.501)

0.365 (0.364)

0.469 (0.479)

japanese-stablelm-base-gamma-7b

0.719 (0.726)

0.643 (0.649)

0.653 (0.664)

stockmark-13b

0.771 (0.762)

0.289 (0.285)

0.000 (0.000)

Swallow-7b-hf

0.754 (0.749)

0.459 (0.455)

0.640 (0.641)

Swallow-13b-hf

0.812 (0.813)

0.649 (0.648)

0.751 (0.749)

weblab-10b

0.336 (0.330)

0.270 (0.278)

0.327 (0.325)

Llama-2-7b-hf

0.401 (0.403)

0.267 (0.263)

0.305 (0.311)

Llama-2-13b-hf

0.495 (0.507)

0.378 (0.380)

0.412 (0.427)

Mistral-7B-v0.1

0.383 (0.392)

0.354 (0.365)

0.379 (0.388)

gpt-3.5-turbo-0125-

0.645 (0.657)

0.699 (0.710)

gpt-4-0125-preview-

0.853 (0.861)

0.881 (0.890)

20

結果

カッコ内は古い問題をフィルタリング後の正解率
太字は1位, 下線は2位を⽰すモデル(1) 対数尤度

calm2-7b0.622 (0.625)

0.240 (0.243)

0.573 (0.575)

ELYZA-japanese-Llama-2-7b0.449 (0.453)

0.376 (0.380)

0.405 (0.408)

ELYZA-japanese-Llama-2-13b

0.586 (0.592)

0.523 (0.524)

0.565 (0.569)

llm-jp-13b-v1.0

0.526 (0.521)

0.246 (0.250)

0.448 (0.449)

japanese-stablelm-base-beta-7b

0.498 (0.501)

0.365 (0.364)

0.469 (0.479)

japanese-stablelm-base-gamma-7b

0.719 (0.726)

0.643 (0.649)

0.653 (0.664)

stockmark-13b

0.771 (0.762)

0.289 (0.285)

0.000 (0.000)

Swallow-7b-hf

0.754 (0.749)

0.459 (0.455)

0.640 (0.641)

Swallow-13b-hf

0.812 (0.813)

0.649 (0.648)

0.751 (0.749)

weblab-10b

0.336 (0.330)

0.270 (0.278)

0.327 (0.325)

Llama-2-7b-hf

0.401 (0.403)

0.267 (0.263)

0.305 (0.311)

Llama-2-13b-hf

0.495 (0.507)

0.378 (0.380)

0.412 (0.427)

Mistral-7B-v0.1

0.383 (0.392)

0.354 (0.365)

0.379 (0.388)

gpt-3.5-turbo-0125-

0.645 (0.657)

0.699 (0.710)

gpt-4-0125-preview-

0.853 (0.861)

0.881 (0.890)

21(2-1) 番号を出⼒ (2-2) 語句を出⼒
モデルの
⼤型化

モデルの
⼤型化

モデルの
⼤型化

結果

カッコ内は古い問題をフィルタリング後の正解率
太字は1位, 下線は2位を⽰すモデル(1) 対数尤度

calm2-7b0.622 (0.625)

0.240 (0.243)

0.573 (0.575)

ELYZA-japanese-Llama-2-7b0.449 (0.453)

0.376 (0.380)

0.405 (0.408)

ELYZA-japanese-Llama-2-13b

0.586 (0.592)

0.523 (0.524)

0.565 (0.569)

llm-jp-13b-v1.0

0.526 (0.521)

0.246 (0.250)

0.448 (0.449)

japanese-stablelm-base-beta-7b

0.498 (0.501)

0.365 (0.364)

0.469 (0.479)

japanese-stablelm-base-gamma-7b

0.719 (0.726)

0.643 (0.649)

0.653 (0.664)

stockmark-13b

0.771 (0.762)

0.289 (0.285)

0.000 (0.000)

Swallow-7b-hf

0.754 (0.749)

0.459 (0.455)

0.640 (0.641)

Swallow-13b-hf

0.812 (0.813)

0.649 (0.648)

0.751 (0.749)

weblab-10b

0.336 (0.330)

0.270 (0.278)

0.327 (0.325)

Llama-2-7b-hf

0.401 (0.403)

0.267 (0.263)

0.305 (0.311)

Llama-2-13b-hf

0.495 (0.507)

0.378 (0.380)

0.412 (0.427)

Mistral-7B-v0.1

0.383 (0.392)

0.354 (0.365)

0.379 (0.388)

gpt-3.5-turbo-0125-

0.645 (0.657)

0.699 (0.710)

gpt-4-0125-preview-

0.853 (0.861)

0.881 (0.890)

22(2-1) 番号を出⼒ (2-2) 語句を出⼒独⾃に収集した
コーパスも利⽤
コーパスを
独⾃に精錬

結果

カッコ内は古い問題をフィルタリング後の正解率
太字は1位, 下線は2位を⽰すモデル(1) 対数尤度

calm2-7b0.622 (0.625)

0.240 (0.243)

0.573 (0.575)

ELYZA-japanese-Llama-2-7b0.449 (0.453)

0.376 (0.380)

0.405 (0.408)

ELYZA-japanese-Llama-2-13b

0.586 (0.592)

0.523 (0.524)

0.565 (0.569)

llm-jp-13b-v1.0

0.526 (0.521)

0.246 (0.250)

0.448 (0.449)

japanese-stablelm-base-beta-7b

0.498 (0.501)

0.365 (0.364)

0.469 (0.479)

japanese-stablelm-base-gamma-7b

0.719 (0.726)

0.643 (0.649)

0.653 (0.664)

stockmark-13b

0.771 (0.762)

0.289 (0.285)

0.000 (0.000)

Swallow-7b-hf

0.754 (0.749)

0.459 (0.455)

0.640 (0.641)

Swallow-13b-hf

0.812 (0.813)

0.649 (0.648)

0.751 (0.749)

weblab-10b

0.336 (0.330)

0.270 (0.278)

0.327 (0.325)

Llama-2-7b-hf

0.401 (0.403)

0.267 (0.263)

0.305 (0.311)

Llama-2-13b-hf

0.495 (0.507)

0.378 (0.380)

0.412 (0.427)

Mistral-7B-v0.1

0.383 (0.392)

0.354 (0.365)

0.379 (0.388)

gpt-3.5-turbo-0125-

0.645 (0.657)

0.699 (0.710)

gpt-4-0125-preview-

0.853 (0.861)

0.881 (0.890)

23(2-1) 番号を出⼒ (2-2) 語句を出⼒

Llama2-7B
から継続学習Mistral-7B
から継続学習⽬次• 背景と⽬的• 関連研究• 提案データセット• 評価実験
• 分析• すべてのモデルが正答した問題例• すべてのモデルが誤答した問題例

• まとめ

24

すべてのモデルが正答した問題例（対数尤度による評価）• キーワードや固有名詞から答えを容易に連想できる問題が多い「ネビュラ賞」「ヒューゴー賞」「星雲賞」といえば、どんなジャンルの⽂学作品に与えられる賞?
1. 歴史⼩説
2. 推理⼩説
3. 詩
4. SF
JR四国の本社がある都市は?
1. ⾼松市2. 松⼭市3. 徳島市4. ⾼知市⽇本の歴史区分で「戦後」といったら、普通何という戦争の終結後を指す?
1. ⽇清戦争
2. ⽇露戦争
3. 第⼀次世界⼤戦
4. 第⼆次世界⼤戦
正式には「国際連合教育科学⽂化機関」という国連の専⾨機関は何?
1. UNHCR
2. UNESCO
3. UNICEF
4. UNCTAD
欧⽶のレストランなどで、⾷事などのサービスに感謝して⽀払うお⾦を何と⾔う?
1. アップ
2. チップ
3. ノップ
4. リップ
MacBook、iMac、iPhoneといえばどこのメーカーの製品?
1. アップル
2. インテル
3. グーグル4. マイクロソフト
社員にパワハラをしたり過重労働を強制したりする企業のことを、俗に何という?
1.ブルー企業
2. ブラウン企業
3. ブラック企業
4. グリーン企業
奈良県や和歌⼭県などを含む、⽇本の半島は?
1. 三浦半島
2. 紀伊半島
3. 渥美半島
4. ⼤隅半島25

すべてのモデルが誤答した問題例（対数尤度による評価）• 視覚情報,フレーズに関する知識, 多段階推論などが必要な問題が多い
⽂字遊びの「へのへのもへじ」で、⿐を表しているひらがなは?
1. へ
2. の
3. も
4. じ
未熟であることを指す慣⽤句で「⻩⾊い」といわれるのは何?
1. くちばし
2. 尻
3. 声
4. おなか
⽑利衛は「地球に」、バイロンは「愛に」、パスツールは「科学に」ないといったものは何?
1. 未来
2. 国境
3. 平和
4. 絶望
名前に「島」という漢字が付く⽇本の県で、県庁所在地名に「島」という漢字が付かないのは?
1. ⿅児島県
2. 島根県
3. 徳島県
4. 福島県
⽇本の⽂化勲章にデザインされている花は何?
1. 菊
2. 桐
3. 橘
4. 蘭
南⽶の国‧チリの、⽴法上の⾸都はどこ?
1. サンティアゴ
2. ビニャデルマル
3. サンフェルナンド
4. バルパライソ「ラスパイレス指数」に名を残す経済学者エティエンヌ‧ラスパイレスはどこの国の⼈?
1. アメリカ
2. イギリス
3. ドイツ4. フランス
上⽥敏が訳した⼀節「神、そらに知ろしめす すべて世は事も無し」が有名な詩⼈は誰?
1. カール‧ブッセ 2. ポール‧ヴェルレーヌ 3. ロバート‧ブラウニング 4. ルコント‧ド‧リール

26

まとめ
• ⽇本語⾔語モデルの評価に利⽤できる
多肢選択式の⽇本語質問応答データセットを作成• 国内のクイズ⼤会で使⽤された4択クイズの問題が題材⇒ ⽇本特有の事物に関する知識を多く含む• 作成したデータセットを⽤いて既存の⽇本語⾔語モデルの性能を評価• 作成したデータセット（⼀部）と評価スクリプトを公開• 🤗 Hub: tohoku-nlp/abc-multiple-choice• GitHub: cl-tohoku/abc-multiple-choice

27

謝辞

28

• 本研究で公開したデータセットのクイズ問題は abc/EQIDEN 実⾏委員会1より研究⽬的での利⽤および再配布の許諾を得たものです. 記して感謝いたします.
• データセットに含まれるクイズ問題の著作権は abc/EQIDEN 実⾏委員会に帰属します.

1. https://abc-dive.com/portal/

参考⽂献

29

• [Han+ 24] Namgi Han, 植⽥暢⼤, ⼤嶽匡俊, 勝⼜智, 鎌⽥啓輔, 清丸寛⼀, 児⽟貴志, 菅原朔, Bowen Chen, 松⽥寛, 宮尾祐介, 村脇有吾, 劉弘毅. llm-jp-eval: ⽇本語⼤規模⾔語モデルの⾃動評価ツール. In NLP, 2024.
• [Kurihara+ 22] Kentaro Kurihara, Daisuke Kawahara, and Tomohide Shibata. JGLUE: Japanese General Language
Understanding Evaluation. In LREC, 2022.
• [Lin+ 21] Bill Yuchen Lin, Seyeon Lee, Xiaoyang Qiao, and Xiang Ren. Common Sense Beyond English: Evaluating and
Improving Multilingual Language Models for Commonsense Reasoning. In ACL, 2021.
• [Longpre+ 21] Shayne Longpre, Yi Lu, and Joachim Daiber. MKQA: A Linguistically Diverse Benchmark for Multilingual
Open Domain Question Answering. TACL, Vol. 9, pp. 1389–1406, 2021.
• [So+ 22] ByungHoon So, Kyuhong Byun, Kyungwon Kang, and Seongjin Cho. JaQuAD: Japanese Question Answering
Dataset for Machine Reading Comprehension. arXiv preprint arXiv:2202.01764, 2022.
• [⽯井+ 23] ⽯井愛, 井之上直也, 関根聡. 根拠を説明可能な質問応答システムのための⽇本語マルチホップQAデータセット構築. In
NLP, 2023.
• [⽯井+ 24] ⽯井愛, 井之上直也, 鈴⽊久美, 関根聡. JEMHopQA:⽇本語マルチホップQAデータセットの改良. In NLP, 2024.
• [栗原+ 22] 栗原健太郎, 河原⼤輔, 柴⽥知秀. JGLUE: ⽇本語⾔語理解ベンチマーク. In NLP, 2022.
• [鈴⽊+ 20] 鈴⽊正敏, 鈴⽊潤, 松⽥耕史, ⻄⽥京介, 井之上直也. JAQKET: クイズを題材にした⽇本語QAデータセットの構築. In NLP,
2020.
• [関根 03] 関根聡. 百科事典を対象とした質問応答システムの開発. In NLP, 2003.

付録

プロンプトに使⽤した例題

31• 「abc」第9回⼤会の筆記問題（最初の4問）を元に作成『abc 〜the ninth〜』より引⽤

次のうち、JIS規格で鉛筆の芯の固さに⽤いられているアルファベットは?
1. A

2. B

3. C

4. D

柳刃、菜切、出刃などの種類がある、まな板と共に使われる台所⽤品は?
1. 包丁

2. 鍋

3. 箸

4. やかん

記号「m」で表される、「リットル」や「メートル」の頭について、「1000分の1」を意味する⾔葉は?
1. マイクロ2. マクロ

3. ミリ

4. メガ

⾳楽バンドで歌を担当する⼈のことを英語で何という?
1. キーボード

2. パーカッション

3. ベース

4. ボーカル公開データのみを⽤いた実験結果
カッコ内は古い問題をフィルタリング後の正解率
太字は1位, 下線は2位を⽰すモデル(1) 対数尤度(2-1) 番号を出⼒ (2-2) 語句を出⼒

calm2-7b

0.587 (0.594)

0.227 (0.234)

0.531 (0.536)

ELYZA-japanese-Llama-2-7b

0.407 (0.421)

0.338 (0.353)

0.382 (0.386)

ELYZA-japanese-Llama-2-13b

0.571 (0.581)

0.493 (0.503)

0.562 (0.569)

llm-jp-13b-v1.0

0.529 (0.520)

0.224 (0.231)

0.436 (0.442)

japanese-stablelm-base-beta-7b

0.464 (0.482)

0.324 (0.330)

0.442 (0.457)

japanese-stablelm-base-gamma-7b

0.671 (0.688)

0.596 (0.609)

0.613 (0.632)

stockmark-13b

0.740 (0.739)

0.271 (0.272)

0.000 (0.000)

Swallow-7b-hf

0.713 (0.706)

0.433 (0.439)

0.580 (0.591)

Swallow-13b-hf

0.749 (0.746)

0.593 (0.614)

0.704 (0.695)

weblab-10b0.389 (0.401)

0.244 (0.254)

0.360 (0.363)

Llama-2-7b-hf

0.384 (0.388)

0.296 (0.294)

0.289 (0.302)

Llama-2-13b-hf

0.473 (0.492)

0.373 (0.386)

0.382 (0.396)

Mistral-7B-v0.1

0.362 (0.368)

0.340 (0.358)

0.342 (0.343)

32