# 早押しクイズの名数問題における解の妥当性を考慮した解答を するための СоT プロンプトの構築

杉山宏輝 1 角康之 ${ }^{1}$
1 公立はこだて未来大学
h-sugiyama@sumilab.org
sumi@fun.ac.jp

## 概要

本研究では, 早押しクイズの名数問題における解の妥当性を考慮した解答を言語モデルに出力させる方法を提案する. 通常の早押しクイズでは解の妥当性を考慮することで，一見答えが確定していない段階での解答の正答率を高めることができ, 言語モデルにおいても同様のことが期待できる. 具体的な手法として, Chain-of-Thought(CoT) プロンプト [1]を用いて, 妥当性を考慮した思考過程とそこから得られる解答を出力する. 妥当性には, 仲間はずれ, 文字列の類似, 難易度, 順序の 4 種類あり [2], それぞれ問題と思考過程を含めた解答をプロンプトとして与える。

## 1 はじめに

通常の質問応答タスクでは問題文が全文与えられるため純粋な知識量が重要となるが, 早押しクイズは他者よりも早くボタンを押して解答権を得る必要があるため, 問題文の途中, より早い段階での解答が求められ, 知識量に加えて問題文の推測能力も必要となる. 早押しクイズを解くシステムとしては Watson[3] を始め, 研究されてきているが, 多くは解答のために十分な文量を要し, 人間のクイズプレイヤーほどの早さで解答することは難しい. 早押しクイズには構文や答えとしての自然さがあり [4], それらをもとに問題文を推測することで, 一見答えが確定していないような段階での解答が可能となっている. 例えば，「『歳時記』における季語の 5 つの分類とは，「春」「夏」「秋」「冬」と何でしょう？」という問題がある. 通常, 『『歳時記』における季語の 5 つの分類とは,」の段階では「春」「夏」「秋」「冬」「新年」の 5 択であり, 1 つに絞り込むことはできない. しかし,多くのクイズプレイヤーは「新年」と答え
ることができると考えられる.なぜなら「春」「夏」「秋」「冬」は四季として慣れ親しんだ季節であるのに対し，「新年」は多くの場合季節として認識していない. 歳時記ではそれが一季節として分類されているという意外さから，「新年」を答えとするのが最も自然だからである.こうした答えとしての妥当性を, 言語モデルが推測できるようにすることで, 早押しでの質問応答タスクでも正答することができるようになると期待できる. 本研究では, CoTを用いて, 名数問題を対象に, 問題文の前半で解答する方法を提案する。

## 2 関連研究

今回用いる Chain-of-Thought という手法は, ある問題に対する解答を, 思考過程をいくつかの段階に分けて例示することで, 最終的な精度の向上を図るものである [1]. 算術推論, 常識推論, 記号的推論において精度の向上が見られた. 日本語においても有効性が示されている.[5]

海外の早押しクイズにおける研究 [6] では, 複数のモデルを組み合わせ,ランダムな位置で切り捨てた問題文で学習させた結果, NIPS 2017 で行われた質問応答のコンペティションで優勝し, 人間のクイズ王 6名に対して勝利を収めている. しかし, 複数の文からなる形式のクイズ「Quiz bowl」の問題を用いた検証において, 全文が与えられた場合の正解率は $96 \%$ だったが, 単一の文では $56 \%$ にとどまった. これは最適な押しポイントは学習できておらず, 推定精度が問題文の情報量に依存しているためと考えられる.本研究では,名数問題において問題文の前半に得られる解候補から, 後半の情報を聞くことなく正解することを目指す.また, 日本語の早押しクイズを題材とした研究 $[7,8]$ では, パラレル問題を調査し, その構造と対比関係を明らかにしている. パラレル問題

とは「アイルランドの首都はダブリンですが, アイスランドの首都はどこでしょう？」のような早押しクイズ特有のひっかけ問題のことである. 対比関係を対義, 連続, 一対一対応, 音・表記の一致と定義づけ,それらを元に問題や解の自動生成を行った.このことから, 早押しクイズ特有の要素は解の推定に関係があり, 本提案においても有効であると考える。

## 3 名数問題と妥当性

ここでいう名数問題とは, 以下のような形式で, あるグループ W の中から答えとなる要素以外を列挙し,残ったものを聞く問題のことを指す。

問題 : $W$ とは, $w_{1}, w_{2}, \ldots, w_{n-1}$ と何でしょう? 答え:

$w_{n}$

名数問題の妥当性は, 以下の 4 つに大別される.[2]

仲間外れ解候補のうち, 他に共通している上位概念がないもの.

例題 : 世界四大珍獣に数えられる 4 種類の動物とは、ジャイアントパンダ、コビトカバ、オカピと何でしょう?答え：ボンゴ

解説：「ジャイアントパンダ」「オカピ」「コビトカバ」の3 種がまとめて世界三大珍獣と呼ばれるため, ボンゴが仲間外れとなる。

文字列の類似度解候補のうち, 文字の表記や音が 1 つだけ似ていないもの.

例題：オリオン座の中央にある 3 つ星を構成しているのは、アルニタク、アルニラムと何でしょう？答え:ミンタカ

解説：「アルニラム」「アルニタク」という似た音の単語と比べ、「ミンタカ」は明らかに音が異なっていることがわかる.

難易度解候補のうち, 知名度が低いなどして 1 つだけ単語の難易度が高いもの

例題：一般に「世界三大料理」と呼ばれる料理とは、 フランス料理、中華料理と何料理でしょう？答え： トルコ料理

解説：「フランス料理」「中華料理」に比べ「トルコ料理」はあまり一般的ではなく、単語としての難易度が高いといえる。

順序日付など何かしらの番号が付与されている単語の順番

例題 : 京都三大祭といえば、5 月の葵祭、7 月の祇園祭と 10 月にある何祭でしょう？答え：時代祭解説: 葵祭は 5 月, 祇園祭は 7 月, 時代祭は 10 月に開催されるため, 葵祭＜祇園祭＜時代祭という順序関係が存在する。

## 4 プロンプトの構築と評価

名数問題に解答するためのプロンプトの構築と評価用の問題の選定、および各プロンプトを用いて大規模言語モデルで解いた場合の評価をする. 例題として利用した問題と解答を図 1 に示す.

## 4.1 プロンプト

CoT プロンプトの shot として用いる 8 問の問題と思考過程を含む解答を作成した. 問題は 4 種類の妥当性が全て含まれるように採用し、計 8 問の例示とした.プロンプトの構成は実際にクイズを行っているときの思考過程に沿って 1) 解候補の列挙 2) 理由付け 3) 最終的な答えとした.

## 4.2 評価データ

クイズを題材にした質問応答のコンペティションである AI 王1) で配布されている問題 (22,335 問) から, 351 問の名数問題を採用した.

## 4.3 評価設定

構築したプロンプトを用いて大規模言語モデルに評価データを解かせ, 正解率を調べる. モデルは日本語のモデルである Japanese Stable $\mathrm{LM}^{2}$ )を使用し標準プロンプトと CoT プロンプトの 2 種類で精度を比較する. 標準プロンプト 8- shot, CoT プロンプト 8-shot で行い, 標準プロンプトは問題の直後に”答えは「” を置き, CoT プロンプトは”解答：”を置く. 問題文は選択肢が確定する前振り（問題文前半）までを入力とした. 正誤判定は、CoT プロンプトにおいては出力の表記ゆれが激しいため（答えは「〜」，正解は 「〜」, 最後は「〜」など）, 最終的に言っている単語を解答とみなし、人手で判断した。

## 4.4 結果と考察

結果を表 1 に示す. 標準プロンプトを用いた場合と CoT プロンプトを用いた場合で正解率の差はほとんど見られなかった.CoT プロンプトによって正解率

1) https://sites.google.com/view/project-aio/dataset?authuser=0

2) https://huggingface.co/stabilityai/japanese-stablelm-base-alpha$7 \mathrm{~b}$

図 1 CoTプロンプト

が向上しなかった原因はさまざま考えられるが, 1 つは解候補列挙段階でのハルシネーションの影響が大きいと考えらえる. 問題 2(表 2) のように、列挙した中に正答が含まれていなければ, 最終的に正解することはほとんど不可能である. また, 理由付けとして妥当な推論ができていないことがほとんどであった. 問題 3,4 のように, 列挙した解候補は正しいにもかかわらず、推論が支離滅裂になってしまい, 答えを間違ってしまう場合も多い. これは 8 -shot の例示では思考過程を十分に学習できなかったことが原因であると考えられる. 関連研究 [5] では 1つのタスクにつき 8 つ例示であったが, 本研究では 4 種類の妥当性全て含めて 8-shot であり, 各妥当性につき 1-3つの例示しかできていなかったため, 理由付けを推論するための十分な情報が無かったと考えられる. 中には問題 1 のように, カースト階級の順序を正確に把握し，一番最後のシュードラを答えとするなど, 理想的な推論結果も得られており,これらは CoT によって妥当性を考慮した推論を学習できた結果で
あると考えられる。

表 2 問題とモデルの出力例

問題 1 : 古代インドのカースト制度における主要な $\mathbf{4}$ 階級

とは, バラモン,クシャトリヤ,ヴァイシャと何でしょう?

解答：古代インドにおけるカースト制度は, バラモン, クシャトリヤ,ヴァイシャ,シュードラの 4 つで構成されている. バラモンはカーストの最上位に位置し,クシュトリヤはバラモンに次ぐ地位, ヴァイシャはクシャトリアに次ぐ地位であり, シュドラは最下位に位置している.よって,最後に問われるのはシュードラである.（正解）

問題 2 : 夏目濑石の前期三部作といえば,『三四郎』『それから』と何?

解答：夏目漱石の前期三部作は「吾輩は猫である」,「坊っちゃん」,「草枕」のつである.一番知名度が低いのは「草枕」のため, 最後に聞かれるのは「草枕」である.よって答えは「草枕」(不正解)

問題 3：「六法」と呼ばれる 6つの法律といえば、憲法、民法、民事訴訟法、刑法、刑事訴訟法と何でしょう?解答 : 六法とは、憲法、民法、刑法、商法、民事訴訟法、刑事訴訟法の 6つである。「六法全書」という書籍は存在しないため、六法といえば六法である（不正解）

問題 4 : ロシアの作曲家、チャイコフスキーの三大バレエ音楽といえば、『白鳥の湖』『くるみ割り人形』と何でしょう?

解答 : チャイコフスキーの三大バレエは、白鳥の湖、眠れる森の美女、くるみ割り人形の 3 曲である。白鳥の湖の次に聞かれるのがくるみ割人形であるため、最初に聞かれる曲は白鳥の曲である。「白鳥の歌」は白鳥の曲の別名である。(不正解)

問題 5 : 太陽系の惑星の中で衛星をもっていない 2 つ惑星とは、水星と何でしょう?

解答 : 水星と金星である。水星は太陽に近く、金星は地球に近くて、どちらも衛星をもたない。よって最後に聞かれのは金星であり、答えは「金星」(正解)

## 5 おわりに

本研究では, 早押しクイズの名数問題における解の妥当性を考慮し, 問題文の途中で解答するための CoT プロンプトの構築と検証を行った. 8 -shot の標準プロンプトと CoT プロンプトで正解率の差は見られなかったが, 理想的な推論結果が得られた出力もあり, 今後に期待できる結果となった. 妥当性の無い推論なども数多くあったが, CoT はモデルサイズが大きいほど効果が高いということが知られているため, 今回検証した $7 \mathrm{~b}$ よりも大きいサイズのモデルや,例次数を増やした検証もしていきたい. また, ハルシネーションへの対策として, Retriever を機構を組み込み, 外部知識を参照できるようにする必要がある。

## 参考文献

[1] Jason Wei, Xuezhi Wang, Dale Schuurmans, Maarten Bosma, Brian Ichter, Fei Xia, Ed H. Chi, Quoc V. Le, and Denny Zhou. Chain-of-thought prompting elicits reasoning in large language models. Advances in Neural Information Processing Systems, Vol. 35, pp. 24824-24837, 2022.

[2] 杉山宏輝, 角康之. 早押しクイズの解候補の絞り込み. インタラクション 2023 論文集, pp. 1014-1018, 2023.

[3] JDavid Ferrucci, Eric Brown, Jennifer Chu-Carroll, James Fan, David Gondek, Aditya A. Kalyanpur, Adam Lally, J. William Murdock, Eric Nyberg, John Prager, Nico Schlaefer, and Chris Welty. Building watson: An overview of the deepqa project. Al Magazine, Vol. 31, No. 3, pp. 59-79, 2010.

[4] 伊沢拓司. クイズ思考の解体. 朝日新聞出版, 2021.

[5] 堀尾海斗, 村田栄樹, 王昊, 井手竜也, 河原大輔, 山崎天, 新里顕大, 中町礼文, 李聖哲, 佐藤敏紀. 日本語における chain-of-thought プロンプトの検証. 人工知能学会全国大会論文集, 2023 .

[6] Ikuya Yamada, Ryuji Tamaki, Hiroyuki Shindo, and Yashiyasu Takefuji. Studio ousia' s quiz bowl question answering system. In The NIPS '17 Competition: Building Intelligent Systems, pp. 181-194, 2018.

[7] 橋元佐知, 佐藤理史, 宮田玲, 小川浩平. 競技クイズ・ パラレル問題の基本構造と文型. 語処理学会第 27 回年次大会発表論文集, pp. 1420—-1424, 2021.

[8] 橋元佐知, 佐藤理史, 宮田玲, 小川浩平. 早押しクイズのパラレル問題の自動生成. 語処理学会第 28 回年次大会発表論文集, pp. 832-837, 2021.