本研究では,早押しクイズの名数問題における解の妥当性を考慮した解答を言語モデルに出力させる方法を提案する.通常の早押しクイズでは解の妥当性を考慮することで,一見答えが確定していない段階での解答の正答率を高めることができ,言語モデルにおいても同様のことが期待できる.具体的な手法として,Chain-of-Thought(CoT)プロンプト[1]を用いて,妥当性を考慮した思考過程とそこから得られる解答を出力する.妥当性には,仲間はずれ,文字列の類似,難易度,順序の4種類あり[2],それぞれ問題と思考過程を含めた解答をプロンプトとして与える.

通常の質問応答タスクでは問題文が全文与えられるため純粋な知識量が重要となるが,早押しクイズは他者よりも早くボタンを押して解答権を得る必要があるため,問題文の途中,より早い段階での解答が求められ,知識量に加えて問題文の推測能力も必要となる.早押しクイズを解くシステムとしてはWatson[3]を始め,研究されてきているが,多くは解答のために十分な文量を要し,人間のクイズプレイヤーほどの早さで解答することは難しい.早押しクイズには構文や答えとしての自然さがあり[4],それらをもとに問題文を推測することで,一見答えが確定していないような段階での解答が可能となっている.例えば,「『歳時記』における季語の5つの分類とは,「春」「夏」「秋」「冬」と何でしょう？」という問題がある.通常,「『歳時記』における季語の5つの分類とは,」の段階では「春」「夏」「秋」「冬」「新年」の5択であり,1つに絞り込むことはできない.しかし,多くのクイズプレイヤーは「新年」と答えることができると考えられる.なぜなら「春」「夏」「秋」「冬」は四季として慣れ親しんだ季節であるのに対し,「新年」は多くの場合季節として認識していない.歳時記ではそれが一季節として分類されているという意外さから,「新年」を答えとするのが最も自然だからである.こうした答えとしての妥当性を,言語モデルが推測できるようにすることで,早押しでの質問応答タスクでも正答することができるようになると期待できる.本研究では,CoTを用いて,名数問題を対象に,問題文の前半で解答する方法を提案する.