早押しクイズ解答システムの構築と各時点における正答率推定

早押しクイズとは、競技クイズのジャンルの1つであり、問題が読まれている途中に解答を行うことができるもので、解答する速度が重要となる性質上、不完全な文に対しての解答をすることが多いという特徴を持つ。競技クイズは対象とする知識の範囲を限定しないため、オープンドメイン質問応答タスクとして広く研究が行われているが、その主要なデータセットであるNaturalQuestions[1]や、TriviaQA[2]は入力となる問題文が完全なものであり、これらを使用して構築されたシステム[3,4,5]は不完全な質問に対して解答を行うことは想定されていない。また、早押しクイズにおいては、解答を行うだけではなく、現時点で与えられた問題文に対して予測された解答の正答らしさを考慮し、実際に解答するかどうかを判定することが重要となる。たとえば、読まれた場合を考えると、実際の解答である「シリウス」以外にも古代エジプトに存在した物は数多く存在することから、その時点で予測された解答は誤答である可能性が高い。一方、後半まで読まれた場合は解答はほぼ一意に定まる。このため、質問文の各時点における解答候補が実際に正解である確信度完全な質問文:古代エジプトでは「ナイルの星」と呼ばれたという、おおいぬ座の星は何でしょう?確信度:1.000解答:シリウス正解75%の質問文:古代エジプトでは「ナイルの星」と呼ばれたという、おおいぬ座の星は何でしょう?確信度:1.000解答:シリウス正解50%の質問文:古代エジプトでは「ナイルの星」と呼ばれたという、おおいぬ座の星は何でしょう?確信度:0.771解答:シリウス正解25%の質問文:古代エジプトでは「ナイルの星」と呼ばれたという、おおいぬ座の星は何でしょう?確信度:0.125解答:パピルス不正解を算出することによって、より性能の高い早押しクイズ解答システムが構築できると考えられる。そこで本研究では、まず、不完全な質問の入力に対して適切な解答を出力する早押しクイズ解答システムを構築し、続いて、各モデルにおいて確信度の算出を行い、確信度と正答率の関係性について調査する。具体的には、GPT[6]によって質問文の後に直接解答を生成するシステムと、GPTによる質問文補完を行った後、DensePassageRetrieval(DPR)[3]を用いたRetriever-Readerアプローチによって解答を生成するシステムを構築する。また、前者のシステムでは解答生成時におけるトークン出力確率を用い、後者のシステムではモデルの出力に用いられるスコアを用いることで、確信度を算出する。表1に記載した確信度は、前者のスコアであるが、確信度が低い場合は不正解、確信度が高い場合は正解となる解答を出力しており、確信度が早押しクイズシステムにおいて適切に機能していることが確認できる。