# 競技クイズ・パラレル問題の基本構造と文型

橋元 佐知佐藤理史宮田玲 小川浩平
名古屋大学大学院工学研究科
hashimoto.sachi@d.mbox.nagoya-u.ac.jp

## 1 はじめに

与えられた質問に対して答を導く質問応答 (QA) タスクでは、質問としてクイズの問題がしばしば用いられる。クイズ問題を解くシステムとしては、 クイズ番組 Jeopardy!で人間のチャンピオンを破った IBM の Watson が有名である [1]。この他にも、 TriviaQA [2], SearchQA [3], QANTA[4] など、クイズの問題を用いて作成された $\mathrm{QA}$ タスク評価用データセットが存在する。これらは英語のデータセットであるが、日本語でも、JAQKET というデータセットが作成されている [5]。

一般に、QA タスクでは、問題文がテキストとして完全に与えられるのが普通である。しかしながら、人間がクイズに解答する状況は、これとは異なる場合がある。問題文が読み上げられる形式の早押しクイズでは、解答者は、他の解答者に先んじるために、問題文が最後まで読み上げられる前に答えることがしばしばある。このような場合、解答者は、完結しない問題文から答を導くことが必要となる。

このような読み上げ・早押しクイズ特有のひっかけ問題に、以下のようなパラレル問題がある。

(1) アイルランドの首都はダブリンですが、アイスランドの首都はどこでしょう?

たとえば、競技クイズの大会の一つである abc/EQIDEN ${ }^{1}$ の過去問では、全体の約 $11 \%$ のようなパラレル問題である。このような問題に 「アイルランドの首都は」の段階で答えると、「ダブリン」という誤答になりそうである。

しかしながら、優れた解答者は、その段階で正しい答を導くことが多い。実際、「12 時間ガチクイズ生放送」という YouTube 動画でパラレル問題の解答状況を調査したところ、95 問中 63 問が「アイルランドの首都で」に相当する段階で解答されており、 そのうちの 54 問が正解であった。

1) http://abc-dive.com

図 1 パラレル問題の 4 項構造

ここで、次のような疑問が生じる。

1.なぜ、問題文の途中までで、高い精度で正しく答えることができるのか？

2. これを機械的に実現することは可能か？

これらの疑問に答えるために、我々は、まず、パラレル問題の基本構造と文型を調査した。そして、 その結果に基づいて、問題文の途中までで答を導く解答システムを試作した。本論文では、これらの内容について報告する。

## 2 パラレル問題の基本構造と文型

パラレル問題の基本構造と文型を把握するために、abc/EQIDEN の過去問2) に含まれる約 1,000 問のパラレル問題を調査した。その結果、以下の観察結果を得た。

1. パラレル問題の基本構造は、図 1 に示すような 4 項構造である。

本論文では、これらの 4 項を順に、 $X, Y, Z, Q$ で表す。これらには、次の関係がある。

i. 対比関係: $X \leftrightarrow Z$

ii. 同一関係: $X: Y=Z: Q$

2. パラレル問題を成立させているのは、 $X$ と $Z$ の対比関係である。

主要な対比関係の種類は、表 1 に示す 5 種類に整理できる。

3. 問題文は、図 2 に示すような 4 つのパートから構成される。

これらを順に、 $\mathrm{A}, \mathrm{B}, \mathrm{C}, \mathrm{D}$ パートと呼ぶ。 $\mathrm{A}, \mathrm{C}$ パー

2) http://abc-dive.com/questions/
表 1 対比関係の種類

} \\

図 2 問題文のパート構成

トの末尾は、典型的には提題表現 (提題助詞「は」) であり、 $\mathrm{B}$ パートの末尾は、典型的には並列節の節末表現 (接続助詞「が」) である。これらの強い手がかりにより、人間は、各パートの終了点を正しく認識できると考えらえる。

以上の観察に基づき、問題文の途中までで正解を導くために必要なことを整理すると、以下のようになる。

1. Cパートまでで答えるすべての情報が揃っているので、通常の問題と同じように解ける
2. $\mathrm{B}$ パートまでで答える

$X$ と対比関係にある $Z$ を推測できれば、通常の問題と同じように解ける
3. $\mathrm{A}$ パートまでで答える

$Z$ に加え、 $X$ から $Y$ を推測し、その間の関係を同定できれば、通常の問題と同じように解ける

## 3 過去問のデータベース化

解答システムを作成する準備として、パラレル問題の過去問にアノテーションを施し、データベースを作成した。アノテーションでは、問題文を 4 つのパートに分割して末尾の正規化を行った後、表 2 に示す要素をマークアップした。アノテーションの具体例を図 3 に示す。

このようにマークアップしたテキストから、デー タベースのレコードを作成する。レコードの具体例表 2 マークアップする要素

図 3 問題文のアノテーション

表 3 データベースのレコード形式

を表 3 に示す。この例に示すように、レコードの作成では、以下のことを行う。

1. 順方向のレコードと逆方向の (A, B パートと、 $\mathrm{C}, \mathrm{D}$ パートを入れ替えた) レコードを作成する。

2. A, B, C, D の各パートの文型パターンも登録する。
3. $x$ と $z$ 、および、 $y$ と $w$ は、一方が空である場合は、他方で補完する (下線部)。

## 4 解答システム

作成した解答システムの構成を図 4 に示す。本システムは、前節で示したデータベースを検索することで、問題の答を求める。システムは、以下のモジュールから構成されている。

図 4 解答システムの構成

## 1. パート取得

問題文の各パートを順に取得する。まず、A パートのみを取得し、 $\mathrm{B}$ パート以降は、要求があった場合のみ取得する。

## 2. パート解析

取得したパートを解析し、表 2 のマークアップ要素と文型に分解する。この分解には、デー タベースに格納されている、該当パートの文型パターンを利用する。一般に、複数の文型パターンが存在するので、可能な分解をすべて求める。

## 3. 検索条件設定

得られた要素や文型、後述の解答判定により得られるフィードバック情報を用いて、データベースを検索する条件を設定する。

## 4. データベース検索

設定した検索条件で、データベースを検索し、得られたレコードから答 $W$ を取得する。

## 5. 解答判定

$W$ の種類に応じて、以下のように分岐する。

(a) $W$ が一意に定まる場合

$W$ を解答として出力する

(b) $W$ が複数得られる場合

検索条件を強めるフィードバックを生成する

(c) $W$ がひとつも得られない場合

検索条件を緩めるフィードバックを生成する

検索条件を強めるとは、検索条件に新たな要素を追加することを意味する。これには、次のパートを取得して要素を追加することも含まれる。一方、検表 4 検索条件に含める要素

索条件を緩めるとは、検索条件に含まれるいずれかの要素を削除することを意味する。表 4 に、それぞれのパートまで取得した場合に、どのような要素を検索条件に含めるかを示す。

この表の記号は、以下のことを意味する。

記号 $\mathbf{r}$ (required) 検索条件に必ず含める。

記号 o (optional) 取得済のパートに存在する場合に含める。検索条件を緩める場合は、この要素を削除する。削除した場合は、それ以降は使用しない。記号 a (additional) 検索条件を強める場合に追加する。追加によって $W$ がひとつも得られなくなる場合は、それ以降は使用しない。

たとえば、 $\mathrm{A}$ パートから $X$ と $y$ が得られ、これらで検索すると複数の $W$ が得られたとしよう。その場合は、まず、文型 $\mathrm{A}$ を検索条件に追加する。それでも $W$ がひとつに絞れない場合に、B パートを取得し、そこから検索条件に追加する要素を取得する。 なお、文型 $\mathrm{A}$ を追加して $W$ がひとつも得られなくなった場合は、文型 $\mathrm{A}$ を除外して、B パートに進む。

一方、 $\mathrm{A}$ パートから $X$ と $y$ と $D$ が得られ、これらで検索すると $W$ が得られない場合は、要素 $y$ を削除した条件、および、 $D$ を削除した条件で検索し、 それらの結果をマージして次の判断を行う。なお、 $X$ だけでも $W$ がひとつも得られない場合は、 $\mathrm{C}$ パー 卜まで取得して、それ以降の検索では、 $X$ と $Y$ を条件に含めない。「(r)」は、このことを意味する。

$\mathrm{C}$ パート以降では、 $z$ と $w$ がパートから得られない場合は、 $x$ と $y$ の情報を利用する。「o*」は、このことを意味する。

最終的に、 $W$ がひとつに絞れない場合、および、 $W$ がひとつも得られない場合は、解答不能とする。
表 5 過去問に正解するための検索条件

## 5 解答にどのパートまで必要か

ここでは、まず、データベースに登録した過去問 970 問を解く場合、どのパートまでで正解を出力できるかを調べた。その結果を表 5 に示す。過去問を解く場合は、正解を導くレコードは必ず存在するため、検索条件を緩めるフィードバックがかかることはない。この表の「要素」の闌は、各パートから取得した要素をすべて検索条件として用いた場合、「+文型」の欄は、それに各パートの文型を追加した場合の、答を一意に絞り込めた問題数を示す。

この表から以下のことがわかる。

1. 過去問の $98.8 \%$ (958/970) は、A パートで正解を導くことができる。

データベースのサイズが大きくなると、この值は低下すると考えられるが、実際に出題されるパラレル問題の大半は、事実上、A パートだけで正解が定まる問題となっている可能性がある。

2. 正解を導くのに文型が必要な問題は、 $3.3 \%$ (32/970)にすぎない。

$\mathrm{A}$ パートから $X$ 以外の要素が得られた 773 問中、文型が必要だったのは 13 問 $(1.7 \%)$ のみで、残りの 760 問は抽出した要素だけから答が一意に決定できた。一方、 $X$ しか得られなかった場合は、185 問中 19 問 $(10.3 \%)$ が文型を必要とした。このことは、設定した $x, y, D$ が、答を絞り込むために適切に機能していることを意味する ${ }^{3}$ 。実際、先の 760 問中、 $X$ だけで答を一意に絞り込める問題は 523 問で、残りの 237 問は $X$ 以外の要素が答の限定に寄与している。

次に、逆方向のレコードを使用する場合と使用しない場合で、正解を出力するために必要なパートが

3）これらの要素が抽出できれば、パート内の文型の差異は無視できる。表 6 逆方向のレコードの影響

どう変化するか調べた。その結果を表 6 に示す。逆方向のレコードを使用しない場合は、 $\mathrm{A}$ パートのみで正解を出力できる問題が 7 問増える。逆方向レコードを使用すれば、潜在的に解ける問題が 2 倍になることを考慮すれば、この差は許容できる。実際、現在のシステムは、過去問 970 問の前半部と後半部を入机替えた問題のうち、950 問を解くことができる4)。

現在のシステムは、解答判定に基づき検索条件を緩めたり強めたりするので、A パートの文型の摇れをある程度許容する。たとえば、以下の例では、いずれか一方が過去問として登録されていれば、他方を解くことができる。

（2） a. 『半七捕物帳』を書いたのは岡本綺堂ですが、『人形左七捕物帳』を書いたのは誰でしょう?

b. 『半七捕物帳』の作者は岡本綺堂ですが、『人形左七捕物帳』の作者は誰でしょう?

## 6 おわりに

本研究では、競技クイズのパラレル問題の基本構造と文型を分析し、問題文の途中までで解答するシステムを作成した。現在のシステムは、答を導くための知識源として過去問のみを利用しており、過去問と同一の問題、前半と後半を入れ換えた問題、文型が一部異なる問題を解くことができる。しかしながら、完全に未知の問題に対しては無力である。

競技会に参加する人間の解答者は、過去問を調査するのに加え、出題の可能性があるパラレル問題を予想し、準備する。この準備は、本システムでは、 データベースに新たなレコードを追加することに対応する。パラレル問題の基本構造である 4 項構造において、まず対比関係となるぺア $(X$ と $Z)$ を見つけ、それらに対して残りの 2 項 $(Y$ と $W)$ を設定すれば、新しいレコードを作成できる。すなわち、未知の問題を解く能力と、問題を作成する能力は、本質的に同じである。

4）解けない 20 問は、前半部と後半部の表現の違いが原因である。

## 参考文献

[1] David Ferrucci, Eric Brown, Jennifer Chu-Carroll, James Fan, David Gondek, Aditya A. Kalyanpur, Adam Lally, J. William Murdock, Eric Nyberg, John Prager, Nico Schlaefer, and Chris Welty. Building Watson: An overview of the DeepQA project. AI Magazine, Vol. 31, No. 3, pp. 59-79, Jul. 2010.

[2] Mandar Joshi, Eunsol Choi, Daniel Weld, and Luke Zettlemoyer. TriviaQA: A large scale distantly supervised challenge dataset for reading comprehension. In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 16011611. Association for Computational Linguistics, 2017.

[3] Matthew Dunn, Levent Sagun, Mike Higgins, V. Ugur Güney, Volkan Cirik, and Kyunghyun Cho. SearchQA: A new Q\&A dataset augmented with context from a search engine. CoRR, 2017.

[4] Pedro Rodriguez, Shi Feng, Mohit Iyyer, He He, and Jordan L. Boyd-Graber. Quizbowl: The case for incremental question answering. CoRR, 2019.

[5] 鈴木正敏, 鈴木潤, 松田耕史, 西田京介, 井之上直也. JAQKET:クイズを題材にした日本語 QA データセッ卜の構築. 言語処理学会第 26 回年次大会発表論文集, pp. 237-240, 2020.