ウェブを用いて４択クイズを解く
外 池 昌 嗣佐藤理

史

京都大学大学院 情報学研究科 知能情報学専攻
tonoike@pine.kuee.kyoto-u.ac.jp, sato@i.kyoto-u.ac.jp
表11. は じ め に

４択クイズに固有な問題の数

分類
比較問題
否定語
その他
合計

本研究では、ウェブの知識源としての有用性、および、ウェブを知識源とした計算機による問題解決の実現可能性を明らかにするために、ウェブを用いて４択クイズを個数
19245396

解く方法について検討する。
一般に、文として与えられた質問に対する答をテキスている問題が存在する。典型的には、「次の」を含む問題

トに基づいて導くタスクは質問応答と呼ばれ、近年盛んにである。このタイプの問題は、さらに、以下のような 3研究されている 1)∼4) 。質問応答では、通常、解候補は与種類に分類できる。

えられない。このため、例えば、「自由の女神はどこにあ比較問題 「次の・・・うち、最も〜なのはどれ？」りますか？」という問題に対して、「アメリカ」、「ニュー否定語を含む問題 「次の・・・うち、〜でないものはどれ？」

ヨーク」、「ニューヨーク港」、「リバティー島」などの答

その他 「次の・・・うち、〜なのはどれ？」が考えられ、何を正解とするかを決定することは、それ分析用セットに含まれるこれらのタイプの問題数を表 1ほど容易ではない。この問題を避けるために、我々は、４に示す。

つの選択肢（解候補）の中から正解を選ぶという４択クイズを研究対象に選んだ。
本論文では、まず、2 章において、本研究で対象とする４択クイズについて説明する。3 章では、問題のタイプに考慮しない、汎用的な解法について検討する。4 章では、特定の問題のタイプに有効な解法について検討し、5章では総合実験とその結果について述べる。

2. ４択クイズ

これらの問題は、先に示した A59 のような問題よりも、解くのが難しいと考えられる。たとえば、比較問題に分類される次の問題を解くことを考えよう。

L25 次の愛知県の都市のうち、人口が最も多い都市はどこ？
A. 豊明市, B. 豊川市, C. 豊田市, D. 豊橋市[正解: 豊橋市]
この問題は、この 4 つの選択肢の中で人口が最も多い都市を選ぶことを求めており、愛知県で人口が最大の都市

2.1 クイズ＄ミリオネア
本研究では、４択クイズとして、トミー社から発売されているカードゲーム版の「クイズ＄ミリオネア」の問題を聞いているわけではない。このような問題は、これまでの質問応答では扱われてこなかったタイプの問題である。
４択クイズは、解候補が与えられているので、通常のを用いる。ゲーム版の問題は、全部で 1960 問ある。それ質問応答の（解候補が与えられない）問題より解くのがらの問題は、賞金額別に A(￥10,000)〜 O(￥10,000,000)容易であるとみなされることが多い。しかし、上記のよの 15 クラスに分類されており、高額の問題ほど人間にうな４択問題に固有の問題が存在するため、異なる難しとっては難しい問題となっている。ここでは、それぞれさが存在する。のクラスを 2 つに分割し、半分 (980 問) を分析用の問題セットとして、残り半分を評価用の問題セットとして使用する。以下に問題例を示す。

A59 日本最古の物語といわれる「竹取物語」に登場するお姫様は誰？
A. 親指姫, B. 白雪姫, C. かぐや姫, D. うりこ姫
[正解: かぐや姫]
なお、解候補は、ほとんどの場合は一単語、長い場合でも「A の B」程度の短い名詞句である。
2.2 ４択クイズに固有の問題
４択クイズには、解候補の存在が問題成立の前提となっ3. キーワードに基づく汎用的解法
ここでは、まず、問題のタイプを考慮しない、汎用的な解法について検討する。この解法の概要を図 1 に示す。
この解法は、キーワード抽出、ページ収集、照合、多数決の 4 つのステップから構成される。まず、キーワード抽出において、問題文からキーワードを抽出する。次に、このキーワードを用いて、ウェブページを収集する。その後、照合において、収集したそれぞれのページに対して、そのページに基づく解を決定する。最後に、多数決で、最終的な解を決定する。以下では、これらの処理に解を決定するのに用いるウェブページを収集する。収集問題方法として、次の２つの方法を実装した。
収集法 A キーワードをクエリーとして n ページ収集キーワード抽出する。
収集法 B キーワードに解候補を一つ加えたものをクエキーワードリーとして n ページ収集する。これを、すべての解ページ収集
ページ照合

照合

解解候補に対して行った後、それらをマージし、重複しページページ照合ているページを削除する。

3.3 照合と多数決
ここでは、収集したウェブページから、4 つの解候補の解うちのどれを最終解とすべきかを決定する。ここでも、2多数決つの方法を実装した。
ページ単位の照合 ある解候補が、すべてのキーワード解が存在するページに出現した場合に、1 点を与える。

図 1 汎用的解法の概要

得点が最大の解候補を、最終解とする。この得点は、実際にウェブページをチェックして計算するのではな

重要度

5443210

表 2 抽出すべきキーワードと重要度

く、解候補とすべてのキーワードを AND 検索した

基準

例

時のヒット数をそのまま得点として用いる。すなわ「」中の語句人物名 (和・英)人物の関係を表す語
固有名詞 (地名・組織名)を含む複合語
その他の名詞
サ変名詞
ストップワード「ブラピ」、「ピーチ」
森光子、ボブ・サップ
妻・夫・父親日本、天台宗、京都駅

ち、ウェブページの収集は実際には行なわない。
パッセージ単位の照合 ページ中にキーワードを含む文があれば、その前後 1 文を含めてパッセージとして抽出する。そのパッセージに解候補が存在した場合、都市、トンビ設計、考案
何、誰、現在、往年

その解候補にスコアを加算する。加算するスコアは、キーワードを含む文に解候補がある場合はそのキーワードの重要度を 2 倍した値、前後 1 文にある場合ついて詳しく述べる。

はそのキーワードの重要度とする。すべてのパッセー

3.1 キーワード抽出
キーワード抽出では、ページ収集および照合処理で使用する重要度付きキーワードを問題文から抽出する。キーワード抽出の流れを以下に示す。

ジに対してこの処理を行い、スコア最大のものをそ(1)

問題文を形態素解析システム Juman

5)で形態素解析する(2)(3)(4)のウェブページに基づく解とする。最後に、すべてのウェブページに対して多数決をとり、最終的な解を決定する。
パッセージの例として、キーワード「竹取物語」を含む文とその前後 1 文を以下に示す。

隣接する形態素が複合語を構成するならば結合する

その他、かぐや姫 の里と言う事で、富士市の表キーワードにふさわしい語句を抽出する

玄関、新幹線の新富士駅なんかにもどか〜んとキーワードに重要度を付与する壁画が描かれていたりします。

( 5 ) 重要度が高いものを上位 N 個出力する
ここで抽出するキーワードは、ページ収集（サーチエンジンによる検索）と照合の両方で用いるため、それらの処理に有用なものを抽出する必要がある。サーチエンジン検索では、正解を含むウェブページに含まれ、かつ、平安時代に書かれた 竹取物語 （いわゆる かぐや姫

検索結果を絞り込むことのできるキーワードであること(http://www.netvision.co.jp/hist/kaguya.html より)の話）の発祥の地というふれこみなわけですが・・。
確実な史実は、江戸時代の白隠さんというお坊さんが、この地に残る竹取り物語に似た伝承を記録しているという事らしいです。

が求められる。一方、照合においては、正解を他の解候キーワード「竹取物語」の重要度を 5 とすると、中心行補と区別することができるキーワードが求められる。たの解候補「かぐや姫」には 10 点が、第 1 行の解候補「かとえば、人物名などの固有表現は重要であり、差別化にぐや姫」には 5 点が加算され、このパッセージにおける貢献しない一般的な語は不要である。

解候補「かぐや姫」のスコアは 15 点となる。

3.2 ページ収集

3.4 実験と検討
上記の提案手法を用いて、実際に４択問題を解く実験を行なった。実験では、分析用セット (980 問) を用い、次の 3 つの場合に対して、正解率を調べた。

前節で抽出したキーワードをサーチエンジンに与えて、(1)以上の点を考慮して、抽出すべきキーワードとその重要度を表 2 に示すように定めた。抽出すべきキーワードはすべて名詞であり、その個数は、最大 4 個と定めた。

ページ単位の照合 (AND 検索のヒット数)

表365.0%n = 1062.9%
73.4%

ページ単位の照合
パッセージ単位照合+ 収集法 A
+ 収集法 B

表4

表5

ページ収集法ごとの正解率の比較

n = 25
66.6%
74.7%

n = 5069.6%
74.4%

n = 10070.8%

４択クイズに固有な問題の正解率

分類
比較問題
否定語
その他
合計

個数
19245396

正解数
1314054

正解率
68%
4%
75%
56%

( 2 ) 収集法 A+ パッセージ単位の照合( 3 ) 収集法 B+ パッセージ単位の照合
その結果を表 3 に示す。
この表より、まず、ページ単位の照合より、パッセージ

略称ルーチンの実行例

４択 (原語)ファシズム
ファッションクエリ
ファシズム (ファックス)ファッション (ファックス)ヒット数00

ファクシミリファクトリー

ファクシミリ (ファックス)ファクトリー (ファックス)270

下では、これらをタイプ別ルーチンと呼ぶ。

4.1 略称ルーチン
４択クイズに含まれる略称問題（略称に関する問題）には、次の 3 種類がある。
( 1 ) 略称から原語を問う問題( 2 ) 原語から略称を問う問題( 3 ) 略称の一部に対応する原語を問う問題
これらの問題を解くためには、略称と原語の対応がわかればよい。このような対応は、テキスト中には次のような形式で現れることが多い。の間に全く関係がない場合もある。より小さなパッセー• 原語 (略称)・・・米国連邦準備制度理事会 (FRB)
以上に基づき、「原語 (略称)」のようなクエリーを生成してフレーズ検索を行い、そのヒット数が最も多いものを解とする方法が考えられる。たとえば、次に示す問題

ジ単位で照合する方がよい結果が得られることは、我々をこの方法で解く過程を表 5 に示す。

単位の照合の方が優れていることがわかる。ウェブページのサイズは千差万別であり、同一ページにすべてのキーワードと解候補が存在したとしても、内容的には、それらの直観にも合う。
一方、ページ収集では、収集法 A よりも収集法 B、すなわち、解候補も利用してページ収集を行なう方がよい結果が得られた。ページ収集に解候補を利用した場合、収A58 ビジネスに欠かせない「ファックス」を、略さずにいうと何？
A. ファシズム, B. ファッション, C. ファクシミリ,
D. ファクトリー [正解: ファクシミリ]

集されるページには、すくなくとも一つの解候補が存在

この場合、「ファックス」が略称で、４択が原語である。

する。つまり、収集したページは、かならず照合で使われここでは、「ファクシミリ」に対応するヒット数が最も多ることになる。一方、キーワードだけでページを収集しいので、「ファクシミリ」を解とする。

た場合は、得られたページに解候補がひとつも存在しな

この方法を実装して、実験を行った。ただし、問題文い場合も多く、これらのページは、照合では全く使われ中の略称または原語の抽出には、簡単な構文ルールを用ない。つまり、解候補を利用した場合の方が、照合で実いた。対象とした問題は、分析用の問題に含まれる略称際に使用されるページを効率よく集めることができ、こ問題 (13 問) である。その結果は、汎用的解法で解いた場れが正解率の向上に寄与していると考えられる。
本章で提案したキーワードに基づく汎用的な方法は、比較的単純な方法にも関わらず、74.4%というかなり高い正合は 10 問 (77%) 正解であったのに対し、略称ルーチン
では 12 問 (92%) が正解となった。

4.2 「ない」ルーチン解率を示した。これは、ウェブに各種の知識が記述され否定語「ない」が問題文中に含まれている問題は、否ており、比較的単純な方法でも、これらの知識を利用で定語を考慮すべき問題と、否定語を考慮しなくてもよいきることを示している。しかしながら、4 問に 1 問は解問題に分けられる。否定語を考慮すべき問題として、例けないことも事実である。

えば次のような問題がある。

どのようなタイプの問題が解けていないかを調べるた
めに、４択クイズに固有な問題の正解率を調べた。パッセージ単位の照合と収集法 B を組み合わせて n = 25 をB41 フランスの国旗に使われていない色はどれ？

A. 赤, B. 緑, C. 白, D. 青 [正解: 緑]

用いた場合の結果を表 4 に示す。この表から、特に否定汎用的な解法では、否定語「ない」をまったく考慮し語「ない」を含む問題がはほとんど解けていないことがていないため、キーワードと最も関係が深い解候補が解わかる。このような問題を解くためには、問題のタイプとして選ばれてしまう。実際、汎用的解法ではこのように応じた特別な解法が必要である。

な問題は 24 問中 1 問しか解くことができなかった。

4. 問題タイプを考慮した解法

このタイプの問題は、仲間外れを探す問題と言える。仲間同士はウェブページ上で共起することが多いが、仲間

本研究では、問題タイプを考慮した解法として、略称外れはあまり共起しないと考えられる。すなわち、仲間ルーチンと「ない」ルーチンの 2 つの方法を実装した。以外れ以外の３つの選択肢とキーワードをクエリとして検表 6 「ない」ルーチンの実行例

表 8 解のタイプ別比較

４択
赤

クエリ
フランス、国旗、緑、白、青

ヒット数
539

緑
白
青

フランス、国旗、赤、白、青
フランス、国旗、赤、緑、青
フランス、国旗、赤、緑、白

962
621
746

タイプ
組織名
名前
地名
固有物名
日付
数値
固有表現以外合計

表 7 総合実験の結果

汎用的解法
組み合わせ

分析用セット74.7%
75.6%

評価用セット
71.7%
71.0%

個数
89167
182
97
2240383
980

正解数
74133
142
77
18
29268
741

正解率
83.1%
79.6%
78.0%
79.4%
81.8%
72.5%
70.0%
75.6%

100

索した場合のヒット数は多いが、仲間外れをクエリに含めた場合はヒット数が少ないことが期待される。事実、上80

記の B41 の問題に対してヒット数を求めると、表 6 となの最も多いものを解とする方法が有効と考えられる。
この方法を実装して実験を行った。問題としては、分析用セットに含まれる、否定語「ない」を考慮すべき問題(24 問) を用いた。その結果、汎用的解法では 1 問 (4%)
しか解けなかったのに対し、この方法では 10 問 (42%)
解くことができた。

6040200A

BCD

E

総合実験として、汎用的解法と 2 つのタイプ別ルーチンを組み合わせた場合の正解率を調べた。これを、分析用セットと評価用セットの両方の問題セットに対して行なった。その結果を表 7 に示す。
この表からわかるように、分析用セットにおいては、タイプ別ルーチンを追加することによって、正解率を向上させることに成功したが、評価用セットにおいては、逆に正解率を下げる結果となった。この原因を調査したところ、タイプ別ルーチンにおける問題タイプの判定パターンの不備や、必要な情報を抽出するための規則の不備が、正解率を低下させる原因となっていることがわかった。これらの点を改善すれば、正解率は向上すると考えられる。
次に、分析用セットに対して、汎用的解法とタイプ別ルーチンを組み合わせた場合の正解率を、解のタイプ別に求めた。この結果を表 8 に示す。この表から、解のタイプが固有表現の問題は、それ以外の問題より 10%程度正解率がよいことが分かる。すなわち、解が固有名詞の問題は比較的優しく、他の場合はそれに比べて解くのが難しいということである。
最後に、上記と同じ条件で、問題に設定されている賞金クラス (A〜O) 別の正解率を求めた。この結果をグラフ化したものを図 2 に示す。この図からわかるように、全体としては、人間にとって難しい問題は、計算機にとっても難しいという傾向が見られる。

文

献1) Kwok, C. C. T., Etzioni, O. and Weld, D. S.:
Scaling Question Answering to the Web, WWW10FGHIJKLMNO

賞金クラス

図25. 総合実験と考察

参 考

正解率る。すなわち、このようなクエリを生成して、ヒット数

賞金クラス別の正解率(2001).
2) Clarke, C. L. A., Cormack, G. V. and Lynam,
T.R.: Exploiting Redundancy in Question Answering, SIGIR’01 (2001).
3) 村田真樹, 内山将夫, 井佐原均: 類似度に基づく推論を用いた質問応答システム, 情報処理学会研究報告
NL–135–12, pp. 181–188 (2000).
4) 佐々木裕, 磯崎秀樹, 平博順, 廣田啓一, 賀沢秀人, 平尾努, 中島浩之, 加藤恒昭: 質問応答システムの比較と評価, 信学技報 NLC–2000–10, pp. 17–24 (2000).
5) 黒橋禎夫, 長尾真: 日本語形態素解析システム JUMAN version 3.62 使用説明書 (1999).