４択クイズを連想問題として解く
外 池 昌 嗣†佐 藤 理 史†

宇津呂

武 仁†

解の選択は質問応答システムのコンポーネントの１つで、何らかの方法で得られた解候補の中から信頼できるものを選ぶものである。本研究では語と語の連想の強さに注目して解の選択を行う。本稿では、問題文から抽出されたキーワードと解候補の間の語彙的な関係の強さに基づく解の選択法を提案する。提案する解の選択法は２つのステップに分けられる。１つ目のステップでは、語の特徴と語彙的関係の強さを用いて、問題文から適切なキーワードを抽出する。一方、２つ目のステップでは、サーチエンジンのヒット数に基づいて、キーワードと解候補の間の関係の強さを測定する。実験の結果、提案手法で４択ク
イズ「クイズ＄ミリオネア」の 79%を解くことができた。

Answer Validation by Keyword Association
Masatsugu Tonoike ,† Satoshi Sato † and Takehito Utsuro†
Answer validation is a component of question answering system, which selects reliable answer from answer candidates extracted by certain methods. In this paper, we
propose an approach of answer validation based on the strengths of lexical association
between the keywords extracted from a question sentence and each answer candidate.
The proposed answer validation process is decomposed into two steps: the ﬁrst is to
extract appropriate keywords from a question sentence using word features and thestrength of lexical association, while the second is to estimate the strength of the association between the keywords and an answer candidate based on the hits of searchengines. In the result of experimental evaluation, we show that a good proportion(79%) of a multiple-choice quiz “Who wants to be a millionaire” can be solved by the
proposed method.

1. は じ め に答の２つ目のステップである、解の選択に注目する。解自然言語で与えられた質問の答えを探す技術は質問応ている。よく知られている方法の一つはテキストの深い答と呼ばれ、近年注目を集めている。TREC QA Task1)

理解に基づく。このような研究には Moldovan3) らの研の選択法として、これまでにいくつかの方法が提案され

2)や NTCIR の QACなど評価型ワークショップは、質問究がある。彼らの深い理解に基づく解の選択法ではまず、応答の研究を活発にさせた。質問応答のシステムは、大問題文と解候補を含むパラグラフを論理表現に変換する。

きく２つのステップに分けられる。一つは解候補を集め

そして、推論の操作によって両者が対応しているかを調るステップで、もう一つはそれぞれの解の選択である。最べる。この方法の欠点の一つは、WordNet などの語彙的初の、解候補を集めるステップは、これまでよく研究さ知識と、推論ルールセットなどの世界知識という豊富なれてきた。このステップの標準的な手順では、まず「場情報を必要とすることである。これに対して、本研究で所」、「人名」といった質問タイプを判定する。次に使用はこれと異なったアプローチの解の選択法を提案する。

可能なドキュメント集合に対して、質問文から生成されその方法は、問題文中の重要語句と解候補の間の語彙的るクエリーで検索を行い、解候補を含むドキュメントを関係の強さの比較に基づいている。語彙的関係の強さを収集する。そして、得られたドキュメントに対して固有測定することは最も低いレベルの意味的操作と言えるが、表現抽出を行い、答えのタイプと合う語を解候補として

本研究では、このような意味的操作が、質問応答におけ抽出する。

る解の選択という豊富な知識を要求する自然言語処理タ
スクに対して、どの程度有効性かを調べる。本稿で後に本研究では、このような解候補抽出ではなく、質問応

示すように、問題の解候補として選択肢が与えられると、
我々の語彙的関係に基づく方法で、ある種類の問題セッ† 京都大学大学院 情報学研究科
Graduate School of Informatics, Kyoto University

トのかなりの問題を解くことができる。
1

表1

我々のキーワードアソシエーション（本稿では上記で導入した語彙的関係の概念を「キーワードアソシエーショ

問題 Q1 におけるキーワードと選択肢のヒット数 (X:“アメリカ
ングラフィティ”)

Y (選択肢)“ジョージ・ルーカス”“スティーブン・スピルバーグ”“フランシス・フォード・コッポラ”“黒澤明”

ン」と呼ぶ）による解の選択法の枠組みにおいては、解の選択プロセスは２つのステップに分解できる。最初のステップでは、質問文から適切なキーワードを抽出する。
そして、次のステップではキーワードと解候補の関係のhits(X and Y )
384
123
100
82

強さを測定する。本稿で提案するキーワード選択法は、そべるというものである。この戦略は、キーワード「アメれぞれの語の特徴に基づいて人手で作成した少数のルー

リカングラフィティ」を含むウェブページ上に正解が現ルによって重要度を決める方法と、サーチエンジンのヒッれることを仮定している。もう少し巧妙な方法は、キート数を利用して連想の強さの測定する方法の２つである。

ワードと選択肢の両方を含むウェブページの数を使うと解候補の検証の二番目のステップでは、ウェブを知識源いうものである。この数は、「アメリカングラフィティ」

として用いて、抽出されたキーワードと解候補の間の関と「ジョージ・ルーカス」の両方の語からなるクエリーを係の強さを測定する。キーワードと解候補の関係が強い入力したときのサーチエンジンのヒット数で測定できる。

ほど同一ウェブページ上に共起することが多いという仮

この仮定に基づき、最大のヒット数を持つ選択肢が解で定に基づき、本稿ではこの関係の強さを、サーチエンジあると決定する。上記の Q1 に対しては、この戦略は成功

ンのヒット数を利用したいくつかの尺度で測定し、それする。表 1 にそれぞれの選択肢のアンド検索のヒット数

らの尺度の有効性を実験によって示す。

を掲載する。このとき、ヒット数を求めるのに goo☆☆☆ を用いた。ここで、X はキーワードの集合、Y は選択肢を

本研究では、質問応答全体のプロセスではなく解の選表すものとし、関数 hits を以下のように定義する。

択の問題に焦点を当てるために、既存の４択クイズを研究の実験材料とする。本研究で題材として使う４択クイ

hits(X) ≡ hits(x1 AND x2 AND · · · AND xn )ズは “Who wants to be a millionaire?”☆ である。“Whowherewants to be a millionaire?” はイギリスに始まり、５０ヶ国以上の国でローカライズされて放映されている人気のあるテレビのクイズ番組である。今回はその中でも日本版の「クイズ＄ミリオネア」☆☆ 4) を用いる。実験の結果、

X = {x1 , x2 , . . . , xn }正解である「ジョージ・ルーカス」のアンド検索のクエ
リーは、最大のヒット数を返す。

このクイズの約８割の問題を、提案するキーワードアソ

ここで、問題 Q1 はキーワードと選択肢の関係の強さ

シエーションによる解の選択法で解くことができる。

に関する問題、つまり連想問題と見なすことができ、以2 章では、キーワードアソシエーションを用いた質問

下の形式に変換できる。

応答の考え方を導入する。3 章では、問題文からキーワー

Q1 : 次のうち、「アメリカングラフィティ」と最も関係の深いものはどれ？

ドを選ぶ方法を説明する。4 章では、４択クイズの答えを選ぶ方法を説明する。5 章では、提案手法を組み合わせる方法を説明する。6 章では、実験の結果を示す。

a: ジョージ・ルーカス
b: スティーブン・スピルバーグ
c: フランシス・フォード・コッポラ
d: 黒澤明2. キーワードアソシエーションによる解の選択
2.1 キーワードアソシエーション
ここに４択クイズの例がある。

我々はこのキーワードと選択肢の関係のことを「キーワードアソシエーション」と呼ぶ.

Q1: 「アメリカングラフィティ」の監督は誰？
a: ジョージ・ルーカス
b: スティーブン・スピルバーグ
c: フランシス・フォード・コッポラ
d: 黒澤明2.2 どのようにキーワードを選ぶか
精度よく問題を解くためには、問題文から適切なキー
ワードを取り出すことが重要である。以下の問題を考えよう。

いま、この問題の答えが分からず、ウェブのサーチエン

Q2: 映画「ロードオブザリング」の監督は誰？

ジンを使って答えを見つけようとしているとしよう。もっa: イライジャ・ウッド
b: ビリー・ボイド
c: ピーター・ジャクソンd: ケイト・ブランシェット

とも単純な方法は、クエリー「アメリカングラフィティ」
をサーチエンジンに入力し、得られたウェブページを調☆
☆☆

Celador International 製作
フジテレビ製作 http://www.fujiint.co.jp/quiz/home/index.html

2☆☆☆

http://www.goo.ne.jp

表2のヒット数で正規化したものをバックワードアソシエー

問題 Q2 におけるキーワードと選択肢のヒット数 (X:“ロードオブザリング”, X  :“ロードオブザリング” and “監督”)Y (選択肢)“イライジャ・ウッド”“ビリー・ボイド”“ピーター・ジャクソン”“ケイト・ブランシェット”

hits(X and Y )
699
105
401
127

ション BA(X, Y ) と呼ぶ。

hits
(X  and Y )
281
72
365
91

F A(X, Y ) = hits(X ∪ {Y })/hits(X)BA(X, Y ) = hits(X ∪ {Y })/hits({Y })ここで、X が固定されていれば、F A は hits(X ∪ {Y })に比例する。

Q3 に戻ろう。この場合、最大の BA を持つ選択肢が正解である。ある問題は F A を参照することで解ける一

実際にヒット数を求めた結果を表 2 に示す。ここで、X

方、BA を参照しなければ解けない問題もある。それゆは “ロードオブザリング”、 X  は “ロードオブザリング”

え、F A と BA のどちらを使うのかを決める仕組みを考and “監督” とする。 映画のタイトルである「ロードオブザリング」をキーワードとしたとき、アンド検索のヒット数が最大の選択肢は「イライジャ・ウッド」であり、正解の「ピーター・ジャクソン」ではない。しかし、「ロー
ドオブザリング」と「監督」をキーワードとすれば、こ案する必要がある。

2.4 ま と め
2.1 ∼ 2.3 節での観察より、連想による解の選択を実現するために、以下の３つの問題を解決する必要がある。

の問題は最大のヒット数を持つ選択肢を選ぶことによっ• どのようにして問題文から適切なキーワードを抽出するか？
• どのようにしてフォワードとバックワードの連想を考慮して正解を同定すればよいか？
• どれぐらいの問題を連想に基づく方法で解くことがて解ける。したがって、適切なキーワードを選びだすメ
カニズムが必要となる。

2.3 フォワードアソシエーションとバックワードアソ
シエーション
キーワードと選択肢からなるクエリーを生成して、単純に最大のヒット数を持つ選択肢を選ぶ方法では、解けない問題もある。本節では、適切な答えを選ぶためのよできるのか？

3. キーワード選択
本章では問題文から適切なキーワードを選ぶ２つの手り緻密な尺度を導入する。以下の問題を見よ。

法について述べる。一つは語の特徴を用いる手法で、もQ3: ピラミッドはどこにある？

う一つはサーチエンジンのヒット数を用いる手法である。

a: カナダ

まず、日本語形態素解析システム Juman☆ と日本語構

b: エジプト
c: 日本
d: 中国

文解析システム KNP☆☆ を用いて、問題文からすべての名詞を抽出する。このとき、名詞の列が複合語を構成するとき、最も長い複合語のみを抽出し、その構成要素である名詞は抽出しない。このようにして抽出された名詞

この問題に対して、実際にヒット数を求めた結果を表 3

や複合語の集合を N とする。そして、キーワードはそのに示す。 この場合、キーワードと選択肢をクエリーとし中から選ばれる。以下に説明する手法では、サーチエン

たときのヒット数が最大の選択肢は「日本」であり、こジン goo を使用して、ヒット数を求める。

れは正解の「エジプト」ではない。なぜこの問題が解け

3.1 語の特徴に基づくキーワード選択
語の特徴に基づくキーワード選択手法では、キーワードは以下の手続きによって選ばれる。

ないのであろうか。ここで選択肢のみをクエリーとした
ときのヒット数に注目しよう。
「日本」のみをクエリーとした場合のヒット数は、「エジプト」のみをクエリーとした場合のヒット数の約 24 倍である。この観察より、「ピ(1)

ラミッド」と選択肢をクエリーとしたときのヒット数は、

問題文が n 個の「」で括られた引用を含むならば、それらの n 個の文字列がキーワードとして選ば

選択肢のみのヒット数の影響を受けていると考えられる。

れる。

それゆえ、正規化が必要となる。

(2)

上記の仮定に基づき、我々は佐藤らの提案する、２つのそれ以外の場合:

2-1.

語の関係の強さを評価するための２つの尺度5) を導入す

表 4 に示す語の重み付けルールにしたがって、キーワード候補の集合 N のそれぞれのる。X はキーワードの集合、Y は選択肢とする。本稿で要素に重みが付与される。

は、キーワードの集合 X と選択肢 Y からなるクエリーの2-2.

ヒット数を X のヒット数で正規化したものをフォワード
アソシエーション F A(X, Y ) と呼ぶ。また、キーワード☆

の集合 X と選択肢 Y からなるクエリーのヒット数を Y☆☆

3最大及び 2 番目に大きな重みを持つキーワー

http://www.kc.t.u-tokyo.ac.jp/nl-resource/juman.html
http://www.kc.t.u-tokyo.ac.jp/nl-resource/knp.html

表3X(キーワード)
ピラミッド
Y(選択肢)
カナダ
エジプト
日本
中国

問題 Q3 におけるキーワードと選択肢のヒット数

hits(X)
63,600hits(Y )321,000
128,000
3,050,000
2,580,000

hits(Y and X)
3,300
14,30027,80010,300

表5

表 4 語の重み付けルール
条件
n 番目の文節
ストップワード「」中の語句人名
サ変名詞＋サ変動詞
関係を表す語カタカナ (重要でないものを除く)「賞」で終わる「時代」で終わる
国名
数字
ヒット数が 1000000 より大 and １文字
キーワードの後ろに「は」が存在 and「者」または「家」で終わる
ヒット数が 100000 より大ヒット数が 10000 より小
文字数が 1
文字数が 2
文字数が 3
文字数が 4
文字数が 5 以上

FA(X, Y )0.0159
0.225
0.437
0.162

BA(X, Y )0.01030.112
0.009110.00399

ヒット数/FA/BA が最大のキーワードを選ぶ手法
手法

重み1 + 0.01 * n
0
3
3
0.5
2
2
2
0.5
0.5
3
0.9

表 6 FA と BA が一致
条件|K̂| = 1|K̂| ≥ 2|K̂| = 0
合計

巾乗を示すものとすると、キーワードの集合 k は 2N の要素である (k ∈ 2N )。k̂ は選ばれたキーワード集合、ĉは選ばれた答えを示す。
最初の手法は、以下のように最大のヒット数を持つ<k̂, ĉ> のペアを選ぶものである。
<k̂, ĉ> = argmax hits(k ∪ {c})ド候補を選択する。

k⊆2N

分析用セットに対して、この手法で選ばれた選択肢の正これら２つのキーワードの候補語の(i)

個数
70 (7.9%)700 (78.8%)
118 (13.3%)
888 (100%)

ワード選択法をいくつか導入する。ここで、2N は N の

0.1
0.2
1.1
0.2
0.25
0.5
1.1
1.2

c,

2-3.

正解率
35.7%
71.3%
36.1%

ヒット数
FA
BA

解率を計算すると 35.7% であった。

AND 検索のヒット数が 15 以上であ同様に、最大の F A または BA を選ぶ別の手法を以下

れば、両方をキーワードとして選択

に示す。

する。

<k̂, ĉ> = argmax F A(k ∪ {c})そうでなければ、重み 1 位のキーワー( ii )

c,

ドのみを選択する。

k⊆2N<k̂, ĉ> = argmax BA(k ∪ {c})k を選ばれたキーワードの集合 (k ⊆ N )、c を選択肢と
A
BA
して、cF
1 (k) を最大の F A(k, c) を持つ選択肢、c1 (k)を最大の BA(k, c) を持つ選択肢と定義する。

c,

k⊆2N

正解率はそれぞれ、71.3%と 36.1%であった。これまでに示した３つの手法の結果を表 5 にまとめる。

AcF
1 (k) = argmax F A(k, c)

A
BA
次に、cF
1 (k) と c1 (k) が一致していれば、そのとき

cBA
1 (k) = argmax BA(k, c)

選ばれたキーワード集合と答えは信頼できるのではない

c

かという仮説に基づいて以下の調査を行った。ここで、K̂c

ABA
ここで、cF
1 (k) か c1 (k) のどちらかが正解であれば、こを選ばれたキーワード集合の集合とする。

のとき選択されたキーワードは正解であるとすると、6.1 節

K̂ = {k| argmax F A(k, c) = argmax BA(k, c)}cで導入される分析用セットに対する正解率は、84.5%でc

分析用セットに対して、この方法でどの程度キーワードあった。

集合を選べるのかを調べた結果を表 6 に示す。 この結果、

3.2 サーチエンジンのヒット数に基づくキーワード

キーワード集合が１つに絞れたのは 70 問 (7.9%) であっ選択

た。キーワード集合が１つに絞れなかった 700 問 (78.8%)

3.2.1 基本的な手法
まず、サーチエンジンのヒット数に基づく単純なキーのうち、すべての答えが一致したのは 415 問で、全体の4

表 8 キーワードアソシエーションの比の評価 (精度/カバレージ)(%)

表 7 FA 最大と BA 最大が一致
条件|K̂| = 1|K̂| = 0
合計個数
13 (1.5%)875 (98.5%)
888 (100%)

比

FA
BA

1 位、2 位FABA
63.1/100
70.6/95.0
75.8/93.2
67.6/100

46.7%(415/888) であった。キーワード集合が１つに絞れた場合 (70 問) と、キーワード集合は１つに絞れなかったがすべての答えが一致した場合 (415 問) は、答えを決めることができる。答を決められた 485 問 (全体の 54.6%)の精度は 82.1%(398/485) であった。

同様に BA の比に基づく手法を以下に示す。

さらに条件を厳しくして、F A1 位の集合キーワードとĉ = cBA
1 (k̂)BA
c2 (k) = arg-secondmax BA(k, c)

BA の 比k̂ = argmink

BA1 位のキーワード集合が一致する場合のみ、それを採用するという方法も調査した。この方法を以下に式で示す。

c

次は、F A の比や BA の比に基づく方法と違い、F Aと BA の両方を考慮する方法を述べる。これら２つの手∃c, K̂ = {k| argmax F A(k, c) = argmax BA(k, c)}k⊆NBA(k, cBA
2 (k))BA(k, cBA
1 (k))k⊆N

法の仮説は、F A と BA が指し示す選択肢が同じであれ

この方法でどの程度キーワード集合を選べるのかを調べば、F A と BA による解の決定は信頼できると見なすとた結果を表 7 に示す。しかしながら、わずかに 13 問しかいうものである。

一致しなかった。

FA が 1 位と 2 位の選択肢の BA の比このような手法では、キーワード集合を選ぶ条件が厳それぞれのキーワードに対して、FA が 1 位と 2 位の選しすぎるため、適用できる問題が限られてしまう。そこ択肢を選び、それらの選択肢の BA の比を計算する。そで、次節ではここで説明した手法よりも条件の緩い手法

して、この比の値が最も大きかったキーワードを選び、k̂を検討する。

Aとする。そして、cF
1 (k̂) をこの手法の選んだ解とする。

3.2.2 キーワードアソシエーションの比k̂ = argmin

次に、我々は F A や BA といった尺度の１位と２位のkAĉ = cF
1 (k̂)

比を用いる、より緻密な方法を導入する。この手法の根底にある仮説は、それらの比が大きくなれば、選ばれた F AA
BA(k, cF
2 (k))A
BA(k, cF
1 (k))

同様に、BA が 1 位と 2 位の選択肢の FA の比を用い

もしくは BA が最大の選択肢の信頼性が増すということる手法を以下に示す。

である。ここではまず、それぞれ F A の比を用いる手法と、BA の比を用いる手法の、２つの手法を導入する。

BA が 1 位と 2 位の選択肢の FA の比

FA の 比F A の比とは、あるキーワード集合に対して、2 番目に大きな F A を持つ選択肢の F A を、最大の F A を持つ選k̂ = argminkĉ = cBA
1 (k̂)F A(k, cBA
2 (k))F A(k, cBA
1 (k))

択肢の F A で割った値である。F A の比を用いる手法でこれら４つの手法のカバレージと精度を表 8 に示す。カは、この比を用いてキーワード集合を評価する。実際のバレージは比が 1 以下の問題の割合によって測定する☆ 。

手順ではまず、このような F A の比をすべてのキーワー

精度は、選ばれた選択肢 ĉ が正解である問題数を、上記

ド集合に対して計算し、最大の比の値を持つキーワードのカバーされている問題数で割った値によって測定され集合を選ぶ。そして、このときの F A 最大の選択肢を解る。最もよい精度を示したのは、最大の F A を持つ選択とする。選ばれたキーワード集合を k̂、選ばれた選択肢

肢と 2 番目に大きい F A を持つ選択肢の BA の比を用を ĉ とすると、この方法は以下のように定式化できる。

k̂ = argmink⊆2Nいる手法であった。以下の章では、この比を「キーワードアソシエーションの比」として用いる。比の値の範囲

A
F A(k, cF
2 (k))FA
F A(k, c1 (k))

とカバレージ/精度の関係を表 9 に示す。比が 0.25 以下であるとき、全体の約 60%の問題が 90%近くの精度で解Aĉ = cF
1 (k̂)FA
c2 (k) = arg-secondmax F A(k, c)

けた。この 0.25 という閾値は、5 章でキーワードアソシc

ただし、arg-secondmaxc は値が 2 番目に大きくなる
ときの、c を選ぶ関数である。

5

表 9 キーワードアソシエーションの比の評価: F A が 1 位と 2 位の選
択肢の BA の比比

0≤ 0.01≤ 0.1≤ 0.25≤ 0.5≤ 0.75≤1

表 10 解選択の精度 (語の重みに基づくキーワード選択との組み合わせ)F A 最大BA 最大
解選択ルール# of questions
カバレージ
精度
18.9% (163/888)
89.6% (146/163)
21.5% (191/888)
89.5% (171/191)
40.5% (360/888)
87.5% (315/360)
60.4% (536/888) 86.9% (466/536)
78.0% (693/888)
81.6% (566/693)
87.2% (774/888)
78.4% (607/774)
93.2% (828/888)
75.8% (628/828)

70.8%
67.6%
77.3%

表 11 それぞれの解選択ルールの評価 (語の重みに基づくキーワード選択を用いる)

ルール

1
2∼6
合計
2
3
4
5
6
7

エーションの比と語の重みを組み合わせるときに用いる。

4. 解 の 選 択
本章では、フォワード及びバックワードアソシエーショ
ンを考慮して正解を同定する方法を説明する。キーワー
ドを決定した後は、サーチエンジンを利用して、以下の答え
A (k) = cBA (k)
cF
1
1
cBA
1 (k)
A
cF
1 (k)
A
cF
1 (k)
cBA
1 (k)
cBA
1 (k)
A
cF
1 (k)

精度
88.5% (479/541)
60.3% (207/343)
77.6% (686/884)
65.3% (32/49)
61.8% (68/110)
53.6% (37/69)
60.3% (35/58)
66.7% (12/18)
59.0% (23/39)が分かった。

値を求める。

解選択ルールのそれぞれに対して、表 11 にその精度を• キーワード集合 X のヒット数: hits(X)• 選択肢 Y のヒット数: hits({Y })• AND 検索のヒット数: hits(X ∪ {Y })A
BA
示す。分析用セットにおいて☆ 、cF
1 (k) と c1 (k) が一致する問題は 541 問 (約 60%) あり、選ばれた選択肢のA
88.5%が正解であった。つまり、半数以上の問題の cF
1 (k)
と cBA
1 (k) が一致し、このうち 9 割以上は正解であった。
ABA
したがって、この cF
1 (k) と c1 (k) が一致すれば、選ばれた解は信頼できる。

そして、それぞれの選択肢に対して、F A と BA が計算Aされる。3 章で導入したように、cF
1 (k) はあるキーワー

ド集合 k が与えられたときに最大の F A を持つ選択肢を表し、cBA
1 (k) は同様に k が与えられたときに最大の5. キーワード選択と解選択の統合手法

A
BA を持つ選択肢を表す。ここですべきことは、cF
1 (k)BAか c1 (k) のどちらが正解かを推測することである。

3.2.2 節で示したキーワードアソシエーションの比を用

分析用セットにおいてサーチエンジンのヒット数を調いる手法では、比が 0.25 以下であれば高い精度で問題をABA
査し、以下に示す cF
1 (k) と c1 (k) を選択するルールを解くことができた。一方、3.1 節で示した語の重みに基づ人手で作成した。

くキーワード選択法と 4 章で示した解選択ルールを組み

(1)

A
BA
FA
if cF
1 (k) = c1 (k) then c1 (k)(2)

else if F A(k,c1F A (k)) ≥ 0.8 then cBA
1 (k)合せた手法は、分析用セットの問題すべてを解いたときには、キーワードアソシエーションの比を用いる手法よF A(k,cBA (k))

1
F A(k,cBA(k))
1
A (k))F A(k,cF
1
A
BA(k,cF(k))
1
BA(k,cBA(k))
1

りも精度がよかった。そこで、両者の長所を生かすためA≤ 0.2 then cF
1 (k)に、以下に示す統合手法を実装した。

A≥ 0.53 then cF
1 (k)

(1)

(3)

else if(4)

else if(5)

else if hits(k) ≥ 1300 then cBA
1 (k)

(6)

else if F A(k,c1F A (k)) ≥ 0.6 then cBA
1 (k)F A が 1 位と 2 位の選択肢の BA の比によって選ばれたキーワードの集合を選択し、最大の BA を

F A(k,cBA (k))

持つ選択肢を選ぶ。

1

(7)

(2)

A
else cF
1 (k)それ以外の場合:語の重みに基づく方法で選ばれたキーワードの集表 10 は、分析用セットに対して、この解選択法を適用

合を使い、4 章の手順によって、解選択を行う。

したときの精度を示す。ここで、キーワードは 3.1 節の6. 実

語の重みに基づく手法で選んだものを用いた。この表では、上記の解選択ルールの結果に加えて、単純に F A ま験

6.1 データセット
本研究では、４択クイズとして、トミー社から発売されているカードゲーム版の「クイズ＄ミリオネア」の問題を用いた。カードゲーム版の問題は、1960 問あり、そたは BA が最大の選択肢を選ぶ、ベースラインとなる手
法の結果も示した。この結果より、ここで述べた解選択
ルールはベースラインの手法の精度を大きく上回ること☆

比が 0.25 以下のとき:

この比は F A と BA の両方を考慮するので、比が 1 より大である
ことは F A と BA が指し示す選択肢が異なることを意味する。

☆

6

アンド検索のヒット数 hits(X ∪ {Y }) が 0 であった 4 問は除く

表 12

最終的な実験結果 (精度/カバレージ)(%)

ワードの近くに現れる解候補の出現頻度に基づいて解を

手法

選択する。

分析用

評価用

K.A.R. (r ≤ 1)
75.8/93.2
74.6/93.6
語の重み
77.3/100
73.4/100+ 解選択ルール
統合手法
78.6/10075.9/100
K.A.R. (r ≤ 0.25)
86.9/60.4
86.0/61.5
語の重み (r > 0.25)
65.9/39.6
59.9/38.5+ 解選択ルール
K.A.R.: キーワードアソシエーションの比Brill ら7) によって提案された方法では、解候補はサーチエンジンの検索結果のサマリーから抽出する。そして、TREC QA タスクのドキュメントコレクションから関係する文書を探すことによって、それぞれの解候補の検証を行う。Cody らの手法、Brill らの手法共に、サーチエ
ンジンのヒット数は利用していない。

Magnini ら8) はサーチエンジンのヒット数を使う解の選択法を提案した。彼らは AltaVista の OR と NEAR

れらは、賞金額別に A(￥10,000)〜O (￥10,000,000) の

15 クラスからなる。それぞれの問題は解候補として４つの選択肢を持つ。
ここでは、それぞれのクラスを 2 つに分割し、半分 (980問) を分析用の問題セットとして、残り半分を評価用の問題セットとして使用する。ただし、比較表現を含む問題の演算子を使ってサーチエンジンのクエリーを構成する。

Magnini らの手法と我々の手法の主要な違いは、キーワードの選択法にある。Magnini らの手法において、キーワー
ド集合の初期候補は質問文中にあるすべての内容語を含む。キーワード集合のヒット数がある閾値以下であれば、(例えば、「次のうち、最も州の数が多い国はどれ？」) と否定の表現を含む問題 (例えば、「次のうち、フランスの国旗に使われていない色はどれ？」) は連想で説くのにはふさわしくないので除外した。その結果、分析用セットの問題数は 888 問に、評価用セットの問題数は 906 問に人手で作成した少数の規則に従い、キーワード集合からなった。

のキーワード抽出法は問題文と解候補の両方を考慮する最も重要でない語を除く。この手続きをキーワードのヒッ
ト数が閾値を超えるまで繰り返す。一方、我々の方法では、キーワードと解候補の関係の強さが最大になるようなキーワードを選ぶ。Magnini らの方法に比べると、我々点が異なっている。Magnini らの実験では、解候補にス

6.2 結

果

コアをつける３つの尺度のうち、我々のフォワードアソシ

分析用セットと評価用セットに対して、5 章で示した

エーションに近い “Corrected Conditional Probability”

キーワード選択と解選択の統合手法の評価の結果を表 12という尺度が最もよい性能であった。我々もこの尺度をに示す。この表では、3.2.2 節で示したキーワードアソシ

実装したところ、5 章で示した統合手法よりも約 5%低い

エーションの比を用いる手法と、3.1 節で示した語の重精度であった。

みに基づく手法及び、4 章で示した解選択を組み合わせ

8. 結論と今後の課題

た手法という、２つのベースラインの性能も示している。
5 章で示した統合手法は、それらのベースラインの性能を上回った。結果として、約 79%(分析用セット) あるい
は 76%(評価用セット) の問題を、5 章で示した統合手法
により解くことができた。

本稿では、問題文から抽出されたキーワードと解候補の間の語彙的な関係の強さに基づく解の選択法を提案した。提案した解の選択法は２つのステップに分けられる。
１つ目のステップでは、語の特徴と語彙的関係の強さを２つの問題セットを比較すると、語の重み付けルール

用いて、問題文から適切なキーワードを抽出する。一方、と解選択ルールを組み合わせた手法では、評価用セット

２つ目のステップでは、サーチエンジンのヒット数に基において精度が約 4%低下した。これは、語の重み付け

づいて、キーワードと解候補の間の関係の強さを測定す

ルールと解選択ルールが分析用セットに過適応しているる。実験の結果、提案手法で４択クイズ「クイズ＄ミリ

ことを示している。一方、キーワードアソシエーション

オネア」の 79%を解くことができた。

の比を用いる手法においては、２つの問題セットの間で今後の課題として現在、問題文の構文構造が、問題文精度の差はそれほどなかった。これは、キーワードアソ

から適切なキーワードを選ぶのに有用かどうかの調査を

シエーションの比を用いる手法はデータに依存せず有効行っている。また、本稿で提案したキーワード選択法を、であることを示している。

質問応答のプロセス全体における解候補収集などの局面において利用する手法を設計する予定である。

7. 関 連 研 究参本章では、ウェブを利用した関連研究を取り上げ、本研究との違いを述べる。

Cody ら6)

考 文

献1) Voorhees, E. M.: Overview of the TREC 2002
Question Answering Track, Proc. TREC 2002
(2003).
2) Fukumoto, J., Kato, T. and Masui, F.: Question
Answering Challenge (QAC-1) An Evaluation ofはウェブを用いた最初の質問応答システムを提案した。まず、google を使用して質問文に関係のない文書を集め、そこから解候補を抽出する。そして、キー

7Question Answering Task at NTCIR Workshop 3,
Proc. 3rd NTCIR Workshop (2003).
3) Moldovan, D., Harabagiu, S., Girju, R., Morarescu,
P. and Lacatusu, F.: LCC Tools for Question Answering, Proc. TREC 2002 (2003).
4) クイズ＄ミリオネア (編): 完全攻略！クイズ＄ミリ
オネア, フジテレビ出版 (2002).
5) Sato, S. and Sasaki, Y.: Automatic Collection ofRelated Terms from the Web, Proc. 41st ACL, pp.
121–124 (2003).
6) Kwok, C. C. T., Etzioni, O. and Weld, D. S.: Scaling Question Answering to the Web, Proc. the 10th
WWW Conf., pp. 150–161 (2001).
7) Brill, E., Lin, J., Banko, M., Dumais, S. and
Ng, A.: Data-Intensive Question Answering, Proc.
TREC 2001 (2002).
8) Magnini, B., Negri, M., Prevete, R. and Tanev,
H.: Is It the Right Answer? Exploiting Web Redundancy for Answer Validation, Proc. 40th ACL,
pp. 425–432 (2002).
9) 外池昌嗣, 佐藤理史: ウェブを用いて４択クイズを解く, 言語処理学会第 9 回年次大会発表論文集, pp.
641–644 (2003).
10) 外池昌嗣, 佐藤理史, 宇津呂武仁: ４択クイズを連想問題として解く, 言語処理学会第 10 回年次大会発表
論文集, pp. 301–304 (2004).

8