# 優先順位型質問応答の解スコア分布に基づくリスト型質問応答
## 石下 円香 $\dagger \cdot$ 森 辰則 $\dagger \dagger$

\begin{abstract}
本論文では, リスト型質問応答に対する回答群の選択手法を提案する。リスト型質問応答とは，与えられた質問に対し決められた知識源の中から過不足なく解を見つけ列挙するタスクである。提案手法では, 既存の質問応答システムが解候補に付与するスコア分布を利用する．解候補を，そのスコアを基にいくつかのクラスタに分離することを考える。すなわち, それぞれのクラスタを一つの確率分布とし, 各確率分布のパラメタを EM アルゴリズムにより推定する。そして，それぞれの分布を正解集合を形成するスコア分布と不正解集合を形成するスコア分布のどちらであるかを推定し, 正解集合のスコア分布に由来すると推定された解候補群を最終的な回答とする。質問応答システムには一般に不得意な質問が存在するが，提案手法では，複数の分布のパラメ夕を比較することにより，質問応答システムが正解を適切に見つけられているか否かを判定することも可能である。評価実験によれば，スコア分布を求め，それを利用することがリスト型質問応答に対して有効に働くことがわかった. キーワード：質問応答システム，リスト型質問応答，スコア分布
\end{abstract}

## A Method of List-type Question-answering Based on the Distribution of Anwer Score Generated by Ranking-type Q/A System

\author{
Ishioroshi, MAdokA ${ }^{\dagger}$ and Mori, TAtsunori ${ }^{\dagger \dagger}$
}

In this paper, we propose a method of the list-type question-answering. The listtype question-answering is the task in which a system is requested to enumerate all correct answers to given question. In the method, we utilize the distribution of the score that an existing question answering system gives to answer candidates. Answer candidates are separated into some clusters according to their scores. Here, we assume that each cluster results from a probabilistic model. Under the assumption, the parameters of these probabilistic distribution models are estimated by using the EM algorithm. Then, the method judges whether each distribution model is a source of correct answers or a source of incorrect answers. Answer candidates that originate from the distribution models corresponding to correct answers are regarded as final answers. Moreover, by comparing model parameters, we can also judge whether or not the question-answering system appropriately found correct answers. The experimental

results show that the use of the score distribution is effective in the list-type questionanswering.

Key Words: $Q / A$ system, list type $Q / A$, score distribution

## 1 はじめに

近年，文書情報に対するアクセス技術として，質問応答が注目されている。質問応答は，利用者が与えた自然言語の質問文に対し，その答を知識源となる大量の文書集合から見つける技術である．利用者が，ある疑問に対する解を知るために質問応答システムを単体で利用する場合には，各解候補のスコアに基づき，解候補群を順序づけて上位から提示することが多い．本稿では，この処理を優先順位型質問応答と呼ぶことにする。この場合は解答として採用するか否かは，利用者の判断に委ねられている.

一方，質問応答技術は他の文書処理技術の中で活用されることも期待されている．質問応答の出力を他の文書処理技術の入力として容易に利用可能とするためには, 優先順位型質問応答において利用者が行なっていた上記判断を自動的に行なう必要がある。また,「日本三景は何と何と何か」といったように複数の正解が存在する質問が存在することも考慮すべきである。これらのことより，決められた知識源の中から過不足なく与えられた質問の解を見つけ列挙する能力も重要であると考えられる。優先順位型質問応答の用件に加え, この能力を持つ仕組みをリスト型質問応答と呼ぶ (Fukumoto, Kato, and Masui 2002)(加藤, 桝井, 福本, 神門 2004).

本稿では, 上記の背景の下, リスト型質問応答を行なうための一手法を提案する。本手法では，優先順位型質問応答により得られた解候補の集合のスコアを基にいくつかのクラスタに分離することを考える。それぞれのクラスタを一つの確率分布とし, 各確率分布のパラメ夕を $\mathrm{EM}$ アルゴリズムにより推定し，いくつかの分布に分離する。最後に，それぞれの分布を正解集合のスコアの分布と不正解集合のスコア分布のどちらであるかを判定し, 各解候補がいずれの分布に由来するものなのかを推定し, 最終的な正解集合を求める. 質問応答システムには一般に精度が低くなりがちな質問（以下，「不得意な質問」と記す）が質問の型等に依存して存在するが1, 本手法では, 複数の分布のパラメタを比較することにより, 優先順位型質問応答により正解が適切に見つけられているか否かを判断することも可能である。ここで, 正解が適切に見つけられているとは，優先順位型質問応答により正しい解が求められており，その解が上位にある（複数の場合は上位に集まっている）場合を指すこととする.


## 2 関連研究

リスト型質問応答については, 米国における大規模検索実験プロジェクトである, TREC (Text REtrieval Conference) における, Qusetion Answering Track（以下, TREC QA と記述）で議論されている.

TREC QA でリスト型質問応答のタスクが始まったのは, 2001 年からである. 2001 年 (M.Voorhees 2001) と 2002 年 (M.Voorhees 2002) のリスト型質問応答のタスクでは, 正解の個数は質問文中に示されており, システムは示された個数の解候補を出力し, その精度で評価された。2003 年 (M.Voorhees 2003) では, リスト型質問応答はメインタスクに含まれる質問のうちの一種類になった. 2003 年からは正解数が陽に示されることはなくなり, システムは正解の個数を判定しなければならなくなった. システムの評価は $\mathrm{F}$ 值で行なわれる。2004２006 年 (M.Voorhees 2004)(M.Voorhees and Dong 2005)(Dong, Lin, and Kelly 2006)の TREC QA のメインタスクの質問セットは, シリーズ型質問の集合になっている. シリーズ型質問には, 初めにそのシリーズの話題が示されており，その次に何問かの factoid 質問, list 質問があり, 最後に other 質問がある．factoid 質問と list 質問では，どちらも事実を問う質問であり，要求される解の種類は同じである. factoid 質問と list 質問の違いは正解の数で, 正解数が一つの質問は factoid 質問, 正解数が複数の質問は list 質問という様に分けられている． factoid 質問ではシステムはただ一つの回答を出力し, list 質問ではリスト形式で回答を出力する. other 質問は, 質問文は与えられておらず，そのシリーズの話題に関連することを出力することが要求される. ただし, factoid 質問と list 質問で問われていないことのみを出力しなければならない. 各質問が factoid, list, otherのどれであるかは質問文と共に与えられている.

list 質問では, システムは与えられた質問の正解を過不足無く出力することが要求される。正解の数は明記されておらず，システム自身が判定する必要がある。 2006 年の質問セットでは,全質問の正解の平均数は 10 個であり, 最小のものは 2 個, 最大のものでは 50 個ある.

factoid 質問と list 質問は要求される回答数が違うだけであるので，参加したほとんどのチー ムは，そのチーム自身の factoid 質問に対するシステムと同じものを用い，出力する回答数のみを変えていた，以下に，具体例を紹介する．F 值のみではリスト型処理の善し悪しが分からないため, factoid 質問に対する精度 (Accuracy) も併記する.

Harabagiu et al (Harabagiu, Moldovan, Clark, Bowden, Williams, and Mensly 2003)は, 一位の解候補と二位以下の各解候補の間の類似度を求め，類似度に閥値を設けて回答選択をする手法を提案している。閥値は一位の解候補と最下位の解候補の類似度を基に求められる。類似度が閾値以上になる解候補のうち, 最下位に順位づけされているものまでを回答リストに加えている.このシステムの list 型質問に対する精度は, $\mathrm{F}$ 値で 0.433 であった. また, このシステムの基になった factoid 質問に対するシステムの精度は，0.578であった.

Bos (Bos 2006) は，質問文から正解の個数が推定できる場合には，上位からその個数を回答とし，それ以外の場合にはあらかじめ決められた個数の解候補を回答とする手法を用いていた. このシステムの list 型質問に対する精度は， F 值で 0.127 であった。また，このシステムの基になった factoid 質問に対するシステムの精度は，0.15であった。

Burger (Burger 2006)は，期待される F 値を求め，それを最大化するように回答の個数を決める手法を提案している。このシステムの list 型質問に対する精度は, $\mathrm{F}$ 値で 0.208 であった. また，このシステムの基になった factoid 質問に対するシステムの精度は， 0.087 であった.

また，国立情報学研究所主催の質問応答に関する一連の評価型ワークショップである NTCIR QACにおいても同様にリスト型質問応答について議論されている.

NTCIR4 QAC2 の subtask1 では, システムは与えられた質問に対して, 順位付けされた 5 つの回答を出力することが求められる。システムの精度には MRR (Mean Reciprocal Rank. 正解順位の逆数の各質問平均）が用いられる。正解が複数存在する質問に対しては，システムはそのうちの一つを出力できれば良いとされている.

NTCIR4 QAC2の subtask2 (リスト型タスク) (Fukumoto, Kato, and Masui 2004a)でも TREC QAの list 質問と同様に, システムは与えられた質問の正解を過不足無く出力することが要求される，全質問の解の平均数は 3.2 個であり, 最小のものは 1 個, 最大のもので 15 個あり, TREC QA に比べると少なくなっている。各質問に対する正解の数が与えられていないことも TREC QA と同様であるが，TREC QA では正解数が 1 個の factoid 質問と 2 個以上の list 質問が分けられていたのに対し, NTCIR4 QAC2 のリスト型タスクでは分けられていないという違いがある。システムの精度には, 修正 $\mathrm{F}$ 值（MF 値）の全質問平均である, $\mathrm{MMF}$ 値が用いられる。修正 $\mathrm{F}$ 値の詳しい説明は，5 節で述べる.

NTCIR4 QAC2 に参加したシステムは TREC QA に参加したシステムと同様に, factoid 質問に対するシステムを基にしており，各解候補に付けられたスコアの値を基に上位何件を回答するかの線引きを行なっている。以下に具体例を説明する。 MMF 値のみでは順位付けの善し悪しが分からないため，QAC2 subtask1に対する精度 (MRR) も併記する。

秋葉ら (秋葉, 伊藤, 藤井 2004) は期待効用最大化原理に基づく回答群選択手法を提案している。これは, リスト型質問応答の評価指標である $\mathrm{F}$ 值に着目し, その期待値を求め, 期待值を最大化するように回答数を求める手法である。また，リスト内の解候補の重複を避けるために, 複数の解候補が同じ内容を指していると判断される時には, スコアの高いものを残して削除するということをしている。このシステムの， QAC2 subtask2のテストセットに対する精度は, MMF で 0.318 であった. また, このシステムの基になった factoid 質問に対するシステムの，QAC2 subtask1のテストセットに対する精度は，MRRで 0.495 であった.

福本ら (Fukumoto, Niwa, Itogawa, and Matsuda 2004b) は, スコアの差が最も開いているところよりも上位のものを回答とする手法を提案している. さらに, 質問文の表層表現から解の個
数を判別している（「誰と誰」なら二つ，など）. このシステムの QAC2 subtask2 のテストセットに対する精度は， MMF で 0.164 であった。また，このシステムの基になった factoid 質問に対するシステムの, QAC2 subtask1 のテストセットに対する精度は, MRR で 0.311 であった.

村田ら (Murata, Utiyama, and Isahara 2004) は最大スコアに対する比率に閾値を設けて回答を選択する手法を採用しており，QAC2 subtask2のテストセットに対する精度は，MMFで 0.321 であった。また, このシステムの基になった factoid 質問に対するシステムの， QAC2 subtask1 のテストセットに対する精度は，MRRで 0.566 であった。

高木ら (Takaki 2004) は $\mathrm{n}$ 番目の解候補のスコアと $\mathrm{n}+1$ 番目の解候補のスコアの比率を求め, それが閾値以上ならば $\mathrm{n}$ 番目までの解候補を回答とするという手法を用いている。このシステムの QAC2 subtask2 のテストセットに対する精度は，MMF で 0.229 であった。また，このシステムの基になった factoid 質問に対するシステムの，QAC2 subtask1のテストセットに対する精度は, MRRで 0.335 であった。

上記の各手法と本論文で提案する手法でとでは，スコアの並びを見て動的に回答の数を変えるという点で類似している。しかし， スコアが複数の混合分布から生成されると仮定することにより，スコア分布のパラメ夕より解候補が適切に見つかっているかどうかを判定できるという付加機能を有する点において，我々の提案手法は新しい。また，精度についても他の単純な手法に対して比べて精度が高いという結果となった.

## 3 優先順位型質問応答システム

## 3.1 システムの概要

本節では, 本研究で使用している質問応答システム (Mori 2004)の概要を説明する。この質問応答システムでは, 利用者が自然言語で質問文を入力すると, 各解候補のスコアに基づき，解候補群を順序付けて上位から利用者が指定した数たけ提示する，各解候補のスコアは，知識源の文書中の，各解候補と質問文中に含まれるキーワードとの近さなどを基にしている。本稿ではこれを優先順位型質問応答システムと呼ぶことにする。本研究で使用している質問応答システムの全体の構成を図 1 に示す。本システムは主に四つのモジュール，すなわち，質問文解析モジュール，文書検索モジュール，パッセージ検索モジュール，そして解抽出モジュールから構成されている．解抽出モジュールの中には，解を整形するサブモジュールもある.

## 3.1.1 質問文解析モジュール

利用者が入力した質問文から質問応答に有用な情報を抽出するのが質問文解析モジュールの役割である。解析により得られる情報を次に示す.
- 形態素解析および構文解析の結果

図 1 質問応答システム概要
- キーワード（質問文中の内容語）
- 人名, 地名など質問の求める回答の種類を表す質問型
- 疑問詞に対応する数量表現（質問型が数量表現であった場合）

## 3.1 .2 文書検索モジュール

本モジュールは質問文解析により得られたキーワードを元に，文書検索を行う。検索エンジンには，TFIDFによる語の重みづけとべクトル空間法による類似度尺度を用いて，与えられたキーワード集合と各文書の類似度を求めるものを採用している.

## 3.1.3 パッセージ検索モジュール

文書検索で得られた関連文書の中でも，質問の解となる情報が書かれているのはその一部だけである。文書全体から解抽出を行なうことは計算量の面で非効率的なので，正解に関わる文脈を小さなコストで先に切り出しておいたほうがよい. これを行うのがパッセージ検索モジュー ルである。パッセージとは，文章における連続した一部分のことであり，パッセージ検索は文書集合から正解を含む可能性の高いパッセージを取り出すために行う。本システムのパッセー ジ検索では，一パッセージを三文として抽出を行なっている。パッセージを三文とした時の有効性は，村田ら (Murata, Utiyama, and Isahara 2005)により考察されている。それぞれのパッセージには，パッセージ中に出現するキーワードの異なり数などを基にしたスコアが付けられ， スコアが大きいパッセージが次の解抽出モジュールに渡される。

## 3.1.4 解抽出モジュール

解抽出は, パッセージ検索までの処理で得られたパッセージから, 質問の解を抜き出す処理である。パッセージを文単位に分割し，それぞれの文（これを検索文と呼ぶ）と質問文とを照合することにより，解となる形態素を決定する，スコアが高い形態素が得られたら，その形態素を中心にして最終的な解候補を生成する.

本システムの文照合は 2-gram 照合, キーワード照合, 係り受け照合, 質問型照合の四種の照合からなる。それぞれの照合において照合の一致の度合に応じて検索文の文字または形態素にスコアが与えられ，全てのスコアの和がその形態素のスコアとなる。そしてスコアの高い形態素から順に解候補が生成される。

2-gram 照合とキーワード照合では, 解を含む可能性の高い文の中で, ある形態素を解と仮定した時の質問文との照合の良さを，2-gram とキーワードの観点から測定する。一方，質問型照合は，質問型と一致する形態素にスコアを与えるために行なわれる，質問タイプには，人名，地名, 組織名, その他数量表現などがある。係り受け照合では, 質問文と検索文との構造の一致の度合を見る．本システムの係り受け照合では，一文対一文の照合を基本としているが，質問文の内容が検索文の二文以上にわかれて出現している場合もある。そこで，このような場合には前文の最後の文節を次文の提題の文節に仮想的に係り受けさせるという手法で複数文を連結し，仮想的に一文であるとみなして質問文との照合を行なっている.

形態素 mor の最終スコアは, 2 gram, キーワード, 係り受け, 質問型の各照合によって与えられたスコアの和 $S\left(m o r, L_{i}\right)$ で表され，スコアの和の高い形態素 $m o r$ から，解を整形するサブモジュールを用いて解が作成される。ここで， $L_{i}$ は検索文である.

$
\begin{aligned}
S\left(m o r, L_{i}\right)= & S b\left(m o r, L_{i}\right)+S k\left(\operatorname{mor}, L_{i}\right)+S d\left(\operatorname{mor}, L_{i}\right)+S t\left(m o r, L_{i}\right) \\
S b\left(m o r, L_{i}\right) & =2 g r a m \text { 照合でのスコア } \\
S k\left(m o r, L_{i}\right) & =\text { キーワード照合でのスコア } \\
S d\left(m o r, L_{i}\right) & =\text { 係り受け照合でのスコア } \\
S t\left(m o r, L_{i}\right) & =\text { 質問型照合でのスコア }
\end{aligned}
$

解を整形するモジュールで作られた解候補 $A C$ のスコア $S\left(A C, L_{i}\right)$ は, 解を形成している形態素のうち, スコア $S\left(m o r, L_{i}\right)$ が最大のものとなる.

複数の異なる検索文から見つかった同じ解候補に対してより高いスコアを付与する，疑似的な多数決方式がこのシステムでは採用されている。 さまざまな質問応答システムにおいて, 解候補の㔯長性を解の選定に役立てることが有効であることが示されている (Clarke, Cormack, and Lynam 2001)(Xu, Licuanan, and Weischendel 2003). 多数決方式はその一つである. 一方で，我々のシステムでは，探索制御が行なわれており指定される数の解が見つかった時点で残り

の解候補を調べることはせずに探索を打ち切る，そのため，探索の過程において，通常の多数決方式は採用できない. しかし, 指定された求める解の数は異なり数である，そのため，指定された数になるまでにすでに求められている解と同じものが改めて見つかる可能性がある。そこで，その時にはその解のスコアを出現回数に応じて高くしている，以下では，複数回同じ解が求められた場合，その解に複数投票が入った，と表現することにする。

多数決方式を用いたときのある解候補 $A C$ の最終スコア score $_{\text {raw }}(A C)$ は，以下の式で与えられる。

$
\operatorname{score}_{\text {raw }}(A C)=\left.\{1+\log _{10} \operatorname{frec}(A C, \text { AnsList })\right.\} \cdot \max _{L_{i}} S\left(A C, L_{i}\right)
$

ここで，AnsListは解候補のリストであり，frec $(x, L)$ は $L$ 中の $x$ の頻度である.

式 (2)に示される通り, 多数決方式のスコアは単純に頻度を最大のスコアに乗じるのではなく, 頻度の対数値を乗じることにより頻度に対するスコアの上がり具合が穏やかになるように調整されている。このような, 頻度に対するスコアの上がり具合を調整する多数決方式の有効性は, 村田ら (Murata et al. 2005) により考察がなされており, この手法は, 高精度の他の多数決手法と同等程度の性能を持つことが示されている。

## 4 解スコア分布に基づくリスト型質問応答

質問応答の基本的な仕組みは，先に述べたように，

段階 1 知識源となる文書集合の中から，与えられた質問に対する解候補群を見つけること，

段階 2 各解候補に対し，その質問に対する答としての「良さ」を与える数値，すなわち， スコアを付与すること

からなる。リスト型質問応答の基本は, 上記の二段階に加え,

段階 3 優先順位型質問応答システムの出力, すなわち, スコア付きの解候補群を正解（と思

しき）集合（最終的な回答群）と不正解（と思しき）集合の二つに分割する

ことである。これは，スコアの値に基づき，上位何件の解候補を正解と判断するかを決定することに等しい.

我々はその為の手法として，解候補の集合を，そのスコアを基にいくつかのクラスタに分離することを考える。そこで，本手法では，まず，確率密度分布に基づくクラスタリングで用いられる混合分布モデルと同様に

仮説 1 あるクラスタ中の解候補のスコアの値密度分布が，ある一つの確率分布に従っており，異なるクラスタは異なるパラメタの確率分布に由来すること，そして，

仮説 2 解候補群全体のスコアの密度分布はこの複数の確率分布の混合分布に従っていることを仮定する．次に，各確率分布のパラメ夕を EMアルゴリズムにより推定し，いくつかの分布

に分離する。最後に，それぞれの分布を正解集合のスコアの分布と不正解集合のスコア分布のどちらであるかを判定し，各解候補がいずれの分布に由来するものなのかを推定し，最終的な正解集合を求める。ここで，上記クラスタ数はいくつの群に分けて分析をするかを表す一種のパラメタであり，何らかの手法で決める必要がある．正解集合には何らかの共通点があり 1 2 程度の少数のクラスタから構成されることが期待されるが, 不正解集合にこのような性質があるとは限らない，しかし本論文では，手法の分析のしやすさから，2３程度のクラスタに分ける場合について検討を行なう。

一方, 基本となる優先順位型質問応答において, システムの求める解析精度が十分でないこともある。例えば，我々の利用しているシステム (Mori 2004) では, 順位づけにおいても未だ満足のいくものではない. 同システムでは, MRR 值が 0.5 程度であり, 平均すると 2 位に正解を見つけることができるという評価であるが，実際のところは $1 / 3$ 程度の問題について 1 位に正解を返し，2５位に正解を返すのが $1 / 3$ 程度，残りの問題については全く正解を得ることが出来ていない，つまり，システムにとって得意な問題と不得意な問題が存在している.

我々は，不得意な問題の場合は，各解候補に対するスコア付けがうまくいっておらず，上述の仮説 1 , 仮説 2 が成立していないと考えた. そこで，推定した確率分布のパラメ夕に基づき，複数に分割された分布それぞれが正解集合の分布であるか，不正解集合のそれかを判定し，正解集合の分布と不正解集合の分布とが明確に分割できるか否かを調べる。これにより，正解が適切に見つかっているか否かを判断することがある程度可能であると考える.

解候補のスコア分布が正解集合の分布と不正解集合の分布とに分けられるとしている本提案手法では, 全ての質問対し, 一つ以上の正解があることを前提としており, 最低でも一つの回答を出力する．正解が全くない質問については，正解が適切に見つかっていないと判定された質問の一部ととらえることができるが，現在対応できていない.

## 4.1 解候補スコアの分布の計算

優先順位型質問応答システムの出力は解候補とそのスコアの組のリストであり，スコアを数直線上に示すと, 図 2 （上）の様になる。それを視覚的に分かりやすくするために, 一定区間で区切ってヒストグラムにしたものが, 図 2 (中）である。これは説明の為に示した図であり,実際の処理ではヒストグラムは求めていない. 本研究では平滑化した確率密度関数を求めるための手法として, スコア分布をいくつかの正規分布の混合分布とみなし, 各分布のパラメタを求めるのに EM アルゴリズムを用いている.

本提案手法では, 複雑な要因（本手法では，3.1.4 節に示す, 解候補のスコア）が重なりあってできるばらつきは正規分布に近付くという，統計学における中心極限定理を基にして，仮定する分布を正規分布とした．解候補のスコアの分布が，正解集合が成すいくつかの分布と不正解集合のそれとの混合分布であること，並びにそれらの分布がいずれも正規分布であることを

図 2 スコア分布の計算

仮定すると, 混合分布は式 (3)で与えられる。なお, 本稿では, 各解候補のスコアは全て, 各問について各解候補のスコアを最大値で除し, $[0,1]$ の範囲となるように正規化したものを用いる.

$
p_{s}(x)=\sum_{i=1}^{n} \xi_{i} \phi_{i}\left(x: \mu_{i}, \sigma_{i}^{2}\right)
$

ここで,$x$ はスコアの値に対応する確率変数, $n$ は仮定する分布数, $\phi_{i}\left(x: \mu_{i}, \sigma_{i}^{2}\right)$ は平均値 $\mu_{i}$, 分散 $\sigma_{i}^{2}$ の正規分布, $\xi_{i}$ はそれぞれの確率分布の混合比を決めるパラメタである. 解のスコア付けが正しく行なわれ，スコア分布が混合分布であるという仮説が成り立つのであれば，スコアの平均値が大きい分布が正解集合がなす分布となる。降では，スコアの平均値の大きい方の分布から順に番号をつけ $\phi_{1}, \phi_{2} \ldots$ とする.

解候補スコアの観測値の集合が与えられた場合, 式 (3)における各パラメタの推定は, EMアルゴリズムにより行なうことができる。これらの分布のパラメタから次節で述べる手法により正解集合の分布と不正解集合の分布とが明確に分割できると判定できる場合には， スコアにより回答候補群を正解の群と不正解の群に分けられると判断する.

また, 使用している優先順位型質問応答システムには, 3.1.4 節に示すように, スコア付けに,多数決方式が採用されている。この多数決スコアがスコアの分布に大きな影響を及ぼしていると考えられる (図3). 複数回出現した解候補のスコアはその出現回数に応じて高くなり, 複数回出現した解候補のグループが，スコアの高い分布を形成しやすくなり, 分布が別れやすくなる.このことについては 5.1 節において実験，考察する。

（a）多数決方式を用いない場合（同じ表現の解候補はスコアが高いものだけを使用）

抽出された解候補群 (同じ表現の解候補は同じ記号を付与)

(b) 多数決方式を用いた場合（出現回数が 2 以上の解候補のスコアが多数決方式により上昇）

図 3 多数決方式によるスコアの変化

## 4.2 解候補スコアの分布の分割の明確さの判定

スコアの降順で解候補が並んでおり， $i$ 番目の解候補を $A C_{i}$, その最終スコア $\operatorname{score}_{\text {raw }}\left(A C_{i}\right)$ を正規化したスコアを $\operatorname{score}\left(A C_{i}\right)$ とする．解候補のスコアが明確に分割できるかどうかの判定は，隣接した正規分布の平均值の差の值の最大値 $\left(\max _{j}\left.\{\mu_{j}-\mu_{j+1}\right.\}\right)$, 隣接解候補のスコアの差の最大値 $\left(\max _{k}\left.\{\operatorname{score}\left(A C_{k}\right)-\operatorname{score}\left(A C_{k+1}\right)\right.\}\right)$ に基づいて行なう. これは, 解候補を二群に分けるという観点において, 隣接した正規分布の平均値の差の値の最大値 $\left(\max _{j}\left.\{\mu_{j}-\mu_{j+1}\right.\}\right)$ が大きいほど，スコア分布が大きく二つのグループに分離できると考えられるからである．また，解の分布の如何によらず，解候補をスコアにしたがって二群に分けることを考えると，最も素朴な手法は, 隣接する解候補のスコアの差が最も大きい箇所で分離するものであろう. この時, その差の最大値が大きい時ほどスコアの分布が明確に二つに分かれると考えられる.

本稿では，以上の二つの指標，すなわち

分離指標 $1 \max _{j} \mu_{j}-\mu_{j+1} \geq T h_{\mu_{\text {diff }}}$

分離指標 $2 \max _{k}\left.\{\operatorname{score}\left(A C_{k}\right)-\operatorname{score}\left(A C_{k+1}\right)\right.\} \geq T h_{\text {diff }}$

を採用することとし，上記分離指標のいずれかを満たす場合を，スコアの分布が明確に分かれていると判断した. ここで， $T h_{\mu_{\text {diff }}}, T h_{\text {diff }}$ はそれぞれスコア分布が明確に分離できると判断する閾値である。

図 4 は実際に質問応答システムが出力した解候補のスコア分布の例である。上位 30 件を採用

(a) 正解が上位に含まれているもの

(b) 正解が上位に含まれていないもの

図 4 実際のスコアの分布

した。 それぞれの質問文は, 図 4(a)では「サッカーのワールドカップフランス大会で日本が対戦した国はどこですか。」（QAC2subtask2のテストセット中の質問．ID は QAC2-20055-01）であり，知識源は毎日新聞，読売新聞それぞれの 98 年と 99 年の 2 年分の記事である。図 $4(\mathrm{~b})$ では「小沢征爾はいつからボストン交響楽団の音楽監督を務めていましたか。」（QAC1 のテストセット中の質問. ID は QAC1-1047-01）であり，知識源は毎日新聞の 98 年と 99 年の 2 年分の記事である．棒グラフが実際の解の分布（ヒストグラム）を示しており，実線が EM アルゴリズムにより推定された複数の分布, 破線がその混合分布である。 図 4(a) は上位の解候補に正解が含まれている場合, 図 4(b) は上位の解候補に正解が含まれていない場合であり, 正解の位置はそれぞれの図に矢印で示してある。

上位に正解が含まれている場合（図 4(a)）では隣接した分布同士の平均値の差が，最大の所で 0.16 と大きく, いくつかの分布が独立しているように見え，スコアの大きい分布と小さい分
布とに明確に分けられそうである。それに対して，上位の解候補に正解が含まれていない場合 （図 4(b)）では隣接した分布同士の平均値の差が最大の所でも 0.05 と小さくなっており, 全体で大きな一つの分布であるかように観察される。このことから，大きく二つの分布に分けられるときには上位に正解があり，そうでないときには上位に正解が含まれていないということが期待される。

## 4.3 分割する分布の数の決定

分割する分布の数（以下，分布数と表記）は，スコアを正解集合と不正解集合に分けると言う観点では二つと考えられるが，二つの分布に分けた時にうまくいかない例が存在するため，二つ以上のクラスタに分けることを考える。

二つの分布で分離した時にうまくいかない例を図 5 に示す。棒グラフが実際の解の分布（ヒストグラム）を示しており，実線が EM アルゴリズムにより推定された二つ，もしくは三つの分布である。図中の破線は，スコアが一番大きい分布を正解集合の分布と考えた場合の正解分布と不正解分布の境界となるスコアの值であり，これより大きいスコアを持つ解候補が回答として選ばれる。二つの分布で分離した場合（図5(a)）を見ると，スコアが小さいところで一つの大きな分布が計算されており，もう一つの分布はそれ以外の部分を被覆するように，分散が大きな分布が計算されている. 二つの分布で分離し, スコアの高い方の分布を正解分布として回答選択をすると，正解以外の解候補も多数回答に含まれてしまい，回答の精度が悪くなってしまう，一方，三つの分布で分離した場合（図 5(b)）を見ると，二つの場合と比べ，スコアが大きい分布が新たに計算されている。三つの分布で分離し，スコアの最も高い分布を正解分布として回答選択をすると，余計なものを含まずに正解を精度良く回答することが可能になる.

パラメタ調整用に用いた質問セット 200 問（QAC1の 1～50 問目と 101～150 問目及び $\mathrm{QAC} 2$ の $51 \sim 150$ 問目）では，実際に上位に正解があるかどうかに関わらず，分布の形として図 5 と同様の傾向を持つ質問が約 40 問あった。この様な例は, 最上位の解候補のスコアと, 最下位の解候補のスコアの差が大きい時によく見られた。最上位の解候補のスコアが，他の解候補よりも格段に高いスコアであった場合, それが正解である可能性が高いと考えられる．そのため, 図 5(a)の様に，二分布に分けた結果を用いて，多数の解候補を回答とするのは望ましくない. 図 5 の例だけでなく, パラメ夕調整用の質問セット中の同様の質問においても, 図 5(b) の様に分布数を三つにすることで, 回答の数が不適当に多くなってしまうことをある程度解消できることが分かった。

このため, 我々は二つに分けてうまくいかない例は三つにすればカバーできると考え, 混合分布の数は二つか三つに限定した.

あるスコア群を二つの分布に分けるのか, 三つの分布に分けるかの決定法には以下のものが考えられる。指標 2,3 は，EMアルゴリズムを用いて求められた分布と実際のスコアの並びを

(a) 二つの分布で分離した場合

(b) 三つの分布で分離した場合

図 5 分離する分布の数の違い

観察した結果得られたものである.

分布数決定指標 1 MDL (minimum description length)(Rissanen 1999)を用いて最適な分布数を決定する．MDL はパラメタで記述されたモデルのクラスからモデルを選択する基準である．MDLの値が小さくなる方の分布を適切な分布とする．MDLの値は以下のように計算する。

$
\begin{gathered}
M D L=-\log f i t_{m}+\frac{3 m-1}{2} \log N \\
f i t_{m}=\sum_{i=1}^{N} p_{s}\left(\operatorname{score}\left(A C_{i}\right)\right)
\end{gathered}
$

ここで， $m$ は仮定する分布の数, fit $_{m}$ は仮定した分布の数が $m$ 個のときの実際のスコア
分布との適合度の度合であり， $\mathrm{N}$ は優先順位型質問応答システムが出力した解候補の数である． 2 項目の $3 m-1$ は，パラメ夕数を表している。各分布には, 混合比, 平均値,分散という 3 つのパラメタがあるが，混合比は合計値が 1 と決まっているために，一つの分布については求める必要がない。そのため，パラメ夕数は $3 m-1$ となる． MDLの值が小さい方の分布数を採用する.

分布数決定指標 2 スコア分布を二つの分布の混合分布と仮定した時，スコアが大きい分布の分散と, 小さい分布の分散の比率が閾値 $T h_{q}$ 以上なら分布の数を三つに増やす。すなわち, スコア分布を二つの分布の混合分布とした時, $\sigma_{1}^{2} / \sigma_{2}^{2} \geq T h_{q}$ ならば, 分布の数を三つにする。

これは，図５の例にあるように，二分布で分離した時にスコアの大きな分布が回答を多くとりすぎてしまう場合，スコアの小さいところで一つの大きな分布ができ， スコアの大きい方の分布はその他の部分を被覆するために，分散が大きな分布になっているという観察結果を基にしている。

分布数決定指標 3 スコア分布を二つの分布の混合分布と仮定した時, 二分布の平均値の差が閥値 $T h_{\mu_{r}}$ 以上の時は，分布の数を三つにする。すなわち，スコア分布を二つの分布の混合分布とした時, $\mu_{1}-\mu_{2} \geq T h_{\mu_{r}}$ ならば，分布の数を三つにする.

これは二分布の平均値の差の値が極近い分布では, 全解候補中に正解があっても上位に位置していない場合が多いため, 回答数が多くなる傾向にある二分布で正解判定をすると言う考えである.

## 4.4 解候補の正解判定

解候補の正解判断では，まず，複数に分割した分布それぞれが正解集合の分布（以下，正解分布と呼ぶ）であるか，不正解集合のそれ（以下，不正解分布と呼ぶ）であるかを判定する。その後, 正解分布に含まれる解候補を回答とする。そのために，式 (5) で定義される間値 $T h_{s}$ を設け，閾値以上のスコアを持つ解候補を回答とする.

$
\begin{aligned}
& T h_{s}=\underset{t}{\operatorname{argmax}}\left.\{S_{\text {correct }}(t)-S_{\text {incorrect }}(t)\right.\} \\
& S_{\text {correct }}(t)=\sum_{i \in D_{\text {correct }}} \int_{t}^{\infty} \phi_{i}(x) d x \\
& S_{\text {incorrect }}(t)=\sum_{j \in D_{\text {incorrect }}} \int_{t}^{\infty} \phi_{j}(x) d x \\
& D_{\text {correct }}=\text { 正解分布と判定された分布の番号の集合 } \\
& D_{\text {incorrest }}=\text { 不正解分布と判定された分布の番号の集合 }
\end{aligned}
$

また, 正解分布は以下のように決める. 正解分布と判定されなかった分布は不正解分布とする.
分布数がニつの時スコアの大きい方の分布を正解分布とする.

分布数が三つの時以下のものが考えられる.

・ スコアの大きい方からいくつめの分布までを正解分布とするかあらかじめ決めておく
- 隣接分布間の距離が大きいところで正解分布と不正解分布とに分ける $(j=$ $\operatorname{argmax}\left.\{\mu_{j}-\mu_{j+1}\right.\}$ となるとき， $j$ 番目の分布までを正解分布とする).

なお，この間値を設けて回答を決める手法は, Murata et al (Murata et al. 2004)などで用いられている，スコアの閥値に基づく手法に似ているが, 確率分布の上で閥値を設定している点が異なる。

## 5 実験及び評価

NTCIR3 QAC1(Fukumoto et al. 2002) 及びNTCIR4 QAC2 の task2 (リスト型タスク) (Fukumoto et al. 2004a)のテストコレクションを用いて実験を行なった. 知識源は，QAC1の質問に対しては, 毎日新聞の 98 年と 99 年の 2 年分の記事を用い, $\mathrm{QAC} 2$ の問いに対しては, 読売新聞と毎日新聞の 98 年と 99 年の 2 年分の記事を用いている。また, 優先順位型質問応答システムからの出力は上位 10 件を採用している。リスト型質問の評価は一問あたりの $\mathrm{F}$ 値の全質問平均の平均 MF 值（Mean Modified F-measure, MMF 值）を用いる。なお,ここでの F 值は加藤らが提案する修正 $\mathrm{F}$ 值である (加藤他 2004). すなわち, 同じ解答もしくは同じものを表現する異なる表現を複数リストに含めた場合は，そのうちひとつだけを正解とし，それ以外は誤答とする。また，正解のない質問には空リストを返した時にのみ 1.0 が与えられ，それ以外の場合はすべて 0.0 とする.

本節の構成は以下の通りである。5.1 節では正解が適切に見つかっている質問の判定に対する分離指標の有効性を調べる. 特に, 5.1.2 節では, 多数決方式の違いによる結果の違いを見る.多数決方式の有無やその方法により，スコアの分布が違ってくることが考えられ，それにより正解が適切に見つかっている質問の判定をしたときの結果が違ってくることが考えられる．多数決方式を変えて 5.1.1節と同様の実験をし, その結果の違いを調べた. 5.1.3 節では, 3.1.4 節に示したスコア付け手法以外の手法でも，分離指標が有効かどうかを調べた。 また, 多数決方式の有無による結果の違いが 5.1.2 節での結果と同様のものになるかどうかも実験した.

5.2 節では，用いた分離指標の妥当性を見るために，スコアの分布が二つに明確に分割できると判断するための各尺度と精度である $\mathrm{F}$ 値との相関関係を求めた.

5.3 節では, 4.4 節に示した正解判断のための間値決定法及び 4.3 節に示した分布数判定指標の有効性を調べるために実験を行なった.

5.1 節〜5.3 節では, スコアの分布として正規分布を仮定して実験を行なっているが, 5.4 節で

は, 正規分布以外の分布としてポアソン分布を仮定し, 5.1 節〜5.3 節の実験と同様の実験をし, その結果が正規分布を用いた時と同じような傾向になるかどうかを調べた.

## 5.1 正解が適切に見つかっている質問の判定

本節では, NTCIR3 QAC1 (Fukumoto et al. 2002) 及びNTCIR4 QAC2の task2（リスト型夕スク) (Fukumoto et al. 2004a) のテストコレクションを平均正解数が同じになるように, 二つの組に分け，一方をパラメ夕調整用，もう一方を評価用とした。パラメ夕調整用の質問は, $\mathrm{QAC} 1$ の 1〜50 問目と 101〜150 問目及び $\mathrm{QAC} 2$ の 51〜150 問目の計 200 問である. 評価用の質問は, QAC1 の 51〜100 問目と 151～200 問目及び QAC2 の 1～50 問目と 151～200 問目であり，うち一問が不適切な質問とされているため, 計 199 問である。 パラメ夕調整用のセットの平均正解数は 2.31 個, 評価用のセットの平均正解数は 2.33 個である.

## 5.1.1 分離指標の有効性

まず，分布の分割の明確さを判定することの有効性を見るために，スコアの分布の分離が明確な場合とそうでない場合とに分割し，それぞれの場合について 4.4 節の手法で解候補の正解判定を行なった. 回答選択の手法は, 分布数の判定を行なわない手法を用いた. 5.3 節において,分布数の推定を行なっているが, 推定が失敗する可能性を考慮にいれて, 分布数は固定とした. ここでは，分布数の判定を行なわない手法の中で最もMMF が高い，すべての質問において三つの分布の混合分布であると仮定し, 三つの分布のうち正解分布はスコアが一番大きい分布のみとした手法を用いている.

また, スコアの分布の分離が明確かどうかの判定には, 4.2 節で述べた分離指標を用い, 次のいずれかを満たすものをスコアの分布の分離が明確であると判断している．以下で示している各パラメ夕は予備実験の結果に基づきその値を決定した。予備実験ではパラメ夕調整用の質問セットを用い, それぞれの閾値を 0.01 単位で動かした時に, 正解が適切に求められている質問 （解候補中に正解があり，かつそれらが上位に順位づけされている）とそうでない質問とを有効に分けられるかどうかの結果を基に決定した.

$
\begin{gathered}
T h_{\mu_{\text {diff }}}=0.25 \\
T h_{\text {diff }}=0.2
\end{gathered}
$

評価用の質問セットについて上記閥値に基づき 4.2 節の分離指標により, スコアの分布の分離が明確な場合とそうでない場合とに分割した時の平均回答数と MMF を表 1 に示す.

表 1 によると，分布の分割が明確な場合と不明確な場合とで MMF に明確な差がでている. また, 分布の分割が明確な場合, 平均回答数を見ると正解の平均数よりも少ない傾向にあるが, MMF が高く，選んだ回答群の精度が良いことが窺える。分布の分割が不明確な場合には平均
回答数が多くなっており, 平均正解数に近い值ではあるが, MMF は低く, 回答の精度が低いことが分かる.

このことから，提案手法により正解が見つかっており，かつそれが上位に順位づけされている質問のみを抽出することがある程度可能であることが分かる.

## 5.1.2 多数決方式の違いによる精度の違い

多数決方式による解候補のスコア付けは，解候補のスコア分布に大きな影響を与えていると考えられる．多数決方式を用いた場合, 複数投票が入った解候補はスコアが高くなり, 回答として選ばれやすくなる。まず，複数投票が入った解候補の有無（多数決方式によるスコアの変化の有無）という観点で質問文を分けた時の精度の違いを求めた。結果を表 2 に示す.

表 2 より，複数投票が入った解候補がある場合と無い場合とで，精度に大きな差があるのが分かる.このことより, 解候補が適切に見つかっているかどうかの判定に, 複数投票が入った解候補のある，なしという情報も使えるということが分かる，表 1 と比べると， スコアの分布の分割が明確な場合と, 複数投票が入った解候補がある場合とではスコアの分布の分割が明確な場合の方が MMF が高く, より正解が適切に見つかっている質問を抽出できている．スコアの分布の分割が不明確な場合と，複数投票が入った解候補がない場合とでは複数投票が入った解候補がない場合の方が MMF が低く，より正解が見つかっていない質問を抽出できると考えられる。

また，多数決方式を利用したスコアの分布と多数決方式を利用しない場合のスコア分布の違いを見るために，分離指標を用いた以下の実験も行なった．多数決方式によってスコアが変化するのは，複数投票が入った質問のみであるので，表 2 において，複数投票が入った解候補があった 121 問に対して, 優先順位型質問応答システムの解スコアを利用してリスト型質問応答を実行した，3.1.4 節に示した頻度に対する上がり具合を調整する多数決方式（以後, 最大値乗

表 1 スコアの分布の分離の明確さの違いによる平均回答数と MMF の違い

表 2 複数投票が入った解候補がある質問と無い質問とでの平均回答数と MMF

算方式と呼ぶ）の他に, 複数投票があった場合, その解候補のスコアを単純に加算する多数決方式（以後，単純加算方式と呼ぶ）を用いた場合及び，多数決方式を用いない場合，それぞれについて，分布の分割が明確かどうかを分けたときの，平均回答数と MMF を求めた.

4.2 節で述べた, 分布が明確に分離できるかどうかの各分離指標のパラメ夕は, 5.1.1 節と同様の予備実験を行ない，以下のように決定した。この時に使用した質問は，質問セット中の，複数投票が入った質問のみである.
- 最大値乗算方式の多数決方式を用いた場合

$
\begin{aligned}
& T h_{\mu_{\text {diff }}}=0.3 \\
& T h_{\text {diff }}=0.25
\end{aligned}
$
- 単純加算方式の多数決方式を用いた場合

$
\begin{aligned}
T h_{\mu_{\text {diff }}} & =0.5 \\
T h_{\text {diff }} & =0.5
\end{aligned}
$
- 多数決方式を用いない場合

$
\begin{aligned}
T h_{\mu_{\text {diff }}} & =0.15 \\
T h_{\text {diff }} & =0.1
\end{aligned}
$

結果を表 3 に示す.

表 3 より, どの手法においても分布の分割が明確な場合と不明確な場合で, MMF に大きく差が出ている. このことから, 多数決方式の違いに関わらず, 分布の分割の明確さをみることで,正解が適切に見つかっている質問を抽出することが，ある程度可能であることが分かる.

また，表 3 での， 121 問全体の MMF の違いを見てみると，3.1.4 節に示した頻度に対する上がり具合を調整する最大値乗算方式を用いた場合で 0.446 と最も高い値となっている.

最大値乗算方式を用いた場合のMF 値と単純加算方式や多数決方式を用いない場合でのMF 値との間に統計的有意差があるか，表 3 で用いた 121 問でウィルコクソンの符合付順位和検定 （両側検定）によって求めた. その結果, 最大値乗算方式と単純加算方式との間で有意水準 $5 \%$ で統計的有意差があったが $(p=0.033<0.05)$, 最大値乗算方式と多数決方式を用いない場合との間では, 統計的有意差は認められない $(p=0.23)$ ということが分かった.

## 5.1.3 スコア付け手法の違いによる精度の違い

3.1.4節で示した以外の解候補のスコア付け手法でも分離指標が有効に働くかどうかを調べるために，質問文中のキーワードと解候補との距離に基づいた単純なスコア付け方法を用いて同様の実験を行なった．この距離に基づいたスコア付け手法は，構文解析を用いずに解候補のス
表 3 多数決方式の違いによる結果の違い

(a) 最大値乗算方式の多数決方式を用いた場合

(b) スコアを単純加算する多数決方式を用いた場合

(c) 多数決方式を用いない場合

コアを決定する素朴な手法である。この手法では，全てのキーワードからの距離が近い解候補ほど大きなスコアが与えられる。このスコア $S_{\text {dist }}(m o r)$ は, 式 (14)によって与えられる. ここで， $K_{n}$ は質問文中の $n$ 番目のキーワードである.

$
S_{d i s t}(m o r)=\sum_{n} \frac{1}{\log \operatorname{dist}\left(m o r, K_{n}\right)+1}
$

$\operatorname{dist}\left(\operatorname{mor}, K_{n}\right)$

= 解候補となる形態素 $m o r$ とキーワード $K_{n}$ との間の距離を形態素単位で計ったもの

この手法でも，探索制御において，同じ解が複数回求められた場合には 3.1.4節で示した多数決方式を用いて最終的なスコアを求めている．スコアの分布が明確に分離できるかどうかの各パラメタは， パラメタ調整用質問セットを用いた予備実験の結果以下のように決定した。

$
\begin{gathered}
T h_{\mu_{\text {diff }}}=0.25 \\
T h_{\text {diff }}=0.2
\end{gathered}
$

解候補のスコア分布は, 5.1.1 節と同じく三つの分布の混合分布であると仮定し, 三つの分布のうち正解分布はスコアが一番大きい分布のみとしている.

スコア分布が明確に分割できる質問とそうでない質問とに分けた時の平均回答数とMMFを
表 4, 複数投票が入った解候補がある場合とない場合とで分けた時の同様の結果を表 5 に示す.

表 4 , 表 5 より, 分布の分割が明確な場合とそうでない場合，また複数投票が入った解候補がある場合とない場合とで MMF に明確な差がでているのが分かり，3.1.4 節で示した解候補のスコア付け法を用いた場合と同様の結果が得られた。分布の分割が明確な場合は正解が適切に見つかっている質問を抽出でき，複数投票が入った解候補がない場合では正解が適切に見つかっていない質問を抽出できるという傾向も同じである.

距離に基づいたスコア付け方法でも 5.1.2 節と同様に, 多数決方式を利用したスコア分布と多数決方式を利用しない場合のスコア分布の違いを見るための，分離指標を用いた実験を行なった。表 5 において複数投票が入った解候補があった 125 問に対して, リスト型質問応答を実行した。 分布の分割が明確かどうかの判断のためのパラメ夕は，予備実験の結果，以下のように決定した。その結果を表 6 に示す.

表 4 距離に基づいたスコアを使った時の，スコアの分布の分割の度合の違いによる平均回答数と MMF の違い

表 5 距離に基づいたスコアを使った時の，複数投票が入った解候補がある質問とない質問との結果の違い

表 6 距離に基づいたスコアを使った時の，多数決方式のあるなしによる精度の違い

(a) 最大値乗算方式の多数決方式を使った場合

(b) 多数決方式を使わない場合

・ 最大値乗算方式の多数決方式を用いた場合

$
\begin{gathered}
T h_{\mu_{\text {diff }}}=0.25 \\
T h_{\text {diff }}=0.2
\end{gathered}
$
- 多数決方式を用いない場合

$
\begin{aligned}
& T h_{\mu_{\text {diff }}}=0.1 \\
& T h_{\text {diff }}=0.1
\end{aligned}
$

表 6 より，いずれの場合でも，ある程度正解が適切に見つかっている質問を分けることができた。また多数決方式を用いた場合とそうでない場合とでは MF 値について， 125 問全体を対象にした時の MF 值にも差が出ているが, 統計的有意差は認められない（ウィルコクソンの符合付順位和検定（両側検定）で， $p=0.31$ ).

距離に基づいたスコア付け手法を利用した際にも分離指標が有効であること, 複数投票が入った解候補がある質問とない質問で精度に大きく差がでることなどから本論文で提案した解候補の分割の指標及び解候補の選択手法は解候補に対するスコア付け手法が単純なものであっても,有効であると考えられる。

## 5.2 スコアの分布がニつに分離できると判断するための各尺度の間の相関関係

分離指標としていた尺度の妥当性の検証のために，スコアの分布の分離指標として用いていた各尺度と回答精度である MF 値との相関関係を調べた。ここで用いた質問は，QAC1 の 51～100 問目と 151 200 問目及び $\mathrm{QAC} 2$ の 1～50 問目と 151～200 問目（うち一問が不適切な質問とされている）の計 199 問である。相関を求める際, MF 值は質問毎に, 優先順位型質問応答システムの出力のうち上位 $\mathrm{n}$ 件に対する解候補の $\mathrm{F}$ 値を $\mathrm{n}$ を変化させて求め, その最大値（以後最大 $\mathrm{F}$ 值と表す）を用いている，相関を求めた結果を表 7 に示す. 表中の値はピアソンの相関係数である. $\mu_{\text {diff }}(2)$ は, スコア分布を二つの分布の混合分布としたときの, 二つの正規分布の平均值の差, $\mu_{\text {diff }}(3)$ は, スコア分布を三つの分布の混合分布したときの, 隣接した正規分布の平均値の差の大きい方, $\max _{\text {diff }}$ は隣接スコアの差の最大値 $\left(\max _{\text {diff }}=\max _{j}\left.\{\operatorname{score}\left(A C_{j}\right)-\operatorname{score}\left(A C_{j+1}\right)\right.\}\right)$, を表している。以上の値に注目したのは， $\mu_{\text {diff }}$ と $\max _{\text {diff }}$ はその値が大きいほどスコア分布は

表 7 スコアの分布が二つに分離できると判断するための各尺度の相関関係

分布は明確に分離できると期待できるためである.

表 7 より，各尺度間には非常に強い相関があることがわかる。また，各尺度と最大 MF 値にも相関があることが示されている。最大 $\mathrm{F}$ 値が高い質問は上位に正解が集まっている質問といえる。各尺度と最大 MF 値との間に相関関係があるということから, 各尺度が, 正解が上位に順位付けされている質問を抽出するための分離指標として，利用可能である考えられる．

## 5.3 正解判断指標の有効性

4.4 節で提案した回答選択手法の有効性を調べるために，実験を行なった．提案手法では，「分布数の決定法」ならびに「分布数が三つの場合の正解分布の決め方」に各々数種類ずつ選択肢がある。また，比較対象であるべースラインとなる手法についても様々な観点からいくつかの候補がある。そのため， QAC1 及び $\mathrm{QAC} 2$ のテストコレクションをパラメタ調整セット，開発セット，評価用セットの三つに分けた。まず，パラメ夕調整セットにより各パラメタを調整する。そして, 開発セットによって, 有効なべースライン手法及び, 提案手法における各選択肢の有効な組合せを決定した後, テストセットによって, ベースライン手法と提案手法の精度の比較を行なう，パラメタ調整用の質問セットは，QAC1の $34 \sim 66$ 問目，167 200 問目及び $\mathrm{QAC} 2$ の $1 \sim 33$ 問目，134 166 問目（計 133 問，平均正解数 2.32 個）, 開発用の質問セットは, QAC1 の 67〜133 問目及び $\mathrm{QAC} 2$ の 34 66 問目，167 200 問目であり，うち一問が不適切な質問とされている（計 133 問，平均正解数 2.34 個)，評価用の質問セットは，QAC1 の 1～ 33 問目， 134 $\sim 166$ 問目及び $\mathrm{QAC} 2$ の $67 \sim 133$ 問目（計 133 問，平均正解数 2.29 個）である.

## 5.3.1 ベースライン手法の決定

ベースライン手法の候補として，先行研究を考慮し以下のものを検討する。
- スコアの値の上位から決まった個数の解候補を回答とする手法.
- スコアの値に単純な閾値を設ける手法. $\operatorname{score}\left(A C_{i}\right) \geq T h_{r}$ なる $A C_{i}$ のリストを回答とする。ただし, 提案手法が式 (5) で求める値と違い， $T h_{r}$ は全問に共通の一定の値である. また, $\operatorname{score}\left(A C_{i}\right)$ は最大値が 1 になるように正規化されていることに注意されたい.
- 秋葉ら (秋葉他 2004)の手法を用いて回答する手法.

質問の正解数の平均は約 2.3 個であるため, 決まった個数の解候補を回答とする手法では, 回答とする解候補の数を 1 ～個の場合それぞれについて結果を求めた.

スコアの値に単純な間値を設ける手法での閥値 $T h_{r}$ は，値を 0.5 から 0.99 まで 0.01 刻みで変えていき，パラメ夕調整用の質問セットで最も MMF が高かった以下の值を採用した.

$
T h_{r}=0.78
$

開発セットにおけるべースライン手法の各候補の精度を，表 8 に示す。表中の再現率，適合
表 8 開発セットにおけるベースライン手法の精度

率はそれぞれ，

再現率 $=$ 全質問に対する正答数 $/$ 全質問の正解数の合計,

適合率 $=$ 全質問に対する正答数 $/$ 全回答数,

と計算した。ここで, 正答数とは, 回答中に現れた正解の数であり, 全回答数は, 全質問に対する回答数である。表中の MMF は上記の再現率, 適合率から求めた値ではなく, それぞれの質問のMF 値の全質問平均であることに注意されたい.

表 8 より, MMF 值が最も高い秋葉らの手法を, 提案手法と比較するベースライン手法として採用する。

## 5.3.2 提案手法における,「分布数の決定法」及び, 「分布数が三つの場合の正解分布の決定法」 の組合せの決定

提案手法では回答は 4.4 節の式 (5) で求められる閥値以上のスコアを持つ解候補を回答とする.ここで，「分割する分布数の決定法」及び，「分割されたいくつかの分布のうち，どこまでを正解分布とするかの決定法」についてそれぞれいくつかの候補が存在する。本節では，開発セットを用いて,「分布数の決め方」と「分布数が三つの場合の正解分布の決め方」の最も良い組合せを選ぶ.

分布数が二つの時は，スコアの大きい方の分布が正解分布となる. 分布数が三つの時の正解分布の決め方として，以下の三種類を検討する.

固定 (1) 最もスコアが大きい分布を正解分布とする.

固定 (2) スコアが大きい方から二つ目の分布までを正解分布とする.

可変隣接分布の平均値の差が大きいところで正解分布と不正解分布とに分ける $(j=$ $\operatorname{argmax}\left.\{\mu_{j}-\mu_{j+1}\right.\}$ となるとき， $j$ 番目の分布までを正解分布とする）).

また，分布数の決定法は以下の場合を検討する。

・ 分布数をあらかじめ決定しておく.
- 4.3 節の分布数決定指標 1 を用いて分布数を決定する.
- 4.3 節の分布数決定指標 2 を用いて分布数を決定する.

・ 4.3 節の分布数決定指標 3 を用いて分布数を決定する.
- 4.3 節の分布数決定指標 2 と 3 の両方を用いて分布数を決定する. 分布数決定指標 2 と同 3 の両方で分布数が三つと判定された質問だけを分布数が三であると仮定し，それ以外は分布数を二と仮定する。

各候補の組合せを表 9 に示す。表 9 では，それぞれの設定において，パラメ夕調整用のセットで調整する必要があるパラメ夕名を併せて示している.

分布数決定指標 2 のパラメタ $T h_{q}$ はパラメタ調整用の質問セットを用いて，値を 1 から 10 まで 0.5 刻みで変えて実験した結果，式 (22)の通りに決定した。また，分布数決定指標 3 のパラメタ $T h_{\mu_{r}}$ はパラメタ調整用の質問セットを用いて, 值を 0.01 から 0.2 まで 0.01 刻みで変えて実験した結果，式 (23)の通りに決定した.

$
\begin{gathered}
T h_{q}=2.5 \\
T h_{\mu_{r}}=0.15
\end{gathered}
$

「分布数の決定法」と「分布数が三つの場合の正解分布の決定法」のそれぞれの候補の組合せにおける求解精度を表 10 に示す.

表 10 より, 最も MMF 值が高い, 「分布数決定指標 2 で分布数を決定し, 分布数が三つの場合には最もスコアが高い分布のみを正解分布とする手法」を最終的な提案手法とする.

## 5.3.3 提案手法とベースライン手法の精度比較

評価用の質問セットを用いて，5.3.1 節及び5 5.3.2 節で選んだベースライン手法と提案手法の

表 9 提案手法の「分布数の決定法」と「分布数が三つの場合の正解分布の決定法」のそれぞれの候補の

} & \multirow{2}{*}{ なし } & 固定 & なし \\

設定の組合せ
精度の比較を行なった. ベースライン手法は秋葉らの手法 (秋葉他 2004) である. 提案手法は, 4.3 節の分布数決定指標 2 で分布数を決定し, 分布数が三つの場合には最もスコアが高い分布のみを正解分布とし， 4.4 節の式 (5) で求められる閾値以上のスコアを持つ解候補を回答とする手法である. 分布数決定指標 2 のパラメタ $T h_{q}$ の値は 2.5 である.

結果を表 11 に示す.

表 11 より，提案手法の MMF 值がベースライン手法を若干上回っていることが分かる。たたし, この差に統計的有意差は無く（ウィルコクソンの符合付順位和検定（両側検定）での $\mathrm{p}$ 值 $=0.453)$, 同等の精度であるといえる。一方で，再現率と適合率を見ると，再現率には大きな差がないのに対し，適合率は提案手法の方が大きく勝っている。再現率を下げずに平均回答数を少なくすることに成功していることが分かる.

表 10 開発セットにおける,「分布数の決定法」と「分布数が三つの時の正解分布の決定法」のそれぞれの候補の組合せにおける求解精度

 & 再現率 & 適合率 & 平均回答数 & MMF \\

表 11 評価用セットにおける，提案手法とベースライン手法の精度比較

## 5.4 スコアの分布に正規分布以外の分布を使った時の求解精度

本研究では，スコアの分布として，正規分布を仮定して分布を求めていた。これは, 統計学における中心極限定理に根拠をおいている。しかしながら，正規分布による近似が最適であるという保証はない.

一方, 言語処理において, 単語の出現頻度の確率分布は, ポアソン分布に近似できるといわれている。ポアソン分布は, 一定の期間や一定の大きさの空間において, ごく稀に起こる現象の確率分布であるそこで本節では，スコアの確率分布をモデル化する正規分布以外の分布として, ポアソン分布を仮定し, 正規分布の場合と同様の求解手順により求められた解の精度を調べることとする.

ポアソン分布は二項分布の特殊例で, 二項分布の期待値と分散が等しい場合となる。ポアソン分布の式は以下のように表される.

$
p(x)=\frac{e^{-\lambda} \cdot \lambda^{x}}{x !} \quad x=0,1,2 \cdots
$

ここで， $\lambda$ は平均値で， 0 以上の値をとる．解候補スコアの分布をポアソン分布と仮定して，同じように EMアルゴリズムで分離した。ポアソン分布は離散分布であるので，解候補のスコアを非負の整数で表現する必要がある。そこで，最大值を 100 とするために正規化スコアを 100 倍し，小数点以下は四捨五入したものを用いた.

## 5.4.1 仮定する分布の違いによるスコア分布の違い

図 6(a) は優先順位型質問応答システムが出力した, 上位 30 件の正規化した解候補スコアのヒストグラム（ヒストグラムのデータ区間は 0.04 毎）であり，実線はハニング空関数を用いてスコアの密度分布を求めたものである（ハニング密関数の窓幅は 0.02 ). 図 6(b) は正規分布, ポアソン分布それぞれの混合分布でスコア分布を近似したものである。 ハニング窓関数を用いて求めた密度分布がだいたい三つの分布から成り立っているように観察できるため, 分布数は三つとしている. 正規分布の混合分布とポアソン分布の混合分布を比べると, ポアソン分布の混合分布の方が，なだらかに変化しており，分布の切れ目が判断しづらい. 図6(a)のハニング空関数を用いて平滑化したものと図 6(b) の各分布を比べてみると, 正規分布で近似したもののほうが類似しているのが見てとれる。このことから, 正規分布の方がより正確に近似できていると言えそうである。この違いは，ポアソン分布のパラメタ数と正規分布のパラメタ数の差から来ている。ポアソン分布ではパラメタが平均値 $\lambda$ のみであるのに対し, 正規分布では平均值 $\mu$ と分散 $\sigma^{2}$ があるため, 実際のスコア分布に対する近似はパラメ夕数の多い正規分布の方が優れていると考えられる。

(a) スコアのヒストグラム

解候補スコア (最大值100)

(b) 混合分布

図 6 仮定するスコアの分布による混合分布の違い

## 5.4.2 ポアソン分布を仮定した場合のリスト型質問応答

解候補スコアの分布として正規分布を仮定した場合とポアソン分布を仮定した場合の違いを比較する。用いた質問の内訳は 5.1 節と同様で，パラメ夕調整用の質問は， QAC1の 1〜50 問目と 101 150 問目及び $\mathrm{QAC} 2$ の 51 150 問目の計 200 問（平均正解数 2.31 個）である。評価用の質問は, QAC1の 51〜100 問目と 151〜200 問目及び QAC2 の 1〜50 問目と $151 \sim 200$ 問目 （うち一問が不適切な質問とされている）の計 199 問（平均正解数 2.33 個）である.

まず， 4.2 節の分離指標を用いて，回答が適切に見つかっている質問の判定ができるかどうか
実験を行なった。分離指標に関する各パラメタは予備実験の結果，以下のように決定した。予備実験ではパラメ夕調整用の質問セットを用い，それぞれの閾値を 0.01 単位で動かした時に，正解が適切に求められている質問（解候補中に正解があり，かつそれらが上位に順位づけされている）とそうでない質問とを有効に分けられるかどうかの結果を基に決定した.

$
\begin{gathered}
T h_{\mu_{\text {diff }}}=0.2 \\
T h_{\text {diff }}=0.2
\end{gathered}
$

ここでは，すべての質問において，解候補のスコア分布は，三つの分布の混合分布であるとし, 三つの分布のうち正解分布はスコアが一番大きい分布のみとしている。結果を表 12 に示す.

表 12 より, 分布の分割が明確な場合と不明確な場合とでMMF に差がでており, ポアソン分布を仮定した場合にも，正解が適切に見つかっている質問を判定するのに分離指標は有効であるといえる。ただし，この結果は表 1 とは少し違い, 分布の分割が不明確な質問のMMFがかなり低く，どちらかといえば，正解が適切に見つかっていない質問の判定に適しているといえる.

次に, 解候補スコアの分布として正規分布を仮定した場合とポアソン分布を仮定した場合の, リスト型質問応答としての精度の違いを比較する。ここでは，すべての質問において，解候補のスコア分布は, 三つの分布の混合分布であるとし, 三つの分布のうち正解分布はスコアが一番大きい分布のみとしている.

結果を表 13 に示す. 表中の再現率と適合率の値については 5.3 節でのものと計算法は同じである.

表 13 より，MMF にやや差がでており，正規分布を仮定した場合の方が精度が良くなっている。ただし，ポアソン分布を仮定した場合と正規分布を仮定した場合とでは，MF 值について， ウィルコクソンの符合付順位和検定（両側検定）を行った結果，統計的有意差は認められなかった $(p=0.089)$. また，ポアソン分布を仮定した場合と正規分布を仮定した場合の平均回答数は,

表 12 ポアソン分布を仮定した時のスコアの分布の分割の度合の違いによる平均回答数と MMF の違い

表 13 スコアの分布とリスト型質問応答の精度の違い

表 14 ポアソン分布を仮定した際の，スコアの分布が二つに分離できると判断するための各尺度の相関関係

ポアソンを仮定した場合の方が少なめである。再現率と適合率を見ても，平均回答数が少なめのポアソン分布の方は適合率が高くなっており, 平均回答数が多めの正規分布ではポアソン分布を仮定した場合と比べ, 再現率が高く, 適合率が低くなっており, 傾向が違っているのが観察される。

## 5.4.3 ポアソン分布を仮定した際のスコアの分布がニつに分離できると判断するための各尺度 の相関関係

5.2 節と同様に，ポアソン分布を仮定した際のスコアの分布が二つに分離できると判断するための各尺度と最大 $\mathrm{MF}$ 值の相関係数を求めた。用いた質問は, 5.2 節と同様, QAC1 の 51〜100 問目と 151～200 問目及び QAC2 の 1〜50 問目と 151～200 問目（うち一問が不適切な質問とされている) の計 199 問である.

その結果を表 14 に示す. 表中の値はピアソンの相関係数である。 $\mu_{\text {diff }}(2)$ は，スコア分布を二つの分布の混合分布としたときの, 二つの正規分布の平均値の差, $\mu_{\text {diff }}(3)$ は, スコア分布を三つの分布の混合分布したときの, 隣接した正規分布の平均値の差の大きい方, $\max _{\text {diff }}$ は隣接スコアの差の最大値 $\left(\max _{\text {diff }}=\max _{j}\left.\{\operatorname{score}\left(A C_{j}\right)-\operatorname{score}\left(A C_{j+1}\right)\right.\}\right)$, を表している.

表 14 より, 5.2 節での結果と同様の傾向を持つ結果となっているのが分かる. この結果より, スコア分布を二つの分布の混合分布としたときの, 二つの正規分布の平均値の差や, スコア分布を三つの分布の混合分布したときの，隣接した正規分布の平均値の差の大きい方，という尺度は，ポアソン分布，正規分布のいずれの分布を仮定した時でも有効な指標であると考えられる.

## 6 考察

## 6.1 スコアの分布の分割の有効性

5.1 節から 5.3 節の結果より, 提案手法は, ベースライン手法の候補の中で最も優れていた秋葉らの手法 (秋葉他 2004) と同等以上の精度があることが分かった. さらに秋葉らの手法に対し，スコアの分布を求めることにより，正解が適切に見つかっている質問を判定できるという点で，本手法は優れている.

4.2 節で提案した分離指標を用いてスコアの分布が明確に分離できるかどうか判断し，正解が適切に見つかっているか否かの判断をすることは可能であるということが分かった. しかし，正解が適切に見つかっている質問を全て抽出できているわけではない. 例えば， 1 位に正解があるような例でも適切に判断できないこともある。これは，解候補のスコアの分布が明確だと判断する条件をある程度厳しくしている為だと考えられる。条件を厳しくしているのは確実な質問についてのみ求解を行なうためである。判断の基準を変えることによって，より確実な質問に重点をおくのか，正解を見つけられていない質問を見つけることに重点をおくのかなどの調整は可能である。

さらに， 4.3 節に示した分布数決定指標のうち, 経験則である分布数決定指標 2 を用いた手法が最も有効であることが分かった. しかし， MDL を用いた分布数決定法は有効でないことが分かった。この理由の一つとして，MDLの計算に用いるパラメタ数がある。一つの分布につきパラメ夕は, 混合比, 平均値, 分散と三つあるため, 分布が一つ増えただけでパラメ夕数の増大が大きく，MDL 值が大きくなりやすくなるため多くの質問のスコア分布が二つと判定されてしまったと考えられる。しかし，それ以外の，精度が良くない原因については現在調査中であり，今後の課題としたい.

## 6.2 スコアの分布として仮定した確率分布の違いによる結果

スコアの分布としてポアソン分布として仮定した場合，正規分布を仮定した場合と比べて 5.4 節の結果より以下のことが言える.

（1） 正規分布を仮定したときと同様に， 4.2 節で提案した分離指標を用いて，正解が適切に見つかっている質問を判定することが可能である.

（2）正解が適切に見つかっていると判断された質問については，正規分布を仮定した場合と同等の MMF である.

（3）正解が適切に見つかっていないと判断された質問については，MMFはとても低い.

（4）全体として，ポアソン分布を用いてリスト型質問応答を行ったときと，正規分布を用いた時では, ポアソン分布を仮定した時の方が平均回答数が少なく, MMFがやや悪くなっている.

## 7 おわりに

本稿では, リスト型質問応答処理にスコアの分布を用いる手法を提案した. リスト型の回答を作る際に, 解候補のスコアの分布を求めることにより正解が適切に見つかっている質問の判定をする手法も提案した。

我々は，優先順位型質問応答システムの出力する解候補群のスコアをまずいくつかのクラス
夕に分けることを考え，それぞれのクラスタを一つの確率分布と考えた．さらに，正解集合のスコア分布と不正解集合のスコア分布に明確に分割できる場合には，その質問の回答が適切に見つかっていると判断できると考えた。この考えを基に，正解集合に含まれる解候補を回答とするための正解判定法と，二つの分布が明確に分割できるかどうか判断するための分離指標を用いる手法を提案した。

これらの手法は解候補の頻度情報を用いた, 頻度によるスコアの上がり具合を調整する多数決方式を用いたスコアの分布に有効であることが分かった．また， スコアの分布を用いた正解判断指標は他の単純な指標に比べて精度が高かった。正解判断の指標をスコアの分布により使い分けることも有効であるということも分かったが，使い分けるための有効な手法を検討する必要がある。

今後は, 正解が存在しない質問への対応が課題である。また, 本手法で正解が適切に求められていないと判定された質問に対して，解候補の最順位づけなどを行なうことによって，精度の向上が期待できる. Parger et al (Prager, Duboue, and Chu-Carroll 2006)は, 解候補を用いて質問文中のキーワードを解答とする新たな質問文を作り，解候補の検証を行なうことによって，解候補候補の再順位づけ及び正解無しの判定を行なう手法を提案している. 本手法で正解が適切に求められていないと判定された質問に対して, このような手法が有効であるか検討したい.

## 参考文献

Bos, J. (2006). "The "La Sapienza" Question Answering system at TREC-2006." In The Fifteenth Text REtrieval Conference Proceedings.

Burger, J. D. (2006). "MITRE' s Qanda at TREC-15." In The Fifteenth Text REtrieval Conference Proceedings.

Clarke, C. L., Cormack, G. V., and Lynam, T. R. (2001). "Exploiting redundancy in question answering." Proceeding of SIGIR' 01: the 24th Annual International ACM SIGIR Confersnce on Reserch and Development in Information Retrival.

Dong, H. T., Lin, J., and Kelly, D. (2006). "Overview of the TREC 2006 Question Answering Track." In The Fifteenth Text REtrieval Conference Proceedings.

Fukumoto, J., Kato, T., and Masui, F. (2002). "Question Answering Challenge (QAC-1) — Question answering evaluation at NTCIR Workshop 3 -." In Proceedings of the Third NTCIR Workshop Meeting, pp. 1-6.

Fukumoto, J., Kato, T., and Masui, F. (2004a). "Question Answering Challenge for Five Ranked Answers and List Answers - Overview of NTCIR4 QAC2 Subtask 1 and 2." In Proceedings of the Fourth NTCIR Workshop Meeting.

Fukumoto, J., Niwa, T., Itogawa, M., and Matsuda, M. (2004b). "Rits-QA: List Answer Detection and Context Task with Zero Anaphora Handling." In Proceedings of the Fourth NTCIR Workshop Meeting.

Harabagiu, S., Moldovan, D., Clark, C., Bowden, M., Williams, J., and Mensly, J. (2003). "Answer Mining by Combining Extraction Techniques with Abductive Reasoning." In The Tewlfth Text REtrieval Conference Proceedings.

Mori, T. (2004). "Japanese Q/A System using A* Search and Its Improvement: Yokohama National University at QAC2." In Proceedings of the Fourth NTCIR Workshop Meeting.

Murata, M., Utiyama, M., and Isahara, H. (2004). "Japanese Question-Answering System Using Decreased Adding with Multiple Answers." In Proceedings of the Fourth NTCIR Workshop Meeting.

Murata, M., Utiyama, M., and Isahara, H. (2005). "Use of Multiple Documents as Evidence with Dcreased Adding in a Japanese Qusetion Answering." In Journal of Natural Language Processing Volume 12 Number 2.

M.Voorhees, E. (2001). "Overview of the TREC 2001 Question Answering Track." In The Tenth Text REtrieval Conference Proceedings.

M.Voorhees, E. (2002). "Overview of the TREC 2002 Question Answering Track." In The Eleventh Text REtrieval Conference Proceedings.

M.Voorhees, E. (2003). "Overview of the TREC 2003 Question Answering Track." In The Tewlfth Text REtrieval Conference Proceedings.

M.Voorhees, E. (2004). "Overview of the TREC 2004 Question Answering Track." In The Thirteenth Text REtrieval Conference Proceedings.

M.Voorhees, E. and Dong, H. T. (2005). "Overview of the TREC 2005 Question Answering Track." In The Fourteenth Text REtrieval Conference Proceedings.

Prager, J., Duboue, P., and Chu-Carroll, J. (2006). "Improving QA Accuracy by Question Inversion." In Proceeding of the 21st International Conference on Comoutational Linguistics and 44th Annual Meeting of the ACL.

Rissanen, J. (1999). "MDL Denoising." In IEEE Trans. Information Theory.

Takaki, T. (2004). "NTT DATA Question-Answering Experiment at the NTCIR-4 QAC2." In Proceedings of the Fourth NTCIR Workshop Meeting.

Xu, J., Licuanan, A., and Weischendel, R. (2003). "TREC2003 QA at BBN:Answering definitional questions." In The Tewlfth Text REtrieval Conference Proceedings.

加藤恒昭, 桝井文人, 福本淳一, 神門典子 (2004). “リスト型質問応答の特徵付けと評価指標."自然言語処理研究会報告 2004-NL-163, 情報処理学会.
秋葉友良, 伊藤克亘, 藤井敦 (2004). “質問応答における常識的な解の選択と期待効用に基づく回答群の決定." 自然言語処理研究会報告 2004-NL-163, 情報処理学会.

## 略歴

石下円香：2006 年横浜国立大学大学院環境情報学府情報メディア環境学専攻博士課程前期修了. 同年同専攻博士課程後期進学, 現在に至る. 自然言語処理に関する研究に従事.

森辰則：1986 年横浜国立大学工学部情報工学科卒業. 1991 年同大学大学院工学研究科博士課程後期修了. 工学博士. 同年, 同大学工学部助手着任. 同講師、同助教授を経て, 現在, 同大学大学院環境情報研究院教授. この間, 1998 年 2 月より 11 月まで Stanford 大学 CSLI 客員研究員. 自然言語処理, 情報検索, 情報抽出などの研究に従事. 言語処理学会, 情報処理学会, 人工知能学会, ACM 各会員.