\section{はじめに}
質問応答技術は自然言語によって表現された質問に文書でなく情報そのもので回答する事を可能とするもので，情報アクセスの新しい形として期待されている\cite{Voorhees00}．事実に関する独立した質問に一問一答形式で回答するものを中心に研究が始められたが，近年は様々な面で研究の展開が見られ，そのひとつに対話性の重視があげられる．質問応答技術を牽引してきたといってよいTREC\cite{Voorhees05,TREC}では，TREC2001において対話的な利用を前提とした文脈処理の能力を評価する試みがなされている\cite{Voorhees01}．その後，TREC2004から，相互に独立した質問ではなく，あるトピックに関する一連の質問の集まりという形で課題を与えるようになっている\cite{Voorhees04}．文脈処理の能力を評価するものでないとはいえ，あるトピックに関して一連の質問を行うという利用場面が自然であると考えられている点が注目される．また，あるトピックに関する複数の質問にどの程度回答できるかを，複数文書要約の評価指標とすることが試みられており\cite{Mani98}，ここでも，あるトピックに関する一連の質問に回答できることが重視されている．一連の質問に回答するという利用形態は質問応答システムの進むべき方向のひとつとしても議論されており，例えば，新人レポータがある事件の記事を執筆するために，彼の記事で答えられるべき大きな質問をより簡単な質問の集まりに言い換えてシステムに訊ねるという形で，アナリストやレポータが利用しうる質問応答システムへの発展が提案されている\cite{Burger01}．また，ARDAのAQUAINTprogram\cite{AQUAINT}ではアナリストが分析的に用いる質問応答システムの構築がその目的とされており，より積極的に対話的な質問応答の研究が進められている．質問の分解を含めて，分析的説明的な質問にどう答えるか，明確化等の利用者とのやりとりはどうするか等が研究の関心となっている\cite{Hickl04,Small03}．本稿では，あるトピックに関して対話的に行われる一連の情報アクセスを質問応答システムが支援する能力，情報アクセス対話の対話相手として情報を提供するために質問応答システムが持つべき能力を定量的に評価するためのタスク，IADタスク\footnote{IADは情報アクセス対話(InformationAccessDialogue)の頭文字からとった．}を提案する．質問応答システムが情報アクセス対話に参加するために必要となる様々な能力\cite{Burger01}の中で，IADタスクでは，そもそも情報アクセス対話を扱うためにはどのような質問に答えられる必要があるのか，そして，対話の実現の基本となる対話文脈を考慮した質問の解釈，つまり照応解消や省略処理等のいわゆる文脈処理はどの程度必要なのかに着目し，その能力を評価する．IADタスクは，情報アクセス技術に関する一連の評価ワークショップNTCIRWorkshop\cite{NTCIR}において，NTCIR-4のQAC2Subtask3\cite{Kato04,Kato05a}，NTCIR-5のQAC3\cite{Kato05b,KatoJ06}として実施されたものに基づいている．対話的な質問応答というそもそものアイディアはNTCIR-3のQAC1Subtask3\cite{Fukumoto03}に遡るが，NTCIR-4のQAC2Subtask3での実施においてタスクの抜本的な改変を行い本稿で述べる形態を固め，同時にタスクの裏付けについての実験を行った．その後，そこでの経験を基に幾つかの洗練を行って，NTCIR-5のQAC3として実施している．ここで，評価タスクの提案という本稿の特殊性について一言述べておく．研究や技術の進展や加速のために共通の評価が必要であり．それを得るための評価タスクが重要であることは，議論の余地がまったくないとはいえないまでも\cite{Sekine05}，大概の合意を得ていると思われる\cite{Ogawa02}．一方で個々の評価タスクについて考えると，ある評価タスクが価値あるものであるためには，それが評価する研究や技術が評価されるに値するものであり，かつ，その評価のために適切に設計されている必要がある．前者は研究や技術の価値の議論であり，後者も何をもって適切とするかが絡んで必ずしも明快な議論とはならない．本稿では，ここで提案するIADタスクにおいて高い評価を得たシステムあるいは技術が可能とする利用場面を示し，前者の根拠とする．加えて，後者については，少なくとも2回の実施を通じて明らかとなった問題について一定を解決を与えていることを根拠とする．設計ということで一部に恣意的な決定を含んでいるし，この評価タスクであらゆるデータが収集できるわけではない．実施できなければならないという現実性との妥協もある．そのような一連の留保を前提にしているとはいえ，本提案が，課題設定の独自性，評価に関する様々な配慮，情報収集のための仕組み等の点で，新規かつ有益なものであることを主張する．本稿の構成は以下の通り．\ref{Sec2}節でIADタスクの枠組みを説明する．タスク設計の中心となる質問シリーズを説明し，それがトピック推移の観点から収集型とブラウジング型に分類されることを述べる．加えて，IADタスクの枠組みの根拠となった実験結果を示し，このタスクによって評価される技術が可能とする質問応答技術の利用場面を示唆する．\ref{Sec3}節では，評価の枠組みとして，回答の列挙に複数の体系を許し回答の2種類の質を考慮した多段階評価手法を提案する．そして，なぜそのような枠組みが必要であるかを実例に基づいて説明する．\ref{Sec4}節ではより多くの情報を得るための補助的な仕組みとしての参照用テストセットについて説明し，それがシステムの文脈処理能力をある程度まで切り離した評価を可能とすることを示す．\ref{Sec5}節では関連する取り組みを述べ，それとの比較を通じて本提案の有効性を示し，特に収集型とブラウジング型への分類を含む質問シリーズの構成方法が重要であることを述べる．\ref{Sec6}節で全体をまとめる．また，IADタスクに対して，最先端のシステムがどのような結果を示すのかを付録にまとめた．
\section{タスクの枠組み}
\label{Sec2}IADタスクは，対話的な情報アクセスでの質問応答システムの利用を考え，そこで必要な照応解消や省略処理等のいわゆる文脈処理の能力を評価することを目的とする．様々なバラエティを持つ情報アクセス対話の中で，特に，与えられたトピックについてのレポートを書くための素材となる情報を得るような対話を想定している．これはある事件の記事を執筆するために，必要な情報を比較的簡単な質問の集まりとしてシステムに訊ねるという形態とも近い．\subsection{質問シリーズ}IADタスクでは，システムに一連の質問（シリーズと呼ぶ）を与え，それに次々と回答させてゆく．シリーズの先頭以外の質問は，それ以前の質問の一部もしくはその回答を参照する照応表現を含んでいる\footnote{省略やゼロ代名詞，英語の定名詞句に相当する一般名詞の反復を含む．表層から明らかでないので不適切かもしれないが，「表現」と呼ぶことにする．}．この一連の質問とそれへの回答が情報アクセス対話を構成する．実際の利用場面ではシステムは対話的に質問に回答することが期待されるが，本タスクではその対話性は模擬されるだけで，複数のシリーズ（テストセットと呼ぶ）をバッチ的に与え，それに回答することをシステムに求める．ここで，システムはある質問がシリーズの先頭であるという情報は利用してよいが，ある質問に回答する際にそれに続く質問を参照することは許されない．これは本タスクが対話的な状況でのシステムの利用を模擬していることからの制約である．対話の展開があらかじめ定められていることは対話本来のダイナミクスを失わせているが，その一方で，本タスクの実施に参加したシステムがすべて同じ質問に回答するので，相互比較可能な結果が得られることに加え，正解をプーリングすることでテストセットが再利用可能となるという利点を有している．IADタスクでは大きく分けて収集型とブラウジング型という2種類のシリーズを設定している．これは，情報アクセス対話が，利用者があるトピックについてのレポートや要約を作成するための情報を収集する等の目的でそれに関する一連の質問を行なうような対話（収集型）と，利用者の興味の赴くところに従って対話の進行と共にトピックが変わっていくような対話（ブラウジング型）との2つの極を持つという直観に基づいている．タスクにおいて，あるシリーズがどちらの型に属するかは与えられず，システムはそれを自分で判定しなければならない．IADタスクが想定している情報アクセス対話は与えられたトピックについての様々な情報を収集するもので，当然収集型の対話が支配的であるが，後述するように実際の場面ではその部分部分にブラウジング的な要素が含まれる．これが本タスクにブラウジング型を含め，かつシリーズの型の同定をシステムに求めている理由である．なお，シリーズ単位で型を区別したことには分析が容易になることへの期待がある．IADタスクのシリーズの例を図\ref{samples}に示す．収集型は，広い意味で共通のトピックに関する質問からなり，そのトピックはシリーズ先頭の質問で導入される．すべての照応表現がそのトピックを参照するというのがもっとも厳しい意味での収集型（狭義の収集型と呼ぶ）である．図\ref{samples}のSeries2-14はそのような収集型で，先頭質問で述べられている「小沢征爾」を補うことで，すべての質問の文脈処理が行える．一般には，複数の照応表現を持ち，その一方がトピックを参照するような質問や，トピックが関連した出来事やその一般化を参照するような表現をもつ質問等も収集型のシリーズに含まれる．Series2-20はその例で．第3問は複数の照応表現を含み，第6問は先頭質問文で述べられているトピックであるジョージ・マロリーが関連したイベントを参照している．ブラウジング型はそのような大域的なトピックを持たず，質問中の照応表現は，直前の質問の回答や以前の質問中で言及された事物を参照している．Series2-22はブラウジング型の例である．\begin{figure}[b]\input{03fig1.txt}\caption{シリーズの例}\label{samples}\end{figure}\subsection{個々の質問の範囲}IADタスクのシリーズを構成する質問は，疑問代名詞を含む文の形式を持ち，名称を正解とする質問である．ここで，名称というのは，人名や組織名等いわゆる固有表現に留まらず，日付け，数量を含み，種の名称，機械や身体的部分等の一般名称を含む．統語的には複合名詞が正解の範囲とほぼ重なるが，小説や映画のタイトル等そこから外れるものも含まれる．システムはこれらの名称をそれを含んだ部分でなく，過不足なく抜き出してひとつの回答とし，複数の正解があると判断される場合はそれらをリストとして列挙することを求められる．質問の正解が知識源中に存在することは保証されていないので，回答が存在しないこと，空リストが正解ということもありうる．各回答（回答リストの要素）は，それを抜き出した文書であり，それが正解であることの根拠となる文書の識別子を伴っていなければならい．回答リストの要素として日付や数量を含む名称の表現を過不足なく抜き出すことを要求すること，回答リストとしてすべての回答の過不足ない列挙を求めることは，文書でなく情報そのもので回答するという質問応答の流れから当然と考えるが，実際にタスクとして実施する場合，細部の検討が必要となる．日付や数量の表現については，質問への自然な回答を可能とするため，以下の表現も正解範囲であることを明示する必要がある．なお，名称という正解範囲の根拠づけは\ref{Sec2_3}節において，過不足のない列挙の問題は評価に関する\ref{Sec3}節において論じる．\begin{description}\item[数値表現に属性の詳細化具体化を行うための表現が付属したもの]「年間300台」「タテ50~cmヨコ30~cm」「一人当たり3リットル」「重さ3トン」等．\item[範囲表現（定型的，慣用的なもの）]「10〜12\%」「8世紀後期から9世紀初期」「四国から九州まで」「30人以上」「30人以上50人以下」等．「東京大阪間」「羽田—千歳」「千葉県内」等，空間的な範囲表現（区間表現）も含む．\item[概数表現（蓋然表現）]「約100人」「3億円程度」等．「シカゴ近郊」「東京都近辺」「舞浜駅前」「大使館裏」等，空間的な蓋然表現も含む．\end{description}これらを正解の範囲としない場合，まず，「どのくらい利用されていますか」に年間なのか月間なのかが不明確であるような「300台」と回答する，「どのくらいの大きさですか」に「50~cm」と長さで回答する等の不自然さを強いることになる．不自然さの問題に加え，これらを許さないことは正解の網羅的な列挙や重複の判断でも問題となる．「タテ50~cmヨコ30~cm」と回答できずに「50~cm」「30~cm」の両方を挙げる必要があるとか，「10〜12\%」において，「12\%」は抜き出しという形で得られるが，「10」だけでは単位が含まれないので正解として抜き出せないとか，「約100人」は「102人」と同一の情報としていいかもしれないが「100人」はどうか等の問題が生じてくる．\subsection{タスクの根拠}\label{Sec2_3}IADタスクの根拠として，レポート作成の情報を得るための対話的情報アクセスで名称を正解の範囲とする質問応答システムが使われうるのか，そして，その状況での質問にはどのような照応表現がどの程度含まれるかを調査した\footnote{ここで用いたデータ収集の手法はテストセット構築にも利用できる．なお，これらの調査は本提案の基となったNTCIR-4,5での実施におけるテストセット構築と並行して行ったものである．}．\subsubsection{データ収集}調査は，IADタスクが前提とする状況で利用者から発せられるであろう質問を収集し，分析することで行った．新聞記事から選択した人物，組織，出来事等のトピックを被験者に提示し，それに関するレポートを執筆するという状況を設定した．レポートは与えられたトピックの事実関係をまとめたもので予測や意見はそこに含めないものとし，質問の文型は疑問代名詞を含むWh型に限定するように指示した．以下の2種類の収集を実施した．\begin{description}\item[アンケート方式による調査]レポートに含めたいと考える情報を質問文の形式で表現するように指示することで，レポート執筆のための一連の質問を作成させた．作成する質問数は1トピックあたり10問を目安とした．作成した質問に次々と回答が得られるという想定で，ひとつのトピックについて複数の質問を作成させ，質問中に代名詞等の表現を含めることを許した．これにより自然な質問の系列が作成されることを期待した．60のトピックについて，30人の被験者に一人あたり30トピックを割り当てた．トピックの提示は20文字程度の短い記述，それについての短い記事，それについての記事5編，と3種類の方法を均等に混ぜた．集めたデータのうち，40トピックについての各9系列を構成するWh質問，3,401文を分析した\footnote{トピックの提示方法の詳細，分析データ選択の過程等については\cite{KatoJ04a}に詳しい．}．\item[WOZ方式による調査]レポート執筆という状況設定で，質問を事前に考えたのち，WOZ方式で模擬された質問応答システムと情報アクセス対話を行うことで情報収集を行わせた．質問数は1トピックあたり10問を目安とした．20のトピックについて，6人の被験者に各10トピックを割り当て，被験者にはトピックと100文字程度の概要を提示した．WOZ役の協力者は4名で，事前に担当するトピックについて800文字から1,600文字程度の要旨を作成するという事前準備をしており，作成した要旨，新聞記事全文検索システム，自分の記憶を用いて，利用者からの質問に対話的に回答した．対話はキーボードを用いて行った．被験者には事実に関する簡単な質問に回答できる質問応答システムを利用していると説明し，WOZ役にも理由や意見を訊ねる質問については回答できないと応答する，必要な場合は問い返しを行ってかまわない，回答は簡潔を旨とするが自然な協調的振る舞いを禁じるものではない等，その役割を教示した．集めたデータすべて，20トピックについての各3系列を構成する質問等，620文を分析した\footnote{13\%程度のYesNo質問や命令文が含まれている．それらの扱いを含めて，ここで論じていない明確化発話や協調的応答の分析については\cite{Kato06}に詳しい．}．\end{description}\subsubsection{質問と回答のタイプに関する分析}質問の種類，質問が何をたずねているかを分類した結果を表\ref{qtype}に示す．ここで，4W質問は「小沢征爾氏は誰に師事しましたか」のように具体的な人名等を訊ねる質問で，「〜って誰ですか」「〜とは何ですか」という質問は定義・説明・記述を訊ねる質問に分類している．WOZ方式の収集において，YesNo質問の場合はそれに対する協調的応答の内容から判断して訊ねている内容を決定した．\begin{table}[b]\caption{質問で訊ねている内容の分類}\label{qtype}\input{03table1.txt}\end{table}\begin{table}[b]\caption{（推測される）回答による分類}\label{atype}\input{03table2.txt}\end{table}表\ref{atype}は回答のタイプによる分類である．ここで，「一般名称」は名称から数量や日付の表現，固有表現（固有名称）を除いたものである．「固有名称」には小説や映画のタイトルが含まれる．この分類は表\ref{qtype}に示した分類と強く関連する．例えばWhy質問に回答するためには一般に節や文が必要となる．しかし一方で，4W質問に分類された質問がすべて名称によって回答できるわけではない．例えば，場所を訊ねる質問でも「ロブスタが好んで住むのはどこですか」には名称での回答は困難で，一定の量の記述や説明を必要とする．アンケート方式では，この分析を質問だけを見ることで行ったため，幾つかの質問については確定的な分類が行えなかった．「たぶん名称」と分類されたものは「AIBOの由来は何ですか」のような質問で，AIBOが何かのアクロニムであれば名称の範囲に収まるが，その由来が長い物語となるかもしれないものである．このように質問だけからは予想される回答が複数のカテゴリにまたがるものは他の分類の間でも存在するが，簡単のためにそれらは複雑な方に分類した．WOZ方式の場合，分類はWOZ役の発話に基づいて行ったが，発話全体の形式ではなく．質問への回答そのものに注目した．例えば，「いつ生まれましたか」への回答の「3月13日に生まれました」の場合，その分類は節や文ではなく日付表現である．\subsubsection{照応表現の特徴に関する分析}質問中に含まれる照応表現として，前方照応のための手段を，指示代名詞（連体詞を含む），ゼロ代名詞，英語等の定名詞句に相当する前出名詞の繰り返し，省略の4つに分けて，その出現頻度を調べた．2つの状況を比較するために（出現頻度/（質問文数−系列先頭の質問文数））で計算される相対頻度をまとめたものを表\ref{coref}に示す．合計は100\%を越えるが，例えば，「{\emそれまで}誰が{\emその}国の指導者だったのですか」のように複数の照応表現がひとつの質問文中に含まれる場合があるためである．\begin{table}[b]\caption{質問中に表れる照応表現}\label{coref}\input{03table3.txt}\end{table}省略を除く照応表現のうち，与えられたトピック，つまり大域的トピック以外を参照するものの割合は，アンケート方式で29\%，WOZ方式で22\%であり，そのうち同じ質問文中に大域的トピックを参照する表現を持たないものがそれぞれ92\%,81\%であった．このような質問の存在は質問系列中で焦点が推移しており，大域的トピックでないものが焦点となっていることを示している．系列の先頭以外で，照応表現を含まない質問のうち，アンケート方式で55\%，WOZ方式で68\%が，焦点となっているものを代名詞化しないでそのまま表現するケースであった．これは例えば，人物を姓のみで参照する場合や，ニホンカワウソやハイブリッド車等．名詞で表現されるクラスが焦点となっている場合で，前出名詞の繰り返しとも考えられるものである．それ以外は焦点の変化と関連する．例えば，あるニュース番組のダイオキシン汚染に関する誤報道をトピックとした場合に，その番組に対する一連の質問に続いて「ダイオキシンの毒性はどのくらいですか」と訊ねるような場合，逆にチャールズ皇太子が与えられたトピックで，その息子達に関する質問が幾つか続いた後に，「チャールズ皇太子の長年の恋人とは誰ですか」と焦点が戻る場合等がある．WOZ方式では質問の回答に含まれた内容へと焦点が移る場合もあった．\subsubsection{考察}表\ref{atype}からわかるように，レポート作成のための質問のうち，アンケート方式で58\%--75\%，WOZ方式で62\%が数量等を含む名称を回答とする質問となる．レポートを執筆するための情報を訊ねる質問を収集した状況では，節や文で回答することが多いと思われる「なぜ」を訊ねる質問は少なく，説明や定義を求める質問も予想されたほど多くはない．これは，「小沢征爾って誰ですか」という質問が，例えば彼の誕生日や出身地を訊ねるような具体的な質問に展開されているためであると考えられる．60\%強という数字は決定的ではないが，名称を正解の範囲とするような質問応答システムはこのような状況で充分に有用であると判断できる．ちなみに，アンケート方式で収集した質問のうち，名称を回答とする737問について，その正解が新聞記事集合から得られるかを調査したところ，84\%について正解が得られ，新聞記事等の大規模文書を知識源とすることが現実的であることもわかる．更に重要なことは，このような状況で得られた質問文に様々な照応表現が含まれることである．照応表現が頻出することに加えて，その参照先は単に情報収集の中心となる大域的なトピックに限られるような簡単なものではない．情報アクセス対話は，その焦点が対話の進行によって推移し，サブダイアログも含む複雑なものともなりうるため，それに応じた文脈処理が必要であることがわかる．ここで示された状況が，IADタスクの設定で模擬されている．IADタスクが評価するのは，ここで示された状況に対応し，対話的な情報アクセスを実現するための質問応答技術であり，このタスクで高い評価を得た技術は，本節の実験で模擬されたような対話的な情報アクセスの実現に有効である．
\section{評価手法}
\label{Sec3}\subsection{対話性に伴う問題}IADタスクでは，各質問に対して，存在しないことを含めていくつ存在するかわからない正解を過不足なく収集し，それらすべてを列挙したリストをひとつ返すことを求める．正解数は問題毎に異なり事前に与えられないので，個々の質問に関する評価は精度と再現率の両方を考慮した$F$値を採用する．システムの総合評価はその評価のテストセット全体の平均である．情報検索一般とは異なる質問応答の特殊性から普通の$F$値ではなく，様々な配慮が必要となるが，これについては\ref{Sec3_2}節で述べる．ある回答が正解であるかは，回答とそれと合わせて提示される根拠記事の適切性によって判断される．質問と無関係な記事を根拠としていれば文字列として正解と同一であっても不正解として扱われる．対話的な情報アクセスという特徴から質問の解釈が文脈に依存し，それが正解に影響するという問題がある．IADタスクでは，質問の正解は判定者である人間が適切と判断した文脈の下でおこなった解釈によって決定され，システムの解釈やシステムのそれ以前の回答とは無関係であるとする．例えば，図\ref{samples}のSeries2-22の2番目の質問の正解は，常にニューヨーク・ヤンキースの本拠地であるヤンキースタジアムが建てられた1923年であり，システムが最初の質問にシェイスタジアムと誤って答え，2番目の質問にそれが建てられた年である1964年を``正しく''回答しても不正解とする．一方，最初の質問にシェイスタジアムと答えていても，適切な根拠記事と共に1923年を回答していれば，2番目の質問については正解と判断される．特に後者については若干の違和感があるが，システムが文脈を内包的に管理し，2番目の質問を「ニューヨーク・ヤンキースの本拠地となっている球場は何年に造られたものですか」と解釈したと考えれば，不正解にする理由はない．また，収集型のシリーズでは，質問文は直前の質問や回答よりもシリーズの先頭で導入されたトピックを参照していることが多く，直前の質問に正解することが現在の質問に正解する必要条件になっている場合は必ずしも多くない．これらの理由に加えて，システムが起こしうる誤った解釈すべてについてその後の正解がどうあるべきかを事前に判断するのは不可能ということから，このような方式としている．\subsection{評価尺度}\label{Sec3_2}対話性の問題以外に，可能な正解すべてを列挙したリストをひとつ返すことを求めるリスト型課題の評価には以下のような難しさがある\cite{KatoJ04b}．\begin{description}\item[重複の扱い]同じ事物を指す複数の表現，人名における役職の有無，外人名の異表記，貨幣単位の違い，時間帯の違い（現地時間と日本時間）等があるため，同じ事物を指すこれらの表現を複数個回答リストに含めたような重複があると考えられる場合の扱いを決めなければいけない．\item[回答の質に関する問題]同じ事物を指す上記の表現の中には，フルネームと略称のように情報の質が異なるものがある．日付や場所の場合は「00年」「00年1月3日」，「日本」「千葉県浦安市」のように粒度（詳細度）の異なるバリエーションがある．これら表現の質の問題を扱い，評価に反映させる必要がある．加えて，表現の問題ではなく，回答自体（指示されている事物）の質が異なると思える場合がある．例えば，記事中で事実もしくは伝聞として述べられているが，誤報もしくは発表者側の誤りにより事実と異なる数値や日付，記事中では確定的な予定として述べられているがその後に変更となった日付等を正当な正解と同じように扱ってよいのかには疑問が残り，その質の差に見合った評価が求められる．\item[列挙の体系の問題]可能な正解すべてを列挙するといっても，その列挙の体系が複数ある場合がある．「東海三県」と「三重県」「愛知県」「岐阜県」のように（一定の知識を前提とすれば）同じ情報が違う形で伝えられる場合がある．例示を含んだ「川魚，エビ，カニ等の魚介類」において．「川魚」「エビ」「カニ」「魚介類」は明らかに並べられるものではないが，「川魚」「エビ」「カニ」という列挙と「魚介類」という回答とのどちらが優れているかは自明ではない．この問題は粒度と関連して生じることが多い．あるイベントの開催地をそれが行われた国名で列挙するか都市名で列挙するかの選択もある．また，あるイベントが「12月10日」と「12月20日」の2回行われたとき，その開催日を「12月」と答えてしまうと2回行われたという情報は伝わらない．この場合「12月」と「12月10日」のふたつを答えても，伝わる情報は「12月10日」だけを答えた場合と同じである．表現の粒度の問題は表現の質の問題であるが，この例のようにその粒度が荒くなって他の回答と区別できなくなった時，そこにとどまらなくなる．加えて範囲表現等を正解範囲に含めているため，例えば，「8世紀後期から9世紀初期」をひとつの要素とするリストと「8世紀後期」「9世紀初期」のふたつを要素とするリストとを等しく扱わなければならない．\end{description}これらの難しさを考慮し，可能な限り直観に合う評価を行うため，以下のような評価の枠組みを提案する．中心となるのは，正解セットという考え方の導入と回答の2種類の質を区別した多段階評価である．各質問について，複数の正解セット$\mathit{CAS}$を用意する．ひとつの正解セットとは，ひとつの列挙の体系に対応するもので，上の例では，｛「東海三県」｝がひとつ，｛「三重県」「愛知県」「岐阜県」｝がひとつのセットをなす．また，｛「12月」｝がひとつ，｛「12月10日」「12月20日」｝がひとつである．正解セット毎にそのセットの正解を網羅した際の係数$h$($0.0<h\leq1.0$)が与えられる．多くの場合，その係数は1.0であるが，上例の｛「12月」｝のセットの場合，このセットを網羅しても他方のセットの正解を網羅した場合の半分の情報しか与えられないとして，例えば係数$h=0.5$が与えられる．ある正解セットは，同じ事物を指す様々な正解表現$e$の集まり（これを表現集合$\mathit{ES}$と呼ぶ）の集まりである．人名における役職の有無や貨幣単位の違いのように同じ事物を指し，重複した回答として扱うべき表現に加えて，フルネームと略称のように情報を表現の質が異なるものや日付や場所において粒度が異なるものも，同じ事物を指す複数の表現として，ひとつの表現集合に含まれる正解表現となる．実際には正解判定は表現と根拠記事との対に対して行われるので，異なる根拠記事を持つ同じ表現も同じ表現集合に属するとして扱う．それぞれの表現集合についてそれが指すものの質に関する係数$g$($0.0<g\leq1.0$)が付与される．表現集合中の正解表現それぞれには表現の質に関する係数$f$($0.0<f\leq1.0$)が付与される．システムが返した回答リスト$O$が与えられた時，ある正解セット$\mathit{CAS}_i$に関する精度$P_{\mathit{CAS}_i}$と再現率$Q_{\mathit{CAS}_i}$は図\ref{mmfdef}の式で与えられる．これに基づいて$F_{\mathit{CAS}_i}$値が求められ，最も大きい$F_{\mathit{CAS}_i}$値を与える正解セット$\mathit{CAS}_i$を用いた評価がその回答リストに対する評価となる．なお，正解が存在しない質問については，回答数が0の場合（空リストを回答とした場合）に$F$値1.0，それ以外は0とする．この定義による$F$値を$\mathit{MF}$値\footnote{若干の修正を含んでいるということでModifiedの$M$を付けた．}，テストセットについてのその平均を$\mathit{MMF}$値と呼ぶ．\begin{figure}[t]\input{03fig2.txt}\caption{評価尺度の$\mathit{MF}$値の定義}\label{mmfdef}\end{figure}この評価が意図しているのは，\begin{itemize}\item表現の質は係数$f$で表現し，質の低い表現を選んだ場合は精度再現率の分子となる正解数の当該部分にそれを乗じることでよりよい表現を回答した場合と差を付ける．\item正解そのものの質は係数$g$で表現し，再現率の分子分母の正解数両方にそれを乗じることで，再現率に正解の質を反映させる\item同一物を指示する異表現はその同定をシステムの能力の一部と考え，同じ表現集合に属する正解を複数回答した場合は，その中で表現の質が最もよいものひとつを正解とし，それ以外は誤答として扱うことで精度を下げる．\item正解の列挙については，ひとつの列挙の体系に基づいて回答することを期待し，それぞれの正解セットに従って採点を行い，最も高い評価となるセットの値を採用する．ただし，各セットでの採点において，そのセットでは誤答であるが，他のセットでの正解であるような回答は回答数に含めないことで，誤答と区別する．これにより様々な正解セットに含まれる正解を混在させた時の精度の減少を防ぎ，ペナルティをなくす．\end{itemize}一例として，「東京ディズニーランドはどこにありますか」という質問に「千葉県浦安市」「舞浜駅前」のふたつの正解があるとする．このふたつが同じ場所を指す異表現と考えるなら，同じ正解セットの同じ表現集合にこのふたつを含めることになる．その場合，一方を回答リストに含めればよく，両方を含めた場合，精度が下がる．これらふたつは違う情報であり，両方を列挙すべきであると判断した場合は，同じ正解セットの異なる表現集合に含める．この場合，両方を回答リストに含めないと再現率が下がる．このふたつは異なる回答の仕方でありどちらもひとつで充分な情報を持っているとの判断であれば，これらふたつを異なる正解セットとする．この場合，一方を回答すればよく，両方を含めても精度は下がらない．両方回答すべき（同じ場所の別表現ではない）であるが，「千葉県浦安市」の方がより適切とする場合は，「舞浜駅前」の正解そのものの質に関する係数$g$を落とす．この場合，例えば「千葉県浦安市」だけで再現率0.67，「舞浜駅前」のみで0.33というような重み付けが可能となる．更に「千葉県」も正解とするが，これは「千葉県浦安市」と同じ場所を指し，表現として劣ると判断するのであれば，「千葉県浦安市」と同じ表現集合に含め，その表現に関する係数$f$を落とせばよい．
\section{参照用テストセット}
\label{Sec4}一問一答形式の質問応答システム，特にリスト型課題にまだ研究の余地がある現状においては，システムの能力は様々な要因に左右され，情報アクセス対話における質問応答の能力だけでは決まらない．例えば，ある質問の正答率が低い時にその難しさがその文脈処理の側面にあるのかどうかは明らかでない．情報アクセス対話における質問応答でのシステム全体の能力を測定することがIADタスクの目的であるが，その改善に向けた分析が可能となるような材料が収集できることも望まれる．そのような情報を得るための道具立てとして，あるテストセット（本節では主テストセットと呼ぶ）を用いたIADタスクの実施と並行して，その主テストセットから作成される2種類の参照用テストセットを用いて同じタスクを実施することを提案する．第一の参照用テストセットは，主テストセットに含まれる照応表現をすべて人手で解消し，それを補った独立の質問からなるセットである．第二の参照用テストセットは，主テストセットに含まれる照応表現のうち，代名詞＋助詞や連体詞等，表層に現れているものをすべて機械的に除去した独立の質問からなるセットである．こちらは意味的には，大半の質問が誰のものかを指定しないで誕生日を訊ねるような特定化が不充分なものとなるが，日本語であることが幸いして統語的には文法的である．図\ref{samples}に示した質問シリーズseries2-20に対応するこれら参照用テストセットの部分を図\ref{refsamples}に示す．第一の参照用テストセットの結果は文脈処理の上限，第二の結果は文脈処理なしで回答できる下限を示している．もちろん，文脈処理の結果得られる表現はひとつではないし，文脈処理が悪い影響を与えることも多いので，これらの結果は参考にとどまるが，このような参照用テストセットは技術の特徴を検討するのに有益である．参照用テストセットによる実施が貴重な情報を提供する例として，NTCIR-4での実施での例を挙げる．表\ref{rsmmf}は主テストセットのシリーズ最初の問題と2番目以降の問題について，上位10システムの$\mathit{MMF}$値を平均したものと，第一の参照用テストセットについて，それに対応する値とを比較したものである．主テストセットでは当然，2番目以降の問題の平均$\mathit{MMF}$値が大きく落ちているが，参照用テストセットでもそれに対応する問題で平均$\mathit{MMF}$値が低くなっている．予想される理由は，あるトピックに関する一連の質問を行うと比較的簡単なものが先頭に来ることである．このような分析により，単にシリーズ最初の問題と2番目以降の問題についての$\mathit{MMF}$値を比較して，文脈処理の困難さを過度に主張するという間違った結論を避けることができる．ちなみに，2番目以降の問題について，参照用テストセットと主テストセットの平均$\mathit{MMF}$値の差は有意であることから，文脈処理の不十分さが2番目以降の問題の成績を悪くしていることも確認されている．\begin{figure}[t]\input{03fig3.txt}\caption{参照用テストセットを構成する質問の例}\label{refsamples}\end{figure}\begin{table}[t]\caption{質問の位置による評価（平均$\mathit{MMF}$値）の差}\label{rsmmf}\input{03table4.txt}\end{table}\begin{table}[t]\caption{シリーズの型の違いによる評価（平均$\mathit{MMF}$値）の差}\label{rsseries}\input{03table5.txt}\end{table}同様にシリーズの種類毎にみた上位10システムの平均$\mathit{MMF}$値を表\ref{rsseries}に示す．シリーズをすべての照応表現が最初の質問で導入されたトピックを参照するという厳しい意味での収集型である狭義の収集型，その他の収集型，ブラウジング型に分類したものである．主テストセットではブラウジング型の平均$\mathit{MMF}$値が低いが，参照用テストセットにおいてはそれに対応する質問群について最も高い値が得られている．参照用テストセットにおけるこの違いは，シリーズ先頭の質問が比較的容易なのと同じ理由で，ブラウジング型のシリーズに含まれる様々なトピックに関する個々の質問は比較的容易なものになっていることによるのであろう．比較的簡単な個々の質問もブラウジング型のシリーズとして組織化されると難度の高いものになるということで，ブラウジング型シリーズにおける文脈処理が困難であることを再確認することができる．第2の参照用テストセットの用途のひとつは，それぞれの質問について，その正解を得るために本当に文脈処理が必要かの情報が得られることである．例えば，図\ref{samples}のSeries2-20の第7問に対応するものの平均$\mathit{MF}$値は，ふたつの参照用テストセットの間で殆ど差がなく，その値は主テストセットでの値よりも高い．これは，エベレストで最後に目撃された人間はマロリーの他には多くない（いない）ために，キーワードとしてマロリーがなくても正解を求められるためと思われる．同様の例で，「豊田章一郎氏が会長を務めていた自動車会社はどこですか。」「そこが97年に発売したハイブリッド車は何という名前ですか。」と続くシリーズにおいて，第2の質問に対応するものの$\mathit{MF}$値もふたつの参照用テストセットの間で殆ど差がないが，日本でこの年に発売されたハイブリット車は1車種のみであり，会社名による限定が必要ないためであった．これらの情報は背景となる知識源の内容と関連し，事前に問題を検査して得るのは難しいが，参照用テストセットによって容易に明らかにすることができる．
\section{関連研究}
\label{Sec5}本稿での提案と最も近い取り組みは，TREC2001で行われたContextTaskで，これは質問応答システムの文脈追跡（文脈処理）能力を測定するために一連の質問に回答させるというもので，基本的な目的は本稿の提案と同じである\cite{Voorhees01}．このタスクの実施では，システムがある質問に正解できるかがそれ以前の質問に正解したかに依存しないという「予想に反する」結果が得られている．これは最初の質問によってそのシリーズの質問すべての回答を含んだ少数の記事が同定されてしまい，その後の質問に正解できるかは文脈処理の能力よりも特定のタイプの質問に回答できるかに依存してしまうためであるとされている．このため，このようなタスクは現状では文脈処理能力を測定するのに不適切と判断され，その後のTRECでは実施されていない．このような結果となったひとつの理由は，シリーズを構成する質問の数が3から4と少ないことにあると思われる．IADタスクではひとつのシリーズは7つ程度の質問で構成することを考えている．また，IADタスクでいうところのブラウジング型を含んでいないことも大きな原因であろう．TRECのContextTaskについては，隣り合う質問の回答のうち85\%が同じパラグラフに存在したという報告\cite{Harabagiu01}があるが，NTCIR-4で用いたテストセットでは，隣り合う質問の少なくともひとつの回答が同じ記事（一概に比較できないが段落より大きい単位と言ってよいと考える）内に存在する割合は，収集型でも83\%であったが，ブラウジング型では66\%であった．シリーズ全体を考えれば，ブラウジング型の場合，ニューヨーク・ヤンキーズからキャンベルスープまでを含んだ記事はありえないので，最初の質問に関する処理だけでその後の質問に正解できる記事が得られることはありえない．収集型についても，すべてが狭義の収集型ではないので，そのトピックに関する記事すべてを検索してもそこから正しく回答を選択することは，何らかの文脈処理なしでは困難である．狭義の収集型についても，例えば，「小沢征爾」をキーワードとする記事は知識源中に155件あり，そのうちの22件が彼のウィーンフィルへの移籍を扱っているが，その中で彼の誕生日に言及しているものは2件のみである．また，収集型については，確かにある質問に回答できることと以前の質問への正解率との関係は不明確であるが，狭義の収集型であれば，そこに関係のある必然性はないし，そのことが文脈処理の不必要性の議論につながるとは思えない．加えて重要なことは，このようなタスク設計がレポート作成を目的とした情報アクセス対話という場面設定の状況に近いということであり，そこに現れる状況に対処する技術として必要とされている点である．評価尺度についての$\mathit{MF}$値の提案は，IADタスクに限定されるものではなく，リスト型課題に共通するものである．TRECのQATrackでも，2003年より正解数を指定しないリスト型課題が開始されている\cite{Voorhees03}．評価には単純な$F$値が用いられている．2003年のこの課題の質問は37問とあまり多くなく，``Listthenamesofchewinggums.'',``Whoarefemaleboxers?''等，すべてが事物の列挙を求めるもので，その殆どは，``WhatChineseprovinceshaveaMcDonald'srestaurant?''のように回答のクラスが巧みに指定されており，粒度の問題が生じるような表現，例えば``WhereinChinadoesMcDnaldhavearestaurant?''は避けられている．質問文のみからの判断であるが，問題が出る可能性のあるのはわずかに``Whatfoodscancauseallergicreactioninpeople?''の1問だけである．TRECにしてこのような状況であり，本稿で議論したようなリスト型課題の問題に注目した提案は著者の知る限り全く行われていない．参照用のテストセットという考えについては，これもTREC-9において，同じ正解を意図した表現の異なる質問を多数テストセットに含めるという試みがなされている\cite{Voorhees04}．参照用のテストセットという明確な考えはなく，そこから何が得られたかも明らかにされていないが，より深い分析のための情報を得る試みであったと思われる．この試みはその後続けられていない．一問一答型の質問応答システムも質問解析，文書選択，回答抽出等の複数のモジュールから構成されることを考えると，本稿で提案した参照用テストセットだけで充分な情報が得られるわけではないが，少なくとも情報アクセス対話のための質問応答技術をある程度まで区別する役割を果たしていると考える．対話的な質問応答システムの評価ということでは，テストセットの枠組みに基づかない，より実際に近い状況での実験の報告がある\cite{Liddy04,Kelly06}．これらの実験と本稿で提案したテストセットによる評価は，情報検索技術の評価における検索実験での，現実状況での検証と研究室での検証\cite{Kishida98}とにそれぞれ対応すると考えられる．前者は実際の利用場面により近い環境での評価となり，多種多様な情報が得られるが，それらの情報は複雑かつ非定型で分析も難しく，実験の実施も一般に高価である．一方で後者は，本来の利用場面の複雑さを切り捨て，理想化単純化された状況での能力を測定することになるが，得られるデータの相互比較が比較的容易で，テストセットの再利用が可能なこと等，その実施も安価である．このように，これらにはそれぞれの長所短所があり，相補的な役割を持っていると考えている．
\section{おわりに}
\label{Sec6}あるトピックに関して一連の情報アクセスを対話的に行うという状況で用いられる質問応答システムの能力を定量的に評価するためのタスク，IADタスクを提案した．対話的な情報アクセスを模擬した実験を通じて，数量等を含む名称を正解の範囲とするような質問応答システムがそのような状況で有効であること，そのようなシステムは様々な照応表現を処理できる必要があることを示し，タスクが評価する技術の重要性を示唆した．IADタスクは，対話的情報アクセスを対象として，そこで必要な質問応答技術が効果的に評価できるというその枠組みの独自性に加えて，質問中の参照表現を人手で解消もしくは機械的に削除した参照用テストセットを併用することで，情報アクセス対話におけるシステムの文脈処理能力をある程度まで切り離して評価できる枠組みを持っている．評価尺度についても自然な質問への応答を考えた場合に問題になる事例に配慮して，回答の列挙に複数の体系を許し回答の2種類の質を考慮に入れた多段階評価手法という，リスト型課題一般の評価手法に関する新しい提案を含んでいる．\section*{付録}\begin{figure}[b]\centerline{\includegraphics{15-3ia3f4.eps}}\caption{$\mathit{MMF}$値による評価}\label{mmf1}\end{figure}\begin{figure}[b]\centerline{\includegraphics{15-3ia3f5.eps}}\caption{シリーズの型による$\mathit{MMF}$値の差異}\label{mmf2}\end{figure}提案するIADタスクが最先端の質問応答技術にとって，決して不可能な課題ではなく，同時に既に解決された課題でもないことを示すために，NTCIR-5におけるQAC3での実施において，高い評価を得た3チーム，7システムについてその評価を示す．この実施では「施工ミス」「送電線切断」「墜落炎上」のような事象の複合名詞表現を正解範囲に含んでいたが，その位置づけが不明確なことから，今回の提案ではそれを除いている．その点を除けば，この実施は，本稿で提案しているIADタスクであり，事象の複合名詞表現を正解とする質問は少数であるため，全体の傾向への影響は少ない．図\ref{mmf1}は，テストセット全体，各シリーズの先頭質問，2番目以降の質問について，$\mathit{MMF}$値を示したものである．図\ref{mmf2}は，シリーズを収集型とブラウジング型に分類して，テストセット全体とそれらの$\mathit{MMF}$値を比較している．これらのシステムに用いられている技術については，NTCIR-5でのQAC3実施に関する報告\cite{Kato05b,KatoJ06}に加え，\cite{Murata07,Akiba06,Mori07}に詳しい．\acknowledgmentNTCIR-4のQAC2Subtask3，NTCIR-5のQAC3に参加していただき，貴重なコメントいただきました皆様に感謝します．加えて，qac-jのメイリングリストでの議論に積極的に加わってくださった皆様にも感謝します．また，本稿の中に直接活かすことはできませんでしたが，村田真樹，秋葉友良，森辰則の3氏は，NTCIR-4でのテストセットを用いた再度の実施を快く引き受けてくださいました．御尽力にお礼申し上げます．本研究の一部は，国立情報学研究所との共同研究として支援されています．\bibliographystyle{jnlpbbl_1.3}\begin{thebibliography}{}\bibitem[\protect\BCAY{Akiba}{Akiba}{2006}]{Akiba06}Akiba,T.\BBOP2006\BBCP.\newblock\BBOQExploitingDynamicPassageRetrievalforSpokenQuestionRecognitionandContextProcessingtowardsSpeech-drivenInformationAccess\BBCQ\\newblockIn{\BemProceedingsofTheInternationalConferenceonLanguageResourcesandEvaluation(LREC)},\mbox{\BPGS\1530--1535}.\bibitem[\protect\BCAY{ARDA}{ARDA}{2007}]{AQUAINT}ARDA.\newblock\BBOQAQUAINTHomePage:AdvancedQuestion\&AnsweringforIntelligence\BBCQ,\Turl{http://\linebreak[2]www.ic-arda.org/\linebreak[2]InfoExploit/\linebreak[2]aquaint/}.\bibitem[\protect\BCAY{Burger,Cardie,et~al.}{Burgeret~al.}{2001}]{Burger01}Burger,J.,Cardie,C.,et.~al.\newblock\BBOQIssues,TasksandProgramStructurestoRoadmapResearchinQuestion\&Answering(Q\&A)\BBCQ,\Turl{http://www-nlpir.nist.gov/\linebreak[2]projrcts/\linebreak[2]duc/\linebreak[2]roadmapping.html}.\bibitem[\protect\BCAY{Fukumoto,Kato,\BBA\Masui}{Fukumotoet~al.}{2003}]{Fukumoto03}Fukumoto,J.,Kato,T.,\BBA\Masui,F.\BBOP2003\BBCP.\newblock\BBOQQuestionAnsweringChallenge(QAC-1)AnEvaluationofQuestionAnsweringTasksattheNTCIRWorkshop3\BBCQ\\newblockIn{\BemAAAI2003SpringSymposiumNewDirectionsinQuestionAnswering},\mbox{\BPGS\122--133}.\bibitem[\protect\BCAY{Harabagiu,Moldovan,et~al.}{Harabagiuet~al.}{2001}]{Harabagiu01}Harabagiu,S.,Moldovan,D.,et.~al\BBOP2001\BBCP.\newblock\BBOQAnsweringcomplex,listandcontextquestionswithLCC'sQuestion-AnsweringServer\BBCQ\\newblockIn{\BemProceedingsofTREC2001}.\bibitem[\protect\BCAY{Hickl,Lehmann,Williams,\BBA\Harabagiu}{Hicklet~al.}{2004}]{Hickl04}Hickl,A.,Lehmann,J.,Williams,J.,\BBA\Harabagiu,S.\BBOP2004\BBCP.\newblock\BBOQExperimentswithInteractiveQuestionAnsweringinComplexScenarios\BBCQ\\newblockIn{\BemProceedingsofHLT-NAACL2004WorkshoponPragmaticsofQuestionAnswering},\mbox{\BPGS\60--69}.\bibitem[\protect\BCAY{加藤\JBA福本\JBA桝井\JBA神門}{加藤\Jetal}{2004a}]{KatoJ04b}加藤恒昭\JBA福本淳一\JBA桝井文人\JBA神門典子\BBOP2004a\BBCP.\newblock\JBOQリスト型質問応答の特徴付けと評価指標\JBCQ\\newblock\Jem{情報処理学会自然言語処理研究会2004-NL-163},\mbox{\BPGS\115--112}.\bibitem[\protect\BCAY{加藤\JBA福本\JBA桝井\JBA神門}{加藤\Jetal}{2004b}]{KatoJ04a}加藤恒昭\JBA福本淳一\JBA桝井文人\JBA神門典子\BBOP2004b\BBCP.\newblock\JBOQ質問応答技術は情報アクセス対話を実現できるか\JBCQ\\newblock\Jem{情報処理学会自然言語処理研究会2004-NL-162},\mbox{\BPGS\145--150}.\bibitem[\protect\BCAY{加藤\JBA福本\JBA桝井\JBA神門}{加藤\Jetal}{2006}]{KatoJ06}加藤恒昭\JBA福本淳一\JBA桝井文人\JBA神門典子\BBOP2006\BBCP.\newblock\JBOQ情報アクセス対話に向けた質問応答技術の評価ふたたび—NTCIR-5QAC3での試み—\JBCQ\\newblock\Jem{情報処理学会自然言語処理研究会2004-NL-172},\mbox{\BPGS\55--62}.\bibitem[\protect\BCAY{Kato,Fukumoto,\BBA\Masui}{Katoet~al.}{2004a}]{Kato05b}Kato,T.,Fukumoto,J.,\BBA\Masui,F.\BBOP2004a\BBCP.\newblock\BBOQAnOverviewofNTCIR-5QAC3\BBCQ\\newblockIn{\BemProceedingsofFifthNTCIRWorkshopMeeting},\mbox{\BPGS\361--372}.\bibitem[\protect\BCAY{Kato,Fukumoto,\BBA\Masui}{Katoet~al.}{2004b}]{Kato04}Kato,T.,Fukumoto,J.,\BBA\Masui,F.\BBOP2004b\BBCP.\newblock\BBOQQuestionAnsweringChallengeforInformationAccessDialogue---OverviewofNTCIR4QAC2Subtask3---\BBCQ\\newblockIn{\BemWorkingnotesontheFourthNTCIRWorkshopMeeting},\mbox{\BPGS\291--296}.\bibitem[\protect\BCAY{Kato,Fukumoto,Masui,\BBA\Kando}{Katoet~al.}{2005}]{Kato05a}Kato,T.,Fukumoto,J.,Masui,F.,\BBA\Kando,N.\BBOP2005\BBCP.\newblock\BBOQAreOpen-domainQuestionAnsweringTechnologiesUsefulforInformationAccessDialogues?---Anempiricalstudyandaproposalofanovelchallenge---\BBCQ\\newblock{\BemACMTALIP(Trans.ofAsianLanguageInformationProcessing)},{\Bbf4}(3),\mbox{\BPGS\243--262}.\bibitem[\protect\BCAY{Kato,Fukumoto,Masui,\BBA\Kando}{Katoet~al.}{2006}]{Kato06}Kato,T.,Fukumoto,J.,Masui,F.,\BBA\Kando,N.\BBOP2006\BBCP.\newblock\BBOQWoZSimulationofInteractiveQuestionAnswering\BBCQ\\newblockIn{\BemProceedingsofHLT-NAACL2006WorkshoponInteractiveQuestionAnswering},\mbox{\BPGS\9--16}.\bibitem[\protect\BCAY{Kelly,Kantor,Morse,et~al.}{Kellyet~al.}{2006}]{Kelly06}Kelly,D.,Kantor,P.,Morse,E.,et.~al\BBOP2006\BBCP.\newblock\BBOQUser-CenteredEvaluationofInteractiveQuestionAnsweringSystems\BBCQ\\newblockIn{\BemProceedingsofHLT-NAACL2006WorkshoponInteractiveQuestionAnswering},\mbox{\BPGS\49--56}.\bibitem[\protect\BCAY{岸田}{岸田}{1998}]{Kishida98}岸田和明\BBOP1998\BBCP.\newblock\Jem{情報検索の理論と技術}.\newblock勁草書房.\bibitem[\protect\BCAY{Liddy,Diekema,\BBA\Yilmazel}{Liddyet~al.}{2004}]{Liddy04}Liddy,E.~D.,Diekema,A.~R.,\BBA\Yilmazel,O.\BBOP2004\BBCP.\newblock\BBOQContext-BasedQuestion-AnsweringEvaluation\BBCQ\\newblockIn{\BemProceedingsofthe27thAnnualInternationalACMSIGIRConference},\mbox{\BPGS\508--509}.\bibitem[\protect\BCAY{Mani,House,et~al.}{Maniet~al.}{1998}]{Mani98}Mani,I.,House,D.,et.~al\BBOP1998\BBCP.\newblock\BBOQTheTIPSERSUMMACtextsummarizationevaluationfinalreport\BBCQ\\newblock\BTR\MTR98W0000138,TheMITRECorporation.\bibitem[\protect\BCAY{Mori,Kawaguchi,\BBA\Ishioroshi}{Moriet~al.}{2007}]{Mori07}Mori,T.,Kawaguchi,S.,\BBA\Ishioroshi,M.\BBOP2007\BBCP.\newblock\BBOQAnsweringContextualQuestionsBasedontheCohesionwithKnowledge\BBCQ\\newblock{\BemInternationalJournalofComputerProcessingofOrientalLanguages(IJCPOL)},{\Bbf20}(2\&3),\mbox{\BPGS\115--135}.\bibitem[\protect\BCAY{NII}{NII}{2007}]{NTCIR}NII.\newblock\BBOQNTCIR(NII-NACSISTestCollectionforIRSystems)ProjectHomePage\BBCQ,\Turl{http://\linebreak[2]research.nii.ac.jp/\linebreak[2]ntcir/\linebreak[2]index-ja.html}.\bibitem[\protect\BCAY{NIST}{NIST}{2007}]{TREC}NIST.\newblock\BBOQTRECHomePage\BBCQ,\Turl{http://\linebreak[2]trec.nist.gov/}.\bibitem[\protect\BCAY{小川\JBA佐々木\JBA増山\JBA村田\JBA吉岡}{小川\Jetal}{2002}]{Ogawa02}小川泰嗣\JBA佐々木裕\JBA増山繁\JBA村田真樹\JBA吉岡真治\BBOP2002\BBCP.\newblock\JBOQ参加者から見たNTCIR\JBCQ\\newblock\Jem{人工知能学会誌},{\Bbf17}(3),\mbox{\BPGS\306--311}.\bibitem[\protect\BCAY{関根\JBA影浦\JBA奥村\JBA乾}{関根\Jetal}{2005}]{Sekine05}関根聡\JBA影浦峡\JBA奥村学\JBA乾健太郎\BBOP2005\BBCP.\newblock\JBOQ研究の場としての評価型ワークショップになるために\JBCQ\\newblock\Jem{言語処理学会第11回年次大会併設ワークショップ「評価型ワークショップを考える」}.\bibitem[\protect\BCAY{Small,Shimizu,et~al.}{Smallet~al.}{2003}]{Small03}Small,S.,Shimizu,N.,et.~al\BBOP2003\BBCP.\newblock\BBOQHITIQA:ADataDrivenApproachtoInteractiveQuestionAnswering:APreliminaryReport\BBCQ\\newblockIn{\BemAAAI2003SpringSymposiumNewDirectionsinQuestionAnswering},\mbox{\BPGS\94--104}.\bibitem[\protect\BCAY{Voorhees}{Voorhees}{2001}]{Voorhees01}Voorhees,E.~M.\BBOP2001\BBCP.\newblock\BBOQOverviewoftheTREC2001QuestionAnsweringTrack\BBCQ\\newblockIn{\BemProceedingsofTREC2001}.\bibitem[\protect\BCAY{Voorhees}{Voorhees}{2003}]{Voorhees03}Voorhees,E.~M.\BBOP2003\BBCP.\newblock\BBOQOverviewoftheTREC2003QuestionAnsweringTrack\BBCQ\\newblockIn{\BemProceedingsofTREC2003},\mbox{\BPGS\14--27}.\bibitem[\protect\BCAY{Voorhees}{Voorhees}{2004}]{Voorhees04}Voorhees,E.~M.\BBOP2004\BBCP.\newblock\BBOQOverviewoftheTREC2004QuestionAnsweringTrack\BBCQ\\newblockIn{\BemProceedingsofTREC2004}.\bibitem[\protect\BCAY{Voorhees}{Voorhees}{2005}]{Voorhees05}Voorhees,E.~M.\BBOP2005\BBCP.\newblock\BBOQQuestionAnsweringinTREC\BBCQ\\newblockInVoorhees,E.~M.\BBACOMMA\\BBA\Harman,D.~K.\BEDS,{\BemTRECExperimentandEvaluationinInformationRetrieval}.TheMITPress.\bibitem[\protect\BCAY{Voorhees\BBA\Tice}{Voorhees\BBA\Tice}{2000}]{Voorhees00}Voorhees,E.~M.\BBACOMMA\\BBA\Tice,D.~M.\BBOP2000\BBCP.\newblock\BBOQBuildingaQuestionAnsweringTestCollection\BBCQ\\newblockIn{\BemProceedingsofthe23rdAnnualInternationalACMSIGIRConference},\mbox{\BPGS\200--207}.\bibitem[\protect\BCAY{村田\JBA内山\JBA白土\JBA井佐原}{村田\Jetal}{2007}]{Murata07}村田真樹\JBA内山将夫\JBA白土保\JBA井佐原均\BBOP2007\BBCP.\newblock\JBOQシリーズ型質問文に対して単純結合法を利用した逓減的加点質問応答システ厶\JBCQ\\newblock\Jem{システム制御情報学会論文誌},{\Bbf20}(8),\mbox{\BPGS\338--346}.\end{thebibliography}\begin{biography}\bioauthor{加藤恒昭}{1983年東京工業大学大学院総合理工学研究科修士課程修了．同年，日本電信電話公社（現NTT）に入社．2000年東京大学大学院総合文化研究科言語情報科学専攻准教授，現在に至る．1993年米国ロチェスター大学客員研究員．2005年米国USC/ISI客員研究員．博士（工学）．質問応答，情報編纂，語彙意味論に関する研究に従事．}\bioauthor{福本淳一}{1986年広島大学大学院工学研究科博士前期課程修了．同年，沖電気工業（株）に入社．1992--94年英国マンチェスター科学技術大学Ph.~D.コース．2000年立命館大理工学部助教授．2004年米国USC/ISI客員研究員．2006年立命館大情報理工学部教授，現在に至る．Ph.~D．質問応答システム，情報抽出，談話構造解析の研究に従事．}\bioauthor{桝井文人}{1990年岡山大学理学部・地学科卒業．同年，沖電気工業（株）に入社．2000年三重大学工学部情報工学助手．2004--05年北海道大学情報科学研究科研究員．現在，三重大学大学院工学研究科助教．博士（工学）．自然言語処理，教育工学，設備保全などの研究に興味を持つ．}\bioauthor{神門典子}{1994年慶応義塾大学文学研究科博士課程修了．博士（図書館・情報学）．同年学術情報センター助手．米国シラキウス大学情報学部，デンマーク王立図書館情報大学客員研究員を経て，1998年学術情報センター助教授．2000年国立情報学研究所助教授．2004年同教授．現在に至る．テキスト構造を用いた検索と情報活用支援，言語横断検索，情報検索システムの評価等の研究に従事．}\end{biography}\biodate\end{document}