\section{はじめに}
近年の電子化テキストの増大にともない，テキスト自動要約技術の重要性が高まっている．要約を利用することで，より少ない労力や時間で，テキストの内容を把握したり，そのテキストの全文を参照する必要があるかどうかを判定できるようになるため，テキスト処理にかかる人間の負担を軽減させることができる．要約は一般に，その利用目的に応じて，元テキストの代わりとなるような要約(informativeな要約)と，テキストの全文を参照するかどうかの判定等，全文を参照する前の段階で利用する要約(indicativeな要約)に分けられることが多い\cite{Oku:99:a}．このうち，indicativeな要約については，近年情報検索システムが広く普及したことにより，検索結果を提示する際に利用することが，利用法として注目されるようになってきている．要約を利用することで，ユーザは，検索結果のテキストが検索要求に対して適合しているかどうかを，テキスト全文を見ることなく，素早く，正確に判定できるようになる．一般に情報検索システムを利用する際には，ユーザは，自分の関心を検索要求という形で表わしているため，提示される要約も，元テキストの内容のみから作成されるgenericな要約より，検索要求を反映して作成されるものの方が良いと考えられる．本稿では，我々が以前提案した語彙的連鎖に基づくパッセージ抽出手法\cite{Mochizuki:99:a}が，情報検索システムでの利用を想定した，検索要求を考慮した要約作成手法として利用できることを示す．語彙的連鎖\cite{Morris:91}とは，語彙的結束性\cite{Halliday:76}を持つ語の連続のことである．語彙的連鎖はテキスト中に複数存在し，各連鎖の範囲では，その連鎖の概念に関連する話題が述べられている\cite{okumura:94a,Barzilay:97}．我々の手法では，この語彙的連鎖の情報を利用することで，検索要求と強く関連したテキスト中の部分を抽出できるため，情報検索システムでの利用に適した要約が作成できる．また，検索要求と関連する部分を一まとまりのパッセージとして得るため，連続性のある要約が作成できる．我々の手法によって作成される要約の有効性を確かめるために，情報検索タスクに基づいた要約の評価方法\cite{Miike:94,Hand:97,Jing:98,Mani:98:a,tombros:98:b,Oku:99:a}を採用し実験を行なう．実験では，複数の被験者に要約と検索要求を提示し，被験者は，要約を元に，各テキストが検索要求に適合するかどうかを判定する．要約は，被験者の適合性判定の精度，タスクにかかった時間および判定に迷った際に全文を参照した回数などに基づいて評価される．また，要約の読み易さに関する評価も合わせて行なう．我々の要約作成手法と，検索要求を考慮した，いくつかの従来の要約作成手法\cite{tombros:98:b,shiomi:98:a,hasui:98:a}，検索要求を考慮しない，いくつかの要約作成手法および，全文，タイトルのみの，合わせて10種類の手法を比較する実験を行なう．また，タスクに基づく要約の評価は，最近になって採用され始めた新しい評価方法であり，試行錯誤の段階にある．そのため，今回の評価実験の過程で観察された，タスクに基づく評価方法に関する問題点や留意すべき点についても，いくつかのポイントから分析し，報告する．以下，\ref{sec:sumpas}節では，我々の語彙的連鎖型パッセージ抽出法に基づく要約作成について述べ，\ref{sec:examination}節では実験方法について説明し，\ref{sec:kekkakousatsu}節で結果の考察をする．最後に\ref{sec:conc}節でタスクに基づく評価方法に関する問題点や留意すべき点について述べる．
\section{語彙的連鎖型パッセージ抽出法に基づく要約}
label{sec:sumpas}本節では，我々が以前提案した語彙的連鎖に基づくパッセージ抽出手法による要約作成手法について述べる．我々の要約作成手法は，次のような流れに基づく．まず，テキスト中の語彙的連鎖を計算する．次に，我々の語彙的連鎖に基づくパッセージ抽出手法により，検索要求に適合するテキスト中のパッセージを抽出する．最後に，抽出されたパッセージを，あらかじめ決められた要約の長さに調節する処理を行ない，要約として出力する．以下では，語彙的連鎖の計算方法と語彙的連鎖を用いたパッセージ抽出手法について順に，概略を説明する．詳細は\cite{Mochizuki:99:a}を参照して頂きたい．\subsection{語彙的連鎖の計算}\label{subsec:lexcal}語彙的連鎖は次の手順で計算する．まず，コーパスを用いた単語の共起情報から2つの単語間の類似度を式(\ref{equ:cosdis})のコサイン距離により計算する．\begin{equation}\label{equ:cosdis}coscr(X,Y)=\frac{\sum_{i=1}^{n}x_{i}\timesy_{i}}{\sqrt{\sum_{i=1}^{n}x_{i}^{2}}\times\sqrt{\sum_{i=1}^{n}y_{i}^{2}}}\end{equation}ここで，$x_{i}$と$y_{i}$はテキスト$i$に単語$X$と$Y$が出現する数($tf$)，$n$はコーパスの全テキスト数を表わす．次に，計算された類似度を基に，式(\ref{equ:min})の最短距離法によって単語をクラスタリングする．\begin{equation}\label{equ:min}sim(C_i,C_j)=\max_{X\inC_{i},Y\inC_{j}}coscr(X,Y)\end{equation}ここで，$X,Y$はクラスタ$C_i$内，$C_j$内の単語である．閾値\footnote{我々の以前の研究\cite{Mochizuki:99:a}で最も良い連鎖を構成した0.25を今回も閾値とした．}を用いて単語のクラスタを作成し，同一クラスタ内にまとめられた単語の連続によって語彙的連鎖を構成する．\subsection{語彙的連鎖を用いたパッセージ抽出}\label{subsec:expas}パッセージ抽出の手順は次のようになる．まず，入力された検索要求内の語(以後，{\bf検索語}と呼ぶ)を含む語彙的連鎖の情報を取り出す．次に出現範囲に重なりがある連鎖をまとめることによってパッセージを抽出する．この時に，各パッセージと検索要求との類似度も計算する．最後に，類似度が最大のパッセージを，検索要求と最も適合するパッセージとして選択する．図\ref{fig:pasimg}に抽出されるパッセージの例を示す．\begin{figure}[htbp]\begin{center}\atari(102,127)\caption{パッセージの例}\label{fig:pasimg}\end{center}\end{figure}図\ref{fig:pasimg}には，検索要求内の3つの検索語と，テキスト内で各検索語を含む7つの語彙的連鎖(A1〜C3)が示されている．図\ref{fig:pasimg}では，出現位置に重なりのある連鎖がまとめられ，3つのパッセージが抽出される．各パッセージと検索要求との類似度は，パッセージに含まれる連鎖のスコアおよび，連鎖間の重なりの度合に基づき計算される．連鎖のスコアは，連鎖中の単語数に基づき計算される．最終的に，図の例では，最大の類似度のパッセージとして，比較的長い3つの連鎖が互いに重なりあっている，パッセージ1が抽出される(斜線部分)．抽出されたパッセージが，あらかじめ決められた要約の長さを越える場合，パッセージの末尾から，長さの制約を満たすように，文を取り除き，最終的な要約として出力する．
\section{評価実験}
label{sec:examination}我々の要約作成手法の有効性を調べるため他の要約作成手法との比較実験を行なう．評価方法としてタスクに基づく要約の評価方法を採用し，タスクとして情報検索を選択する．タスクに基づく要約の評価方法は，人間が要約を利用して，あるタスクを行なう際のタスクの達成率や所要時間などを用いて，間接的に要約を評価するものであり，最近になって採用され始めている\cite{Oku:99:a,Jing:98,Mani:98:a,tombros:98:b}．本研究は情報検索システムでの利用に適した要約作成を目指しているため，情報検索タスクにおいて，要約がどれだけ役立ったかによって評価することが自然な評価であると考える．本稿の情報検索タスクに基づく要約の評価実験は，TIPSTERTextProgramPhaseIIIのために提案された手法\cite{Hand:97}を参考にしている．今回の実験では，我々の提案手法と他の検索要求を考慮した手法などに全文，タイトルのみを含めた10種類の要約作成手法を実装し，それぞれの手法による要約を使用している．そして，要約を，適合性判定の精度およびタスク達成にかかる時間などに基づいて比較評価する．なお，要約の長さは，文を単位としてテキストの20\%とした．以下の副節では，実装した各要約作成手法，実験方法，評価基準について順に説明する．\subsection{要約作成手法}我々の提案手法と全文，タイトルのみのものも含めて次の10種類の要約作成手法を実装する．なお，各手法の本稿での呼び名を{\bfボールド体}で示す．\begin{itemize}\item全文({\bffull})\\要約を行なわず，全文を要約として提示する．\itemタイトル({\bftitle})\\テキストの見出しのみを要約として提示する．\itemlead手法({\bflead})\\見出しを含み，先頭から文を抽出し，要約として提示する．\item形式段落({\bff-seg})\\テキストをあらかじめ形式段落に分割し，検索要求と各形式段落との類似度を計算する．最も類似度の高い形式段落を1つ選び要約とする．ただし，選択された形式段落の長さが要約の長さを越える場合には，その段落の末尾から，長さの制約を満たすように，文を取り除き，最終的な要約とする．検索要求と形式段落の類似度は以下のように計算する．形式段落ごとに単語の重要度$w_{i}$を基本的な$tf.idf$\cite{Salton:88b}の式(\ref{equ:tfidf})により計算し，形式段落を単語の重要度のベクトル$D_{j}$で表現する．\begin{equation}\label{equ:tfidf}\displaystyle{w_{i}=tf_{i}\timeslog\frac{N}{df_{i}}}\end{equation}ここで$tf_{i}$は段落内の単語$i$の頻度，$N$はテキスト集合内の総段落数，$df_{i}$は単語$i$の出現段落数である．検索要求と形式段落の類似度は，それぞれのベクトル$Q$，$D_{j}$を用いた，以下の式で計算する．\begin{equation}\label{equ:normsim}sim(Q,D_{j})=\sum_{i}(tf_{q_{i}}\timeslog\frac{N}{df_{i}})^2\timesw_{i}\end{equation}ここで，$tf_{q_{i}}$は検索語$q_{i}$の検索要求内の頻度である．\itemテキスト中の単語の重要度に基づく要約({\bftf.idf,q-tf.idf})テキスト中の単語の出現頻度から各単語の重要度を決定し，重要な単語を多く含む文が重要であるという考えに基づき，文の重要度を計算する．本稿ではZechner\cite{Zechner:96}と同様の手法を用いる．まず，テキスト中の各単語の重要度$w_{i}$を計算する．次に，各文中の単語の重要度の総和を式(\ref{scalc})により計算し，重要度$S_{j}$の高い文を抽出する．\begin{equation}\label{scalc}\displaystyle{S_{j}=\sum_{i}w_{i}}\end{equation}この手法では，各単語の重要度$w_{i}$を計算する際に，検索要求を考慮するかどうかの違いにより次の2種類の要約を作成できる．\begin{enumerate}\item検索要求を考慮しない場合({\bftf.idf})\\式(\ref{equ:tfidf})により，tf.idfを基に$w_{i}$を計算する．ただし，この場合の$tf_{i}$はテキスト内の単語$i$の出現頻度，$df_{i}$は単語$i$の出現するテキストの数，$N$は全テキスト数である．\item検索要求を考慮する場合({\bfq-tf.idf})\\検索要求内の単語(検索語)には重み$\alpha$をかける\footnote{いくつかのテキストにおいて$\alpha$を2,3,4,5と変化させた予備的な実験で，重みをかけない場合との要約の違いが最も大きかった$3$を今回の$\alpha$の値とした．}．\begin{equation}\label{qb_tfidf}w_{i}=\left\{\begin{array}{rl}tf_{i}\timeslog\frac{N}{df_{i}}&\quad\mbox{検索語でない}\\\alpha\timestf_{i}\timeslog\frac{N}{df_{i}}&\quad\mbox{検索語}\\\end{array}\right.\end{equation}検索要求を考慮した，従来の要約作成手法の多くは，この手法に基づいている\cite{tombros:98:b,shiomi:98:a,hasui:98:a}．\end{enumerate}\itemテキスト中の語彙的連鎖の重要度に基づく要約({\bfcf.idf,q-cf.idf})\\この手法では，重要な語彙的連鎖を構成する単語を多く含む文が重要であると考え，文の重要度を決定する．まず，語彙的連鎖を\ref{subsec:lexcal}節と同様に計算する．次に，要約の作成は，単語の重要度に基づく場合と同様に，まず各連鎖の重要度$w_{i}$を計算し，次に式(\ref{scalc})により各文中の連鎖の重要度の総和を計算し，重要度$S_{j}$の高い文を抽出する．なお，$w_{i}$を計算する際に，検索要求を考慮するかどうかの違いにより次の2種類の要約が作成できる．\begin{enumerate}\item検索要求を考慮しない場合({\bfcf.idf})\\$w_{i}$を，連鎖$i$の構成単語数($cf$)と連鎖$i$の出現テキスト数($df_{i}$)により計算する．\begin{equation}\label{wchain_tfidf}\displaystyle{w_{i}=\midi\mid\timeslog\frac{N}{df_{i}}}\end{equation}ここで，$\midi\mid$は連鎖$i$の構成単語数，$df_{i}$は連鎖$i$の出現テキスト数，$N$は全テキスト数である．これまでの語彙的連鎖を用いた要約作成手法の多くは，このような，連鎖を用いた重要文抽出と言うことができる\cite{Barzilay:97,sanfilippo:98:a}．\item検索要求を考慮する場合({\bfq-cf.idf})\\検索語を含む連鎖には重み$\alpha$をかける\footnote{{\bfq-tf.idf}の場合と同様に$\alpha=3$とした．}．\begin{equation}\label{qb_cfidf}w_{i}=\left\{\begin{array}{rl}\midi\mid\timeslog\frac{N}{df_{i}}&\quad\mbox{検索語でない}\\\alpha\times\midi\mid\timeslog\frac{N}{df_{i}}&\quad\mbox{検索語}\\\end{array}\right.\end{equation}\end{enumerate}\item語彙的連鎖型パッセージに基づく要約({\bflex})\\\ref{sec:sumpas}節で説明した，我々の手法によって要約を作成する．\item市販ワープロソフトによる要約({\bfJ})\\本試験に先立ち，市販の代表的な要約機能付きワープロ3種によって作成した要約を用い，被験者9人による予備実験を行なった．結果として総合的に最も精度の高かったJの要約を本試験に使用する．\end{itemize}\subsection{実験方法}実験には『情報検索テストコレクションBMIR-J2』\cite{BMIR-J2:98j}を使用する．BMIR-J2は，テキスト5080件(毎日新聞1994年版の経済および工学，工業技術一般に関連する記事)，検索要求50種とその正解がセットとなった情報検索用テストコレクションである．今回は全セットの中から，主題を表わすA判定の正解テキストが10テキスト以上ある10種類の検索要求と，各検索要求ごとに20テキストを選択して使用する．この20テキストは，まず検索システムを用いて，各検索要求によるキーワード検索を行ない，検索結果として得られたテキストの中から正解テキストの割合が50\%以上になるように選択する．被験者は，日本語を母国語とする情報科学系の大学院生30名とする．各被験者には，検索要求とその要求に対応する20テキストのリストおよび各テキストの要約を提示する．被験者は，各テキストが検索要求に適合するかどうかを判定し，20テキストの判定にかかった時間を記録する．また，要約を読んでも適合性の判定がつかない場合に限り，そのテキストの全文を参照することが許される．ただし，全文を参照した場合には，その参照回数を検索要求ごとに記録する．また，提示された各要約について，要約としてではなく，日本語の文章としての読み易さを主観で判定してもらう．読み易さの判定は，1．わかりやすい，2．ややわかりやすい，3．ややわかりにくい，4．わかりにくい，の4段階とする\footnote{判定を奇数にすると真中が選択される傾向が予想されるため，この4段階とした．}．1人の被験者は同じ検索要求とテキストの組を1度しか判定できないため，30名を3名づつの10グループに分け，各グループが異なる要約作成手法と検索要求の組を10組づつ評価するという形を採用する．そのため，1組の検索要求と要約作成手法に対し3名が評価を行なう．\subsection{評価基準}以下の点について評価を行なう．\begin{itemize}\item適合性判定の精度\\被験者の適合性判定と，テストコレクションの正解を比較し，適合性判定の精度を計算する．評価尺度には再現率，適合率，F-measureを使用する．\begin{equation}再現率=\displaystyle{\frac{被験者が正しく適合と判定した数}{実際に適合するテキスト数}}\end{equation}\begin{equation}適合率=\displaystyle{\frac{被験者が正しく適合と判定した数}{{\small被験者が適合と判定したテキストの総数}}}\end{equation}\begin{equation}F-measure=\displaystyle{\frac{2\times再現率\times適合率}{再現率+適合率}}\end{equation}\itemタスクにかかった時間\\被験者が1つの検索要求についてタスクにかかった時間を記録し，平均時間を計算する．\item全文を参照した回数\\要約によって判定がつかない場合に参照した全文の回数を記録する．\item要約の文章としての読み易さ\\検索要求との関係などを一切考慮せず，要約の文章としての読み易さを4段階で評価する．\end{itemize}
\section{結果と考察}
label{sec:kekkakousatsu}\subsection{実験結果}今回の実験では言語的，教育的背景の似ている被験者を30名選択している．これは，被験者の知識や背景の違いに起因する検索要求の解釈や判定の違いをできるだけ排除するためである．つまり，被験者のタスク達成精度にはあまり差がないことを仮定している．しかし，30名の実験結果から計算されたタスクの達成精度について，F-measureを用いて一元配置分散分析を行なったところ差がみられた($p<0.0039$)．そのため，F-measureを基準にし，図\ref{fig:FM}の丸で囲んだ，差の少ない21名($p<0.9995$)によって以後の評価を行なうこととした．\begin{figure}[htbp]\begin{center}\atari(106,64)\caption{被験者のF-measureの分布}\label{fig:FM}\end{center}\end{figure}21名での実験結果を表\ref{tab:er}に示す．\begin{table*}[htbp]\begin{center}{\small\begin{tabular}{|c|c|c|c|c|c|c|c|c|c|c|}\hline&full&title&lead&f-seg&tf.idf&{\smallq-tf.idf}&cf.idf&{\smallq-cf.idf}&lex&J\\\hline再現率&87.1\%&86.7&85.9&87.2&86.3&89.6&87.0&85.3&90.5&86.5\\適合率&89.0\%&89.1&88.9&88.8&89.7&85.3&85.3&87.0&88.5&91.3\\{\smallF-measure}&87.2\%&87.0&86.6&87.1&87.2&86.6&84.9&84.9&89.1&87.6\\{\small読み易さ}&4.1&1.8&4.6&3.7&3.8&4.0&4.3&3.9&4.1&5.5\\{\small時間(分:秒)}&15:38&7:54&9:47&10:55&10:37&9:54&10:54&10:29&10:41&10:52\\時間比&100\%&50.5&62.6&69.8&67.9&63.3&69.7&67.1&68.3&69.5\\%\hline{\small参照回数}&0.6&4.8&3.8&2.8&2.6&1.7&2.0&1.5&1.9&2.0\\%\hline{\small平均文間数}&0.0&0.0&0.0&0.0&3.6&3.5&3.8&3.6&0.0&1.4\\%\hline{\small要約率(語)}&100.0\%&5.3&19.1&21.7&32.1&31.5&30.5&30.2&23.6&27.7\\\hline\end{tabular}}\caption{実験結果}\label{tab:er}\end{center}\end{table*}表\ref{tab:er}には，検索要求(20テキスト)ごとの結果の平均が示されている\footnote{表中のF-measureの値も検索要求ごとのF-measureの平均である．}．表中の「読み易さ」は，被験者が4段階で判定した読み易さを数値化した値である．この数値は，各テキストについて被験者が「わかりやすい」と判定した場合に10点，「ややわかりやすい」と判定した場合に5点，「ややわかりにくい」，「わかりにくい」の場合それぞれ，-5点，-10点に換算して足し合わせた値の平均である\footnote{今回の実験で，「短すぎると何が言いたいのか分からない」という被験者の意見が多く見られた．これは被験者が，設問にある「要約の文章としての読み易さ」から少しずれて「適合性判定がしやすいかどうか」で判断してしまう傾向があることを示している．}．また，「時間比」は各要約での作業に要した時間を全文で要した時間で割った値である．また，「平均文間数」として，要約内の隣接2文間の，元テキスト(全文)での距離(文間数)の平均を合わせて示した．この平均文間数が0に近いものほど，作成された要約の連続性が高いことを意味している．さらに，今回の要約の長さは文を単位として元テキストの20\%としているが，語を単位として各手法の要約の長さを計算したものを「要約率(語)」として示している．被験者の判定の統計的信頼性について，Jingら\cite{Jing:98}と同様に，帰無仮説を「あるテキストが検索要求に適合すると被験者の判定する数はランダムである」としたCochranのQ-test\cite{statistical:81}を行なった．その結果，全10種の検索要求のいずれの場合も$p<10^{-5}$であり，帰無仮説は棄却された．つまり，今回の実験で被験者達は適合するテキストをランダムに選択しているのではないとの検定結果を得た．\subsection{考察}\label{sec:kousatsu}上記の実験結果について，まず，10種類の要約作成手法全体での考察を，適合性判定の精度，タスク達成にかかる時間，要約の文章としての読み易さに焦点をあてて行なう．次に，各手法を作成された要約の類似性に基づいて分類し，各分類に対する考察を同様の観点から行なう．\subsubsection{全要約作成手法間の比較}全要約作成手法をF-measureによって比較すると，我々の語彙的連鎖型パッセージに基づく要約({\bflex})が最も良く，{\bfJ}とともに全文({\bffull})での精度を上回っている．他のものは{\bffull}と同じかやや低い値となっている．ただし，今回の10種の要約作成手法でのF-measureについて，一元配置分散分析を行なった結果，全体としてF-measureの平均値に統計的な有意差は見られなかった($p<0.9725$)．これは，今回の実験において適合性の判定に迷う場合に全文の参照を許したことが一因となっていると思われるが，全文参照の影響を推測できないため，特に補正は行なっていない．作業時間に関しては，{\bffull}が最も長くかかっており，どの要約作成手法によっても時間短縮の効果はあると言える．要約手法間では，{\bftitle}が一番短かく，20テキストあたりの作業時間では他の手法との間に大きな差が見られた．他の手法間では互いにそれほど差がなかった．適合性判定の精度と作業時間をあわせて考えると，{\bftitle}が，精度面では最も高かった{\bflex}よりもやや劣るものの，作業時間ではかなり短く，総合的には，{\bftitle}を表示し，わかりにくいものについては全文を参照する方法が効率的であると見ることができる．しかし，実際に検索対象となるテキストには必ずしも見出しが付いているわけではなく，いつも{\bftitle}手法が利用できるとは限らない．一方，見出しのないテキストにも利用できる自動的な要約手法の中では，総合的に{\bflex}が一番良い数値を示していると言える．読み易さについては，{\bfJ},{\bflead},{\bfcf.idf}が{\bffull}よりも高く，{\bflex}は{\bffull}と同じであり，それ以外は{\bffull}よりも低い．また今回の実験では{\bftitle}が一番低い値であった．読み易さについては，後述するように要約を元テキストの先頭から選ぶ傾向のある手法({\bflead}，{\bflex}，{\bfJ})の値が高いと言える．\subsubsection{要約の類似性に基づく比較}\label{subsec:sumsim}次に，作成された要約の類似性に基づいて各手法を分類し，結果を考察する．類似度は次のように計算する．まず要約作成手法ごとに，要素を元テキスト(全文)の各文とし，値をその文が重要文として選択されれば1，されなければ0としたベクトルを用意する．次に2つのベクトル間のコサイン距離を計算し，各要約作成手法間の類似度とする．最後に，最短距離法と平均距離法の2種類のクラスタ間距離によって，要約作成手法の階層型クラスタリングを行なう．結果として，どちらの距離においても図\ref{fig:sim}のように{\bfJ}と{\bflead}と{\bflex}のグループ({\bfグループ1})，{\bftf.idf}，{\bfcf.idf}，{\bfq-tf.idf},{\bfq-cf.idf}のグループ({\bfグループ2})，{\bff-seg}だけのグループ({\bfグループ3})の3つのグループに分類された．図\ref{fig:sim}で上段の数字が最短距離法，下段が平均距離法での類似度を示している．なお，{\bffull}と{\bftitle}は他の手法との比較に意味がないため除外している．\begin{figure}[htbp]\begin{center}\atari(110,78)\caption{要約間の類似度}\label{fig:sim}\end{center}\end{figure}{\bfグループ1}に分類された3つの手法によって作成される要約は，連続性が高い点で共通している．この内，{\bflead}と{\bflex}は完全に連続である．また，{\bfJ}の要約作成手法は不明だが，{\bflex}と{\bfJ}の類似度は0.47であり，それほど高くないため，{\bflex}と{\bfJ}が元テキストの先頭部分をある程度含むことと，{\bfJ}が先頭部分と離れた文もある程度の割合で含むことがわかる．{\bfグループ2}に分類された4つの要約作成手法は，どれも文中の語や語彙的連鎖に重みをかけて，重要度の高い文を抜き出す手法であり，作成される要約の連続性が低い点で共通している．また，どの手法間の類似度も非常に高く，このグループでは，検索要求の考慮や，重み付けの単位が語か語彙的連鎖かという違いが，作成される要約にそれほど大きく影響していない．{\bfグループ3}は{\bff-seg}だけのグループである．{\bff-seg}では，{\bfグループ1}と同様に連続性の高い要約が作成されるが，選択される文の元テキストでの位置が大きく異なっている．F-measureによって適合性判定の精度を比較すると，最も良かった{\bflex}と{\bfJ}が同じ{\bfグループ1}に分類されている．少なくとも今回の実験では先頭部分をある程度含み，連続性の高い要約が，適合性の判断において良い精度を収めている．しかし，{\bflead}はそれほど精度が良くないため，単純に先頭から抜き出す要約はそれほど有効でなかったと言える．読み易さに関しても{\bfグループ1}が比較的高い評価を得ている．また，今回の要約作成手法には{\bflex}のように検索要求を考慮するものと，しないものという違いがあった．それぞれのグループについて見ると，{\bfグループ2}の連続性の低い要約の場合には，検索要求を考慮することで判定はしやすくなるが，精度は必ずしも向上していない．一方，連続性のある要約の場合には，検索要求を考慮する{\bfグループ1}の{\bflex}および，{\bfグループ3}の{\bff-seg}のどちらの場合にも，検索要求を考慮しない{\bflead}よりも精度が向上した．
\section{おわりに}
label{sec:conc}本稿では，我々が以前に提案した語彙的連鎖に基づくパッセージ抽出手法が，検索要求を考慮した要約作成に利用できることを示し，情報検索タスクに基づいた要約の評価方法によって，他の要約作成手法との比較を行なった．今回の実験結果では，被験者に全文の参照を許したこともあり，適合性判定の精度に統計的有意差が得られなかったため確定的な結論は導けないが，実験結果の数値は本手法が情報検索タスクにおいて，有効な要約作成手法であることを支持するものであった．作業時間に関しては，特に優位性を示す実験数値は得られなかった．読み易さに関しては，全文の場合と同等の評価を得た．今回の評価実験の経験から，要約の評価実験を実施する上で考慮すべき点として次のことがあげられる．\begin{itemize}\item全文参照の影響\\要約作成手法間の精度比較で全体的な統計的有意性が得られなかった原因として，全文参照を許したことが考えられる．全文参照が精度に影響する度合がはっきりせず，影響の度合を推測することも困難であるため，実験での全文参照は許さない方が良い．また，参照によってタスクの達成時間も変化すると思われるが，やはり影響の度合がはっきりしない．この点からも参照は許さない方が良い．しかし，要約だけでは判定のつかない場合も確かに存在するため，そのような場合に，どうすべきかも考慮しておく必要がある．\item読み易さの判定\\要約作成手法間のタスク達成時間の比較で，ほとんど差が出なかった主な原因として，読み易さの判定を同時に行なったことが考えられる．読み易さの判定は，適合性判定に比べてかなり多くの時間を要するため，適合性判定の際についた各手法間の時間差がはっきりしなくなったようである．そのため全く別の実験とした方が良い．\item検索要求とテキストの選択\\要約作成手法間の比較評価には向かない検索要求とテキストの組み合わせとして，次のような関係が考えられる．\begin{enumerate}\item検索要求に関係する単語が比較的均等に散らばっているテキストと要求の組.\\この場合には，テキスト中のどの部分を要約として取り出しても，検索要求との適合性判定がしやすい要約が作成される可能性がある．\item単語の分布が均等でなくても，検索語の出現頻度が高いテキストと要求の組.\\この場合には，検索要求を考慮した要約作成手法と，しない手法のそれぞれによって作成される要約の差がつきにくくなる可能性がある．\end{enumerate}要約作成手法間の相違をよりはっきりさせるためには，少なくとも，以上の点を考慮して検索要求とテキストを選択する必要がある．しかし，最適な検索要求とテキストを選択するための基準は現在のところ明らかでない．また，検索要求とテキストを組にして考える必要があり，難しい問題であるため，今後の課題である．\end{itemize}\vspace{5mm}\acknowledgment本研究では，(社)情報処理学会・データベースシステム研究会が，新情報処理開発機構との共同作業により構築したBMIR-J2を利用させていただきました．感謝致します．共起計算では日立製作所中央研究所の西岡真吾研究員の開発されたプログラムを使用させていただきました．感謝致します．また，本論文に対し，有意義なコメントを戴いた査読者の方に感謝致します．\bibliographystyle{jnlpbbl}\bibliography{jpaper}\begin{biography}\biotitle{略歴}\bioauthor{望月源(正会員)}{1970年生．1993年金沢大学経済学部経済学科卒業．1999年北陸先端科学技術大学院大学情報科学研究科博士後期課程修了．同年4月より，北陸先端科学技術大学院大学情報科学研究科助手．博士(情報科学)．自然言語処理，知的情報検索システムの研究に従事．情報処理学会会員}\bioauthor{奥村学(正会員)}{1962年生．1984年東京工業大学工学部情報工学科卒業．1989年同大学院博士課程修了．同年，東京工業大学工学部情報工学科助手．1992年北陸先端科学技術大学院大学情報科学研究科助教授，2000年東京工業大学精密工学研究所助教授，現在に至る．工学博士．自然言語処理，知的情報提示技術，語学学習支援，テキストマイニングに関する研究に従事．情報処理学会，人工知能学会,AAAI，言語処理学会，ACL,認知科学会，計量国語学会各会員．\\oku@pi.titech.ac.jp,http://www.jaist.ac.jp/\~\,oku/okumura-j.html.}\bioreceived{受付}\biorevised{再受付}\bioaccepted{採録}\end{biography}\newpage\verb++\end{document}