\section{はじめに}
label{sec:intro}計算機上の文書データが増大するにつれ，膨大なデータの中からユーザの求める文書を効率よく索き出す文書検索の重要性が高まっている．文書検索では，ユーザが情報要求を検索要求として表現する．検索システムは，検索要求の内容と各文書の内容との類似度を計算し，値の高い順に文書を並べて表示する．この類似度は，一般に検索要求内のタームとマッチするタームの文書中の重要度を基に計算される．各タームの重要度は，「ある文書に多く出現し，文書集合全体ではあまり出現しないタームほど，その文書中で重要なタームである」という仮定に基づき，文書中の各タームの出現頻度($tf$)および，そのタームの文書集合全体での出現文書頻度の逆数($idf$)に基づいて計算する場合が多い\cite{salton:88b}．伝統的な検索手法では，文書全体を1つのまとまりとして考え，文書中の各タームの重要度を文書全体における重要度として計算する．しかし，実際の文書，特に長い文書は様々な話題を含むため，文書中の各部分によって話題が異なる場合も多く見られる．話題の違いは，その話題が述べられている部分に出現するタームの違いとして現われる．例えば，あるタームが文書中の一部分では頻出し，他の部分ではほとんど出現しないという状況もある．このような文書に対しては，文書全体を分割できない1つの単位とするのでは，各タームの重要度を計算するには充分ではなく，各話題を表わす部分を別々に扱って各タームの重要度を計算することが必要になる．こうした点から，最近の研究では，パッセージを用いた検索が注目されている\cite{Salton:93,Callan:94,Hearst:93,Knaus:94,Moffat:94,Kaszkiel:97,Melucci:98}．パッセージ検索は，文書全体を1つの単位とした検索とは異なり，パッセージという単位を使用して，検索要求と文書の類似度計算を行なう．各タームの重要度は，パッセージにおける重要度として計算する．そのため，パッセージ検索と文書全体での検索では，同じ検索要求と文書に対し，異なる単位によって類似度を計算することになり，統合的に用いることが可能である．パッセージ検索では，どのようにパッセージを決定するかという新たな問題が発生する．良いパッセージが決定できれば検索の精度も向上すると考えられるので，これは重要な問題である．パッセージとは一般的には文書中で連続した一部分のことを言うが，パッセージ検索においては，単に連続した一部分というだけでは充分ではなく，文書中で検索要求の内容と強く関連する内容を持つ意味的なまとまりを形成する必要がある．また，ユーザによって求める情報が異なり，その要求は検索要求によって反映されるという文書検索の性質から，文書検索におけるパッセージは，検索要求が入力された時点で検索要求に応じて動的に計算される方が望ましい．さらに，検索要求に関連する部分が全ての文書で一定のサイズであるということは考え難いことから，パッセージのサイズが検索要求や文書に応じて柔軟に設定されることも良いパッセージの決定につながると考えられる．本研究では検索要求が入力された時点で検索要求と各文書に応じて意味的なまとまりを持つパッセージを動的に決定する手法を示す．意味的なまとまりは，語彙的連鎖\cite{Morris:91}の情報を使用して獲得する．語彙的連鎖(lexicalchain)とは，語彙的結束性(lexicalcohesion)\cite{Halliday:76}と呼ばれる意味的な関連を持つ単語の連続のことをいう．語彙的連鎖は文書中に複数存在し，1つの連鎖の範囲内では，その連鎖の概念に関連する話題が述べられている\cite{okumura:94a,Barzilay:97}．そのため，文書内で検索要求と関連する話題が述べられている部分を語彙的連鎖の情報を使用して計算できるので，意味的にまとまったパッセージを得ることができる．本研究では，語彙的連鎖を使用することで検索要求に応じた良いパッセージが抽出でき，そのパッセージを使用することで検索精度が向上することを示す．また，上記の主張の有効性を調べるため，いくつかの実験を行う．以下，\ref{sec:passage}節ではパッセージ検索研究の概要について述べ，\ref{sec:lexchain}節では語彙的連鎖の計算方法について述べる．\ref{sec:ourpassage}節では本研究で提案する語彙的連鎖に基づくパッセージ検索手法について述べる．\ref{sec:experiment}節では実験に関して述べ，結果の考察をする．
\section{パッセージレベルの文書検索}
label{sec:passage}パッセージ検索では，検索要求と各文書との類似度を，文書中の各パッセージとの類似度によって計算\cite{Mittendorf:94,Hearst:93,Melucci:98}したり，文書全体での類似度とパッセージでの類似度を組み合わせて計算\cite{Callan:94,Salton:93,Wilkinson:94,Allan:95}したりする．パッセージの単位には大きく分けて，文書の章，節や形式段落のような形式的な情報に基づくもの\cite{Salton:93,Salton:94b,Moffat:94,Wilkinson:94,Mittendorf:94,Knaus:94}，固定長や可変長のウィンドウに基づくもの\cite{Callan:94,Kaszkiel:97,Melucci:98}，形式によらない意味的なまとまりに基づくもの\cite{Hearst:93}の3種類がある．文書中の形式段落や章，節という形式的な情報によるパッセージ抽出は，パッセージを著者が決定した構造に従って取り出す手法である．このタイプのパッセージは，検索に先立ってインデキシング時に決定できるため処理が容易であるという利点がある．しかし，現実の文書では同一の話題が複数の段落や章，節などにまたがる場合もある．また，日本語においては，形式的な切れ目と内容の切れ目が一致しない場合がある\cite{tokoro}．このような場合，形式的な情報をパッセージの単位とすると検索精度に悪影響を与える可能性がある．また，このタイプのパッセージは，検索要求に関係なくパッセージの単位を決定する．そのため，検索の精度を向上させる条件として，決定されたパッセージがどのような検索要求に対しても適切な類似度を計算できるパッセージである必要がある．しかし，実際にこのようなパッセージを決定することは困難であり，この点が問題点として指摘されている\cite{Callan:94,Melucci:98}．固定長や可変長ウィンドウによるパッセージは，検索要求が入力された時点でウィンドウをスライドさせながら各文書を走査し，検索要求との類似度が高いウィンドウを関連の高いパッセージとして決定する．このタイプのパッセージ検索は，検索要求に応じて関連するパッセージを決定できるという利点がある一方で，有意なウィンドウサイズを決定しなければならないという問題が生じる．ウィンドウサイズには，固定長\cite{Callan:94,Kaszkiel:97}，一定の範囲で変化させる可変長\cite{Kaszkiel:97,Melucci:98}があるが，実際には効果的な検索を実現するために，データベース中の文書の長さや種類によってウィンドウの長さを調整する方法がよくとられている．また，走査において，ウィンドウをスライドさせる幅も問題になる．スライド幅を小さくすると細かな走査が可能になるが，検索にかかるコストが高くなり実用的でなくなる．一方，幅を大きくすると検索コストは軽減されるが，ウィンドウ境界にまたがる部分の影響により検索精度が悪くなる可能性がある．Callanはこの問題に対処するために，入力された検索要求と最初に一致した場所からウィンドウによる走査を開始し，以降のウィンドウは前のウィンドウの中間点から開始するという手法を提案している\cite{Callan:94}．しかし，有意なウィンドウサイズを決定しなけれはならないという問題は依然として残っている．またこのタイプのパッセージは，文書の意味的な要素を反映していないという問題がある．形式によらない意味的なまとまりに基づくパッセージ抽出は，文書の内容に基づいているため最も望ましい方法である．このタイプのパッセージ抽出には，あらかじめ文書を談話セグメント(意味段落)に分割することでインデキシング時にパッセージを決定する方法と，検索要求が入力された時点で検索要求と関連の強い意味的なまとまりとしてパッセージを取り出す方法の2つが考えられる．HearstとPlauntは，前者の方法として，文書をあらかじめ固定長のブロックに区切り，文書中に出現する語の結束性を計算し，結束性を持つ語がブロック間にまたがっている割合の多いブロックどうしをまとめ，談話セグメント，すなわちパッセージを形成する\cite{Hearst:93}．しかし，形式的な情報を用いる場合と同様に，検索要求に関係なくパッセージが決定されるため，どのような検索要求にも適切なパッセージを仮定しているという問題がある．また，文書の談話セグメントへの分割は多くの研究者によって行われているが\cite{Kozima:93,Hearst:94,Litman:95,Mochizuki:98}，現在のところ充分な精度での談話セグメントへの分割は達成されていない．しかし，厳密に談話セグメントを計算する代わりに，比較的浅い処理を用いて文書中の意味的にまとまった部分を取り出すことは可能である．例えば，語彙的連鎖\cite{Morris:91}を計算すると，文書中の語彙ごとに意味的にまとまった部分を計算できる．この語彙的連鎖の情報を使用することで，意味的なまとまりに基づくパッセージ抽出の後者の方法が実現できる．すなわち，検索要求が入力された時点で検索要求と一致する語彙に関する語彙的連鎖が出現する部分をまとめることで検索要求と関連するパッセージが取り出せる．次節では，我々がパッセージの決定に使用する語彙的連鎖の計算方法について説明する．
\section{語彙的連鎖の計算}
label{sec:lexchain}語彙的連鎖とは文書中で互いに意味的な関係を持つ語の連続のことである．例えば，\vspace*{1em}膨張を続ける宇宙の中で数多くの星が誕生，消滅を繰り返しました．そして宇宙の誕生から約100億年後，他の星と同じ様にして，原始太陽を中心にして原始太陽系星雲と呼ばれるガスの円盤を作りました．\vspace*{1em}\noindentという文章中には，意味的に関連のある語の集まり\{星，星，星雲\}が共起する．このような語の集まりを語彙的連鎖と呼ぶ．一般に語彙的連鎖は文書中に複数存在し，1つの連鎖が出現している範囲では，その連鎖を構成する語に関する話題が述べられていると考えることができる．語彙的連鎖形成の基準としては，表層形式が一致するタームの連続(同一タームの反復)，シソーラス上の同一概念に属するタームの連続，共起しやすいタームの連続などが考えられる．以降では本研究で使用する語彙的連鎖の計算手法について説明する．なお，本研究では，文書中の各文を形態素解析し\cite{Chasen:97j}，名詞，動詞，形容詞をタームとして取り出す．語彙的連鎖は，この名詞，動詞，形容詞についてのみ計算する．\subsection{同一タームの反復に基づく語彙的連鎖}\label{ssec:repetition}同一タームの反復に基づく語彙的連鎖は，最も単純な手法である．表層形式の同じタームは互いに意味的に関連のあるタームと考え連鎖を構成する．\subsection{シソーラス上の同一概念に基づく語彙的連鎖}\label{ssec:thesaurus}シソーラス上の同一概念に属するタームを互いに意味的に関連のあるタームと考え，連鎖を構成する．シソーラスを使用する場合，1つのタームが複数の概念に含まれる場合には，語義曖昧性の問題が発生する．そのため，語義曖昧性を解消しつつ語彙的連鎖を生成する手法\cite{okumura:94a}により語彙的連鎖を生成する．語彙的連鎖生成の手法を要約すると次のようになる．語彙的連鎖を漸進的に生成する過程で，語彙的連鎖の候補を最近更新されたものが上位に来るようにスタック状に管理し，スタックの上位にある語彙的連鎖の候補から順に，現在解析中の語との結束性を調べる．このスタック構造により，解析中の語の近傍の文脈を得ることができるので，語義曖昧性解消をしつつ，語彙的連鎖を生成することが可能となる．本研究では，シソーラスに角川類語新辞典\cite{kadokawa}を使用する．角川類語新辞典では，概念体系を大分類，中分類，小分類の3階層に分類しているが，小分類を使用する\footnote{小分類は$1000$分類あるが，語彙的連鎖形成の基準として考慮しない方が良いと考えられる\{508：接尾辞，509：接辞，828：単位，829：助数詞および834：接辞\}の5つの分類を除く．}．\subsection{語の共起関係に基づく語彙的連鎖}\label{ssec:cooccurrence}このタイプの語彙的連鎖は，既存のシソーラスを使用しない．文書コーパスの共起情報からターム間の共起の強さである共起スコアを計算する．このスコアを用いてタームのクラスタを構成する．1つのクラスタ内のタームの連続が1つの語彙的連鎖となる．本研究では，ターム$X$と$Y$の共起スコアを式(\ref{equ:cosdis})のコサイン距離によって計算する．\begin{equation}\label{equ:cosdis}coscr(X,Y)=\frac{\sum_{i=1}^{n}x_{i}\timesy_{i}}{\sqrt{\sum_{i=1}^{n}x_{i}^{2}}\times\sqrt{\sum_{i=1}^{n}y_{i}^{2}}}\end{equation}\noindentここで，$x_{i}$と$y_{i}$はそれぞれ文書$i$にターム$X$と$Y$の出現する数($tf$)を表わし，$n$はコーパスの全文書数を表わす．また，クラスタリングにおけるクラスタ間の類似尺度には式(\ref{equ:min})の最短距離法を用いる．\begin{equation}\label{equ:min}sim(C_i,C_j)=\max_{X,Y}coscr(X\inC_i,Y\inC_j)\end{equation}\noindentここで$X,Y$はそれぞれクラスタ$C_i$内，$C_j$内のタームである．この共起スコアを使用した文書ごとの語彙的連鎖の計算は，次のように行なう．文書の先頭から順に1文を取り出し，1文内のタームの共起スコアを計算する(式(\ref{equ:cosdis}))．1ターム1クラスタから開始し，クラスタ間の類似度をタームの共起スコアを基に式(\ref{equ:min})により計算する．類似度が高い順に，閾値以上の類似度を持つクラスタをマージすることで，クラスタリングを行なう．1文内での処理が終了した後に，その時点までに作成された文書全体でのクラスタと今計算した1文内でのクラスタによる2段階目のクラスタリングを1文内の場合と同様に行なう．これを文書内の文がなくなるまで繰り返す．共起関係に基づく語彙的連鎖生成アルゴリズムは次のようになる．\begin{tabbing}{\bfステップ1．}\\\quad\={\bfif}(文書から取り出す文がない)\\\>\quad\=終了\\\>{\bfelse}\\\>\quad\=文書から1文を取り出し，{\bfステップ2}へ\\{\bfステップ2．}1文内のタームのクラスタリング\\\quad\={\bfステップ2-1.}\\\>\quad\=1文内のすべてのタームペア間の共起スコアをコサイン距離(式(\ref{equ:cosdis}))\\\>\>により計算する\\\quad\={\bfステップ2-2.}\\\>\quad\=1ターム1クラスタとしてクラスタを形成する\\\quad\={\bfステップ2-3.}\\\>\quad\={\bfif}(クラスタが1つである)\\\>\>\quad\={\bfステップ3}へ\\\>\>{\bfelse}\\\>\>\quad\=すべてのクラスタペア間の類似度を最短距離法(式(\ref{equ:min}))により計算する\\\quad\={\bfステップ2-4.}\\\>\quad\={\bfif}(類似度の最も高いクラスタペアの類似度が閾値以上である)\\\>\>\quad\=クラスタペアをマージし，{\bfステップ2-3}へ\\\>\>{\bfelse}\\\>\>\quad\={\bfステップ3}へ\\{\bfステップ3．}文書全体のタームのクラスタリング\\\quad\={\bfステップ3-1.}\\\>\quad\={\bfif}(文書全体のクラスタが存在しない)\\\>\>\quad\={\bfステップ2}で計算したクラスタを文書全体のクラスタとする\\\>\quad\={\bfelse}\\\>\>\quad\={\bfステップ2}で計算した1文内の各クラスタ内の各タームと，\\\>\>\>文書全体の各クラスタ内の\\\>\>\>タームとの共起スコアをコサイン距離(式\ref{equ:cosdis}))により計算する\\\quad\={\bfステップ3-2.}\\\>\quad\={\bfif}(マージするクラスタがない)\\\>\>\quad\={\bfステップ1}へ\\\>\quad\={\bfelse}\\\>\>\quad\=1文内のクラスタと文書全体のクラスタの\\\>\>\>全ペア間の類似度を最短距離法(式(\ref{equ:min}))により計算する\\\quad\={\bfステップ3-3.}\\\>\quad\={\bfif}(類似度の最も高いクラスタペアの類似度が閾値以上である)\\\>\>\quad\=クラスタペアをマージし，{\bfステップ3-2}へ\\\>\>{\bfelse}\\\>\>\quad\={\bfステップ1}へ\\\end{tabbing}\subsection{有意な連鎖の選択}\label{ssec:lexselect}計算された語彙的連鎖の中には重要と考え難いものも含まれる．例えば，図\ref{fig:leximg}の語彙的連鎖を考える．図\ref{fig:leximg}では，連鎖A,B,C,D,Eの5種類の連鎖が計算されているが，連鎖CとEは連鎖を形成するタームが極端に少ないうえに，出現する位置が互いに非常に離れている．このような連鎖は重要ではなく有意な連鎖と認めない方が良いと思われる．一方，連鎖A,BおよびDは形成するタームの数が全体的に多く，文書のある部分で高密度で出現していることがわかる．また，連鎖Bでは，14語目から23語目までの間および，28語目から36語目の間というタームの出現しない部分が存在する．これを我々は語彙的連鎖のギャップと呼ぶ．このようなギャップが存在する場合，同一の連鎖であっても，ギャップの区間ではその連鎖に関連する話題が述べられていないと考えられるため，ギャップで一旦連鎖を切り離して別の連鎖として計算した方が良い．\begin{figure}[htbp]\begin{center}\epsfile{file=chain_img.eps,scale=0.65}\caption{語彙的連鎖の例}\label{fig:leximg}\end{center}\end{figure}そこで，有意な連鎖を選択するために，連鎖およびギャップの長さを考慮した以下の制約を設ける．\begin{itemize}\itemギャップ長の閾値を設定し，連鎖を構成するタームが閾値以上の間出現しない場合は，連鎖を切り別々の連鎖とする．\item連鎖長の閾値を設定し，連鎖の覆う範囲が閾値以上の長さをもつ連鎖だけを有意な連鎖とする．\end{itemize}図\ref{fig:leximg}の連鎖Bを例にとると，図\ref{fig:decidechn}のように，ギャップ長閾値において連鎖Bは部分連鎖B1，B2，B3に分割される．次にそれぞれの部分連鎖に対して連鎖長の閾値の制約を適用することで，部分連鎖B2，B3は連鎖と認められなくなる．結果として元の連鎖Bの中で，部分連鎖B1だけが有意な連鎖として残される(図\ref{fig:decidechn})．図\ref{fig:leximg}の連鎖CおよびEも同様の閾値によって有意な連鎖と認められなくなる．\begin{figure}[htbp]\begin{center}\epsfile{file=decide_chain.eps,scale=0.75}\caption{有意な語彙的連鎖の例}\label{fig:decidechn}\end{center}\end{figure}
\section{語彙的連鎖に基づくパッセージ検索}
label{sec:ourpassage}前節で説明した語彙的連鎖を使用した我々のパッセージ検索手法について述べる．我々のパッセージ検索手法は基本的に次のような手法に基づく．まず，入力された検索要求内の各タームと関連する語彙的連鎖の文書内での出現位置と，その連鎖の重要度を文書ごとに取り出す．次に，各文書ごとに出現位置の重複する語彙的連鎖をまとめ，1つのパッセージとする．各パッセージ内の語彙的連鎖の重要度を足し合わせることにより検索要求と各パッセージの類似度を計算する．以下では語彙的連鎖の重要度の計算方法，連鎖のインデキシングおよび検索要求と関連の強いパッセージの抽出手法について順に説明する．\subsection{語彙的連鎖の重要度}\label{ssec:lexweighting}各連鎖の重要度は，ある文書に多く出現し，文書集合全体ではあまり出現しないタームほどその文書内で重要なタームであるという$tf*idf$の考えに基づいて決定する．すなわち，ある文書内で多くのタームから構成される連鎖で，文書集合全体ではあまり出現しない連鎖ほどその文書内で重要な連鎖であると考え，文書$d$内の語彙的連鎖$C_{d}$の重要度$w_{C_d}$を次のように定義する．シソーラスおよび同一タームの反復を使用する場合，\begin{equation}\label{equ:cweight_lex}w_{C_d}={\midC_{d}\mid}\timeslog(N/n_{C_{d}})\end{equation}共起タームを使用する場合，\begin{equation}\label{equ:cweight_co}w_{C_d}={\midC_{d}\mid}\timeslog(N/\max_{c\inC_{d}}n_{c})\end{equation}ここで，$\midC_d\mid$は語彙的連鎖$C_{d}$を構成するタームの総数，$N$はデータベース中の全文書数，$n_{C_{d}}$は連鎖$C_{d}$と同一の概念に属する連鎖が出現する文書の数，$max_{c\inC_{d}}n_{c}$は，連鎖$C_{d}$を構成するタームの出現する文書数の中で最大の値をそれぞれ示している．シソーラスを使用する場合，各タームの属する概念があらかじめ決っているため，全文書中に現れる各概念の数も計算できる．同一タームの反復の場合も同様である．一方，共起タームに基づき文書ごとに計算した連鎖の場合，連鎖を構成するタームの種類も文書ごとに異なるため，シソーラスのように出現する文書数を計算できない．例えば，タームAとBがある文書で連鎖を構成し，別の文書でタームBとCが連鎖を構成した場合，タームAおよびCの出現する文書は1つであるが，タームBは2つの文書に出現することになる．そのため，連鎖の出現文書頻度としては連鎖を構成するタームの内，もっとも多くの文書に出現するタームの情報を使用することにした．\subsection{語彙的連鎖のインデキシング}\label{ssec:lexindexing}検索時にタームの属する語彙的連鎖の出現文書と文書中の出現位置および連鎖の重要度を取り出す必要があるため，まず語彙的連鎖のインデキシングを行う．インデックスは，(連鎖を構成するターム，文書ID，連鎖ID[出現範囲]，重要度)\noindentという形式からなる．例として，文書00001に出現する連鎖A1\{星，星，星雲，星\}と，連鎖A2\{星，太陽，月，星\}の2つの連鎖のインデキシングを考える．\begin{figure}[htbp]\begin{center}\begin{tabular}{|c|}\hline(星，00001，A1[1-36]，xxxx)\\(星雲，00001，A1[1-36]，xxxx)\\(星，00001，A2[93-116]，yyyy)\\(太陽，00001，A2[93-116]，yyyy)\\(月，00001，A2[93-116]，yyyy)\\\hline\end{tabular}\caption{インデキシングの例}\label{fig:index}\end{center}\end{figure}図\ref{fig:index}のように，インデキシングすることにより，タームの属する連鎖の出現文書と文書中の出現位置および重要度を効率良く取り出すことができる．例えば，図\ref{fig:index}のインデックスを使用すると，『星』というタームから文書00001の連鎖A1と連鎖A2が検索でき，連鎖A1の範囲はテキスト00001の1語目から36語目まで，連鎖A2の範囲は93語目から116語目までであることがわかる．\subsection{検索要求と関連の強いパッセージの計算}\label{ssec:calcpassage}前節で作成したインデックスを使用することで，検索要求と関連の強いパッセージが計算できる．計算は以下の手続きで行う．\begin{enumerate}\item検索要求を形態素解析し，検索要求内のタームとして名詞，動詞，形容詞を選択する．\item検索要求内の各タームごとにインデックスを索き，語彙的連鎖の出現位置の情報を得る．\item検索要求内のタームにマッチした連鎖の含まれる文書ごとに，出現する各連鎖をまとめパッセージの範囲を決定する．パッセージの範囲は次のように決定する．まず，文書中に出現する各語彙的連鎖のうち，出現位置に重なりのある連鎖どうしを1つのパッセージ候補としてマージする．この処理を出現位置に重なりのある連鎖がなくなるまで繰り返し，最終的に残ったパッセージ候補をパッセージとする．1つのパッセージの範囲は，パッセージ内の最初の語彙的連鎖が始まるタームから最後の語彙的連鎖が終了するタームまでである．\item各パッセージと検索要求との類似度を計算する．\\次のようなパッセージは検索要求と強く類似していると考えられる．\begin{itemize}\itemより多くの検索要求内のタームと関連する語彙的連鎖を含むパッセージ．\item重要度の高い語彙的連鎖を多く含むパッセージ．\item各語彙的連鎖の出現位置の重なっている部分が多いパッセージ．\end{itemize}そこで，本研究では上記の条件を満たすパッセージほど検索要求との類似度が高くなるように，パッセージ内の連鎖の出現数，重要度および連鎖どうしの重なりを考慮してパッセージと検索要求の類似度を計算する．まず，式(\ref{equ:passcr0})により，検索要求内のターム$q_{k}$と対応する語彙的連鎖$c_{k}$との類似度$cw_{k}$を計算する．\begin{equation}\label{equ:passcr0}cw_{k}=(tf_{q_{k}}\timeslog(N/n_{k}))^2\timesw_{C_{k}}\end{equation}ここで，$tf_{q_{k}}$は検索要求内のターム$q_{k}$の検索要求内の頻度，$N$は全文書数，$n_{k}$はターム$q_{k}$の出現する文書数であり，$w_{C_{k}}$はターム$q_{k}$に対応する語彙的連鎖$C_{k}$の重要度である．次に，$cw_{k}$を連鎖の長さ$cl_{k}$で割ることにより，連鎖の範囲内の各ターム$j$のスコア$cw_{k,j}$を計算する(式(\ref{equ:passcr1}))．\begin{equation}\label{equ:passcr1}cw_{k,j}=cw_{k}/cl_{k}\end{equation}\vspace{6mm}次に検索要求内のターム毎の各スコア$cw_{k,j}$をパッセージの開始位置から終了位置まで足しながら各位置での連鎖の重なりに応じて重みをかける(式(\ref{equ:passcr}))．\begin{equation}\label{equ:passcr}sim(Q,P_{i})=\sum_{j=begin_{i}}^{end_{i}}(\sum_{k=1}^{\midQ\mid}cw_{k,j})\times(\midq_{j}\mid^2/\midQ\mid^2)\end{equation}ここで，$Q$は検索要求，$P_{i}$はパッセージ$i$であり，$begin_{i}$，$end_{i}$はそれぞれパッセージ$P_{i}$の開始するタームの位置および終了するタームの位置を表す．$cw_{k,j}$は語彙的連鎖$k$の位置$j$におけるスコアである．$\midQ\mid$は検索要求内のタームの数，$\midq_{j}\mid$は検索要求内のタームに対応する連鎖の内，パッセージ$P_{i}$内の$j$番目のタームを範囲に含んでいる連鎖の数である．\end{enumerate}\begin{figure}[htbp]\begin{center}\epsfile{file=pasimg.eps,scale=0.75}\caption{パッセージの例}\label{fig:pasimg}\end{center}\end{figure}例として，図\ref{fig:pasimg}を考える．図\ref{fig:pasimg}には，検索要求内のタームとして入力された3つのターム(それぞれ黒い丸，グレーの丸，四角で表されている)と，インデックスを索くことによりマッチした文書の1つが示されている．この文書中には検索要求内のタームとマッチする語彙的連鎖A1，A2，B1，B2，C1，C2，C3が存在している．この例では，連鎖A1およびA2は黒い丸で表わされた検索要求内のタームに，連鎖B1およびB2はグレーの丸で表わされた検索要求内のタームに，また連鎖C1，C2およびC3は四角で表わされた検索要求内のタームにそれぞれマッチする．ここで各語彙的連鎖をパッセージ候補とし，その範囲を調べる．次に重複した範囲を持つ連鎖どうしを1つのパッセージ候補としてまとめる作業を繰り返すことにより，最終的なパッセージを決定する．図\ref{fig:pasimg}では3つのパッセージが決定されており，パッセージ1には語彙的連鎖A1,B1,C1，パッセージ2にはA2，C2，パッセージ3にはB2，C3がそれぞれ含まれている．次に各パッセージと検索要求との類似度を計算する．例えば，パッセージ1では，連鎖A1の範囲が1語目から36語目の36語，B1の範囲が3語目から59語目の57語，C1の範囲が17語目から63語目の44語である．従って各連鎖と検索要求内のタームの類似度$cw_{k}$を，それぞれ36，57，44で割ることにより，$cw_{k,j}$を求める．パッセージ1のスコアは$j$を1語目から63語目まで変化させながら，対応する$cw_{k,j}$を足して求める．この時，3語目から16語目までは，A1とB1が重なり，17語目から36語目まではA1,B1とC1が重なり，37語目から63語目まではB1とC1が重なっているためそれぞれの重みをかける．これにより，各文書中の各パッセージごとに検索要求との類似度が計算できる．
\section{実験}
label{sec:experiment}前節までで述べた我々のパッセージ検索の有効性を調べるため，伝統的な文書全体によるキーワード検索(以下，キーワード検索)，パッセージ検索として代表的である形式段落に基づくパッセージ検索およびウィンドウに基づくパッセージ検索と，我々の語彙的連鎖に基づくパッセージ検索による比較実験を行う．また，各パッセージ検索を単独で行う場合とパッセージ検索とキーワード検索を組み合わせた場合の比較も行う．実験には，『情報検索システム評価用テストコレクションBMIR-J2』\cite{BMIR-J2:98j}を使用する．BMIR-J2は，対象文書5080件(1994年の毎日新聞から選択した経済および工学，工業技術一般に関連する記事)，検索要求50種と対応する正解がセットとなっているテストコレクションである．50の検索要求には5種類の機能分類がされており，研究課題に応じて使用する検索要求を選ぶことが出来るようになっている．また，正解判定にはA，Bの2ランクがあり，Aは検索要求を主題とする記事，Bは検索要求の内容を少しでも記述している記事をそれぞれ表わしている．パッセージ検索は，文書中で強く関連する部分を取り出すという性質から，本研究の正解判定には，主題を表わすAランクを使用する．また，パッセージ検索は特に長い文書で有効であると考えられるため，全5080件の内比較的長い文書として1600バイト以上の文書904件を選択したセット(セット1)を使用する．また，5080件全てを使用するセット2による実験も行う．検索要求は全50の内，数値・レンジ機能\footnote{システムに求められる機能として『数の数え上げや，数値などの範囲を正しく解釈する．数値の大小比較や単位の理解・変換なども含む』が要求される．}および知識処理機能\footnote{システムに求められる機能として『世界知識を利用する．常識的な判断や，蓄積された事実からの推論などを含む』が要求される．}を必要とする検索要求以外の検索要求から，セット1において正解文書数が5文書を越える検索要求をすべて選択して使用する．本研究では，後述するように評価尺度として再現率と適合率を使用する．このような評価尺度を用いる場合，正解文書数の少ない検索要求を使用すると統計的な信頼性が低下する．そのため，本実験で使用するテストコレクションにおいて信頼性の基準とされている5文書以上の正解を持つ検索要求だけを使用することにした．また，各文書には見出しが付いているが，本文と合せて1つの文書として扱う．テストコレクションの特徴を表\ref{tab:collection}にまとめる．\begin{table}[htbp]\begin{center}\caption{テストコレクションの特徴}\label{tab:collection}\begin{tabular}{lcc}\hline&セット1&セット2\\\hline文書数&904&5080\\検索要求数&8&8\\正解文書数&52&197\\平均正解文書数&6.5&24.6\\平均文書長(バイト数)&1785.8&1236.1\\平均文書長(ターム数)&199.5&142.1\\平均文数&19.1&12.9\\\hline\end{tabular}\end{center}\end{table}\vspace{-5mm}次に本研究で実装した各検索手法について説明する．すべての手法において，文書を形態素解析し，名詞，動詞，形容詞を取り出しインデキシング用のタームとする．また，パッセージ検索では同一文書内で検索要求とマッチするパッセージが複数ある場合には，類似度が最大のものを選択し検索要求と各文書の類似度として使用する．\subsection{キーワード検索}\label{subsec:keyword}1つの文書内のターム$t$の重みは，タームの文書内の出現頻度$tf$およびタームの文書集合全体での出現文書頻度の逆数$idf$に基づく一般的な$tf*idf$の式(\ref{equ:tfidf})により計算し，文書をタームの重みつきベクトル$D$で表現する．\vspace{-2mm}\begin{equation}\label{equ:tfidf}w_{t}=tf_{t}\timeslog(N/n_{t})\end{equation}\noindentここで，$tf_{t}$は文書内でのターム$t$の出現頻度，$N$は全文書数，$n_{t}$はターム$t$が出現する文書の数である．検索要求ベクトル$Q$と文書ベクトル$D$との間の類似度は次式で計算する．\begin{equation}\label{equ:normsim}sim(Q,D)=\sum_{t}(tf_{q_{t}}/log(N/n_{t}))^2\timesw_{t}\end{equation}\noindentここで，$tf_{q_{t}}$は検索要求内のターム$q_{t}$の検索要求内の頻度である．\subsection{形式段落に基づくパッセージ検索}\label{subsec:formpara}このタイプのパッセージ検索では，見出しと形式段落をそれぞれ1つのパッセージとして扱う．パッセージ毎の各タームの重要度は式(\ref{equ:tfidf})と同様であり，検索要求とパッセージの類似度は式(\ref{equ:normsim})と同様であるが，$tf_{t}$はパッセージ内に出現するターム$t$の数，$N$は全段落数であり，$n_{t}$はターム$t$の出現する段落の数となる．セット1(904文書)は，7949段落に分割され，1文書平均8.8段落であり，1段落当り平均28.2タームである．セット2(5080文書)は，31904段落に分割され，1文書平均6.3段落であり，1段落当り平均27.9タームである．\subsection{固定長ウィンドウに基づくパッセージ検索}\label{subsec:window}サイズ$l$の固定長ウィンドウによりパッセージを作る．Callanの手法\cite{Callan:94}と同様に，検索要求にマッチするタームが最初に出現した位置から走査を開始し，$\frac{l}{2}$ずつウィンドウをずらしながらクエリーとの類似度を計算する．ウィンドウ内のタームの重要度は式(\ref{equ:tfidf})と同様であり，各ウィンドウと検索要求の類似度は式(\ref{equ:normsim})で計算されるが，$tf_{t}$はウィンドウ内に出現するターム$t$の数となる．本研究では，ウィンドウのサイズを，$20,40,80,\cdots,300$までの範囲で20刻みに設定しそれぞれのサイズで実験を行う．本研究で用いたほとんどの文書データにおいて，文書全体となる値である300をウィンドウサイズの上限とした．\subsection{語彙的連鎖に基づくパッセージ検索}\label{subsec:lexpas}\ref{sec:lexchain}節で述べた手法により語彙的連鎖を計算し，\ref{sec:ourpassage}節で述べた手法によりパッセージと各検索要求の類似度を計算する．検索要求との類似度が最大のパッセージを検索要求と関連の高いパッセージとし，その類似度を検索要求と文書の類似度とする．\begin{equation}\label{equ:maxpas}sim(Q,D)=\max_{i}sim(Q,P_{i})\end{equation}\noindentここで，$sim(Q,P_{i})$は式(\ref{equ:passcr})によって求められる．\ref{ssec:lexselect}節で述べたように，語彙的連鎖に基づくパッセージでは，有意な連鎖を選択するための2つの制約，ギャップ長の制約と連鎖長の制約を課す．今回の実験では，両制約とも閾値を文書内のターム数の$1/4,1/8,1/16,1/32$の4通りに変化させ$4*4=16$通りの組み合わせを用いて実験する．連鎖長，ギャップ長は，文書内のターム数に対してどのくらいの割合になるかを考慮して，長めである$1/4$から短かめである$1/32$までの範囲とした．また，タームの共起スコアに基づく語彙的連鎖の計算では，\ref{ssec:cooccurrence}節で述べたように，連鎖の決定に共起スコアの閾値を用いる．今回の実験では，$0.2,0.25,0.3,0.35,0.4$の各閾値について連鎖を計算して実験を行う．この閾値は，予備的な語彙的連鎖構成実験により，$0.2$より小さいとまとまり過ぎ，$0.4$より大きいと細かくなり過ぎる傾向が見られたため，この範囲に決定した．なお，共起スコアの計算では大規模なコーパスが必要となるため，テストコレクションと同じ毎日新聞94年の記事1年分(約10万記事)を使用する．\subsection{キーワード検索とパッセージ検索の統合}形式段落，ウィンドウおよび語彙的連鎖に基づくパッセージ検索とキーワード検索とを統合した検索を行う．数多くの統合手法が考えられるが，本研究では次の統合手法を実装して実験を行う．検索要求$Q$に対する文書$D$のキーワード検索，パッセージ検索における類似度を，それぞれの最大の類似度で割って正規化し足し合わせた値を$D$の類似度として計算する．\begin{equation}sim(Q,D)=\frac{ksim}{\displaystyle{\max_{i}ksim_{i}}}+\frac{psim}{\displaystyle{\max_{i}psim_{i}}}\end{equation}\noindentここで，$ksim$は\ref{subsec:keyword}節で述べたキーワード検索による文書$D$の類似度であり，$\displaystyle{\max_{i}ksim_{i}}$はキーワード検索の中で検索要求$Q$との類似度が最大の文書の類似度である．$psim$はパッセージ検索による文書$D$の類似度であり，$\displaystyle{\max_{i}psim_{i}}$はパッセージ検索の中で検索要求$Q$との類似度が最大の文書の類似度を表わす．パッセージ検索の類似度は，形式段落型を使用する場合は\ref{subsec:formpara}節，ウィンドウ型は\ref{subsec:window}節，語彙的連鎖型は\ref{subsec:lexpas}節で述べた手法によりそれぞれ計算する．この統合手法では，パッセージとキーワードでの検索の両方の類似度が相対的に高い文書が上位にランクされる．\subsection{比較実験}\label{subsec:experiments}前節の4つの検索手法を使用して以下の組み合わせで実験を行う．\begin{enumerate}\itemキーワード検索(document)\item形式段落に基づくパッセージ検索(formpara)\item固定長ウィンドウに基づくパッセージ検索(window)\item語彙的連鎖に基づくパッセージ検索\begin{enumerate}\item[(4-a)]同一タームの反復による語彙的連鎖(repetition)\item[(4-b)]シソーラスによる語彙的連鎖(thesaurus)\item[(4-c)]共起タームによる語彙的連鎖(cooccurrence)\end{enumerate}\item(1)と(2)の組み合わせ(formpara\_doc)\item(1)と(3)の組み合わせ(window\_doc)\item(1)と(4)の組み合わせ\begin{enumerate}\item[(7-a)](1)と(4-a)(repetition\_doc)\item[(7-b)](1)と(4-b)(thesaurus\_doc)\item[(7-c)](1)と(4-c)(cooccurrence\_doc)\end{enumerate}\end{enumerate}評価尺度には，再現率($Recall$)と適合率($Precision$)を使用する．$再現率$は全正解文書の内，システムによって正しく検出された文書の割合を示す．$適合率$はシステムが関連すると判断した文書の内，実際に正解文書であるものの割合を示す．$再現率$，$適合率$は次式で表わされる．\begin{equation}\label{equ:recall}再現率=\frac{システムにより検出された正解文書数}{全ての正解文書数}\end{equation}\begin{equation}\label{equ:precision}適合率=\frac{システムにより検出された正解文書数}{システムが検出した文書数}\end{equation}但し，各検索要求に対するシステムの出力を上位$M$位までとする．本研究では，$M$を上位2位から26位まで2文書刻み($M=2,4,\cdots,26$)にし各$M$の時点で全検索要求による適合率，再現率の平均を計算する\footnote{検索要求によっては出力数が$M$個に満たない場合が存在するが，式(\ref{equ:precision})の右辺の分母を$M$にして計算している．}．実験結果を図\ref{fig:ex5}から図\ref{fig:ex8}に示す．図\ref{fig:ex5}と\ref{fig:ex6}はセット1の結果であり，図\ref{fig:ex7}と図\ref{fig:ex8}はセット2の結果である．図\ref{fig:ex5}と図\ref{fig:ex7}は，各パッセージ検索単独と文書全体の検索の結果である．図\ref{fig:ex6}と図\ref{fig:ex8}は，各パッセージ検索とキーワード検索の統合手法の結果である．また，前節までで述べた各検索実験にはさまざまなパラメータが存在しているが，各$M$における平均適合率が最大になる場合を最適なパラメータ値であると推定した．パッセージ検索の主な効果としては，キーワード検索に比べ適合率を向上させることが期待される．そのため，パラメータ値の推定には再現率を考慮せず，適合率のみを考慮した．図\ref{fig:ex5}から図\ref{fig:ex8}には，最も良かった場合の結果を示している．最も良い結果が得られた各パラメータの値と，その際の平均パッセージサイズおよびパッセージサイズの標準偏差を表\ref{tab:bestparam}に示す．\begin{table}[htbp]\begin{center}\caption{結果の良かったパラメータの値}\label{tab:bestparam}\begin{tabular}{lccccc}\hline&共起&{\small同一ターム}&{\smallシソーラス}&{\smallウィンドウ}&{\small形式段落}\\\hline\multicolumn{6}{c}{セット1}\\\hline共起スコア閾値&0.25&-&-&-&-\\連鎖閾値{\small(ターム数/*)}&8&32&32&-&-\\ギャップ閾値{\small(ターム数/*)}&4&8&8&-&-\\ウィンドウサイズ&-&-&-&260&-\\\hline平均パッセージサイズ&96.0&81.9&64.9&260&43.4\\標準偏差&52.3&68.4&46.5&-&19.3\\\hline\hline\multicolumn{6}{c}{セット2}\\\hline共起スコア閾値&0.25&-&-&-&-\\連鎖閾値{\small(ターム数/*)}&8&32&32&-&-\\ギャップ閾値{\small(ターム数/*)}&4&4&8&-&-\\ウィンドウサイズ&-&-&-&240&-\\\hline平均パッセージサイズ&66.9&67.5&50.7&240&41.5\\標準偏差&46.9&49.6&37.8&-&17.5\\\hline\end{tabular}\end{center}\end{table}\begin{figure}\begin{center}\epsfile{file=res1600btpasa.ps,scale=0.48}\caption{1600bytes以上の文書セット1を使用(パッセージのみ)}\label{fig:ex5}\end{center}\end{figure}\begin{figure}\begin{center}\epsfile{file=res1600bthba_.ps,scale=0.48}\caption{1600bytes以上の文書セット1を使用(統合)}\label{fig:ex6}\end{center}\end{figure}\begin{figure}\begin{center}\epsfile{file=respasa.ps,scale=0.48}\caption{全文書セット2を使用(パッセージのみ)}\label{fig:ex7}\end{center}\end{figure}\begin{figure}\begin{center}\epsfile{file=reshba.ps,scale=0.48}\caption{全文書セット2を使用(統合)}\label{fig:ex8}\end{center}\end{figure}\newpage\subsection{考察}\label{subsec:kousatsu}パッセージ検索単独では，セット1の場合(図\ref{fig:ex5})，ウィンドウ型がキーワード検索単独とほぼ同じであり，形式段落，語彙的連鎖のパッセージの中では共起による語彙的連鎖型が一番良いものの，キーワード検索単独を上回る精度を得られなかった．また，セット2(図\ref{fig:ex7})の場合も，セット1の時ほどはっきりした差はないが，概ね同様の結果であった．一方，キーワード検索との統合による結果では，セット1の場合(図\ref{fig:ex6})，共起による語彙的連鎖型のパッセージ検索によって，多くの部分でキーワード検索単独を上回る良い適合率および再現率を得た．形式段落型と他の語彙的連鎖型パッセージ検索では，単独の場合よりも統合することによって適合率，再現率が向上したもののキーワード検索単独の結果を上回ることができなかった．ウィンドウ型は統合によってもキーワード検索単独の結果とほぼ同じであった．また，セット2(図\ref{fig:ex8})の場合も，セット1の時より差が少ないが，共起による語彙的連鎖型のパッセージ検索により，多くの部分でキーワード検索単独を上回る結果を得た．結果的にセット1で共起による語彙的連鎖に基づくパッセージ検索とキーワード検索を統合する場合に，最も高い適合率，再現率が得られた．特に検索文書数が少ない段階での差は顕著であり，上位10位までの文書を見ると，キーワード検索単独では適合率約34\%，再現率約53\%であるのに対し，統合により適合率約40\%，再現率約64\%を得ている．セット1とセット2の結果をキーワード検索を基準として比べると，形式段落以外の各パッセージ検索では，セット1の方がセット2よりも全体的に良い成績を収めている．セット2には短い文書が含まれているのに対し，セット1は比較的長い文書によるセットであるため，この結果は，本来パッセージ検索は長い文書の方が有効であるという考えに概ね一致し，セット1の方がパッセージ検索の評価に向いていると考えられる．よって，以降はセット1の結果である図\ref{fig:ex5}と図\ref{fig:ex6}について考察する．パッセージ検索はキーワード検索とは異なる検索結果を示すことが期待できる．パッセージ検索の効果として期待されるのは，次の3点である．\begin{enumerate}\itemキーワード検索とは異なる正解文書を上位に上げる．\itemキーワード検索で上位にランクされる正解文書をより上位に上げる．\itemキーワード検索で上位にランクされる不正解文書を下位に下げる．\end{enumerate}逆に，悪影響を及ぼす可能性があるのは，次の3点である．\begin{enumerate}\itemキーワード検索とは異なる不正解文書を上位に上げる．\itemキーワード検索で上位にランクされる不正解文書をより上位に上げる．\itemキーワード検索で上位にランクされる正解文書を下位に下げる．\end{enumerate}当然のことながら，パッセージ検索がキーワード検索を上回る精度を得るためには，パッセージ検索による効果が悪影響を上回る必要がある．その意味で図\ref{fig:ex5}の実験結果では悪影響の方が強く出たと考えられる．しかし，キーワード検索との精度の差がパッセージ検索の優劣を直接示すことにはならない．パッセージ検索で上位に位置する文書集合がキーワード検索によるものとどのくらい異なるかという点と，集合内で上記効果と悪影響がどのような割合で見られるかという点に注目する必要がある．パッセージ検索とキーワード検索では，有効に働く文書が異なると考えられるため，パッセージ検索によってキーワード検索とは異なる正解文書の順位を上げ，不正解の文書の順位を下げることができていれば，統合によって全体的な精度を向上させる可能性が高いからである．そこで，セット1で，各パッセージ検索結果の上位(10位以内)，下位(11位〜26位以内)，圏外(27位以下)にランクされる文書をキーワード検索の結果と比較すると次のような傾向が見られた．\begin{itemize}\item上位の文書集合がキーワード検索の結果と異なる割合いは，シソーラス，共起，同一ターム，形式段落の順に高い．ウィンドウ型では，順位にほとんど変化が見られずキーワード検索とほぼ同じ文書を同じ順位で選択している．\itemキーワード検索で下位または圏外にある正解文書を上位に上げる割合(正の働き)は，共起，同一ターム，シソーラス，形式段落の順に高い．逆に，上位にある正解文書の順位を下げる割合(負の働き)は，形式段落，シソーラス，共起，同一タームの順に高かった．\item不正解文書の順位を下げる割合(正の働き)は，上位どうしでは形式段落が高いが，上位から下位，圏外へ下げる割合は，シソーラス，共起，同一ターム，形式段落の順に高い．逆に，不正解文書の順位を上げる割合(負の働き)は，上位どうしでは，形式段落が高く，下位，圏外から上位へは，シソーラス，形式段落，同一ターム，共起の順に高い．\end{itemize}上記の結果から各パッセージ検索について次のような特徴が言える．ウィンドウ型は検索される文書集合や順位がキーワード検索とほとんど同じである．形式段落型は比較的狭い範囲で文書の順位が入れ換わっており，上位および下位の文書集合はキーワード検索とそれほど変わらない．3タイプの語彙的連鎖型は，他のパッセージ検索に比べて上位にランクされる文書集合が異なる割合が高い．しかし，シソーラスと同一タームによる語彙的連鎖型は，不正解文書が上位に含まれる割合も高い．一方，共起による語彙的連鎖型では，上位に正解文書が含まれる割合も他の2つの語彙的連鎖型に比べて高い．以上の特徴から，共起による語彙的連鎖型のパッセージ検索が，キーワード検索との統合によって精度を向上する可能性がもっとも高い手法であるといえる．次にパッセージ検索で選択されたパッセージのサイズについて考察する．表\ref{tab:bestparam}に示すように，選択されたパッセージの長さは各パッセージ検索手法によって異なっている．ウィンドウ型では260語が最適だった．これはほとんどの文書よりも大きく，パッセージの単位は文書全体とほぼ同じである．このことから今回の実験で，ウィンドウ型では有意なパッセージサイズを決定できていないと考えられる．形式段落では平均パッセージ長が43.4語であった．これは1段落当りの平均長28.2語よりも大きいが語彙的連鎖型に比べて小さい．また標準偏差を見るとサイズのばらつきも小さい．語彙的連鎖型では平均パッセージ長が共起，同一ターム，シソーラスの順に大きく，ばらつきも大きい．形式段落で選択されるパッセージ長は小さく，変化が少ないのに対して，語彙的連鎖では検索要求や文書によって選択されるパッセージの長さが大きく変化しており，語彙的連鎖型の方が柔軟なパッセージサイズを設定していると考えられる．3タイプの語彙的連鎖型パッセージ検索の比較では，共起によるものがキーワード検索に近い適合率，再現率を得ている．他の2つは共起の場合よりも適合率，再現率ともにかなり低い．語彙的連鎖型パッセージでは生成する語彙的連鎖の良否が精度に大きく関連する．シソーラスの分類を基に連鎖を計算する場合は，分類が粗過ぎるためシソーラス上では同一概念にあるが文書中ではあまり関連のないタームを含む可能性がある．このような連鎖がノイズになった可能性がある．逆に同一タームの反復を基に計算する場合は，連鎖を生成する基準が細か過ぎて文書中では関連があるが異なる表層形式をしたタームを連鎖に含めることができない．このため良い連鎖を得ることができなかった可能性がある．一方，タームの共起を基に計算する場合は，検索対象の文書に近いデータをコーパスとして使用したため，関連の高いタームによってうまく語彙的連鎖を生成できたと考えられる．実際に，キーワード検索との統合結果である図\ref{fig:ex6}において，ウィンドウ型の統合にはほとんど変化が見られない．また，形式段落型では単独の場合よりも適合率，再現率が向上しているが，キーワード検索単独の場合に比べ，統合によって精度が向上しているとは言えない．また，シソーラスと同一タームによる語彙的連鎖型の場合も，統合によって単独の場合より適合率，再現率が向上しているものの，キーワード検索単独の場合を上回っていない．一方，タームの共起関係による語彙的連鎖型では，統合によって良い精度を示すことができている．以上のことから，共起による語彙的連鎖に基づくパッセージ検索が最も優れたパッセージ検索であるため，文書全体の検索との統合によって，高い精度を得ることができたと言える．
\section{おわりに}
label{sec:owarini}本稿では，文書中の語彙的連鎖を利用して，検索要求と対象文書の適切な類似度を計算するパッセージ検索手法について述べた．他のパッセージ検索手法との比較により，タームの共起により作られた語彙的連鎖が，より優れたパッセージの決定ができ，キーワード検索との統合によって，高い適合率を得ることができることを示した．本稿で述べたパッセージ検索手法には，語彙的連鎖の連鎖長閾値，ギャップ長閾値など以外にもパラメータとして考えられる要素が存在する．例えば，共起スコアによって語彙的連鎖を生成する際の共起スコアの計算方法や語彙的連鎖を組み合せてパッセージを決定する際の連鎖の重なりに関するスコアなどは変化させて実験することができる．また，同一文書内で複数のパッセージが存在する場合に，パッセージと検索要求の類似度を最大のものではなく，上位$N$位のパッセージの合計スコアとする方法なども考えられる．今後パラメータとして考えられる要素を明らかにし，それらパラメータの検索精度への影響について検討していく必要がある．近年，パッセージ検索の技術はハイパーテキスト生成や要約生成の分野で応用され始めている．検索された複数のパッセージをリンクして階層構造化する\cite{Salton:94b}，関連の高いパッセージ間から重要文を抜き出す\cite{Salton:94b}，異なる文書間のパッセージをリンクする\cite{Dalamagas:98}などの手法が提案されている．本稿で述べた語彙的連鎖型のパッセージも同様にハイパーテキスト生成への応用が可能である．また．検索要求に強く関連する部分を意味的にまとまった単位で選択できることから，検索要求指向型の自動要約文生成への応用も考えられる．今後の課題として，より高度な文書検索の実現のためにパッセージ検索を応用することについて検討していく必要がある．\vspace{4mm}\acknowledgment本研究では，(社)情報処理学会・データベースシステム研究会が，新情報処理開発機構との共同作業により，毎日新聞CD-ROM'94データ版を基に構築した情報検索システム評価用テストコレクションBMIR-J2を利用させていただきました．感謝致します．また，「角川類語新辞典」の使用を許可して下さいました株式会社角川書店に感謝致します．本研究を進めるにあたり貴重な御助言を下さいました高野明彦氏，丹羽芳樹氏をはじめとする日立製作所基礎研究所ソフトウェア研究プログラムグループの皆様に感謝致します．また，共起計算プログラムの提供およびシステム実装に関する御助言を頂きました同グループの西岡真吾氏に感謝致します．\bibliographystyle{jnlpbbl}\bibliography{v06n3_05}\begin{biography}\biotitle{略歴}\bioauthor{望月源}{1970年生．1993年金沢大学経済学部経済学科卒業．1999年北陸先端科学技術大学院大学情報科学研究科博士後期課程修了．同年4月より，北陸先端科学技術大学院大学情報科学研究科助手．博士(情報科学)．自然言語処理，知的情報検索システムの研究に従事．情報処理学会会員．}\bioauthor{岩山真}{1987年東京工業大学工学部情報工学科卒業．1992年同大学院理工学研究科博士後期課程修了．同年(株)日立製作所基礎研究所入所．博士(工学)．自然言語処理，情報検索の研究に従事．情報処理学会，人工知能学会，AAAI，ACMSIGIR各会員．}\bioauthor{奥村学}{1962年生．1984年東京工業大学工学部情報工学科卒業．1989年同大学院博士課程修了．同年，東京工業大学工学部情報工学科助手．1992年北陸先端科学技術大学院大学情報科学研究科助教授，現在に至る．工学博士．自然言語処理，知的情報検索システム，語学学習支援システム，語彙知識獲得に関する研究に従事．情報処理学会，人工知能学会,AAAI，ACL,認知科学会，計量国語学会各会員．}\bioreceived{受付}\biorevised{再受付}\bioaccepted{採録}\end{biography}\end{document}