\section{まえがき}
自然言語処理技術の一つに,文書の自動抄録がある.従来から行なわれている自動抄録は大きく分けて2つの手法,すなわち,1.文書の構造解析を行なう手法,2.文書の統計情報を用いた手法とに分類できる.1はスクリプトなどを使用して重要箇所を抽出する方法や,テキストの構文・意味解析を行なって談話構造を作成し,この構造から重要箇所を抽出する方法である\cite{Reimer1988},\cite{Tamura1989},\cite{Jacobs1990},\cite{Inagaki1991}.しかし,これらの方法では,ある特定の分野について書かれたテキストのみを対象としている場合が多いため,結果的に汎用性に欠けることが指摘されている\cite{Paice1990},\cite{Zechner1996}.2は電子化されたコーパスに対し統計手法を適用することで重要箇所を抽出する方法である.この場合,文に出現する各語に重み付けを行ない,そのスコアの高い文を重要箇所とする手法が多く用いられている.重み付けには,(a)ヒューリスティックスを用いたもの,(b)単語頻度などの情報を用いたもの(c)シソーラスなどの意味情報を用いたものなどがある.(a)は文書から得られるヒューリスティックスを用いて文の重み付けを行ない重要箇所を抽出する手法である.\cite{Paice1990},\cite{Paice1993},\cite{Kupiec1995}.ヒューリスティックスとしては,修辞関係\cite{Miike1994},タイトルに出現する語の情報\cite{Edmundson1969},文の出現位置\cite{Baxendale1958}などがある.これらは,分野を限定し特別に用意された知識を用いて重要箇所を抽出する研究と比べると汎用性があると言えるが,対象分野の変更に対しどの程度適用できるかは調査の余地がある.(b)はLuhnらにより提唱されたキーワード密度方式に代表される手法である\cite{Luhn1958}.Luhnらは,「一つの文献において,その主題と関係の深い語は概して文献中に繰り返し出現する」という前提に基づき,文献の内容に関係の深い数語のキーワードを抽出し,これらの語を高頻度で含む文を文献中から選定して抄録とした\cite{Luhn1958}.しかし,文献中どこにでも現れる一般語との区別がつきにくく,文献中におけるキーワード分布の偏りが小さくなってしまうことが指摘されている\cite{Suzuki1988}.鈴木らはこの問題に対処するため,文章中で隣接または近接している語の組のうち,出現頻度の高い組を高頻度隣接語と呼び,キーワード密度法により得られたキーワードと高頻度隣接語を共に多く含む文を抄録文の候補とする手法を提案した\cite{Suzuki1988}.しかし,キーワード及び隣接語の決定は人手により行なわれているため恣意的であり,また抄録を行なおうとするテキストごとにキーワードと隣接語を決定しなければならない.SaltonやZechnerらは,単語の頻度を基に計算されたTF$\ast$IDFを用いて語に重み付けを行なうことで重要箇所を抽出する手法を提案した\cite{Salton1993},\cite{Salton1994},\cite{Zechner1996}.これらの手法は,表記の統計情報だけを用いているため,鈴木らの手法と比べると重要箇所を抽出する際,人間の介在を必要としない.しかし,人間が対象とする記事のみから重要箇所を抽出できるのは,記事に関する様々な知識を用いているからであり,対象となる記事の頻度を基にした単語の機械的な処理による重み付けだけで重要箇所を適切に抽出できるかどうかは不明である.また,(c)は意味に関する統計情報を用いた手法である.佐々木らは,段落内,又は,段落間に跨る意味分類の出現パターンをシソーラスを用いて分析し,その結果をチャート形式で表現する結束チャートを提案した\cite{Sasaki1993}.鈴木らは,佐々木らの提案した結束チャートを利用することでキーワードを自動的に抽出する手法を提案している\cite{Suzuki1993}.鈴木らの手法では,文中に現れる語が多義語である場合には,それまでに現れた文中の語の累積頻度が最も高い意味コードをその語に割り当てている.しかし,佐々木,及び鈴木らのシソーラスを用いる手法の問題として,データスパースネスの問題がある.すなわち,シソーラスのカテゴリー自身が抽象的な語で定義されているため,文書の種類によっては,その語が文書に出現しない場合がある\cite{Niwa1995}.さらに,各段落のキーワード候補は,各段落に2回以上出現した語をその段落におけるキーワード候補としているが,{\itWallStreetJournal}のように経済が主となる報道の新聞記事では,評論や科学文献などと比べると,一つのパラグラフの語数が少ないため,一つのパラグラフ内で同一表層語が2回以上出現する現象は少なく,結果的に文書の種類によっては手法が適用できない場合がある.実際,今回の実験で使用した50記事に出現するパラグラフ数395のうち,一つのパラグラフ内で同一表層語が2回以上出現したパラグラフ数は168(42.5\%)であり,半数以上のパラグラフに対して佐々木らの手法が適用できなかった.本稿では,文脈依存の度合に注目した重要パラグラフの抽出手法を提案する.本稿の基本的なアイデアは,文書の重要箇所を適切に抽出するため,その文書がどの分野に属しているかという情報を利用するということである.例えば,ある記事に`株'が高頻度で出現したとする.その記事が`事件'の分野に属する一つの記事である場合には,`株'に関する事件の可能性が高いことから重要度の度合は強い.一方,`株式市場'の分野に属する一つの記事である場合には,この分野に属する他の記事にも`株'が高頻度で現れることから重要度は下がる.つまり`株'がある記事にとって重要であるかどうかは,その記事が設定された分野にどのくらい深く関わっているかに依存し,これは予め設定された分野に属する他の記事における`株'の頻度と比較することで判定が可能となる.我々は,分野固有の重要語の選定を行なうため,記事中の任意の語が,設定された文脈にどのくらい深く関わっているかという度合いの強さを用いることで,語に対する重み付けを行なった.先ず,佐々木らがシソーラスを用いて語の意味を決定しているのに対し,我々は辞書の語義文を用いることで文書中の多義語の意味を自動的に決定する.次に主題に関連する単語の低頻度数の問題に対処するため,名詞同士のリンク付けを行なう.この結果に対し,文脈依存の度合を利用する.すなわち,我々はZechnerらがTF$\ast$IDFを用いて重み付けを行なっているのに対し,記事中の任意の語が,設定された文脈にどのくらい深く関わっているかという度合いの強さを用いることで,語に対して重み付けを行なう.その際,鈴木らのように重要語を抽出する過程で人間の介在を必要としない.以下,2章では,文脈依存の度合いについて述べ,3章では語の重み付け手法を示す.4章では重み付けされた語を用いてパラグラフごとに文書のクラスタリングを行ない,重要パラグラフを抽出する手法について述べる.5章では実験について報告し,6章で実験結果に関する考察を行なう.
\section{文脈依存の度合い}
一般に,主題はテキストの中で論点を示す語である.本稿では,主題,あるいは主題と意味的に関係が深い語(名詞を対象とし,これを{\bf重要語}と呼ぶ)に対し,重み付けを行なう.テキストはいくつかのパラグラフで構成される.重要パラグラフの抽出は,重み付けされた語を含む各パラグラフに対し,クラスタリングアルゴリズムを適用することで抽出される.本手法はLuhnらと同様,「一つの文献において,主題と関係の深い語は概して文献中に繰り返し出現する」という前提に基づく.本稿では新聞記事を対象とし,分野固有の重要語を抽出するために文脈依存の度合いという考え方を導入する.図\ref{depend}は,新聞記事({\itWallStreetJournal})の構造を示す.{\begin{figure}[htbp]\centerline{\epsfile{file=structure2.eps,height=6.5cm,width=10cm}}\caption{新聞記事の構造}\label{depend}\begin{center}\vspace*{-5mm}Figure1Thestructureofnewspaperarticles\end{center}\vspace*{-2mm}\end{figure}}\noindent図\ref{depend}において一日の新聞は,`経済',`文化'などいくつかの異なる種類から成る.ここではこれを{\bf分野}と呼び,各要素(`経済',`文化'など)を分野における{\bf文脈}と呼ぶ.一つの分野において,例えば`経済'という分野は,一般に,複数の記事から構成されており,各々にタイトル名(図\ref{depend}の`Generalsignalcorp.',`Safecardservicesinc.',`Jostensinc.')が付与されている.ここではこれを{\bf記事}と呼び,各要素(`Generalsignalcorp.'など)を記事における{\bf文脈}と呼ぶ.さらに,ある特定の記事,例えば,`Generalsignalcorp.'は,いくつかの{\bfパラグラフ}から成り,重要語は,各パラグラフを跨り,一貫して出現しているととらえることができる.ここでは各パラグラフをパラグラフにおける{\bf文脈}と呼ぶ.我々は重要語に対して重み付けを行なうために,図\ref{depend}で示される新聞記事の構造に対し,文脈依存の度合いという考え方を導入する.文脈依存の度合いとは,記事中の任意の語が,設定された文脈,すなわち図\ref{depend}で示した{\bfパラグラフ},{\bf記事},{\bf分野}中の特定の要素とどのくらい深く関わっているかという度合いの強さを示す.例えば図\ref{depend}において,`Generalsignalcorp.'に関する記事での重要語を`○'で示すと,`○'は,`Generalsignalcorp.'の各パラグラフを跨り出現する.よって,`○'は各パラグラフでの分布の偏りが一般語(分野に依存せず記事中どこにでも現れる語を一般語と呼ぶ)と同様,小さく,特定のパラグラフに依存する度合いは低い.次に`Generalsignalcorp.'を含む記事について考える.一般語は記事中どこにでも現れるため,記事における分布の偏りはパラグラフでのそれと差はない.一方,`○'の`Generalsignalcorp.'での依存の度合いは`○'が特定箇所(この場合,`Generalsignalcorp.')に集中して出現するため,結果的に,特定のパラグラフに依存する度合よりも強くなると考えられる.さらに`経済'を含む分野について考えると,一般語の分布の偏りはパラグラフ,及び記事と差がないのに対し,`○'の`経済'への依存の度合いは,`○'が特定箇所(この場合,`経済'の中の`GeneralSignalcorp.')に集中して出現するため,結果的に,特定の記事に依存する度合よりも強くなると考えられる.我々はこの依存の度合いの強弱を利用し,重要語を抽出した.
\section{語の重み付け}
我々は,先ず新聞記事に出現する多義語名詞の解消を行なった.次にこの結果に対し,名詞同士のリンク付け(`book',`report'のように意味的に関係がある名詞や`{\itNew}'`{\itYork}'などの複合名詞をまとめ一語で置き換える処理)を行ない\cite{Fukumoto1996},これを用いて重要語を判定し,その語に対して重み付けを行なった.名詞の多義の曖昧性を解消した理由は,多義を持つ単語に対してその意味を絞り込むことで語に対する重み付けがより精緻に行なえると考えられるためである.また,名詞同士のリンク付けを行なった理由は,以下の2つの問題に対処するためである.\begin{enumerate}\item主題に関連する単語頻度数の問題{\itWallStreetJournal}のように経済が主となる報道の新聞記事では,評論や科学文献などと比べると,一パラグラフの文数が少ない\footnote{{\itWallStreeJournal}の50記事において,一パラグラフ当り,平均1.93文であった.}.よって,パラグラフ間を跨り同じ表記の語が出現することは少なく,別の単語で言い換えて使用されることが多い.そのため表層語の情報のみ使用すると重要語が抽出できない場合がある.\item複合名詞の問題一単語を単位とし統計処理を行なう場合,複合名詞の問題が生じる.例えば,`AirFrance'を複合名詞である`航空会社名'として扱わず,`Air'を`空気',`France'を`地名'の意味で扱った場合を考える.`航空会社'が重要語である場合には,`空気'と`地名'で扱ったことにより,他パラグラフから`航空会社'と関係がある異表記の語が抽出されず,結果的に重要語として複合名詞である`AirFrance'が抽出されない.\end{enumerate}\noindent語の重み付けにはTF\hspace{0.2mm}(\hspace{0.5mm}Term\hspace{0.2mm}Frequency\hspace{0.5mm}),\hspace{0.5mm}IDF\hspace{0.2mm}(\hspace{0.5mm}Inverse\hspace{0.2mm}Document\hspace{0.2mm}Frequency\hspace{0.5mm}),\hspace{0.1mm}TF\hspace{0.5mm}$\ast$\hspace{0.5mm}IDF,\hspace{0.2mm}WIDF(WeightedInverseDocumentFrequency)など様々な手法が提案されている\cite{Luhn1957},\cite{Sparck1972},\cite{Salton1983},\cite{Tokunaga1994}.ここでは重み付けの一つの手法である$\chi^2$法を用いた.重要語の判定と重み付けの方法を以下に示す.\begin{enumerate}\item$\chi^2$法長尾らは,任意の語がそれぞれの分野においてその分野を特徴づける語であるか否かを判定する尺度として\hspace{-0.1mm}$\chi^{2}$\hspace{-0.2mm}検定の\hspace{-0.1mm}$\chi^{2}$\hspace{-0.2mm}値を用い,この手法がキーワードの抽出に有効であることを検証している\cite{Nagao1976}.しかし,一般に\hspace{-0.1mm}$\chi^{2}$\hspace{-0.2mm}値からは分野全体に対して出現頻度に偏りのある語が抽出できる反面,それぞれの分野においてその分野を特徴づける語が何であるかはわからない.\hspace{-0.1mm}また記事の量が多い分野の\hspace{-0.1mm}$\chi^{2}$\hspace{-0.2mm}の値は大きくなり,少ない分野のそれは小さくなる.従って,分野ごとに記事の量に偏りがある場合,\hspace{-0.1mm}$\chi^{2}$\hspace{-0.2mm}値の大きさだけで語を選べば,比較的記事の量が少ない分野の\hspace{-0.1mm}$\chi^{2}$\hspace{-0.2mm}の値は小さくなるため,結果的に重要語を抽出することができない可能性がある.渡辺らは重要漢字の自動抽出においてこの問題に対処するため,それぞれの分野における出現頻度の理論度数からのずれに注目した\cite{Watanabe1994}.本稿で述べる文脈依存の度合いを示す尺度も,渡辺らと同様,それぞれの文脈における出現頻度の理論度数からのずれを用いる.単語(名詞とする)$i$が$j$(分野,記事,またはパラグラフ)の$k$番目の要素に依存する度合を式(\ref{kai})に示す.\vspace*{-8mm}\begin{eqnarray}\chij^2_{ik}=\left\{\begin{array}{ll}\frac{(x_{ik}-m_{ik})^2}{m_{ik}}&\mbox{if$x_{ik}$$>$$m_{ik}$}\\0&\mbox{otherwise}\end{array}\right.\label{kai}\end{eqnarray}\hspace*{1cm}ここで,\vspace*{-5mm}\begin{eqnarray}m_{ik}&=&\frac{\sum^{n}_{k=1}x_{ik}}{\sum^{m}_{i=1}\sum^{n}_{k=1}x_{ik}}\times\sum^{m}_{i=1}x_{ik}\nonumber\end{eqnarray}ただし,\begin{tabular}{lll}$j$:&{\sfD}({\bf分野}),{\sfA}({\bf記事}),または{\sfP}({\bfパラグラフ})\\$m$:&名詞の数\\$n$:&$j$の要素の数\\$x_{ik}$:&$k$番目の要素における単語$i$の出現頻度\\$m_{ik}$:&$k$番目の要素における単語$i$の理想頻度\\\end{tabular}\noindentとする.ここで理想頻度とは,全分野,全記事,あるいは全パラグラフに等確率でその名詞が出現した場合の出現頻度である.式(\ref{kai})において$x_{ik}$がその理想頻度よりも小さい場合にはゼロとした.\item文脈依存の度合単語$i$が分野$j$(記事,またはパラグラフ)に依存する度合は$\chij^{2}_{ik}$の分散値$\chij^{2}_{i}$とした.これは,単語$i$の分野,記事,パラグラフそれぞれにおける依存の度合を比較するためである.\hspace{-0.15mm}$\chij^{2}_{i}$\hspace{-0.25mm}はその値が大きいほど単語$i$\hspace{-0.15mm}が$j$\hspace{-0.15mm}の特定の要素に強く依存することを示す.語$i$の{\bf分野({\sfD})},{\bf記事({\sfA})},{\bfパラグラフ({\sfP})}における文脈依存の度合の関係は式(\ref{degree1}),(\ref{degree2})で示される.\begin{eqnarray}\frac{\chi{\sfP}^{2}_{i}}{\chi{\sfA}^{2}_{i}}&<&1\label{degree1}\\\frac{\chi{\sfA}^{2}_{i}}{\chi{\sfD}^{2}_{i}}&<&1\label{degree2}\end{eqnarray}\noindent式(\ref{degree1})においてパラグラフにおける単語$i$の分散値$\chi{\sfP}^{2}_{i}$よりも記事における単語$i$の分散値\hspace{-0.25mm}$\chi{\sfA}^{2}_{i}$\hspace{-0.01mm}が大きいことから単語$i$はパラグラフ中の特定のパラグラフよりも記事中の特定の記事に強く依存することを示す.同様に式(\ref{degree2})は記事中の特定の記事よりも分野中の特定の分野に強く依存することを示す.従って式\hspace{-0.05mm}(\ref{degree1}),(\ref{degree2})を共に満たす語$i$は,特定のパラグラフに依存する度合が最も弱く,記事,分野へと対象が広がるにつれて強くなる.よって我々は式(\ref{degree1}),(\ref{degree2})を共に満たす語$i$を重要語とみなした.\item語の重み付け語の重み付けはパラグラフ中での語の出現頻度数に対して行なった.すなわち,記事の各パラグラフを構成する語が重要語である場合,その語の重み付けは出現頻度数とし,そうでない場合,ゼロとした.\end{enumerate}
\section{重要パラグラフの抽出}
重要パラグラフの抽出は重み付けされた語を含む各パラグラフに対し,パラグラフ間の類似度を利用したクラスタリングアルゴリズムを適用することで抽出される.クラスタリングアルゴリズムを用いた理由は,重要語はパラグラフを跨り出現すると仮定したことから,重要パラグラフは重要語を多く含み,かつ,同じ重要語が出現するパラグラフ同士ほど,より重要なパラグラフであると考えられるためである.従ってパラグラフを全パラグラフに出現する名詞を軸とするベクトルで表現し,ベクトル同士の類似度を基にクラスタリングを行なう手法を用いた.抽出方法を以下に示す.\begin{tabular}{ll}\sfStageOne:&パラグラフをベクトルで表す.\\\end{tabular}記事$P$を構成する各パラグラフ$P_{1}$,$\cdots$,$P_{m}$をベクトルで表す.$m$はパラグラフの個数とする.パラグラフ$P_{i}$は,\begin{eqnarray}P_{i}&=&(N_{i1},N_{i2},\cdots,N_{in})\label{1aa}\end{eqnarray}\noindentで示される.ここで$n$\hspace{-0.1mm}は,全パラグラフに出現する名詞の異なり数とする.また,$N_{ij}$\hspace{-0.1mm}は以下の通りとする.\[N_{ij}=\left\{\begin{array}{ll}0&\mbox{$N_{j}$がパラグラフ$P_{i}$に現れない場合}\\f(N_{j})&\mbox{$N_{j}$がパラグラフ$P_{i}$に現れ,かつ重要語である場合}\\0&\mbox{$N_{j}$がパラグラフ$P_{i}$に現れ,かつ重要語でない場合}\end{array}\right.\]\noindent上式において,$f(N_{j})$はパラグラフ$P_{i}$に出現する名詞$N_{j}$の頻度とする.\begin{tabular}{ll}\sfStageTwo:クラスタリングアルゴリズムを適用する.\end{tabular}パラグラフ$P_{1}$,$\cdots$,$P_{m}$の任意の組合せに対し,式(\ref{niwa1})を用いて類似度を計算する.\begin{eqnarray}sim(P_{i},P_{j})&=&\frac{V(P_{i})\astV(P_{j})}{\midV(P_{i})\mid\midV(P_{j})\mid}\label{niwa1}\end{eqnarray}\noindent式(\ref{niwa1})において$V(P_{i})$は$P_{i}$のベクトルを示す.式(\ref{niwa1})は正規化されたベクトル$V(P_{i})$と$V(P_{j})$の内積を示す.$sim(P_{i},P_{j})$の値が大きいほど,$P_{i}$と$P_{j}$は類似していることを示す.式(\ref{niwa1})を用いて類似度を計算した結果,任意のパラグラフの組とその類似度の値をその値が降順になるように出力する.この結果に対し,群平均化のクラスタリングアルゴリズムを適用する.\begin{tabular}{ll}\sfStageThree:重要パラグラフの抽出\end{tabular}得られたクラスタリング結果に対し,類似度の高いクラスタの順に重要パラグラフを抽出する.ただし,同一クラスタ内の重要パラグラフの抽出順序は,重要語を多く含むパラグラフの順とする.例えば4パラグラフから成る記事に対して,表\ref{para}で示されるクラスタが得られたとする.{\footnotesize\begin{table}[htbp]\begin{center}\caption{クラスタリング結果例}\label{para}\vspace*{-3mm}Table1Thesampleresultsoftheclustering\\\begin{tabular}{ll}\hline\hline番号&クラスタ\\\hline1&(3,4)\\2&(1,(3,4))\\3&((1,(3,4)),2)\\\hline\end{tabular}\end{center}\end{table}}\noindent表\ref{para}の番号は,得られたクラスタの順位を示し,クラスタ中の番号はパラグラフの番号を示す.表\ref{para}において,第3パラグラフに含まれる重要語の個数が第4パラグラフより多い場合,重要パラグラフの抽出順序は,3$\rightarrow$4$\rightarrow$1$\rightarrow$2の順とし,そうでない場合,4$\rightarrow$3$\rightarrow$1$\rightarrow$2とした.
\section{実験}
本節では,文脈依存の度合いを用いた手法の有効性を検証するために行なった実験について述べる.\subsection{データ}実験で用いたデータは1988,1989年の品詞のタグ付けされた{\itWallStreetJournal}である\cite{Brill1992}.{\itWallStreetJournal}は各々異なる文数から成る記事で構成され,各記事の始めには,タイトル名が付与されている.さらに各タイトルは76種類の分野名に分類されている.そこでこの分野名からランダムに10個の分野を選択し,{\bf分野}として用いた.さらにこれら10個の分野に含まれる総計50個の記事を抽出した.表\ref{domain}に選択した50記事の分野名と記事数を示す.{\footnotesize\begin{table}[htbp]\begin{center}\caption{分野名と記事数}\label{domain}\vspace*{-3mm}Table2Thedomainnameandthenumberofarticles\\\begin{tabular}{l|c|l|c}\hline\hline\multicolumn{1}{c|}{分野名}&記事数&\multicolumn{1}{c|}{分野名}&記事数\\\hlineBBK:buybacks&6&BVG:beverages&8\\DIV:dividends&5&FOD:foodproducts&5\\STK:stockmarket&5&RET:retailing&1\\ARO:aerospace&5&ENV:environment&3\\PCS:preciousmetals&9&CMD:commoditynews,&3\\\hspace*{11mm}stones,gold&&\hspace*{11mm}farmproducts&\\\hline\end{tabular}\end{center}\end{table}}\noindent50記事中,名詞の総異なり数は3,802であり,これらに対し多義解消と名詞間のリンク付けを行なった結果,名詞の総異なり数は3,707となった.実験で用いた50記事は,各々パラグラフ数が異なる.そこで,総パラグラフ数に対する一定の割合を重要パラグラフとして抽出した.重要語,及び重要パラグラフの正解データは3人の被験者により作成した.重要語の正解データは,各被験者にタイトル文を削除した50記事を見せ,重要だと思われる語を各記事ごとに選択してもらい,この結果から2人以上が重要語であると判定した語を正解データとして抽出した\footnote{50記事中,3人が選んだ重要語の総異なり数は1,580であり,そのうち2人以上が重要語であると判定した語数は1,264個であった.}.重要パラグラフの正解データは以下のようにして作成した.先ず,重要語の場合と同様,各被験者にタイトル文を削除した50記事を見せ,重要と思われるパラグラフを総パラグラフ数に対する一定の割合分,選択してもらった.次に各記事に対し,重要であると判定した人数が多い順にパラグラフをソートし,この結果から総パラグラフ数に対する一定の抽出率に相当するパラグラフ数を抽出し,正解データとした.ただし,正解データに信頼性を持たせるため,データの中に重要であると判定した人数が1人しかいないパラグラフは正解データに含まれないようにした.例えば,抽出された総パラグラフ数に対する3割のパラグラフ数を3とし,そのうち2人以上が同じパラグラフを選んだパラグラフ数が2であった場合,残りの1パラグラフは排除し,2パラグラフを正解データとした.人手により作成した正解データにおいて一位で選ばれたパラグラフにタイトル文と等しい,あるいは類似した文が含まれている記事は,50記事中48記事であり,残りの2記事についても二位で選ばれたパラグラフにタイトル文を示す文が含まれていたことから,人手により選択されたパラグラフは正解データとして妥当であると考えられる.\subsection{実験結果}多義解消と名詞間のリンク付けを行なった50記事に対し,文脈依存の度合を示す式(\ref{degree1})と(\ref{degree2})を適用した結果,総計1,047個の重要語が抽出された.結果を表\ref{key_result}に示す.表\ref{key_result}において,{\itRecall}と{\itPrecision}を以下に示す.{\footnotesize\begin{table}[htbp]\begin{center}\caption{重要語抽出の実験結果}\label{key_result}Table3Theresultsofkeywordexperiment\\\begin{tabular}{r|r|c}\hline\hlineパラグラフ数&記事数&{\itRecall}/{\itPrecision}\\\hline\hline3&1&88.9/81.2\\\hline4&13&62.7/86.2\\\hline5&6&76.7/86.2\\\hline6&6&67.3/77.5\\\hline7&4&83.2/86.4\\\hline8&3&89.0/80.0\\\hline9&4&80.3/75.4\\\hline10&2&90.2/72.2\\\hline11&1&80.1/87.6\\\hline12&1&100.0/83.7\\\hline14&3&46.5/50.2\\\hline15&2&100.0/73.4\\\hline16&2&89.2/82.0\\\hline17&1&62.4/89.4\\\hline22&1&64.3/70.0\\\hline\hline\multicolumn{1}{c|}{計}&50&78.7/78.1\\\hline\end{tabular}\end{center}\end{table}}\vspace*{-1cm}\begin{eqnarray}Recall&=&\frac{被験者と本手法の抽出結果で共通している重要語の個数}{被験者が抽出した重要語の個数}\nonumber\\\nonumber\\Precision&=&\frac{被験者と本手法の抽出結果で共通している重要語の個数}{本手法で抽出した重要語の個数}\nonumber\end{eqnarray}\noindent表\ref{key_result}の{\itRecall}と{\itPrecision}は各パラグラフ数ごとの平均を示す.また,重要パラグラフの抽出結果を表\ref{result}に示す.実験結果の評価は,正解データ(表\ref{result}の`抽出')の中に本手法により抽出された重要パラグラフ(表\ref{result}の`正解')がどの程度含まれているか,という尺度で行なった.{\footnotesize\begin{table}[htbp]\begin{center}\caption{実験結果}\label{result}\vspace*{-3mm}Table4Theresultsofkeyparagraphexperiment\\\begin{tabular}{|c|r|r|r|r|r|r|r|r|r|r|r|}\hline\hline\multicolumn{1}{|c|}{パラグラフ}&\multicolumn{10}{c|}{重要パラグラフの抽出率(\%)}&\\\cline{2-11}\multicolumn{1}{|c|}{\raisebox{-1.5ex}{(記事)}}&\multicolumn{2}{c|}{10}&\multicolumn{2}{c|}{20}&\multicolumn{2}{c|}{30}&\multicolumn{2}{c|}{40}&\multicolumn{2}{c|}{50}&正解率\\\cline{2-11}\multicolumn{1}{|c|}{}&抽出&正解&抽出&正解&抽出&正解&抽出&正解&抽出&正解&\%\\\cline{1-12}3(1)&1&1&1&1&1&1&1&1&2&2&100.0\\\cline{2-12}4(13)&13&12&13&12&13&12&13&12&26&21&88.4\\\cline{2-12}5(6)&6&5&6&5&$\ast$11&8&$\ast$10&9&18&14&96.0\\\cline{2-12}6(6)&6&6&6&6&$\ast$9&9&12&10&18&14&88.2\\\cline{2-12}7(4)&4&4&4&4&8&8&12&8&16&11&79.5\\\cline{2-12}8(3)&3&3&6&6&6&6&$\ast$8&6&12&7&80.0\\\cline{2-12}9(4)&4&4&8&8&$\ast$8&8&16&11&$\ast$18&9&74.0\\\cline{2-12}10(2)&2&2&4&2&$\ast$4&2&8&6&10&7&67.8\\\cline{2-12}11(1)&1&1&2&2&3&3&4&3&6&4&81.2\\\cline{2-12}12(1)&1&1&2&2&$\ast$2&2&$\ast$3&3&6&3&78.5\\\cline{2-12}14(3)&3&2&4&3&$\ast$6&4&$\ast$14&7&$\ast$19&10&56.5\\\cline{2-12}15(2)&$\ast$3&$\ast$2&$\ast$3&2&$\ast$3&2&$\ast$8&6&$\ast$14&10&70.9\\\cline{2-12}16(2)&$\ast$3&$\ast$3&$\ast$5&5&5&5&12&8&$\ast$16&10&75.6\\\cline{2-12}17(1)&2&2&3&3&$\ast$3&3&$\ast$7&4&$\ast$8&4&69.5\\\cline{2-12}22(1)&2&2&$\ast$2&2&$\ast$2&2&$\ast$4&2&$\ast$8&4&66.6\\\hline\multicolumn{1}{|c|}{総数(50)}&54&50&69&63&84&75&132&96&215&130\\\cline{1-11}\multicolumn{1}{|c|}{正解率\%}&\multicolumn{2}{c|}{92.5}&\multicolumn{2}{c|}{91.3}&\multicolumn{2}{c|}{89.2}&\multicolumn{2}{c|}{72.7}&\multicolumn{2}{c|}{60.4}\\\cline{1-11}\multicolumn{12}{c}{}\\\multicolumn{12}{c}{}\\\multicolumn{12}{l}{$\ast$:\\\2人以上が同じパラグラフを抽出した数が,総パラグラフに対する3割のパラグラフ数に}\\\multicolumn{12}{l}{\\\\\\満たないことを示す.}\\\end{tabular}\end{center}\end{table}}\noindent表\ref{result}は,重要パラグラフの抽出率が総パラグラフ数の10$\sim$50\%における各記事の抽出数,正解数を示す.各記事は記事の大きさ,すなわちパラグラフ数により分類されている.表\ref{result}の括弧は各パラグラフ数から成る記事の個数を示す.例えば3(1)は3パラグラフから成る記事が1つ存在することを示す.
\section{考察}
\subsection{重要語の抽出について}表\ref{key_result}によると,重要語抽出の{\itRecall/Precision}の総計はそれぞれ78.7\%,78.1\%であった.表\ref{key_result}において{\itRecall/Precision}が最も低いパラグラフ数は14パラグラフ(46.5/50.2)であり,その結果重要パラグラフの抽出結果である表\ref{result}においても抽出率は最も悪く,平均56.5\%であった.本手法では重要語が正しく抽出できない場合には重要パラグラフを正確に抽出できない可能性が高い.重要語が正しく抽出できなかった原因として以下のことが考えられる.\begin{enumerate}\item重要語の判定式記事(タイトル名`AberminsuesGrangesinEfforttorescindJointGoldVenture')において判定された重要語とパラグラフ,記事,分野における$\chi^2$値のサンプル例を表\ref{bbk5_2}に示す.{\footnotesize\begin{table}[htbp]\begin{center}\caption{記事における重要語と$\chi^2$法の値}\label{bbk5_2}Table5Keywordsandtheir$\chi^2$valuesinthearticle\\\begin{tabular}{lrrr}\hline\hline重要語&パラグラフ&記事&分野\\\hlineabermin&0.582&10.835&663.605\\belzberg&1.468&1.548&94.801\\flin&1.468&1.548&94.801\\gold5&1.770&2.496&52.865\\granges&0.680&15.478&948.007\\manitoba&1.468&1.548&94.801\\mill1&1.706&4.925&94.801\\ounces&1.765&5.064&284.402\\reserves&2.912&3.060&94.801\\suit2&1.099&3.096&189.601\\supreme1&1.468&1.548&94.801\\tartan1&0.251&6.191&379.203\\{\sfword237}&4.633&5.132&362.887\\{\sfword238}&1.468&1.548&94.801\\その他15&$\cdots$&$\cdots$&$\cdots$\\\hline全体平均&1.772&2.383&78.161\\\hline\end{tabular}\end{center}\end{table}}\noindent表\ref{bbk5_2}において,\hspace{-0.2mm}`パラグラフ',\hspace{-0.1mm}`記事',\hspace{-0.1mm}`分野'\hspace{-0.1mm}の各値は,\hspace{-0.1mm}各々の単語の\hspace{0.1mm}$\chi^2$法の値を示す.\hspace{-0.1mm}`全体平均'\hspace{-0.1mm}は,記事に出現する全ての語の平均を示す.`{\sfword237}'及び`{\sfword238}'は,名詞同士のリンク付けを行なった後のラベル付けを示す.表\ref{bbk5_2}によると,抽出された重要語のうち,パラグラフでの$\chi^2$法の全体平均値(1.772)よりもかなり高い値を持つ語が存在している.例えば,`{\sfword237}'は,4.633であり,平均値よりもかなり高い値を示していることから,特定のパラグラフに集中して出現しており,主題と関係がないにもかかわらず誤って重要語と判定されていた.例えば,抽出率が10\%で正解率が100\%に達しない記事は4記事存在し,このうち3記事がこのことが原因であった.この問題に対処するための手法として,パラグラフでの$\chi^2$法の全体平均値を加味した重要語の判定が考えられる.例えば,表\ref{bbk5_2}において,パラグラフでの全体平均値(1.772)よりも高い値を持つ`{\sfword237}'(`stock',`exchange',`market'など)と`reserves'は,記事のタイトルが`AberminsuesGrangesinEfforttorescindJointGoldVenture'(AberminがGrangesに対し,合弁貴金属産業を廃止するために訴えを起こす)であり,その背景説明として`Abermin'と`Granges'の両会社の株価の変動を説明する際用いられた語であることから,主題とは直接関係がないと考えられる.この場合,全体平均値を上回る語に対しては,重要語とみなさないなどの制約を加えることでこれらの語を排除することができる.今回の実験では,文脈依存の度合の関係を示す式として式(\ref{degree1})と(\ref{degree2})を用いて重要語の判定を行なった.今後さらに精度を上げるため,これらの式に加えパラグラフでの$\chi^{2}$の全体平均値を考慮するなど,重要語の判定についてさらに検討する必要がある.\item多義の曖昧性解消本手法では名詞の多義解消と名詞間のリンク付けを行なった結果に対し,文脈依存の度合を導入することで重要語を抽出している.実験で用いた50記事に対し,名詞の多義解消と名詞間のリンク付けを行なわずに文脈依存の度合を適用した実験を行なった結果,総抽出数84パラグラフ(抽出率30\%)に対し66パラグラフが正解であり,平均正解率は78.5\%であった.結果的に多義の解消と名詞間のリンク付けを行なうことで,正解率が89.2\%に達し10.7\%向上していることから,多義の解消と名詞同士のリンク付けが有効であることがわかる.一方,多義の曖昧性が正しく解消できなかったために正解が得られなかった記事は,抽出率10\%において正解が得られなかった4記事中,1記事存在した.記事及びそのクラスタリング結果を図\ref{bbk5}と図\ref{bbk6}に示す.{\footnotesize\begin{figure}[htbp]\begin{center}\begin{tabular}{|ll|}\hline\multicolumn{2}{|c|}{{\bfCrystalOilCo.ExtendsOffer}}\\\multicolumn{2}{|c|}{}\\1&\parbox[t]{12cm}{\underline{Crystal4}\underline{oil4}co.saiditextendedto\underline{Nov.}17the\underline{exchange1}\underline{offer4}forallofitsnon-interest-bearingconvertiblesecured\underline{notes},due1997,for\underline{shares}ofitscommon\underline{stock5}.}\\2&\parbox[t]{12cm}{The\underline{offer4}hadbeensettoexpire\underline{yesterday1}.}\\3&\parbox[t]{12cm}{Thecompany1saidabout65.89\%ofthe\underline{notes}outstandinghavebeentendered.undertheplan5,the\underline{notes}willbeexchangedata\underline{rate5}of65\underline{shares}of\underline{crystal2}\underline{oil3}commonforeach\$1,000principal\underline{amount4}ofthe\underline{notes},the\underline{energy4}\underline{concern2}said.}\\4&\parbox[t]{12cm}{Incomposite\underline{trading1}onthe\underline{american2}\underline{stock1}\underline{exchange1}\underline{yesterday2},\underline{crystal2}\underline{oil3}\underline{shares}closedat\$2.875,up12.5\underline{cents}.}\\\multicolumn{2}{|c|}{}\\\hline\end{tabular}\caption{記事}\label{bbk5}{\smallFigure2Thesampleofthearticle}\end{center}\end{figure}}{\small\begin{figure}[htbp]\centerline{\epsfile{file=paragraph2.eps,height=2.5cm,width=4.5cm}}\caption{記事のクラスタリング結果}\label{bbk6}\begin{center}Figure3Theclusteringresults\end{center}\end{figure}}\noindent図\ref{bbk5}において先頭はタイトル名を示す.図\ref{bbk5}及び\ref{bbk6}の番号はパラグラフの番号を示し,図\ref{bbk5}の下線は本手法により抽出された重要語を示す.図\ref{bbk6}によると,クラスタ(3,4)とクラスタ(1,(3,4))との差は0.02であり,僅かの差でクラスタ(3,4)が抽出された結果,パラグラフ1が重要パラグラフであるにもかかわらず抽出されなかったことを示す.パラグラフ1,3,4に出現する重要語と重み付けを行なった後の頻度数を表\ref{bbk5_1}に示す.{\footnotesize\begin{table}[htbp]\begin{center}\caption{記事の各パラグラフに出現する単語と頻度}\label{bbk5_1}\vspace*{-3mm}Table6Thewordsandtheirfrequenciesinthearticle\\\begin{tabular}{rl|rl|rl}\hline\hline\multicolumn{2}{c|}{パラグラフ1}&\multicolumn{2}{c|}{パラグラフ3}&\multicolumn{2}{c}{パラグラフ4}\\\hline頻度&単語&頻度&単語&頻度&単語\\\hline1&crystal4&1&concern2&1&american2\\1&oil4&1&crystal2&1&crystal2\\5&{\sfword237}&1&energy4&1&oil3\\1&{\sfword78}&1&oil3&5&{\sfword237}\\&&1&rate5&1&{\sfword78}\\&&5&{\sfword237}&&\\\hline\multicolumn{6}{c}{}\\&\multicolumn{1}{l}{\sfword78:}&\multicolumn{4}{l}{Nov.,yesterday2}\\&\multicolumn{1}{l}{\sfword237:}&\multicolumn{4}{l}{exchange1,offer4,notes,shares,}\\&\multicolumn{1}{l}{}&\multicolumn{4}{l}{stock5,amount4,trading1,stock1,cents}\\\end{tabular}\end{center}\end{table}}\noindent表\ref{bbk5_1}において,語の末尾の数字は,多義が解消され,各語に対し予め設定した5つの意味のいずれかに決定できたことを示す.また`{\sfword237}'及び`{\sfword78}'は,名詞同士のリンク付けを行なった後のラベル付けを示す.表\ref{bbk5_1}によると,`crystal',`oil'がパラグラフ1,3,4に出現するにもかかわらず,パラグラフ1に出現する`crystal'及び`oil'は誤って多義が解消され,それぞれ`crystal4',`oil4'で置き換えられている.その結果,パラグラフ3と4の共通単語は3語,パラグラフ1と3,パラグラフ1と4の共通単語はそれぞれ共に1語,2語であり,パラグラフ3と4がより類似性が高いと判定され,結果的にパラグラフ1が重要パラグラフとして選ばれなかった.本手法では多義が正しく解消されない場合には重要語が判定できず正解が得られない可能性が高い.本手法で用いた多義の解消率は,78.4\%であった\footnote{{\itWallStreetJournal}からランダムに抽出した490文に含まれる名詞3,608語のうち多義が正しく解消できたものは,2,828語(78.4\%)であった.}が,今後さらに多義解消自体の精度を向上させる必要がある.\end{enumerate}\subsection{重要パラグラフの抽出について}表\ref{result}によると,抽出率が10$\sim$30\%の場合,それぞれ,50,63,75パラグラフが正解であり,平均正解率は92.5\%,91.3\%,89.2\%に達した.分野名`BBK(Buybacks)'に属し,6パラグラフから成る記事を図\ref{sample1}に示し,それに出現する語のパラグラフ,記事,分野における$\chi^2$値の例を表\ref{sample}に示す.{\footnotesize\begin{figure}[htbp]\begin{center}\begin{tabular}{|ll|}\hline\multicolumn{2}{|c|}{{\bfSafecardServicesInc.SetsStockBuy-Back,CitingDropinPrice}}\\\multicolumn{2}{|c|}{}\\1.&\parbox[t]{12cm}{\underline{Safecard}\underline{services}Inc.saiditintendstobeginpurchasingitscommonontheopenmarketbecauseofasharp\underline{drop}inthe\underline{stock's}pricelatelastweek.}\\\multicolumn{2}{|c|}{}\\2.&\parbox[t]{12cm}{Thecompanydidn'tsayhowmanysharesitexpectstobuy,butitsaidthepurchaseswouldbemadeunderapreviouslyannounced\underline{stock}buy-backprogram.Officersdidn'treturncallsseeking\underline{details}.Asofapril30,thecompanyhad32millionsharesoutstanding.}\\\multicolumn{2}{|c|}{}\\3.&\parbox[t]{12cm}{\underline{Safecard}saidits\underline{stock}hadbecomeandanattractiveinvestmentasaresultofthepricedeclinethatbeganthursday,whenSafecardfell$1,or18,to$6.Ashare,makingittheday'stoppercentageloseronnasdaq,thenationalassociationof\underline{securities}dealersautomatedquotation\underline{service}.OnFriday,itfellafurther87centsto\$5.Ashareonvolumeofabout2millionshares.}\\\multicolumn{2}{|c|}{}\\4.&\parbox[t]{12cm}{Theprice\underline{drop}followedreportsonthe\underline{Dow}\underline{Jones}\underline{News}\underline{service}andinthisnewspaperthatfederal\underline{agents}executedasearch\underline{warrant}on\underline{Safecard's}\underline{premises}inmid-Octoberinconnectionwithacriminalinvestigationbytheinternalrevenue\underline{service}.The\underline{news}\underline{accounts}saidthe\underline{target}oftheinvestigationcouldn'timmediatelybedetermined.Theyreportedasubsequent\underline{Safecard}\underline{announcement}thatthecompanyhadbeentoldbytheIrsthatitisn'ta\underline{target}or\underline{subject}ofanyIrsinvestigation.\underline{Safecard}officersdidn'treturnnumerousphone\underline{calls}seekingcommentorfurther\underline{details}.}\\\multicolumn{2}{|c|}{}\\5.&\parbox[t]{12cm}{Inannouncingitsstock-buy-backplans,\underline{Safecard}saidits\underline{stock}priceplungecameinresponsetoerroneousheadlinespublishedintheWallStreetJournalandelsewhereassertingthat\underline{Safecard}istheobjectofanIrscriminalinquiry.acorrectionoftheheadlineappearsintoday'seditions.}\\\multicolumn{2}{|c|}{}\\6.&\parbox[t]{12cm}{\underline{Safecard},whichnotifiescredit-cardissuersoflostorstolencards,isoneofthecountry'sbiggestcredit-cardprotectionconcerns.}\\\multicolumn{2}{|c|}{}\\\hline\end{tabular}\caption{記事と重要語}\label{sample1}{\smallFigure4Thesampleofthearticleandkeywordsinthearticle}\end{center}\end{figure}}{\footnotesize\begin{table}[htbp]\begin{center}\caption{出現語と$\chi^2$法の値}\label{sample}Table7Keywordsandtheir$\chi^2$valuesinthearticle\\\begin{tabular}{lrrr}\hline\hline語&パラグラフ&記事&分野\\\hline$\ast$$\ast$Safecard&0.329&10.390&25.755\\$\ast$$\ast$Services&0.426&1.484&3.679\\$\ast$$\ast${\sfword237}&2.770&3.873&165.408\\card1&4.296&1.484&3.679\\country2&4.296&1.484&5.229\\journal1&1.927&1.484&3.679\\plan1&1.927&1.271&11.997\\today2&1.927&1.484&3.679\\$\cdots$&$\cdots$&$\cdots$&$\cdots$\\\hline\multicolumn{4}{c}{}\\\multicolumn{4}{l}{$\ast$$\ast$:\\\重要語を示す.}\\\end{tabular}\end{center}\end{table}}\noindent図\ref{sample1}において先頭はタイトル名を示す.また番号はパラグラフ番号を示し,下線は本手法により抽出された重要語を示す.表\ref{sample}によると記事のタイトル中で示される名詞(`Safecard',`Services',`Inc.',`Stock',`City',`Price')のうち,`Inc.',`City',及び`Price'を除くいずれもが重要語と判定されている.また,`card',`country',`plan',`today'など他分野にも現れると考えられる一般語は,式(\ref{degree1}),(\ref{degree2})を満たさないため重要語とならず,結果的に一般語として正しく認識できている.図\ref{sample1}で示された記事をクラスタリングした結果を図\ref{sample2}に示す.{\begin{figure}[htbp]\centerline{\epsfile{file=paragraph.eps,height=3.5cm,width=5.5cm}}\caption{記事のクラスタリング結果}\label{sample2}\begin{center}\vspace*{-5mm}Figure5Theclusteringresults\end{center}\end{figure}}\noindent図\ref{sample2}において,数値は類似度を示す.クラスタリングの結果,例えば抽出率が30\%の場合,パラグラフ1と3が重要パラグラフとして選択され,被験者の評価結果と一致した.表\ref{result}において抽出率が10$\sim$30\%の場合には,記事の大きさに関係なくほぼ安定して高い正解率が得られていることから,重要パラグラフ抽出の際に用いたクラスタリング手法の結果,高い類似度で抽出されたクラスタには,重要パラグラフが含まれていることがわかる.一方,抽出率が40\%以上になると正解率は低く,40\%,50\%でそれぞれ72.0\%,60.4\%であった.さらに抽出率が40\%以上の場合,精度はパラグラフ数が多くなると低下している.原因として,文間の類似度を利用したクラスタリング手法が考えられる.例えば,図\ref{sample2}において,抽出率が30\%の場合,上位2語であるパラグラフ1と3は高い類似度(0.84)でクラスタリングされている.一方抽出率が50\%以上になると類似度は0.45に低下している.そこで,重要パラグラフの抽出方法としてクラスタリング手法を用いる代わりにベクトルの大きさ,すなわち,各記事を示すベクトルの大きさが大きいものほど重要であるとし,ベクトルの大きい順に抽出する手法と本手法とを比較した.結果を表\ref{cluster}に示す.{\footnotesize\begin{table}[htbp]\begin{center}\caption{類似度とベクトルの大きさとの比較}\label{cluster}Table8Theresultsoftheexperimentbasedonparagraph'ssimilarity\\andthelengthofavector\\\begin{tabular}{r|r|r|r}\hline\hline抽出率&抽出数&本手法(\%)&ベクトル(\%)\\\hline10&54&50(92.6)&48(88.9)\\\hline20&69&63(91.3)&58(84.1)\\\hline30&84&75(89.3)&68(78.6)\\\hline40&132&96(72.7)&91(69.0)\\\hline50&215&130(60.4)&128(60.6)\\\hline\end{tabular}\end{center}\end{table}}\noindent表\ref{cluster}において,抽出数は各抽出率において抽出したパラグラフ数を示し,`本手法',`ベクトル'は,それぞれの正解数を示す.表\ref{cluster}の各抽出率においてベクトルの大きさを用いて重要パラグラフを判定する手法\hspace{0.1mm}よりも本手法\hspace{0.1mm}の\hspace{0.1mm}方が高い正解率\hspace{0.1mm}が\hspace{0.1mm}得られていることがわかる.\hspace{0.1mm}本手法では抽出率が40\%以上かつパラグラフ数が15以上になると精度が低下したが,このことはベクトルの大きさを用いた手法においても同様であった.これは,抽出率,及びパラグラフ数が多くなると各パラグラフを通して重要語の出現個数に差が生じなくなり,\hspace{0.1mm}結\hspace{0.1mm}果\hspace{0.1mm}的に各パラグラフの特\hspace{0.1mm}徴\hspace{0.1mm}化が示せなかったことによると考えられる.パラグラフの数が15以上の場合には,表\ref{result}において$\ast$の個数が多くなる.これは,抽出数が総パラグラフに対する抽出率に満たない記事が増加していることを示し,被験者の評価にも揺れが生じていることから重要箇所の抽出は難しいことがわかる.従って本手法のように文脈依存の度合だけを用いて多くのパラグラフ数から成る記事に対して高い抽出率で重要箇所を正確に抽出するのには限界があることがわかる.今後重要パラグラフの抽出精度を上げるためには,パラグラフの位置情報などのヒューリィステックスなども加味することが考えられる.抽出率が30\%の場合を例にとり,本手法で抽出された重要パラグラフ,及び,被験者が選んだ重要パラグラフが記事中でどのような位置に分布していたかを表\ref{position1}に示す.{\footnotesize\begin{table}[htbp]\begin{center}\caption{記事中における重要パラグラフの位置}\label{position1}\vspace*{-3mm}Table9Thepositionofkeyparagraphinthearticle\begin{tabular}{l||r|r}\hline\hline&\multicolumn{2}{|c}{記事数}\\\cline{2-3}&被験者&本手法\\\hline(a)先頭パラグラフ&39&37\\\hline(b)先頭パラグラフ,最終パラグラフ&4&4\\\hline(c)先頭パラグラフ,中央パラグラフ,最終パラグラフ&1&1\\\hline(d)先頭パラグラフ,中央パラグラフ&4&4\\\hline(e)中央パラグラフ&0&1\\\hline(f)それ以外&2&3\\\hline\multicolumn{1}{c||}{総計}&50&50\\\hline\end{tabular}\end{center}\end{table}}\noindent表\ref{position1}において各パラグラフはその付近のパラグラフも含む.表\ref{position1}によると,被験者において50記事中,39の記事がその先頭パラグラフ付近のみに重要パラグラフが位置していると判定しており,全体の78.0\%を占めている.このことから,先頭パラグラフ付近に重要パラグラフが位置するというヒューリスティックスだけを単独で利用する方法は,本手法の正解率(89.2\%)よりも低いことがわかる.しかしながら,本手法において先頭パラグラフ付近に重要パラグラフが位置すると判定した記事数は37であり,2記事が先頭パラグラフ付近に重要パラグラフが存在するにもかかわらず,結果的に誤って判定している.このことから,{\itWallStreetJournal}のような新聞記事に対しては,先頭パラグラフ付近に重要パラグラフが位置するというヒューリスティックスを重要パラグラフ抽出の際の重み付けの一つとして利用することは有効であると考えられる.今後,重要パラグラフの抽出に文脈依存の度合と位置情報のようなヒューリスティックスをどのように組み合わせるかを検討する必要がある.
\section{むすび}
本稿では,新聞記事を対象とし,文脈依存の度合を用いて語に重み付けを行なうことで重要パラグラフを抽出する手法を提案した.実験では人手により抽出したパラグラフと比較した結果,抽出率を30\%とした場合,50記事の抽出総パラグラフ数84に対し75パラグラフが正解であり,正解率は89.2\%に達した.今後,6節で述べた問題に対処する他,課題として以下の2点が挙げられる.\begin{enumerate}\item文書の自動分類手法との統合本手法では,文脈依存の度合を用いることにより高い精度で重要パラグラフを抽出することができる反面,{\itWallStreetJournal}のように予め分野が設定された十分な量のコーパスを必要とする.しかし,分野設定済みの利用可能なコーパスは数少ない.近年電子化されたコーパスを対象とし,文書の自動分類に関する研究が盛んに行なわれているが\cite{Blosseville1992},\cite{Lewis1992},\cite{Tokunaga1994},\cite{Fukumoto1996},今後これらの研究と本手法とを組み合わせることで汎用性を持たせる必要がある.\itemパラグラフから文への適用本手法の応用として,要約,すなわち「元文章の大意を伝えることができる簡略化した幾つかの文を生成する」へ利用することを考えた場合には,重要パラグラフから重要文へ適用する方が望ましい.本手法のパラグラフから文抽出への適用を試みた結果,抽出率が10\%のときパラグラフを対象とした場合には,抽出数54パラグラフに対し正解数は50であり正解率は92.5\%に達した.一方,文を対象とした場合には,抽出数120文に対し正解数は89文であり正解率は74.1\%であった\footnote{重要文に関する正解データは,3人の被験者により作成された重要パラグラフの正解データの中から各記事に対し抽出率を10\%とし,それに相当する文数だけ一人の被験者により文を抽出し,正解データとした.}.重要文抽出の正解率が重要パラグラフの正解率よりも低かった原因として以下のことが考えられる.\begin{itemize}\item単語頻度数の問題文を対象とした場合には単語頻度がパラグラフの場合よりも減少するため,文間で共通に出現する単語が相対的に少なくなり,結果的に類似度がゼロとなりクラスタリングできない場合が生じた.\item言い換えの問題対象とした記事には,重要文の内容を言い換えた文が存在した.重要文とその言い換えの文では,同じ語あるいは意味的に近い語が多く使われているため,文間の類似度が高くなり,結果的に他の重要文が抽出されない場合が生じた.\end{itemize}\noindent上記の問題に対処するため,重要語を抽出した後,文を単位とした場合の抽出方法について検討する必要がある.\end{enumerate}\bibliographystyle{jnlpbbl}\bibliography{main}\begin{biography}\biotitle{略歴}\bioauthor{福本文代}{1986年学習院大学理学部数学科卒業.同年沖電気工業(株)入社.総合システム研究所勤務.1988年より1992年まで(財)新世代コンピュータ技術開発機構へ出向.1993年マンチェスター工科大学計算言語学部修士課程終了.同大学客員研究員を経て1994年より山梨大学工学部助手,現在に至る.自然言語処理の研究に従事.情報処理学会,ACL各会員.}\bioauthor{福本淳一}{1984年広島大学工学部第2類卒業.1986年同大学工学研究科博士前期課程終了.同年沖電気工業(株)入社.総合システム研究所勤務.1992年より1994年までマンチェスタ工科大学言語学部Ph.Dコース在学.1996年より同社関西総合研究所勤務,現在に至る.自然言語処理の研究に従事.ACL,言語処理学会,人工知能学会各会員.}\bioauthor{鈴木良弥}{1986年山梨大学工学部計算機科学科卒業．1988年山梨大学大学院工学研究科計算機科学専攻修了．同年木更津工業高等専門学校助手．1993年東京工業大学大学院総合理工学研究科博士後期課程修了．1994年より山梨大学工学部助手,現在に至る．音声言語処理の研究に従事．工学博士．電子情報通信学会，日本音響学会，言語処理学会各会員.}\bioreceived{受付}\biorevised{再受付}\biorevised{再々受付}\bioaccepted{採録}\end{biography}\end{document}