\section{はじめに}
本稿は、語彙的結束性(lexicalcohesion)という文章一般に見られる現象に基づき話題の階層構成を認定する手法を提案する。この手法は、任意の大きさの話題を選択的取り出せること、大きな話題と小さな話題との対応関係を認定できること、文書の種類によらない汎用性を持つことの3つの要件を満たすよう考案した手法である。本研究の最終的な目標は、数十頁の文書に対して、1〜2頁程度の要約を自動作成することにある。これは、白書などの長い文書に関し、オンラインで閲覧中の利用者のナビゲートや、簡潔な調査レポートの作成支援などに用いることを意図している\cite{JFJ-V49N6P434}。長い文書に対して簡潔な要約を作成するには、適切な粒度の話題を文書から抽出する技術が必要になる。白書のような数十頁におよぶ報告書の場合、骨子をひとまず把握しておこうとしている利用者にとっては、1/4程度にまとめた通常の要約ではなく、１頁で主要な話題の骨子のみを取り上げた要約の方が利用価値が高い。このように原文に比べて極端に短い要約は、要約に取り込む話題を厳選しないと作成できない。例えば、新聞記事からの重要文抜粋実験\cite{NL-117-17}によれば、それぞれの話題に対して最低3文程度(120〜150文字程度)抜粋しないと内容の把握が難しい\footnote{見出し1文に本文から抜粋した2〜3文を提示すれば、雑談の話題として提供できる程度には理解できた気になれる。}。よって、1,500字程度(A4判1頁程度)の要約を作成するのであれば、要約対象の文書から10個程度以下の主要な話題を厳選して抽出しなければならない。従来の自動要約研究の多くは、新聞の社説や論文など、全体を貫く論旨の流れのはっきりした文章を対象にしてきた(例えば\cite{J78-D-II-N3P511})。あるいは、複数記事をまとめて要約する研究(例えば\cite{NL-114-7})であっても、何らかの一貫した流れ(ストーリーや事件の経過など)に沿う文章を対象にしてきた点に変わりはない。言い換えれば、ひとつの談話の流れに沿った文章を対象に、要約研究が進められてきたといえる。しかし、白書などの長い文書では、文書全体を貫く論旨の流れが存在するとは限らず、ある論旨に沿って記述された複数の文章が、緩やかな関連性の下に並べ置かれていることが多い。このような集合的文書を１頁程度に要約するためには、大局的な話題構成を認定して、要約に取り入れるべき話題を選択/抽出する必要がある。すなわち、原文書の部分を抜粋して要約を作成するのであれば、それぞれの談話の単位(修辞的な文章構造)を要約する技術に加え、個々の談話の単位を包含する大きな話題のまとまりを認定する技術と、要約に取り入れるべき適切な話題のまとまりを選択する技術の2つが必要となる。また、特に長い文書では、大きな話題まとまりの下に談話の単位が並ぶという2レベルの構造だけでなく、大きな話題から従来技術で要約可能な大きさのまとまりまで、色々なレベルで選択できるよう、多層構造の話題のまとまり、すなわち、話題の階層構成が望まれる。談話の単位を包含する大きな話題のまとまりは、文書の論理構造(章や節など)と深く関連するので、その認定を書式解析(例えば\cite{J76-D-II-N9P2042,NLC94-17})に\break\vspace*{-1mm}より行うことも考えられる。しかしながら、書式解析処理は、処理対象を限定すれば容易に実現できるものの、汎用性に問題がある。つまり、書式はある種類の文書における約束事であるため、文書の種類毎に経験的な規則を用意しなければならないという問題点がある。また、同じ章の下に並んでいる節であっても、節間の関連の程度が大きく異なる場合もあり、文書の論理構造と話題の階層構成とは必ずしも一致しない。このような場合にも的確に(大きな)話題のまとまりを認定できる手法が望まれる。そこで、本稿では、書式解析などより一般性の高い語彙的結束性という言語現象に基づき、談話の単位を包含するような話題の階層構成の認定を試みる。語彙的結束性とは、文章中の関連箇所に見られる、同一語彙あるいは関連語彙の出現による結び付きのことであり、\cite{Haliday.M-76}で、英文において文章らしさ(texture)をもたらす要因の1つとして提示されたものである。国語学においても、\cite{Nagano.M-86}が、主語(話題)の連鎖、陳述(表現態度)の連鎖、主要語句の連鎖というよく似た言語現象を、日本語の文章構造をとらえる主要な観点として、文や段落の連接、統括の２つとともにあげている。語彙的結束性に基づき文章構造を認定する手法は、文章中の関連語彙の連鎖を追跡するタイプと、文章中の同一語彙(または関連語彙)の出現密度を測定するタイプの2つに大別される。連鎖追跡タイプの研究には、\cite{CL-V17N1P21}を筆頭に、\cite{NLC93-8,NL-102-4,PNLP-2-P325}などがあり、出現密度測定タイプの研究には、提案手法のベースである\cite{PACL-32-P9}の手法\footnote{\cite{PACL-32-P9}には連鎖追跡タイプの手法も別法として示されている。}や、\cite{NLC93-7,NLC93-63}などがある。また、情報検索の立場から、文書中の要素を元の文書構造とは異なる構造にクラスタリングする研究\cite{HYPERTEXT96-P53}なども、出現密度測定タイプの一種としてとらえられる。これらの研究は、\cite{CL-V17N1P21}中の基礎的な検討と文書分類的研究\cite{HYPERTEXT96-P53}を除けば、話題の転換点だけを求める手法であり、本稿とは異なり、話題の階層構成までは認定対象としていない。また、認定対象の話題のまとまりは、基本的には数段落程度の大きさであり、大きくても新聞の１記事程度である。すなわち、本稿のように複数の記事を包含するようなまとまりを語彙的結束性だけを使って認定することは、試みられていなかった。また、連鎖追跡タイプの語彙的結束性による話題境界の認定技術と、接続詞や文末のモダリティに関わる表現などの手がかりとする文章構造解析技術\cite[など]{NL-78-15,J78-D-II-N3P511,LIS-N31P25}を併用して、大域的な構造の取り扱いを狙った研究\cite{JNLP-V5N1P59}もある。ただし、現時点で提示されているのは、語彙的結束性を修辞的な関係の大域的な制約として用いる手法だけなので、修辞的関係が働く範囲内の文章構造までしか原理的に認定できない\footnote{\cite{JNLP-V5N1P59}では、「話題レベル」の構造の上に、導入・展開・結論という役割に関する「論証レベル」という構造も想定している。実際にこのような機能構造を解析するためには、\cite{LIS-N30P1}が論じているような、分野に依存した類型的構成の知識(スキーマ)などが必要になると考えられる。}。本稿では、同一語彙の繰り返しだけを手がかりにするという単純な手法で、章・節レベルの大きさのまとまりまで認定可能かを確かめることをひとつのテーマとする。また、同一語彙の繰り返しだけを手がかりにする方法で話題の階層関係が認定できるかをもうひとつのテーマとする。以下、\ref{sect:Hearst法}章で\cite{PACL-32-P9}の手法によって章・節レベルの大きな話題の境界位置の認定を試みた実験の結果を示し、問題点を指摘する。次に、指摘した問題点を解決するために考案した提案手法の詳細を\ref{sect:話題構成認定手法}章で説明し、その評価実験を\ref{sect:評価実験}章で報告する。
\section{Hearstの手法を用いた章・節レベルの話題境界の認定}
\label{sect:Hearst法}本章では、提案手法のベースになっているHearstの話題境界認定手法\cite[以下Hearst法と称する]{PACL-32-P9}を紹介し、それを章・節レベルの大きな話題の境界の認定に適用した実験の結果を示す。そして、実験結果に基づきHearst法の問題点を議論する。\subsection{Hearst法による話題境界の認定}Hearst法では、まず、文書中の各位置の前後に、段落程度の大きさ(120語程度)の窓を設定し、その2つの窓にどれくらい同じ語彙が出現しているかにより、2つの窓内の部分の類似性を測定する。類似性は、次に示す余弦測度(cosinemeasure)\footnote{「コサイン・メジャー」とカナ書きされることも多いが、長過ぎて読みにくいので、本稿では「余弦測度」と訳した。}で測定している。\[sim(b_{l},b_{r})=\frac{\Sigma_{t}w_{t,b_{l}}w_{t,b_{r}}}{\sqrt{\Sigma_{t}w_{t,b_{l}}^{2}\Sigma_{t}w_{t,b_{r}}^{2}}}\]\noindent{}ここで、$b_{l}$,$b_{r}$は、それぞれ、左窓(文書の冒頭方向側の窓)、右窓(文書の末尾方向側の窓)に含まれる文書の部分であり、$w_{t,b_{l}}$,$w_{t,b_{r}}$は、それぞれ、単語$t$の左窓、右窓中での出現頻度である。この値は、前後の窓に共通語彙が多く含まれるほど大きくなり(最大1)、共通語彙が全くない時に最小値0をとる。つまり、この値が大きい部分は、前後の窓で共通の話題を扱っている可能性が高く、逆に、この値が小さい部分は、話題の境界である可能性が高いことになる。本稿では、この値を結束度(cohesionscore)と呼ぶことにする。また、結束度に対応する窓の境界位置を結束度の基準点(referencepoint)と称し、基準点によって結束度を並べたものを結束度系列(cohesionscoreseries)と称することにする。Hearst法は、上記の結束度を文書の冒頭から末尾まで、ある刻み幅(20語)で基準点をずらしながら測定し、極小となる位置を話題境界と認定する。ただし、結束度の細かい振動を無視するために、極小点$mp$の周囲で単調減少(極小点の左側)／単調増加(極小点の右側)している部分を切りだし、その開始点$lp$と終了点$rp$における結束度$C_{lp},C_{rp}$と結束度の極小値$C_{mp}$との差を基に以下のdepthscoreと呼ばれる値$d$を計算し、極小点における結束度の変動量の指標としている。そして、$d$が閾値$h$を越えた極小点だけを話題境界として認定している\footnote{結束度が大きく落ち込んだ部分がより話題境界である可能性が高いと考えることに相当。}。\begin{eqnarray*}d&=&(C_{lp}-C_{mp})+(C_{rp}-C_{mp})\\h&=&\bar{C}-\sigma/2\\\end{eqnarray*}\noindent{}ここで、$\bar{C},\sigma$は、それぞれ、文書全体における結束度$C_p$の平均値と標準偏差である。\subsection{Hearst法に基づく大きな話題の認定実験}\label{sect:大きな話題の認定実験}Hearst法は、上記のように、結束度計算用窓の幅の2倍の範囲における語彙の繰り返し状況を手がかりに、話題境界を認定する手法である。\cite{PACL-32-P9}では数段落程度の大きさの話題のまとまりしか認定を試みていないが、\cite{PACL-32-P9}より大きな幅の窓を用いれば大きな話題のまとまりを認定できる可能性がある。大きな話題に関連する語(特に名詞)は大きな間隔で繰り返される傾向があるので\footnote{\cite{BABA.T-86}の反復距離(繰り返される語彙の出現間隔の平均値)の分析や\cite{CL-V17N1P21}の語彙連鎖の再開(chainreturn)の観察など参照。}、窓幅を大きくとって大きな間隔で繰り返される語彙の出現状況を反映した結束度を計算すれば、大きな話題に関する話題境界が得られる可能性がある。また、窓幅を大きくとれば余弦測度の計算式の分母が大きくなり、小さい間隔で繰り返される語による結束度の変動は小さくなると考えられるので、小さい話題に関する話題境界の検出もある程度抑制できると考えられる\footnote{Hearst法の類似手法により記事境界の認定を試みた研究\cite{NLC93-63}にも、「ウィンドウサイズが大きくなると検出されるテキスト構造も大局的になるようである」とのコメントがある。}。そこで、Hearst法で大きな話題のまとまりを認定できるかを調べるために\cite{PACL-32-P9}より巨大な(10〜5倍程度)窓幅で計算した結束度により話題境界を認定する実験を行った。実験文書としては、(社)電子工業振興協会『自然言語処理システムの動向に関する調査報告書』(平成9年3月)の第4章「ネットワークアクセス技術専門委員会活動報告」(pp.~117--197)を用いた。この文書は、4.1節から4.4節の4節からなり、1,440文(延べ17,816内容語\footnote{動詞・名詞・形容詞のいずれか。詳細については\ref{sect:単語認定}節で説明する。})を含んでいる。図\ref{fig:Hearst法:1280語窓}と図\ref{fig:Hearst法:640語窓}は、この実験の結果であり、以下のグラフを文書中での位置(文書の冒頭からその位置までの延べ語数)を横軸にとって示してある。\begin{itemize}\item点線の棒グラフは、実験文書の節の開始位置である。長い点線ほど大きい節と対応する。\item折れ線グラフ(◇)は結束度系列である。結束度は、図\ref{fig:Hearst法:1280語窓}では1280語幅の窓、図\ref{fig:Hearst法:640語窓}では640語幅の窓によって、それぞれ窓幅の1/8(160語と80語)刻みで計算し\footnote{先頭の7点では、左窓に窓幅分の語数がないが、構わず左窓中の語数が少ないままで計算した。文書の末尾も同様。}、プロットした。\item実線の棒グラフ(＊)は、結束度の極小点で計算したdepthscore$d$である。また、実線の水平線はdepthscoreの閾値$h$である。\end{itemize}\begin{figure}[htbp]\begin{center}\leavevmode\epsfile{file=fig/88_ue_250.eps,width=120mm}\caption{窓幅1280語のHearst法による話題境界}\label{fig:Hearst法:1280語窓}\end{center}\begin{center}\leavevmode\epsfile{file=fig/88_sita_250.eps,width=120mm}\caption{窓幅640語のHearst法による話題境界}\label{fig:Hearst法:640語窓}\end{center}\end{figure}\subsubsection{Hearst法の検討}\label{sect:Hearst法の検討}これらの図に見られるように、結束度の極小点は節境界とよく一致しており、窓幅の大きい結束度を使うと大きな話題の切れ目が認定でき、窓幅の小さい結束度を使うと小さい話題の切れ目が認定できるという傾向がある。よって、大きな窓幅(の結束度)で認定した話題境界と、小さい窓幅で認定した話題境界を組み合わせれば、大きな話題(主題)のまとまりの中に、小さな話題(副主題)のまとまりがある、というような話題の階層構成が認定できる見込みがある。しかし、Hearst法には、次のような問題点がある。ひとつは、大きな話題と小さな話題の区別が難しいことである。図\ref{fig:Hearst法:1280語窓}に見られるように、depthscoreは結束度の局所的変化の激しさを示す値であるので、話題の大きさとは直接関係しない。例えば、図\ref{fig:Hearst法:1280語窓}の12,000語の手前にある4.4節の開始位置は、14,000語付近にある、4.4.2節と4.4.3節の開始位置より大きい話題の境界であると考えられるが、depthscoreの値は、後者の方が大きくなっている。これは、図の矢印で示した部分の結束度の小さな谷により、4.4節の開始位置付近の結束度の落差が2つのdepthscoreに分散してしまったことによる。また、このようなdepthscoreの不安定さにも関係して、depthscoreの閾値の設定が難しいという問題もある。図\ref{fig:Hearst法:1280語窓}、\ref{fig:Hearst法:640語窓}では、前述の閾値$h$を用いたが、図\ref{fig:Hearst法:1280語窓}を見る限り、閾値をもっと下げた方がよいように思える。例えば、もうほんの少し閾値を下げれば、2,000語の手前にある4.2.2節の開始位置なども話題境界として認定することができる。あるいは、全ての結束度の谷を話題境界と認定してもよいようにも思える。しかし、閾値を下げ過ぎてしまうと、図\ref{fig:Hearst法:640語窓}の8,000語〜10,000語付近の幅の狭い山による境界も全て話題境界として認定されてしまう。このため、話題の大きさを区別して認定する場合には、何らかの経験的制約が必要になる可能性が高い。実際、\cite{PACL-32-P9}には、60語以内の隔たりしかない境界は認めない、というヒューリスティックスが示されている。なお、depthscoreの不安定性は、Hearst自身も認識しており、結束度を平滑化\footnote{本稿で移動平均と呼んでいる操作を何回か繰り返す。}してからdepthscoreを求める手法を別の論文\cite{CL-V23N1P33}で示している。ただし、Hearstの目標が数段落程度の大きさの話題の転換点の発見にあるためか、話題の大きさの区別に関する議論は見当たらない。
\section{語彙的結束性に基づく話題の階層構成の認定手法}
\label{sect:話題構成認定手法}本章では、話題の階層構成を同一語彙の繰り返しだけを手がかりに認定する手法を提示する。本手法は、以下の手順で話題の階層構成を認定する。\begin{enumerate}\item話題境界位置の区間推定\label{item:話題境界の区間推定}ある窓幅で計算した結束度に基づき、話題境界が存在しそうな位置を、話題境界候補区間として求める。そして、大きさの異なる複数の窓幅に対してこの処理を繰り返し、大きな話題の切れ目を示す境界から小さな話題の切れ目を示す境界まで、話題の大きさ別に話題境界候補区間を求める。\item話題の階層関係の認定異なる窓幅により求めた話題境界候補区間を統合し、話題の階層構成を決定する。\end{enumerate}以下、\ref{sect:話題境界の区間推定法}節でHearst法をベースに、話題のまとまりを大きさ別に認定可能にした話題境界位置の区間推定手法の詳細を説明し、\ref{sect:話題の階層関係の認定手法}節で話題の階層関係の認定手法について説明する。\subsection{結束度の移動平均に基づく話題境界の位置の区間推定手法}\label{sect:話題境界の区間推定法}提案手法では、結束度の移動平均(movingaverage)を用いて話題境界の位置を区間推定する。移動平均は、時系列分析(timeseriesanalysis)で、細かい変動を取り除いて大局的な傾向を把握するために用いられる手法である。提案手法では、細かい変動を無視するためだけでなく、結束度系列の移動平均値を、移動平均の開始点における「順方向結束力(forwardcohesionforce)」および移動平均の終了点における「逆方向結束力(backwardcohesionforce)」とみなし、その差を話題境界候補区間の認定の直接的手がかりとしている。この手法の原理について、図\ref{fig:移動平均と結束力}を使って説明する。\subsubsection{結束度系列の定義}まず準備として、「結束度系列」を図\ref{fig:移動平均と結束力}(a)によって定義する。図\ref{fig:移動平均と結束力}(a)で、文書領域$1$〜$8$は、結束度を計算する刻み幅$tic$(語)に対応する一定幅の領域である。$c_3$は、文書中の$3$と$4$の境界を基準点として計算した窓幅$w$(語)の結束度である。次の$c_4$は、窓を一定幅$tic$分だけ右(文書の末尾方向)へずらして計算した結束度である。このようにして計算した$c_3,c_4,c_5,\ldots$を、以後、文書の冒頭から末尾へ向かう窓幅$w$の結束度系列と呼ぶ。\begin{figure}[htbp]\begin{center}\leavevmode\begin{tabular}{ccccccccc}結束度&\multicolumn{8}{c}{文書の領域}\\\cline{2-7}$c_3$&\multicolumn{1}{|c}{1}&2&\multicolumn{1}{c|}{3}&4&5&\multicolumn{1}{c|}{6}&7&8\\\cline{2-8}$c_4$&1&\multicolumn{1}{|c}{2}&3&\multicolumn{1}{c|}{4}&5&6&\multicolumn{1}{c|}{7}&8\\\cline{3-9}$c_5$&1&2&\multicolumn{1}{|c}{3}&4&\multicolumn{1}{c|}{5}&6&7&\multicolumn{1}{c|}{8}\\\cline{4-9}\multicolumn{3}{c}{}&\multicolumn{1}{l}{$\leftarrow$}&\multicolumn{1}{c}{$w$語}&\multicolumn{1}{r}{$\rightarrow$}&\multicolumn{1}{l}{$\leftarrow$}&\multicolumn{1}{c}{$w$語}&\multicolumn{1}{r}{$\rightarrow$}\\\end{tabular}\\(a)結束度の系列\\\medskip{}\begin{tabular}{|c|c|c|c|c|c|c|c|c|c|}\hline\multicolumn{1}{|c|}{結束度の}&\multicolumn{9}{|c|}{文書の領域が関与した数}\\\cline{2-10}\multicolumn{1}{|c|}{移動平均}&\multicolumn{1}{c|}{領域}&1&2&3&4&5&6&7&8\\\hline3項平均&左窓&1&2&{\bf3}&2&1&0&0&0\\\cline{2-10}$\frac{c_3+c_4+c_5}{3}$&右窓&0&0&0&1&2&{\bf3}&2&1\\\hline2項平均&左窓&1&2&{\bf2}&1&0&0&0&0\\\cline{2-10}$\frac{c_3+c_4}{2}$&右窓&0&0&0&1&{\bf2}&2&1&0\\\hline\end{tabular}\\\medskip{}(b)結束度系列の移動平均に対する文書領域の関与\\\medskip{}\caption{順方向結束力と逆方向結束力の意味}\label{fig:移動平均と結束力}\end{center}\end{figure}\subsubsection{順方向結束力と逆方向結束力の定義}順方向結束力と逆方向結束力の求め方と意味を図\ref{fig:移動平均と結束力}(b)を使って説明する。図\ref{fig:移動平均と結束力}(b)は、移動平均の値と文書領域との関係を示した表である。例えば、表の左上角の領域1の直下の値(1)は、$c_3$〜$c_5$の3項の移動平均($\frac{c_3+c_4+c_5}{3}$)に対して、文書領域$1$が１度だけ($c_3$の計算において)左窓の一部として関与したことを示している(図\ref{fig:移動平均と結束力}(a)の$c_3$の部分を参照)。結束度は、境界の前後の結び付きの強さを表す指標であるので、領域$1$を左窓に含む$c_3$を移動平均した値も、領域$1$がそれより右側の部分に結びついているかどうかを示す指標のひとつと考えられる。言い換えれば、移動平均の値は、移動平均をとった結束度の左窓部分の領域($c_3$〜$c_5$の3項平均に対しては$1$〜$5$)が文書の末尾へ向かう方向(順方向:図では右方向)に引っ張られる強さの指標(順方向結束力)とみなせる。一方、逆に、移動平均をとった結束度の右窓部分の領域(同$4$〜$8$)が文書の冒頭方向(逆方向:図では左方向)に引っ張られる強さの指標(逆方向結束力)ともみなせる。ここで、結束力と文書領域の関連性を考察すると、個々の結束度の計算において多くの窓に含まれていた領域ほど、その移動平均値である結束度への関与が強いと考えられる。また、語彙的結束性は、近傍で繰り返される語彙によるものほど強いと考えられるので、移動平均をとった結束度の基準点(左右の窓の境界)に近い領域ほど結束力に強く関与しているといえる。これに基づき、表にあげた3項平均と2項平均について、移動平均に最も強く関与している部分を選ぶと、左窓についてはどちらも$3$、右窓については、それぞれ$6$、$5$となる。以上の考察に基づき、話題境界の候補区間の認定では、結束度の移動平均を、移動平均をとった部分の最初の基準点における順方向結束力、最後の基準点における逆方向結束力として取り扱う。\subsubsection{話題境界の区間推定アルゴリズム}\begin{figure}[htbp]\begin{center}\fbox{\begin{minipage}{0.95\textwidth}\leavevmode\begin{enumerate}\itemsep=0pt\item以下のパラメータを設定する:\begin{itemize}\itemsep=0pt\item結束度を計算する刻み幅(語数)$tic$\item移動平均をとる項数$n$\item移動平均をとる幅(語数)$d\equiv(n-1)\timestic$\end{itemize}\item順方向結束力と逆方向結束力の計算文書中の各位置$p$について、$p$以降$d$語の範囲で結束度系列の移動平均をとり、\\位置$p$の順方向結束力(かつ、位置$(p+d)$の左逆方向束力)として記録する。\item結束力拮抗点の認定$(順方向結束力-逆方向結束力)$の値を文書の冒頭から末尾に向かって調べ、\\負から正に変化する位置を結束力拮抗点として記録する。\item話題境界候補区間の認定それぞれの結束力拮抗点について、その直前$d$語以内の範囲で、順方向結束力が\\最小となる位置$mp$を求め、$[mp,mp+d]$を話題境界候補区間と認定する。\end{enumerate}\end{minipage}}\caption{話題境界の区間推定アルゴリズム}\label{fig:話題境界候補区間認定方法}\end{center}\end{figure}話題境界は、順方向結束力と逆方向結束力の差に基づいて、図\ref{fig:話題境界候補区間認定方法}に示した手順で認定する。話題境界の区間推定の2つの独立パラメータ、移動平均をとる幅$d$(語)と結束度系列の刻み幅$tic$(語)の目安は、$d$が窓幅の1/2〜1倍程度、$tic$が窓幅の1/8程度である。順・逆方向の結束力の差によって話題境界位置の候補区間を認定する意味を、図\ref{fig:話題境界の候補区間}を使って説明する。図では、順・逆方向の結束力の差が0になる点、すなわち結束力拮抗点(cohesionforceequilibriumpoint)を、ep1〜ep3の破線の鉛直線で示した。最初の点ep1の左側では、逆方向結束力(BC)が優勢であり、その右側から次の点ep2までは順方向結束力(FC)が優勢で、それ以後最後の点ep3までは逆方向結束力(BC)が優勢である。これは、ep1(負の結束力拮抗点)の左側の領域は、それより左側(文書の冒頭方向側)のいずれかの部分へ向かって結束し、また、ep2(正の結束力拮抗点)の近傍では、ep2へ向かって結束していることに対応する。実際、順・逆方向の結束力と共にプロットした結束度($C$)は、ep1とep3の近傍で極小値を、ep2の近傍で極大値をとっている。\begin{figure}[htbp]\begin{center}\leavevmode\epsfile{file=fig/93_ue_250.eps,width=120mm}\caption{結束力拮抗点と結束度の極値との関係}\label{fig:話題境界の候補区間}\end{center}\begin{center}\leavevmode\epsfile{file=fig/93_sita_250.eps,width=120mm}\caption{調査報告書の話題構成の認定結果}\label{fig:余弦測度による話題境界}\end{center}\end{figure}話題境界候補区間\footnote{図\ref{fig:話題境界の候補区間}内の大きい矩形領域。}に結束度系列の極小点が来ることは必然である。図\ref{fig:話題境界の候補区間}で最後の結束力拮抗点ep3の前後の矢印で示した部分で結束度は極小値をとっている。よって、その部分の移動平均(図では4項平均)も通常は極小値(ブロック矢印の先の部分)をとる\footnote{移動平均区間より狭い範囲の変動では、移動平均の平滑化作用により、結束力が極小値をとらないことがある。}。また、順方向結束力(FC)は移動平均の値を移動平均の開始位置に記録したものあるので、順方向結束力の極小位置は結束度の極小位置の左になる。同様に、逆方向結束力(BC)の極小位置は結束度の極小位置の右になる。そして、結束度の変動が十分に大きければ、その間に結束力拮抗点が形成されることになる\footnote{結束度拮抗点の直前$d$語以内に順方向結束力の極小値が必ず存在することも、順・逆方向の結束力の相似性と結束力拮抗点の前後で順・逆方向の結束力の大小関係が入れ替わることから示せる(付録\ref{app:拮抗点と順方向結束力の関係})。}。図\ref{fig:余弦測度による話題境界}に、本手法で認定した話題境界の候補区間を窓幅別(縦軸)に示す。図の大きい矩形領域が話題境界候補区間であり、その中にある小さい矩形領域が結束力拮抗点である。○付きの棒グラフで示した話題境界など詳細については次節で説明する。\subsection{話題の階層関係の認定手法}\label{sect:話題の階層関係の認定手法}\begin{figure}[htbp]\begin{center}\fbox{\begin{minipage}{0.95\textwidth}\begin{enumerate}\item認定に使った窓幅の大きい順に話題境界候補区間データを並べ、話題境界候補区間の系列$B^{(n)}_{p}$を作成する。$n$は、話題境界候補区間の系列番号であり、最大窓幅の結束度系列から窓幅の大きい順に$1,2,\ldots$と振る。$p$は、話題境界候補区間の系列内のデータ番号であり、結束力拮抗点の出現位置順に$1,2,\ldots$と振る。各$B^{(n)}_p$のデータに以下のように名前をつける。\begin{tabular}{ll}$B^{(n)}_p.level$&話題境界のレベル。初期値は$n$。\\$B^{(n)}_p.range$&話題境界候補区間(図\ref{fig:余弦測度による話題境界}中の大きい矩形領域)。\\$B^{(n)}_p.ep$&結束度拮抗点(図\ref{fig:余弦測度による話題境界}中の小さい矩形領域)。\\$w_n$&$B^{(n)}$の認定に使った結束度の窓幅。\\$d_n$&$B^{(n)}$の認定に使った移動平均の幅。\\\end{tabular}\item$n$の小さい順に以下の処理を行う:\begin{enumerate}\item$p$の小さい順に以下の処理を行う:\begin{enumerate}\item$B^{(n)}_p$の話題境界候補区間$B^{(n)}_p.range$中に結束力拮抗点をもつ$B^{(n+1)}_q$で、$B^{(n+1)}_q.ep$が$B^{(n)}_p.ep$に最も近いものを求める。\item$B^{(n+1)}_q$が見つからなかった場合、以下の処理を行う:$B^{(n)}_p.range$内で窓幅$w_n$の結束度の最小位置$mp$を求め、新たな$B^{(n+1)}_q$を作成し、\begin{tabbing}$B^{(n+1)}_q.ep\leftarrow[mp,mp]$\\$B^{(n+1)}_q.range\leftarrow[mp-d_{n+1}/2,mp-d_{n+1}/2]$\end{tabbing}と設定し、$B{^{(n+1)}}$の系列に挿入する。\item$B^{(n+1)}_q.level$←$B^{(n)}_p.level$\end{enumerate}\end{enumerate}\item$n$が最大(窓幅最小)の系列中のデータ$B^{(n)}_p$それぞれについて、$B^{(n)}_p.range$内における窓幅$w_n$の結束度の最小位置$mp$(図\ref{fig:余弦測度による話題境界}中の〇付き棒グラフのx座標)を求め、$mp$と$B^{(n)}_p.level$を出力する。\end{enumerate}\end{minipage}}\caption{話題の階層関係認定アルゴリズム}\label{fig:話題階層関係認定アルゴリズム}\end{center}\end{figure}話題構成認定処理は、異なる窓幅の結束度系列による話題境界候補区間を統合して、大きな窓幅の結束度系列から得られた大きな話題に関する境界と、小さい窓幅の結束度系列からのみ得られる小さい話題に関する境界を区別して出力するものである。話題境界候補区間を統合する理由は、大きな窓幅の結束度系列は、窓位置の移動に対して鈍感であり、それだけから認定すると境界位置を十分精密に求めることができないからである。図\ref{fig:話題階層関係認定アルゴリズム}に話題の階層関係認定アルゴリズムを示す。(1)の話題境界のレベル($B^{(n)}_p.level$)は、認定境界がいずれの窓幅の結束度系列に基づく境界かを記録するための変数である。この変数には、(2)の操作により、それぞれの認定境界の近傍に極小値のある結束度系列のうちで最も大きい窓幅の結束度系列の系列番号が設定される。\ref{sect:Hearst法の検討}節で示したように、大きな窓幅の結束度系列に基づく認定境界ほど、大きな話題の境界と対応するという傾向があるので、結果として、それぞれの認定境界と対応する話題の大きさに相当する値が話題境界のレベルとして設定されることになる。(2)は、大きさの異なる窓幅で認定した話題境界候補区間を統合する操作である。例えば、図\ref{fig:余弦測度による話題境界}の$B^{(2)}_4$の話題境界候補区間(図\ref{fig:余弦測度による話題境界}中の大きい矩形領域)中に結束度拮抗点(図\ref{fig:余弦測度による話題境界}中の小さい矩形領域\footnote{理論的には点であるが、順方向結束力と逆方向結束力との差の符合が反転する地点を拮抗点とするので、差が負の点と差が正の点の組になる。})のある$B^{(3)}$のデータは、$B^{(3)}_9$と$B^{(3)}_{10}$であり、$B^{(2)}_4.ep$に近いものは$B^{(3)}_{10}$であるので、$B^{(3)}_{10}.level$を次のように変更する。\[B^{(3)}_{10}.level←B^{(2)}_4.level\]図\ref{fig:余弦測度による話題境界}の○付き棒グラフは、このようにして求めた話題境界である。棒グラフのx座標が最小窓幅の結束度系列の極小値$mp$と対応し、棒グラフの長さが話題境界のレベル($B^{(n)}_p.level$)と対応(長い程がレベル小)する。例えば、最大窓幅(5120語幅)の結束度系列による最初の話題境界候補区間$B^{(1)}_1$の中に〇がある棒グラフは、最大窓幅(5120語幅)以下全ての結束度系列によって検出され、(2)の操作により統合された、話題境界のレベルが1の認定境界である。なお、図に示した最小窓幅(640語)の話題境界候補区間でも、結束度拮抗点と話題境界が大きくずれているものがあるのは、図には示さなかったより小さい窓幅\footnote{320語、160語、80語、40語の4種類。}の話題境界候補区間との統合も行っているためである。
\section{提案手法の評価}
\label{sect:評価実験}提案手法を最初の実験文書に適用した結果、図\ref{fig:余弦測度による話題境界}のように話題境界が認定できた。図でみる限り、最大窓幅(2560語幅)による話題境界が4.3節、4.4節などの大きい節の開始位置とよく対応しており、その次に大きい窓幅(1280語幅)による話題境界が4.3.2節などの次に大きな節の開始位置とよく対応している。本章では、図からは読みとり難い結果の詳細について報告する。以下、\ref{sect:評価方針}節で評価実験の趣旨を簡単に述べてから、\ref{sect:実験条件}節で実験対象文書や実験用パラメータなどについて説明し、\ref{sect:窓幅と認定境界の間隔との関係}節で結束度計算用窓幅とそれにより認定された話題境界の間隔との関係を示し、\ref{sect:話題境界の認定精度の評価}節で実験文書において文書の作成者が設定した境界(節や記事の開始位置など)と提案手法による認定境界との比較結果を示す。\subsection{評価の方針}\label{sect:評価方針}本章で示す評価は、主として、提案手法で認定した話題境界と実験対象文書中の人為的境界との一致度を比較したものである。人為的境界とは、実験対象文書の作成者が設定した節や記事の見出し行(開始位置が正解境界)、および、内容の切れ目を示すために挿入した区切り行(記号のみの行など)のことである\footnote{段落境界は提案手法の主目的が大きな話題のまとまりの認定にあり、また、形式段落の客観性には議論の余地が大きいので、比較対象としなかった。}。この評価の趣旨は、話題の大きな転換を示すシグナル(見出し行や区切り行)を書き手が読み手に送っている箇所について、その箇所をシグナルなしに語彙の繰り返し状況だけから検出できるか確かめることにある。従来の研究では\cite[など]{PACL-32-P9,NLC93-7,PNLP-2-P325}のように、見出しを取り除いた(または見出しのない)文書を対象に、複数の人間により直感的に話題境界の認定をしてもらい、その結果を正解として使って、話題境界の認定手法の精度を評価しているものが多い。今回の評価でこのような手法をとらなかったのは、次の理由による。\begin{itemize}\item[(1)]文書の読解は書き手の意図通りに読み取ることを第一の目標とすべきであり、計算機処理においても書き手の意図をうまく読み取れたかを評価すべきである。特に、著者が誤解を避けるために挿入したかもしれない区切りや見出しを無視して評価することには疑問がある。\item[(2)]提案手法が話題境界認定の手がかりとしているのは、語彙の繰り返し状況のみであり、これと、書き手が意図的にシグナルを送っている話題の転換点との関係を分析することは、人間の自然な言語運用の性質を知る上でも意義がある。\item[(3)]今回認定対象としている話題の大きさは従来研究で対象としてきたものよりかなり大きく、人間の直観による認定結果を集めるのは困難である。話題の階層構成の認定の評価を考えると、色々な粒度の話題に対して認定結果を集めなければならず、多くの人の認定結果が一致するように実験条件を設定するのは難しい。\end{itemize}\subsection{実験条件}\label{sect:実験条件}\subsubsection{実験に用いた文書}\label{sect:実験対象文書}評価実験は、提案手法の一般性などを確認するため、前述の調査報告書に性質の異なる2種類の文書を加え、以下の3種類、計21文書を用いて行った。いずれの文書も、複数の話題に関する文章が混在しているだけでなく、それぞれ文章の間に何らかの関連があるという点で、新聞記事をランダムに並べただけの実験データとは性質が異なる。以下、それぞれの文書の構成や内容について簡単に紹介する。\begin{itemize}\parindent=1zw\item調査報告書:1文書第\ref{sect:Hearst法}章で用いた実験文書「ネットワークアクセス技術専門委員会活動報告」(\ref{sect:大きな話題の認定実験}節参照)。筆者が当面の要約対象として想定している典型的な文書である。文書中の節境界(表\ref{tab:実験文書の構成}(a)参照)を評価実験の話題境界の正解データとして用いた。この報告書は、調査項目と報告書のアウトライン(ほぼ表\ref{tab:実験文書の構成}の小計より上の部分に相当)を委員会で協議・決定してから、それぞれの項目を13人の委員で分担して執筆したものである\footnote{報告書の執筆形態に関する情報は、執筆者の一人である富士通研究所の津田氏より得た。}。そのため、実験対象部分(第4章)を構成する上位3レベル目\footnote{(1)〜(6)。文書全体から見れば上位4レベル目。付録\ref{sect:実験文書の見出し}の図\ref{fig:電子協の見出し}参照。}までの節には、調査対象とした技術の分野や用途などに応じてはっきりとした区別が見られる。また、それ以下のレベル(表\ref{tab:実験文書の構成}(a)の小計から下の部分)についても、いずれの粒度で見出しを立てるかには執筆者の個性が見受けられたが、基本的に取り上げた題材を示すように見出しが立てられていることは共通していた。\item新聞の特集記事:8文書(延べ86記事)インターネット上で公開されている読売新聞\footnote{ヨミウリ・オンライン(\verb$http://www.yomiuri.co.jp/$)。}の一連の特集記事を掲載日順に並べて仮想的に1つの文書にまとめたもの(8種類の特集記事に対応する8文書)。記事境界、および記事中の小見出しの開始位置、人為的に挿入された区切り行(◇のみの行など)を正解データとして用いた\footnote{正解データとした小見出しや区切り行は、前後の文脈の目視確認により、話題の転換を示唆するために設定された行であると認められたものである。すなわち、全文書に一通り目を通して見出しらしい行に印をつけ、また、行頭の記号パタンなどに基づき抽出した候補行を全数目視確認して漏れを補った結果である。}。これらの文書は、表\ref{tab:実験文書の構成}(b)に区切り線で示した3種類のグループで記事の連載形態などに違いが見られる。これは、(i)「連載・20世紀はどんな時代だったのか」、(ii)「連載・新ニッポン人」、(iii)「医療ルネサンス」という特集記事の区分に対応する。(i)は20世紀における歴史的事件や関係者の証言などを紹介しながら20世紀という時代の特徴や歴史的意義を明らかにしていくという趣旨の連載で、「ロシア革命」などというテーマが明確なこともあり、他のグループに比べ、連載記事に一貫した流れが強くみられるという特徴がある。小見出しには、記事の題材の象徴(例えば「過ちは死で償った」)や関連する歴史的事件名(例えば「天安門事件」)などが掲げられ、また記事の書き起こしの部分やまとめの部分の前に「◇」のみからなる区切り行が多く挿入されていた(延べ31件)。(ii)(iii)は、それぞれの現代的なテーマに関連する事例をひとつの記事で一二例ずつ紹介していく連載形態をとっており、それぞれの記事の関連性は比較的緩やかである。小見出しは、それに続く数段落程度のまとまりの要旨を掲げたもの(例えば「親の扶養が問題に」)がほとんどであり、記号のみからなる行は、3記事でまとめの部分の前に挿入されていたのみであった\footnote{例外として「近頃の麻酔事情」の連載の最後に一問一答形式の記事があったので、これについては、1つの問答をひとつの話題として取り扱った。}。\item経済レポート:12文書(延べ131記事)社内で流通している経済関係のレポート\footnote{報告者はイリノイ大学の室賀教授。}。それぞれのレポートは、10程度(7〜13)の記事からなる。記事境界を正解データとして用いた。このレポートは、アメリカの計算機関連の市場動向などを1月単位でまとめて紹介するもので、「アメリカ経済の動向」という固定見出しの記事以外は、1カ月の間に話題となった新製品情報などを随時取り上げている。よって、同じ文書中の記事の関連性は(計算機関連市場の情報であるという点を除けば)あまり見られないことが多い。近年ネットワーク経由で盛んに配信されるようになったニュース速報などと似た形式であるが、記事サイズにばらつきが大きいという特徴がある。\end{itemize}それぞれの文書中に含まれる節・記事の数と大きさを表\ref{tab:実験文書の構成}に示す。節・記事の大きさは、次節で説明する「語」単位で示した。また、文書中の文の長さ\footnote{句点で終わる文を対象に集計。見出しや文書中に含まれる表などの通常の文でない部分は除外して集計した。ただし、評価実験では見出しや表などの部分も通常の文の部分と区別せずに扱っている。}と段落の大きさを、表\ref{tab:1文当たりの語数}、表\ref{tab:1段落当たりの語数}に参考情報として示す。\begin{table}[htbp]\footnotesize\begin{minipage}[b]{6.5cm}\begin{center}\leavevmode\caption{実験文書の構成}\label{tab:実験文書の構成}(a)調査報告書\par\begin{tabular}{|c|c|c|c|c|}\hline&節の&\multicolumn{2}{|c|}{節の大きさ(語)}\\\cline{3-4}節の種類&個数&平均&最小〜最大\\\hline4.1〜4.4&4&4,454&308〜6,670\\4.1.1〜4.4.4&9&1.740&744〜3,682\\参考文献&3&527&218〜854\\(1)〜(6)&35&427&63〜1,509\\\hline小計&51&980&63〜6,670\\\hline(a)〜(h)&50&190&25〜704\\(ア)〜(ケ)&30&91&12〜371\\\hline\hline総計&131&475&12〜6,670\\\hline\end{tabular}\end{center}\begin{center}{(b)新聞の特集記事}\par\leavevmode\begin{tabular}{|l|c|c|c|}\hline&記事&\multicolumn{2}{c|}{記事の大きさ(語)}\\\cline{3-4}&数&平均&最小〜最大\\%&標準偏差\\\hlineロシア革命&24&470&336〜861\\%&110\\中国革命&21&517&405〜582\\%&44\\キューバ革命&4&446&416〜460\\%&20\\イラン革命&4&455&429〜470\\%&18\\\hline働くというこ&7&340&297〜374\\%&27\\家族のかたち&8&347&311〜399\\%&27\\\hline薬剤師の役割&8&343&322〜362\\%&14\\近頃の麻酔事情&10&322&296〜366\\%&19\\\hline全体&86&428&296〜861\\%&98\\\hline\end{tabular}\end{center}\begin{center}\leavevmode{(c)経済レポート}\par\begin{tabular}{|c|c|c|c|}\hline&\multicolumn{3}{c|}{記事の大きさ(語)}\\\cline{2-4}記事数&平均&最小〜最大&標準偏差\\\hline113&385&33〜2375&361\\\hline\end{tabular}\end{center}\end{minipage}\begin{minipage}[b]{7.5cm}\begin{center}\leavevmode\caption{1文当たりの語数}\label{tab:1文当たりの語数}\begin{tabular}{|l|c|c|c|}\hline&平均&標準偏差&最頻値\\\hline調査報告書&12.1語&6.5語&10語(7\%)\\新聞の特集記事&12.0語&6.6語&9語(7\%)\\経済レポート&10.5語&5.5語&6語(9\%)\\\hline\end{tabular}\end{center}\begin{center}\leavevmode\caption{1段落当たりの語数}\label{tab:1段落当たりの語数}\begin{tabular}{|l|c|c|c|c|}\hline&平均&標準偏差&最頻値\\\hline調査報告書&29.2語&22.0語&24語(3\%)\\新聞の特集記事&25.8語&11.6語&22語(4\%)\\経済レポート&69.2語&49.6語&36語(2\%)\\\hline\end{tabular}\end{center}\bigskip\begin{center}\leavevmode\caption{正解境界数}\label{tab:正解境界数}\begin{tabular}{|r||r|r|r||r|}\hline\multicolumn{1}{|c||}{境界の大きさ}&\multicolumn{1}{c|}{報告書}&\multicolumn{1}{c|}{新聞}&\multicolumn{1}{c||}{レポート}&\multicolumn{1}{c|}{合計}\\\hline5,120語以上&1&0&0&1\\2,560語以上&2&0&0&2\\1,280語以上&3&0&0&3\\640語以上&12&1&1&14\\320語以上&21&70&23&114\\160語以上&44&86&54&184\\80語以上&70&174&78&322\\40語以上&97&202&104&403\\20語以上&115&216&113&444\\\hline20語未満(対象外)&15&62&0&78\\\hline\end{tabular}\end{center}\end{minipage}\end{table}また、評価実験において正解データとして用いた境界の数を表\ref{tab:正解境界数}に示す。表中、「境界の大きさ」\label{loc:境界の大きさ}というのは、境界の隔てている2つの節(記事)のうち、小さい方の節(記事)の大きさを指す\footnote{このようにして正解境界の大きさを求めたのは、大きさ別に話題が認定できたかを評価するためである。}。例えば、調査報告書の4.4節の開始位置は、4.3節と4.4節を隔てる境界であり、4.3節(6,067語)の方が4.4節(6,670語)より小さいので、4.3節の大きさを4.4節の開始位置の大きさとして扱う。4.4.1節の開始位置は、4.4節の開始位置から4.4.1節の開始位置までの部分(115語)と、4.4.1節(2,643語)を隔てる境界であるので、その大きさは、115語となる。表の最終行の対象外とした部分は、大きさが小さ過ぎるため、後述の評価に用いなかった正解境界である。このほとんどは、階層関係にある見出しが連続しているもの(例えば、調査報告書の4.2.1節の直後にある(1)の見出し)であり、その他は、階層関係にある見出しの間に1〜2文の導入部がはさまれていたもの(調査報告書の2箇所)、短い本文(1〜2文)と対応する調査報告書の6レベルの見出し(4.3.1節中の(2)(ア)、(3)(ウ)の2箇所)、短い(1〜3文)の記事のまとめの前におかれた区切り行(2箇所)のみであった。なお、表\ref{tab:正解境界数}で、新聞の境界数が記事境界の数より多くなっているのは、前述のように、◇のみの行なども正解データとして利用していることによる。また、経済レポートの境界数が記事数と同じになっているのは、それぞれの経済レポートの冒頭に、記事見出しの一覧部があることによる。\subsubsection{語彙的結束度の計算に用いた単語}\label{sect:単語認定}今回の実験では、結束度は、日本語形態素解析ツールjmor\cite{NL-112-14}を使って切り出した内容語(名詞・動詞・形容詞)を用いて計算した。jmorによって切り出される名詞には、形容動詞語幹が含まれ、機能語や数字・時詞・相対名詞(左右/上下/以上/以下など)は含まれない。また、jmorには名詞などの連続を複合語としてまとめて抽出する機能もあるが、この機能は用いず、個々の名詞を別々の語として扱った。例えば、最初の実験文書(調査報告書)の先頭の3文から以下の【】で囲まれたものが切りだされた。【】内の``/''の後ろは、活用語の終止形語尾である。結束度の計算においては、終止形語尾つきで表記が一致するものを同一の語とみなした\footnote{「い/る」は``要る''、``居る''のいずれの意味でも同一の語とみなすことになる。また、「い/る」と「要/る」のように表記が違う語は例え意味が同じでも別の語とみなした。}。\nobreak\begin{quote}4.1【調査/する】の【概要/】【インターネット/】は【予想/する】されて【い/る】た以上の【早さ/】で【急速/】に【普及/する】して【い/る】る。【業務/】はもちろん特に【家庭/】での【利用/する】が【急速/】に【広が/る】って【い/る】る。\end{quote}\subsubsection{語彙的結束度の計算に用いた窓のパラメータ}結束度は、最大窓幅5,120語から最小窓幅40語まで窓幅を1/2の比率で縮小した窓(8種類)を用いて計算した。ただし、文書サイズの1/2を超える窓幅で結束度の計算をしても意味がないと考えられるので\footnote{結束度系列中の大半の結束度の計算において左右いずれかの窓が文書からはみ出してしまうため。}、小さい実験文書については、文書サイズの1/2を超えない窓幅のみに限って処理を行った。また、結束度を計算する刻みは窓幅の1/8とし、移動平均では、この刻みの結束度系列の連続する4項の平均をとった。\subsection{結束度計算用窓幅と認定境界の間隔との関係}\label{sect:窓幅と認定境界の間隔との関係}提案手法の1つの大きな狙いは、大きな話題の切れ目と小さな話題の切れ目を区別して認定することにある。すなわち、大きな幅の窓を使って計算した結束度では大きな話題の切れ目だけを選択的に認定しようとしている。表\ref{tab:窓幅と境界間隔}は、狙い通りに、窓幅に応じた大きさの話題のまとまりが認定できているかを集計したものである。表\ref{tab:窓幅と境界間隔}から、いずれの種類の文書に対しても、結束度計算用の窓幅の1/2〜2倍程度の間隔で話題境界が認定されていることが分かる。また、それぞれの窓幅の認定境界数を、表\ref{tab:正解境界数}に示した境界の大きさ別の正解境界数と比較すると、窓幅の1/2〜1倍程度の大きさの正解境界の数と近い値になっていることが分かる。この2つ事実は、提案手法により結束度計算用の窓幅の1/2〜1倍程度の大きさの話題に由来する話題境界が認定できたことを示唆している。よって、認定境界が正しく話題境界と対応していれば、提案手法は狙い通りの機能を実現したといえる。そこで、認定境界と正解境界との対応に関する評価実験の結果を以下の節で報告する。\begin{table}[htbp]\small\leavevmode\caption{結束度計算用窓幅と認定境界の間隔との関係}\label{tab:窓幅と境界間隔}\begin{center}(a)調査報告書\\\medskip{}\begin{tabular}{|r|r|r|r|r|}\hline\multicolumn{1}{|c|}{窓幅}&\multicolumn{1}{c|}{認定}&\multicolumn{3}{c|}{認定境界の間隔(語)}\\\cline{3-5}\multicolumn{1}{|c|}{(語)}&\multicolumn{1}{c|}{境界数}&\multicolumn{1}{c|}{平均}&\multicolumn{1}{c|}{最小〜最大}&\multicolumn{1}{c|}{標準偏差}\\\hline5,120&2&5,939&5,040〜6,666&826\\2,560&4&3,563&2,370〜5,040&978\\1,280&11&1,485&440〜2,810&746\\640&19&891&440〜1,525&297\\320&40&435&120〜860&189\\160&74&238&90〜470&89\\80&153&120&25〜275&49\\40&308&58&5〜155&25\\\hline\end{tabular}\end{center}\begin{center}(b)新聞の特集記事\\\medskip{}\begin{tabular}{|r|r|r|r|r|}\hline\multicolumn{1}{|c|}{窓幅}&\multicolumn{1}{c|}{認定}&\multicolumn{3}{c|}{認定境界の間隔(語)}\\\cline{3-5}\multicolumn{1}{|c|}{(語)}&\multicolumn{1}{c|}{境界数}&\multicolumn{1}{c|}{平均}&\multicolumn{1}{c|}{最小〜最大}&\multicolumn{1}{c|}{標準偏差}\\\hline5,120&2&5,529&1,775〜9,073&3,568\\2,560&6&2,815&1,045〜8,033&2,144\\1,280&11&1,810&290〜3,235&820\\640&30&969&290〜1,775&318\\320&64&512&35〜1,080&226\\160&130&267&35〜585&116\\80&312&115&30〜305&46\\40&646&56&5〜145&23\\\hline\end{tabular}\end{center}\begin{center}(c)経済レポート\\\medskip{}\begin{tabular}{|r|r|r|r|r|}\hline\multicolumn{1}{|c|}{窓幅}&\multicolumn{1}{c|}{認定}&\multicolumn{3}{c|}{認定境界の間隔(語)}\\\cline{3-5}\multicolumn{1}{|c|}{(語)}&\multicolumn{1}{c|}{境界数}&\multicolumn{1}{c|}{平均}&\multicolumn{1}{c|}{最小〜最大}&\multicolumn{1}{c|}{標準偏差}\\\hline2,560&1&1,882&1,490〜2,274&554\\1,280&14&1,509&695〜2,336&496\\640&33&978&160〜2,000&439\\320&79&483&145〜1,290&241\\160&165&249&55〜565&105\\80&360&118&30〜360&50\\40&761&57&5〜165&24\\\hline\end{tabular}\end{center}\end{table}\subsection{話題境界の認定精度の評価}\label{sect:話題境界の認定精度の評価}前節で示したように、提案手法で認定される話題境界の間隔は、認定に使う結束度計算用窓幅に大体比例している。そこで、節や記事の開始位置で、結束度計算用窓幅の1〜1/2倍の大きさ(\pageref{loc:境界の大きさ}頁参照)を持つものを、正解境界として用いた評価実験を行った。以下、まず、認定精度の評価尺度を簡単に説明し、次に、話題境界候補区間認定処理の評価結果と話題の階層関係認定処理の評価結果をそれぞれ示す。\subsubsection{認定精度の尺度とその基準値}\label{sect:基準値}以下のいずれの評価実験においても、話題境界の認定精度は、認定した話題境界と正解境界との一致度によって評価した。一致度は、情報検索で用いられる以下の2つの尺度で表した。\begin{eqnarray*}再現率(recall)&\equiv&\frac{一致正解境界数}{正解境界数}\\適合率(precision)&\equiv&\frac{一致認定境界数}{認定境界数}\\\end{eqnarray*}\noindent{}ここで、「一致」とは、認定境界と正解境界との隔たりが許容範囲に納まっていることを指す。また、「一致正解境界数」とは何らかの認定境界と「一致」した正解境界の数であり、「一致認定境界数」とは何らかの正解境界と「一致」した認定境界数\footnote{正解境界と認定境界が１対１で一致している場合は同じ数になるが、認定境界の許容範囲内に2つの正解境界が含まれる場合などには異なる数になる。}である。「一致」の許容範囲は、話題境界候補区間では候補区間そのもの(窓幅の1/2程度\footnote{話題境界の区間推定アルゴリズム(図\ref{fig:話題境界候補区間認定方法})では、移動平均をとる幅$d$(今回の実験では窓幅の3/8倍)と説明したが、実際の話題の階層関係認定処理(図\ref{fig:話題階層関係認定アルゴリズム})では、両端を$tic/2$ずつ拡張した区間(1/2窓幅)を用いている。これは、刻み幅$tic$(同1/8)分の不定性を考慮したためである。ただし、話題境界候補区間の近傍に正の結束力拮抗点がある場合の例外処理などのため、実際には窓幅の1/2より狭い区間が若干ある。})とし、話題の階層関係認定のアルゴリズムでは、±4語以内\footnote{最小窓幅(40語)の結束度の刻み幅(5語)未満という意味。}とした。また、再現率・適合率の有意性を示す基準値(baseline)として、「一致」判定の許容範囲の大きさによって計算される以下の値を用いた。\begin{itemize}\item再現率の基準値:\[\frac{一致と判定する許容範囲の大きさの合計}{文書サイズ}\]許容範囲の大きさの合計の分だけ、ランダムに文書の部分を選んだ場合に、その部分に含まれる正解境界の割合の期待値。\item適合率の基準値:\[\frac{記事境界数\times再現率の基準値}{認定境界数}\]「一致認定境界数の期待値」を「一致正解境界数の期待値」で近似して、「一致認定境界の期待値/認定境界数」の値を求めたもの。多くの正解境界がある場合に、100\%を超えてしまうことがあり、その場合には、``ALL''と示した。\end{itemize}\subsubsection{話題境界候補区間の認定処理の精度}\begin{table}[htbp]\footnotesize\begin{center}\caption{話題境界候補区間の認定処理の窓幅別精度}\label{tab:話題境界候補区間認定処理の精度}\leavevmode(a)正解境界の再現率\\\medskip{}\begin{tabular}{|r|r|r|r|r|r|r|r|r||r|}\hline\multicolumn{1}{|c|}{正解境界}&\multicolumn{9}{|c|}{結束度の計算用窓幅(語)}\\\cline{2-10}\multicolumn{1}{|c|}{の大きさ}&5120語&2560語&1280語&640語&320語&160語&80語&40語&\multicolumn{1}{|c|}{点(40語)}\\\hline5120語以上&\bf100\%&100\%&100\%&100\%&100\%&100\%&100\%&100\%&100\%\\2560語以上&\bf100\%&\bf100\%&100\%&100\%&100\%&100\%&100\%&100\%&100\%\\1280語以上&67\%&\bf67\%&\bf100\%&100\%&100\%&100\%&100\%&100\%&100\%\\\hline640語以上&31\%&23\%&\bf62\%&\bf93\%&79\%&79\%&64\%&71\%&50\%\\320語以上&21\%&23\%&28\%&\bf44\%&\bf68\%&72\%&76\%&77\%&40\%\\160語以上&23\%&22\%&30\%&33\%&\bf60\%&\bf74\%&76\%&73\%&42\%\\80語以上&19\%&24\%&29\%&30\%&45\%&\bf57\%&\bf67\%&70\%&40\%\\40語以上&20\%&22\%&27\%&28\%&42\%&50\%&\bf63\%&\bf70\%&43\%\\\hline\multicolumn{1}{|c|}{基準値}&18\%&23\%&21\%&20\%&23\%&25\%&32\%&41\%&15\%\\\hline\end{tabular}\end{center}\noindent{}\begin{center}\leavevmode(b)認定境界の適合率\\\medskip{}\begin{tabular}{|r|r|r|r|}\hline\multicolumn{1}{|c|}{認定用}&\multicolumn{3}{|c|}{正解境界の大きさ(語)}\\\cline{2-4}\multicolumn{1}{|c|}{窓幅}&5120語以上&2560語以上&1280語以上\\\hline5120語&\bf50\%(11\%)&\bf100\%(22\%)&100\%(32\%)\\2560語&25\%(5\%)&\bf50\%(11\%)&\bf50\%(16\%)\\1280語&9\%(2\%)&18\%(5\%)&\bf27\%(7\%)\\640語&5\%(1\%)&11\%(3\%)&16\%(4\%)\\320語&3\%(1\%)&5\%(1\%)&8\%(2\%)\\160語&1\%(0\%)&3\%(1\%)&4\%(1\%)\\80語&1\%(0\%)&1\%(0\%)&2\%(1\%)\\40語&0\%(0\%)&1\%(0\%)&1\%(0\%)\\\hline\end{tabular}\par\medskip{}\begin{tabular}{|r|r|r|r|r|r|}\hline\multicolumn{1}{|c|}{認定用}&\multicolumn{5}{|c|}{正解境界の大きさ(語)}\\\cline{2-6}\multicolumn{1}{|c|}{窓幅}&640語以上&320語以上&160語以上&80語以上&40語以上\\\hline5120語&67\%(86\%)&100\%(ALL)&100\%(ALL)&100\%(ALL)&100\%(ALL)\\2560語&60\%(43\%)&91\%(ALL)&100\%(ALL)&100\%(ALL)&100\%(ALL)\\1280語&\bf53\%(20\%)&69\%(57\%)&86\%(83\%)&94\%(ALL)&97\%(ALL)\\640語&\bf39\%(11\%)&\bf67\%(32\%)&73\%(46\%)&84\%(80\%)&88\%(ALL)\\320語&17\%(5\%)&\bf47\%(16\%)&\bf60\%(23\%)&72\%(41\%)&77\%(51\%)\\160語&9\%(3\%)&25\%(9\%)&\bf37\%(13\%)&\bf49\%(22\%)&53\%(28\%)\\80語&3\%(2\%)&12\%(5\%)&17\%(7\%)&\bf26\%(13\%)&\bf31\%(16\%)\\40語&2\%(1\%)&6\%(3\%)&8\%(4\%)&13\%(8\%)&\bf17\%(10\%)\\\hline\multicolumn{1}{c}{}&\multicolumn{5}{c}{※()内は候補区間の合計サイズと文書サイズとの比による基準値}\end{tabular}\end{center}\end{table}表\ref{tab:話題境界候補区間認定処理の精度}は、話題境界候補区間の精度を、結束度計算用窓幅の大きさと正解境界の大きさ別に集計したものである。太字の値は、結束度計算用窓幅と正解境界の大きさの比が1〜1/2となる部分である。(a)の「点(40語)」の列は、話題の階層関係認定処理の最後で、最小窓幅(40語)の結束度により決定した認定境界位置に関する正解境界の再現率である。なお、1,280語以上の大きさの正解境界は、最初の実験文書(調査報告書)中の6境界のみなので、これに対応する部分を区別して表示した((a)表の中程の区切り線より上の部分と(b)の表で上のもの)。(a)によれば、話題境界候補区間の認定処理は、結束度計算用窓幅程度の大きさの話題であれば、その境界の7割程度は、窓幅の1/2程度の精度で検出可能であると推定される。この値は、正解境界の大きさ程度以下の窓幅による部分では、正解境界の大きさによる違いが小さいので、信頼のおける値と考えられる。また、(b)によれば、実験で正解とした境界以外の潜在的話題境界の存在も考慮すると、ある窓幅の結束度で認定した話題境界の5割程度以上は、窓幅と同程度の大きさの話題の境界と対応すると推定される。例えば、1,280語の窓幅で認定した境界の1,280語以上の大きさの正解境界に対する適合度は、27\%と低くなっているが、これは1,280語以上の正解境界が3つ\footnote{図\ref{fig:余弦測度による話題境界}中の$B^{(2)}_1$、$B^{(2)}_2$、$B^{(2)}_3$に含まれる4.3、4.3.2、4.4の各節。}しかないこと(表\ref{tab:正解境界数})に由来している。図\ref{fig:余弦測度による話題境界}を参照すると、1,280語幅の窓による話題境界候補区間は、11個中$B^{(3)}_3,B^{(3)}_4,B^{(3)}_7,B^{(3)}_{11}$を除く7個が、実験文書中の上位2レベル以上の節(4.x節〜4.x.x節)の境界を含んでいる。よって、(b)中の値が低いのは、正解境界の選別基準とした「境界の大きさ」の求め方(\ref{sect:実験対象文書}節)の問題であり、実質的な適合率はもっと高いと考えられる。また、以上の数値は、40語窓幅による適合率以外、基準値の2倍以上になっているので、提案手法の効果は明白である。なお、再現率7割適合率5割という値は、\cite{PACL-32-P9}の値とほぼ一致しており、同論文に示されている人間同士の認定結果の食い違いや、その他の日本語の文章を対象にした話題境界の認定研究\cite[など]{NLC93-8,PNLP-2-P325}に比べても低くない値である。これらの研究との比較は、対象言語・対象文書・認定する話題の大きさなどの実験条件が異なるので、数値の直接比較に意味があるのかは微妙であるが、以下の2点は、提案手法の独自の特徴といえる。すなわち、話題の大きさ別に選択的に話題境界を認定できる点と、調整すべきパラメータがほとんどない点である。提案手法の基本的パラメータは結束度計算用窓幅と移動平均をとる項数だけであり、閾値や重みなどは設定の必要がない。また、窓幅に関しては、認定したい話題の大きさに応じて決定できるので、移動平均の項数が残されたパラメータである\footnote{移動平均の項数も、話題の階層関係認定処理において、結束度計算用の窓幅を1/2ずつ縮小するのであれば、ほぼ必然的に本稿で用いた値に落ち着くと思われる。}。\subsubsection{話題の階層関係認定処理の精度}\label{sect:話題の階層関係認定精度}表\ref{tab:大きさ別の再現率と適合率(総合)}は、話題の階層関係認定処理の精度の評価結果である。この処理で精度に影響する操作には、話題境界候補区間の統合操作(図\ref{fig:話題階層関係認定アルゴリズム}(2))と、話題境界の点推定操作(同(3))の2つがある。表の「区間推定精度」と「点推定精度」は、これらの操作に関する精度である。話題境界候補区間の統合操作は、大きな窓幅による話題境界候補区間(以下仮に「親」と呼ぶ)と、それより一回り小さい(1/2の)窓幅による話題境界候補区間(同「子」と呼ぶ)とを統合する操作である。この操作は、最大の窓幅による話題境界候補区間から始めて順次繰り返し、最小の窓幅(今回は40語幅)の話題境界候補区間まで統合し終えたところで終了する。表の「区間推定精度」は、この操作を完了した時点の認定精度、すなわち、統合された最小幅の話題境界候補区間に正解境界が含まれることを「一致」とした場合の再現率と適合率を示している。話題境界の点推定操作では、固定幅(5語)刻みに計算した結束度の極小値を手がかりに、最終的な話題境界の位置を決定する。そのため、正解境界と話題境界が完全に一致するのは、正解境界が(たまたま)5語刻みの位置にある場合だけである。そこで、表\ref{tab:大きさ別の再現率と適合率(総合)}では、認定した境界位置から±4語以内の範囲内に正解境界があることを「一致」として再現率と適合率を求めた。表\ref{tab:大きさ別の再現率と適合率(総合)}の「基準窓幅」というのは、話題境界の統合処理を開始する、話題境界候補区間の窓幅である。表\ref{tab:大きさ別の再現率と適合率(総合)}には、この基準窓幅以上の大きさをもつ正解境界との一致度を、基準窓幅別に集計した。例えば、図\ref{fig:余弦測度による話題境界}の$B^{(1)}_1,B^{(2)}_1,B^{(3)}_5$が統合された話題境界は、5,120語〜40語のどの窓幅の話題境界候補区間から統合処理を開始しても認定できる境界であるので、全ての基準窓幅の認定境界として集計した。同様に、その右の$B^{(2)}_2,B^{(3)}_6$が統合された話題境界は、2,560語以下の窓幅の話題境界候補区間から統合処理を開始した場合に認定できる境界であるので、「5,120語以上」以外の基準窓幅に対する認定境界として集計した。表\ref{tab:大きさ別の再現率と適合率(総合)}によれば、話題境界候補区間の統合操作まで完了した時の再現率と適合率(表の区間推定精度)は、それぞれ、5〜6割、2〜3割程度と推定される。また、最小窓幅の結束度による話題境界の点推定操作の後の再現率と適合率(表の点推定精度)は、それぞれ、3〜4割、2割弱程度と推定される。これらの値は、括弧内に示した基準値よりも2倍程度以上大きいので、提案手法全体の有効性は明らかであるが、前節で述べた話題境界候補区間の認定処理の値より見劣りがする。その代わり、境界位置の推定区間の大きさに相当する再現率の基準値\footnote{再現率の基準値は、話題境界候補区間の大きさ(点推定の場合は±4語幅に固定)の総和の文書サイズに対する比率である(\pageref{sect:基準値}頁参照)。}は、統合操作と点推定操作を行うことで1/4以下になっている。例えば、基準窓幅80語の場合、統合前には文書全体の32\%(表\ref{tab:話題境界候補区間認定処理の精度}(a)の「80語」の列の基準値)を占めていた境界位置の推定区間が、40語幅の結束度を使って点推定した後には文書全体の7\%(表\ref{tab:大きさ別の再現率と適合率(総合)})に縮小している。\begin{table}[htbp]\begin{center}\leavevmode\caption{基準窓幅以上の大きさの正解境界に対する話題境界の一致度}\label{tab:大きさ別の再現率と適合率(総合)}\begin{tabular}{|r||r|r||r|r||r|r|}\hline&\multicolumn{2}{c||}{境界数}&\multicolumn{2}{c||}{区間推定精度(40語窓幅)}&\multicolumn{2}{c|}{点推定精度(±4語以内)}\\\cline{2-7}基準窓幅&正解&認定&\multicolumn{1}{c|}{再現率}&\multicolumn{1}{c||}{適合率}&\multicolumn{1}{c|}{再現率}&\multicolumn{1}{c|}{適合率}\\\hline5120語&1&2&100\%(0\%)&50\%(0\%)&100\%(0\%)&50\%(0\%)\\2560語&2&4&50\%(1\%)&25\%(0\%)&50\%(0\%)&25\%(0\%)\\1280語&3&11&67\%(1\%)&18\%(0\%)&67\%(0\%)&18\%(0\%)\\\hline640語&14&33&43\%(2\%)&18\%(1\%)&36\%(1\%)&15\%(0\%)\\320語&114&164&46\%(4\%)&32\%(3\%)&25\%(1\%)&18\%(1\%)\\160語&184&369&50\%(9\%)&25\%(4\%)&30\%(3\%)&15\%(1\%)\\80語&322&825&56\%(20\%)&22\%(8\%)&32\%(7\%)&12\%(3\%)\\40語&403&1715&70\%(41\%)&17\%(10\%)&43\%(15\%)&10\%(5\%)\\\hline\multicolumn{1}{c}{}&\multicolumn{6}{c}{※()内は一致度の許容範囲の大きさと文書サイズとの比による基準値}\end{tabular}\end{center}\end{table}\vspace{-9mm}\subsection{考察}\label{sect:考察}以上の実験によれば、提案手法は、結束度計算用の窓幅程度の大きさの話題のまとまりを選択的に認定できる。また、異なる窓幅の結束度による認定境界を統合することで、大きな話題の下に、いくつかの小さい話題が配されているような話題の階層構成を認定できる。ただし、その精度は、±4語(あわせて1文程度)以内で認定できた境界が2割弱(適合率)と高くない。話題境界候補区間に対する正解境界の再現率(表\ref{tab:話題境界候補区間認定処理の精度}(a))は、結束度計算用窓幅以上の大きさの正解境界に対しては、ほぼ一定(約7割)している。よって、話題境界の統合操作をうまく行えば、適合率(表\ref{tab:話題境界候補区間認定処理の精度}(b):5割程度以上)を落とさずに候補区間を絞り込めると考えられる。従って、話題境界候補区間の統合操作の失敗が、今回の実験における精度低下の大きな原因と考えられる。この操作で問題となるのは、統合候補(子の候補)が複数ある場合である。例えば、\ref{sect:話題の階層関係の認定手法}で説明した図\ref{fig:余弦測度による話題境界}の$B^{(2)}_4$の子を選ぶ場合である。このような場合の処理のやり方は色々と考えられるが、今回は単純に、親の結束度拮抗点に最も近い子を1つだけ選択している。この操作には、まだ工夫の余地がある。また、話題境界位置最終決定の手がかりとして、移動平均をとらない生の結束度を用いていることも、精度低下の原因のひとつと考えられる。ひとつの解決策として、提案手法を話題境界候補区間の絞り込みに使い、話題境界位置の最終決定を別の手段にまかせることが考えられる。最も簡単なのは、話題境界候補区間で、見出しなどに特徴的な書式を探すことである。話題境界候補区間を使えば、少なくとも7割程度の正解境界に関しては、文書全体の2〜3割程度\footnote{表\ref{tab:話題境界候補区間認定処理の精度}(a)の基準値。}の領域に候補範囲を絞ることができる(表\ref{tab:話題境界候補区間認定処理の精度}(a))。よって、その部分に絞って書式解析を行うのであれば、単純な条件判定でも高い精度が期待できる。あるいは、\cite{PNLP-2-P325}のように統計的な処理を行う場合であっても、話題境界候補区間に処理対象を絞れば、雑音の影響の軽減が期待できる。その他の課題として、語彙的結束性を何を単位として測定するかという問題がある。本稿では、名詞・動詞・形容詞の繰り返しによって語彙的結束度を求めたが、品詞によって結束の特性が異なると考えられる。例えば、アスペクトを示す補助用言(「(て)いる」など)の繰り返しによる結束性\footnote{英文由来の語彙的結束性という概念には本来あてはまらない結束性。}は、数段落程度の狭い範囲では有効に働いたと見られる部分が観察されたが、章をまたがるような範囲の結束に寄与するとは考えにくい。このような特性の利用は今後の課題である。また、シソーラスなどを利用して関連語の繰り返しによる結束性を手がかりとすべきか\cite{PACL-32-P9,COLING-98-P1481}という議論もある。これに関しては、少なくとも単一文書中の大きな話題を認定する場合には不要であると考えている。理由は、今回の実験でもかなり高い話題境界の検出力が確認されており、かつ、実用的には上述の書式や接続詞などの手がかりを併用した処理の方が効率の面で有利だからである。特に日本語では、複合語の末尾の構成語が上位語であることが多く、短い単位に単語を区切れば、そのような上位語(「委員会」など)の代名詞代わりの繰り返しによる結束性も含めて話題境界を認定できるので、シソーラスの利用が劇的な改善をもたらすとは思われない。ただし、用語の統一のとれていない短い文書の集合(ネットニュースなど)の話題境界を認定する場合などには、何らかの関連語の処置が必要であろう。最後に、提案手法で認定した話題構成と関連記事のまとまり方との関連についての観察結果を補足する。まず、関連記事のまとまりが比較的精度よく認定できた例として、新聞記事の特集の中から「中国革命」の記事境界の認定状況を図\ref{fig:china.result}に示す。図のp、w、xの記号の並びはその左の見出しの開始位置が、話題境界として認定されたことを示している\footnote{p、wは上述の評価で一致と判定した境界で、それぞれ、点推定、窓幅40語の結束度による区間推定に対応する。xは最終的に決定した境界位置から40語以内にある記事境界である。}。記号の並びが横に長く伸びているほど大きい窓幅で認定された境界である。この図から、大きい窓幅による認定境界ほど大きい話題の境界であるという傾向が見てとれる。例えば、最大の窓幅で認定された境界は「国共合作(上)」の開始位置であり、ついで、「毛沢東の栄光と悲惨(1)」「文化大革命(上)」「連合政府(上)」の開始位置であるというように、続き物の記事の開始位置が認定されている(図にはこの4つの開始位置に横線を加えてある)。記事中の記者の署名を見ると「中国\vspace{-1mm}革命」の連載は7人の担当記者が分担しており、続き物の記事は同じ記者が担当していることが多かった。よって、これらの認定境界は話題に対応するのでなく、あるいは、担当記者の用語の個性によるものである可能性もある。しかし、「文化大革命」に関しては、上中と下の担当記者の署名が異なっていたので用語の個性だけでは説明できない一致といえる。\begin{figure}[htbp]\small\begin{center}\leavevmode\epsfile{file=fig/107_ue_250.eps,width=120mm}\\{(a)話題境界と話題境界候補区間}\par\end{center}\begin{center}\leavevmode\begin{tabular}{l|r|cccccccc}&&\multicolumn{6}{c}{基準窓幅別認定状況}&\multicolumn{2}{r}{→大境界[語]}\\\multicolumn{1}{c|}{記事見出し}&\multicolumn{1}{c|}{開始位置}&40&80&160&320&640&1280&2560&5120\\\hline歴史再評価（上）&0&-&-&-&-&-&-&-&-\\歴史再評価（下）&405&x&x&&&&&&\\辛亥革命栄光と挫折（上）&890&x&x&x&x&&&&\\辛亥革命栄光と挫折（下）&1346&p&p&p&&&&&\\\cline{1-10}国共合作（上）&1779&p&p&p&p&p&p&p&p\\国共合作（下）&2299&w&w&&&&&&\\\cline{1-9}毛沢東の栄光と悲惨（１）&2826&w&w&w&w&w&w&w&\\毛沢東の栄光と悲惨（２）&3332&w&w&w&w&&&&\\毛沢東の栄光と悲惨（３）&3897&w&w&&&&&&\\毛沢東の栄光と悲惨（４）&4456&w&w&w&w&&&&\\整風運動&4985&x&&&&&&&\\\cline{1-9}文化大革命（上）&5567&p&p&p&p&p&p&p&\\文化大革命（中）&6080&p&p&p&&&&&\\文化大革命（下）&6602&p&p&p&p&p&&&\\\cline{1-9}連合政府（上）&7168&w&w&w&w&w&w&w&\\連合政府（下）&7676&w&w&&&&&&\\改革・開放（上）&8175&p&p&p&p&p&&&\\改革・開放（下）&8706&w&w&w&w&&&&\\中ソ対立&9231&w&w&w&w&w&w&&\\少数民族の苦悩&9757&w&w&w&w&&&&\\百年の決算&10317&p&p&p&p&&&&\\\end{tabular}\end{center}\begin{center}{(b)記事境界の認定状況}\\\end{center}\caption{「中国革命」中の話題構成の認定結果}\label{fig:china.result}\end{figure}なお、今回の実験に使った新聞の特集記事には、記事の後半に次の記事へとつなぐ話題をおき、連載記事のまとまりをつけていると見られるものがあった。例えば、「働くということ」という特集記事\footnote{記事境界の認定精度が比較的悪かった例でもある。}で、最大の基準窓幅(640語)の認定境界は、「◆プロの時代…専門磨き生き抜く」の記事境界より、その前の記事中の小見出し「◇巧みな外資系◇」の方に大きくずれている(図\ref{fig:hataraku.result}の中程の横線部分)。この部分の内容を見ると、「働く女性」の話題と「専門性」「能力主義」の話題が交錯している部分であった\footnote{前後の記事中の署名が異なっていたのであるいは偶然の一致かもしれない。}。このような話題の交錯する部分の扱いは、今後の課題である。\begin{figure}[htbp]\small\begin{center}\leavevmode\epsfile{file=fig/108_ue_250.eps,width=120mm}\\{(a)話題境界と話題境界候補区間}\par\end{center}\begin{center}\leavevmode\begin{tabular}{l|r|ccccc}&&\multicolumn{3}{c}{基準窓幅別認定状況}&\multicolumn{2}{r}{→大境界[語]}\\\multicolumn{1}{c|}{見出し(◆記事見出し/◇小見出し)}&\multicolumn{1}{c|}{開始位置}&40&80&160&320&640\\\hline◆「山一」の衝撃…「会社が消滅」生活激変&0&-&-&-&-&-\\\phantom{....}\phantom{....}◇&281&x&&&&\\◆転身…「災い」バネに新天地へ&320&x&&&&\\\phantom{....}◇専門知識の習得必要◇&505&x&x&&&\\◆年俸制…人物「時価」で評価&685&p&&&&\\\phantom{....}◇人生設計を見直し◇&851&p&p&&&\\◆女性パワー…会社支える必要条件&1018&w&w&w&w&\\\phantom{....}◇巧みな外資系◇&1176&x&x&&&\\\hline◆プロの時代…専門磨き生き抜く&1350&w&&&&\\\phantom{....}◇年功序列に疑問◇&1535&x&x&&&\\◆若者の挑戦…広がる独立・転職志向&1647&x&x&x&x&\\\phantom{....}◇二極化傾向強く◇&1921&x&x&x&&\\◆出社不要…車中に仮想オフィス&2004&p&p&&&\\\phantom{....}◇広がる裁量労働制◇&2216&x&x&x&&\\\phantom{....}\phantom{....}◇&2297&p&p&&&\\\end{tabular}\end{center}\begin{center}{(b)記事境界・節境界の認定状況}\end{center}\caption{「働くということ」中の話題構成の認定結果}\label{fig:hataraku.result}\end{figure}
\section{結論}
本稿では、語彙的結束性という文章一般に見られる現象に基いて話題の階層構成を認定する手法を提案した。そして、数十頁にわたる長い文書についても、文書サイズの1/2〜1/4程度の大きな話題のまとまりから、段落程度の大きさの話題のまとまりまで、任意の大きさの話題のまとまりを認定可能であることを示した。また、語彙的結束度を複数の窓幅で測定し、組み合わせて用いることで、話題の階層構成が認定可能なことも示した。今後の大きな課題は、話題の階層構成に基づき、長い文書に対する質の高い要約を作成できる手法の実現である。当面の課題は、重要な話題のまとまりの選別処理\cite{PNLP-4W-P72}や、重要文抜粋処理などを組み合わせて、実用レベルの要約手法を完成させることである。また、将来的課題には、文章の修辞構造解析などの複雑な処理も組み入れてより質の高い要約の作成を可能にすることや、新聞の特集記事のような関連文書を再構成して要約することなどがある。これらの実現においても、任意の大きさの話題のまとまりを語彙の繰り返しという単純な手がかりだけから認定できる提案手法は、大きな役割を果たしうると考えている。\acknowledgment実験用文書を提供して下さった電子工業振興協会のネットワークアクセス技術専門委員会の方々に感謝します。\appendix
\section{話題境界候補区間認定原理の補足}
\label{app:拮抗点と順方向結束力の関係}負の結束力拮抗点の直前の移動平均をとる幅($d$語)以内に順方向結束力の極小点が存在することを証明する(関連\ref{sect:話題境界の区間推定法}節)。まず、ある点$p$における順方向結束力と逆方向結束力をそれぞれ$FC_p,BC_p$とおくと、\[FC_p\equivBC_{p+d}\]であり、拮抗点$ep3$では順方向結束力と逆方向結束力が等しいので、\[FC_{ep3-d}(\equivBC_{ep3})=FC_{ep3}\]が成り立つ。よって、拮抗点の直前の点の値が拮抗点の値より小さければ、$ep3-d$までの部分、拮抗点の直前$d$語以内に順方向結束力の極小値がある。また、拮抗点の直前の点の値が拮抗点の値より小さくなくても、\[FC_{ep3-d-1}\equivBC_{ep3-1}>FC_{ep3-1}\geFC_{ep3}\\\]であり、同様に\begin{eqnarray*}FC_{ep3}<FC_{ep3+1}&or&\\FC_{ep3-d+1}(\equivBC_{ep3+1})&<&FC_{ep3+1}\leFC_{ep3}\end{eqnarray*}となるので、$ep3-d$から$ep3$までの間に極小値が存在することになる。(証明終り)
\section{実験文書中の見出しの例}
\label{sect:実験文書の見出し}\medskip評価実験に用いた文書の見出しの例を参考として示す。新聞の特集記事の見出しの例については、本文中の図\ref{fig:china.result}、図\ref{fig:hataraku.result}を参照。\begin{figure}[htbp]\footnotesize\begin{center}\begin{minipage}[t]{7cm}\begin{tabular}{l}4.1調査の概要\\4.2ネットワークアクセスのインタフェース\\4.2.1提言：10年後のネットワークアクセス\\\\\\\\\\インタフェースはこうなる\\\\(1)ネットワーク情報への多様なアクセス\\\\(2)個人向けインタフェースを支える\\\\\\\\\エージェント技術\\\\(3)セキュリティ・個人認証の今後\\\\(4)機械翻訳と多国語\\4.2.2現状と問題点\\\\(1)アクセスインタフェースの多様化\\\\(2)インタフェースを支える\\\\\\\\\ネットワークプログラム技術\\\\(3)セキュリティ・個人認証\\\\(4)機械翻訳・言語処理技術\\4.3ネットワーク上の検索サービス\\4.3.1検索サービスの調査\\\\(1)ＷＷＷ検索サービスの概要\\\\(2)情報収集／検索方式\\\\(3)情報提示方式\\\\(4)今後の課題\\4.3.2検索技術の動向\\\\(1)キーワード抽出\\\\(2)文書自動分類\\\\(3)要約・抄録技術\\\\(4)分散検索\\\end{tabular}\end{minipage}\begin{minipage}[t]{6cm}\begin{tabular}{l}4.3.3電子出版及び電子図書館\\\\(1)電子出版\\\\(2)電子図書館\\4.4.検索エンジン\\4.4.1.日本語の全文検索技術の動向\\\\(1)文字列検索アルゴリズム\\\\(2)インデックス作成法\\\\(3)日本語の全文検索技術\\\\(4)製品化動向\\\\(5)今後の課題\\4.4.2．有限オートマトンによる\\\\\\\\\\自然言語処理技術の動向\\\\(1)有限変換器のコンパクト化\\\\(2)文字列パタン照合\\\\(3)書き換え規則,Two-levelモデル\\\\(4)形態素解析,構文解析\\\\(5)まとめ\\4.4.3情報フィルタリング技術の動向\\\\(1)内容に基づくフィルタリング\\\\(2)協調フィルタリング\\\\(3)ユーザモデリング\\\\(4)まとめ\\4.4.4情報抽出/統合技術の動向\\\\(1)検索ナビゲーション技術\\\\(2)情報統合技術\\\\(3)情報の可視化技術\\\end{tabular}\end{minipage}\caption{実験文書中の見出し:調査報告書(上位3レベルまで)}\label{fig:電子協の見出し}\end{center}\bigskip\begin{center}\begin{minipage}{12cm}\small\begin{itemize}\item[$\bigcirc$]アメリカ経済の動向(171語)\item[$\bigcirc$]フィンランドは通信技術の最先進国(94語)\item[$\bigcirc$]低下するパソコンの売れ行き(299語)\item[$\bigcirc$]Microsoftの将来は不透明(303語)\item[$\bigcirc$]ますます難局に立つApple(1523語)\item[$\bigcirc$]Netscape社の苦闘(513語)\item[$\bigcirc$]通信衛星が将来Internetアクセスの困難を解消(653語)\\()内は記事の大きさ(記事中の内容語の数)\end{itemize}\caption{実験文書中の見出し:経済レポート(97年1月分の全記事)}\label{fig:室賀教授レポートの見出し}\end{minipage}\end{center}\end{figure}\bibliographystyle{jnlpbbl}\bibliography{v06n6_04}\begin{biography}\biotitle{略歴}\bioauthor{仲尾由雄(正会員)}{1986年東京大学理学部物理学科卒業。同年(株)富士通研究所入社。1988〜1994年日本電子化辞書研究所へ出向。現在、(株)富士通研究所。自然言語処理技術を使った文書処理システムの研究開発に従事。情報処理学会会員。}\bioreceived{受付}\biorevised{再受付}\bioaccepted{採録}\end{biography}\end{document}