\section{はじめに}
本稿では，テキスト要約の自動評価手法について述べる．テキスト自動要約に関する研究は，テキスト中の表層的な情報から重要な箇所を判断し重要な部分のみを抽出するLuhn等，Edmundson等の研究\cite{H.P.Luhn.58,H.P.Edmundson.69}に始まり，現在も様々な方法が提案されている\cite{C.D.Paice.90,C.Aone.98}．ここ数年はインターネットの急速な普及に伴って，国内外での研究活動が非常に活発になっている\cite{M.Okumura.99J,I.Mani.00}．テキスト要約の研究において，評価の重要性は言うまでもない．最も信頼性が高いのは要約の経験者が直接要約を見て評価する方法であるが，コストが非常に大きいというデメリットがある．このためより低コストで効率の良い方法として，要約の経験者によって作成された要約を正解とし，正解との一致度を機械的に評価する方法が一般によく用いられる．しかし，要約は観点や戦略などの違いから，同じテキストに対しても複数の要約者から得られる結果は多様であることが知られている\cite{G.J.Rath.61,K.S.Jones.96,H.Jing.98,K.Saito.01J}．要約タスクにおいて唯一の理想的な要約が存在するという前提は現実には成り立たず，それゆえ唯一の正解に基づく評価では，対象の評価結果が正解との相性に影響され易いという問題がある．本稿では，このような従来法の問題点を踏まえ，複数の正解に基づく信頼性の高い評価法の提案を行なう．さらに，正解として用いる要約集合の満たすべき条件について，要約の品質と網羅性の観点から検討を試みる．提案手法は重要文抽出結果を評価することを前提に定式化されているが，手法の基本的アイデアや検討内容の多くはテキスト要約一般に共通するものである．
\section{唯一の理想的な要約を正解とする評価法の問題}
まず，要約の自動評価に関する従来方法について検討する．従来の評価方法としては，各テキストごとに人間が{\bf唯一の理想的な要約}を作成し，これを正解とする方法が一般的である．要約システムの出力の妥当性を測る尺度は，正解からの単語や文字に基づく編集距離，単語ベクトルの内積，抽出単位(文，文節など)の適合率，再現率，F値などがタスクに応じて用いられている．テキスト要約のコンテストであるNTCIR-2TSC\cite{T.Fukusima.01}では，重要文抽出タスクの評価において，抽出文に関する再現率R(=要約中の正解文数/要約中の文数)と適合率P(=要約の正解文数/正解要約の文数)に基づく次のようなF値を用いている．\begin{equation}F=\frac{2\cdotR\cdotP}{R+P}\end{equation}この重要文抽出タスクでは，毎日新聞記事データ\footnote{毎日新聞全文記事データベースCD-毎日新聞94年版，98年版(毎日新聞社提供)}中の30記事からなる評価セットが用いられた．各記事データはヘッドライン，文，パラグラフのタグを含み，専門家が作成した要約率10\%，30\%，50\%での重要文抽出結果が正解として与えられている．この評価セットの一記事の平均文数$\bar{N}$は33.1であり，各タスクに対する実際の要約率の平均値$\bar{p}$，抽出文数の平均値$\bar{n}$，無作為な文抽出によって得られる要約のF値の期待値$E(\tildeF_{Random})$，および標準偏差$\sigma(\tildeF_{Random})$は表\ref{table-np-test}に示す通りである．\begin{table}\begin{center}\caption{評価セットの性質}\begin{tabular}{|l||c|c|c|}\hline一記事あたりの平均文数&\multicolumn{3}{c|}{要約率}\\\cline{2-4}$\bar{N}=33.1$&$10\%$&$30\%$&$50\%$\\\hline\hline実際の要約率の平均値$\bar{p}$&0.105&0.315&0.536\\\hline抽出文数の平均値$\bar{n}$&3.40&10.03&16.93\\\hline期待値$E(\tildeF_{Random})$&$0.105$&$0.315$&$0.536$\\\hline標準偏差$\sigma(\tildeF_{Random})$&0.160&0.124&0.086\\\hline\end{tabular}\label{table-np-test}\end{center}\end{table}ここで，表中のF値の期待値，分散は理論値であり，次の計算により求めた．まず$N$文からなるテキストに対し，要約率p$(0<p<1)$での重要文抽出の正解，すなわち$Np$(正の整数)文の重要文が与えられている．同じテキストから$n$文の無作為抽出により要約を作成した場合，その中に含まれる正解文の数$k$は，超幾何分布$HG(n,p;N)$に従う．正解と同じ文数$n=Np$を無作為に抽出する場合，F値($F=\frac{k}{n}$)の期待値$E(\tildeF)$と分散$V(\tildeF)$は$k$に関する確率分布$f(k|n,p,N)$を用いて次のように表される．表\ref{table-np-test}に示した無作為な文抽出によるF値の期待値$E(\tildeF)$と標準偏差$\sigma(\tildeF_{Random})$\footnote{標準偏差は関係式$\sigma(\tildeF_{Random})=\sqrt{V(\tildeF_{Random})}$に基づく．}の値は，これらの関係式に$\bar{N}$，$\bar{n}$，$\bar{p}$を適用して求めた．\begin{eqnarray}\begin{array}{lllll}E(\tildeF)&=&\sum_{k=0}^{n}F\cdotf(k|n,p,N)\;=\;p&&\\V(\tildeF)&=&\sum_{k=0}^{n}\left(F-E(\tildeF)\right)^2\cdotf(k|n,p,N)&=&\frac{p(1-p)}{n}\cdot\frac{N-n}{N-1}\\\end{array}\end{eqnarray}さて，図\ref{NTCIR-results}にNTCIR-2TSCの重要文抽出タスクでのこの評価セットにおける各参加システムの評価結果を示す\cite{T.Fukusima.01}．ここで縦軸はF値を表し，横軸上のシステム1$\sim$10およびLEAD，TFは，それぞれタスクにおける各参加システム，およびベースラインシステムの結果を表す．３種類ある棒グラフは凡例が示すように，それぞれ要約率$10\%$，$30\%$，$50\%$での結果を表している．\begin{figure}\begin{center}\epsfile{file=fig/NLP-figs-NTCIR-results.eps,scale=0.4}\caption{評価セットにおける各参加システムのF値}\label{NTCIR-results}\end{center}\end{figure}特に要約率$50\%$での各参加システムのF値に注目すると，各値は$0.58$を中心に差が$0.05$以内と，分散の小さな分布になっている．この値は，先程の表\ref{table-np-test}中の無作為な文抽出によるF値の分布$0.536\pm0.086$に非常に近いため，この結果に基づく各システムの性能比較は信頼性が低いと考えられる．一方，要約率$10\%$，$30\%$での各システムの結果は，ランダムな文抽出による分布を明らかに上回っており，各システムの性能差が評価に現れている．これらの評価結果を解釈する上で，評価の方法自体の信頼性についても検討する必要がある．上記のF値による評価結果が十分信頼できる場合，要約率50\%ではいずれのシステムも性能が低いため，有意な要約結果が得られていないという解釈になる．しかし，評価方法自体の信頼性を疑うという観点に立てば，上記の評価結果で各評価システムの評価が同様に低く有意な差が現れていないのは，要約を機械的に評価する上での本質的な困難が顕現しているためと見ることもできる．要約タスクからテキストの主題に関する理解や要約の観点といった主観的な要素を排除することは不可能であり，テキストの要約において{\bf唯一の理想的な正解}が存在するという前提は現実的とは言えない．この点において，唯一の正解に基づく評価方法では，評価結果が正解と評価対象の相性によって左右されるという問題が懸念される．すなわち，正解との類似性に基づく評価であるために，正解と要約の観点や戦略が一致していなければ有意な評価結果が得られないという問題である．この問題は，特に抽出文の組み合わせ数が最大となる要約率50\%では，異なる観点や戦略に基づく多様な要約が可能なためより顕著に現れると予想される．
\section{複数の正解に基づく評価手法}
\subsection{従来の評価の仕組みと問題点}\begin{figure}\begin{center}\epsfile{file=fig/NLP-figs-summary-adequacy.eps,scale=0.35}\caption{重要文抽出の評価の仕組み(概念図)}\label{summary-adequacy}\end{center}\end{figure}ここでは，まず重要文抽出における従来の評価方法の仕組みと問題点について，定性的な議論を行なう．以降では図\ref{summary-adequacy}に示すような概念図を用いる．図中の水平方向の広がりはN文のテキストからのn文の抽出によって得られる可能な要約の集合を表し，この広がり上の各点は要約集合中の各要約を表している．また説明の便宜上，要約集合の広がり上の2点が近いほど，2つの要約間の類似度は高いものとする．要約集合の広がり上の各点に対して理想的な評価を行い，その結果を数値で表現できると仮定する．これを，要約の妥当性の高さと呼ぶことにし，この数値を縦軸に取って要約集合の各点をプロットする．すると，各点を結ぶことによって図中に示すような妥当性の高さが表現された面が出来る．これを妥当性の表面と呼ぶことにする．あるテキストに対して適切な要約を求めるという問題は，この概念図においては妥当性の表面上において十分高い点を探す問題に置き換えて考えることが出来る．例えば図\ref{summary-adequacy}中では，最適な要約は要約Aと要約Bである．ここでは両者の間に距離があるため，要約Aと要約Bはある程度異なった要約でありながら，ともに適切な要約であると理解できる．あるテキストに対して，適切な要約が何通りか存在することは珍しくない．このような場合は，概念図では妥当性の表面が複数の点において高い値を持つ場合で考えることができる．このような状況において，要約の正解を一意に絞ることによって生じる評価の問題について，図\ref{problem}を用いて検討する．\begin{figure}\begin{center}\epsfile{file=fig/NLP-figs-problem.eps,scale=0.35}\caption{唯一の正解に基づく評価の問題(概念図)}\label{problem}\end{center}\end{figure}図\ref{problem}中の(a)と(b)では共に，同じテキストに対して作成された二つの要約結果，要約1と要約2を示している．要約1と要約2の評価を行なう際，用いられる正解の違いによって評価結果にどのような違いが生じるかを，(a)と(b)の比較によって検討する．この図では，(a)の正解は要約1により近く，(b)の正解は要約2により近い．正解との類似度に基づく評価では，正解により近い要約の方がより高い評価を得るので，(a)の場合には要約1がより評価が高く，(b)の場合には要約2がより評価が高くなる．以上の議論から，要約の多様性によって適切な要約が複数存在する場合には，用いられる正解との相性によって評価結果が左右されるという問題が生じることが分かる．\begin{figure}\begin{center}\epsfile{file=fig/NLP-figs-proposed-method.eps,scale=0.35}\caption{複数の正解に基づく要約評価の利点(概念図)}\label{proposed-method}\end{center}\end{figure}この問題を改善するために，複数の正解を用いる評価方法を検討する．正解とする要約を複数用意し，評価対象に最も近い正解を用いて評価することで，正解と評価対象との相性の問題は緩和される．ここでは複数要約を正解として用いる効果とともに，用いる複数要約の数や品質と評価の信頼度との関係について，図\ref{proposed-method}に基づいて検討を行なう．図の(a)，(b)は共に，あるテキストに対する二つの要約，要約1と要約2を評価する場合を示している．両者の妥当性の値は要約1は十分高いが，要約2はこれに比べて低いという状態を示している．(a)では，要約1の方が要約2に比べてより近くに正解が存在する．評価対象に最も近い正解を用いて類似度で評価を行なうことにより，要約1が要約2に比べてより高い評価を得る．この結果は，本来の両者の妥当性の高さの関係を適切に反映している．一方，(b)の場合，要約1と要約2は共に近傍に正解を持つため，両者は同様に高い評価となり，両者の本来の妥当性の差が評価に現れない．この(a)と(b)の違いは，正解とする複数の要約集合の違いにある．(a)で正解に用いている要約集合は妥当性が十分に高いのに対し，(b)で用いている要約集合では妥当性の低いものが混在している．以上の議論から，正解に用いる要約集合は，{\bf(1)要約の品質が十分に高い}こと，および{\bf(2)要約タスクにおける理想的な要約を網羅している}ことが信頼性の高い評価を行なう上での必要条件となることが分かる．\subsection{複数の正解に基づく評価方法}ここで，複数の正解に基づく評価方法の具体的な定式化について述べる．ここでは，$N$文からなるテキストから$n$文の重要文抽出により作成される要約の評価を考える．まず文抽出による要約結果の表現として，ベクトル表記を導入する．ここで，$N$文のテキストから$n$文を抽出して得られる要約結果を長さ1の$N$次元ベクトル${\bfv}$によって表現する．ベクトルの第$i$成分には，テキスト中の第$i$文が要約に抽出されている場合は$1/\sqrt{n}$，抽出されていない場合は0の値を与える．例えば，5文からなるテキストの第1,3文を抽出して得られる要約のベクトル表現は${\bfv}=1/\sqrt{2}(1,0,1,0,0)$となる．まず，評価に正解を一つ用いる場合を考える．ここで正解と評価対象の要約の抽出文数は同じとする．正解のベクトル表現${\bfv}_{Ans}$と評価対象のベクトル表現${\bfv}_{Obj}$を用いると，F値は両者のベクトルの内積によって得られる．\begin{equation}F値=Sim({\bfv}_{Ans},{\bfv}_{Obj})={\bfv}_{Ans}\cdot{\bfv}_{Obj}\end{equation}このF値を，複数の正解を用いた評価尺度に拡張する．次式のような評価対象の要約と複数の正解との内積の最大値を複数の正解に基づく評価尺度として提案する．\begin{equation}F値=max_{i=1,\cdots,k}\left[{\bfv}_{Ans}\cdot{\bfv}_{Obj}\right]\label{proposed-measure-1}\end{equation}この評価尺度は最終的に正解を一つ選択して評価を行なうものであるが，複数正解において網羅性が不足している場合には，評価対象を評価するための適切な正解が存在しないために適切な評価結果が得られないといった問題が生じる．そこでさらに，網羅性の不足に対する頑健性を向上するために，式\ref{proposed-measure-1}の尺度の拡張を試みる．まず正解を複数要約の単純な集合から，各要約を基底として張られる部分空間へと拡張する．具体的には次のような疑似的な線形性\footnote{ここで仮定する線形結合によるベクトルは，要素に0，1以外の値を持つ場合は対応する要約が実在しないのでこのように呼ぶ}を導入する．すなわち，k個の正解の集合${\bfv}_{Ans_1},\ldots,{\bfv}_{Ans_k}$が与えられた場合，これらの線形結合であるベクトル${\bfV}_{Ans}(\alpha_1,\ldots,\alpha_k)$も同様に正解の一つと見なす．\begin{eqnarray}{\bfV}_{Ans}(\alpha_1,\ldots,\alpha_k)=\sum^{k}_{i}\alpha_i{\bfv}_{Ans_i}\\ただし，\sum^{k}_{i}\alpha_i^2=1\;(\alpha_i\geq0)\end{eqnarray}網羅性の不足に対する頑健性が改善された複数の正解に基づくF値を以下のように提案する．\begin{equation}F値=max_{\alpha_1,\ldots,\alpha_k}\left[{\bfV}_{Ans}(\alpha_1,\ldots,\alpha_k)\cdot{\bfv}_{Obj}\right]\label{proposed-measure-2}\end{equation}ここで結合係数$\alpha_1,\ldots,\alpha_k$は，複数正解の結合ベクトル${\bfV}_{Ans}(\alpha_1,\ldots,\alpha_k)$と評価対象${\bfv}_{Obj}$との内積を最大化するように決定する．\subsection{正解に用いる要約集合の作成方法}ここでは，前節の類似度に基づく評価の妥当性を保証するために，正解に用いる要約集合の満たすべき条件について検討する．提案手法による評価の妥当性が保証されるためには，正解とする要約集合にいて，{\bf(1)網羅性に関する条件}，すなわち要約タスクにおける可能な要約を網羅していること，および{\bf(2)品質に関する条件}，すなわち正解として用いるのに十分な品質であること，の二つが同時に満足される必要がある．これらは，任意の文抽出によって可能な全ての要約集合から，要約タスクに対する理想的な要約集合を抽出する際のPrecisionとRecallであると言い換えることもできる．\subsubsection*{(1)網羅性に関する条件}まず，要約者の作成する要約が{\bf(2)品質に関する条件}を十分に満足しているという状況を仮定して考えてみる．この場合，{\bf(1)の網羅性に関する条件}を満たすためには，要約者の人数を増やすなどして，可能な要約のバリエーションを尽くし切ればよい．正解の品質を高く保ちながら，同じ記事に対して作成する要約の数を増やしていくと，正解集合のバリエーションの数もそれに従い増加して行くが，要約タスクにおける理想的な要約集合が尽くされていく過程で徐々に飽和していくと予想される．理想的な要約集合が尽くされたかどうかを知るには，要約集合の数を増やして行く過程で，新たに加えられる要約とすでに存在する要約集合との一致度の最大値が飽和したかどうかを見れば良い．要約間の一致度の尺度として，ここでは$\kappa$係数\cite{J.Carletta.96}を用いる．この他の尺度としては，Marcu等の研究\cite{D.Marcu.97}で用いられているPercentAgreement\cite{W.Gale.92}や，Cochran'sQSummaryStatistic\cite{W.G.Cochran.50}などがあるが，$\kappa$係数は無作為な文抽出によって作成された二つの要約に対して0，完全に一致した要約に対して1を与えるので飽和の程度を知るのに適している．ここで$\kappa$係数の導入を行なう．N文のテキストからn文を抽出する要約タスクにおいて，k個の正解の集合${\bfv}_{Ans_1},\ldots,{\bfv}_{Ans_k}$がある時，この中の２つの要約${\bfv}_{Ans_i}$と${\bfv}_{Ans_j}$の間の類似度は次のようになる．\begin{eqnarray}Sim({\bfv}_{Ans_i},{\bfv}_{Ans_j})={\bfv}_{Ans_i}\cdot{\bfv}_{Ans_j}\end{eqnarray}この類似度から２つの要約中の抽出文の偶然一致によって生じる要約間の類似度$Sim_{Random}$を差し引く．この値はn文の無作為抽出によって作成される２つの要約間の類似度の期待値を計算すればよい．無作為抽出で作成された要約間で偶然に一致する抽出文数$k$の確率分布は超幾何分布$HG(n,p;N)$に従うので，期待値$Sim_{Random}$は$k$に関する確率分布$f(k|n,p,N)$を用いて次のように求めることができる．\begin{equation}Sim_{Random}=\sum_{k=0}^{n}\frac{k}{N}\cdotf(k|n,p,N)=p=\frac{n}{N}\end{equation}$\kappa$係数\cite{J.Carletta.96}は，この２つの要約${\bfv}_{Ans_i}$と${\bfv}_{Ans_j}$に対して次のように計算できる．\begin{equation}\begin{array}{lcl}\kappa({\bfv}_{Ans_i},{\bfv}_{Ans_j})&=&\frac{Sim({\bfv}_{Ans_i},{\bfv}_{Ans_j})-Sim_{Random}}{1-Sim_{Random}}\\&=&\frac{{\bfv}_{Ans_i}\cdot{\bfv}_{Ans_j}-\frac{n}{N}}{1-\frac{n}{N}}\end{array}\label{kappa-def}\end{equation}$\kappa$係数は，２つの要約が完全に一致する場合は1を与え，２つの要約が抽出文の偶然の一致を除いて一致しない場合は0を与える．Krippendorff等の研究\cite{K.Krippendorff.80}から，判断が一致していると結論するための基準値は$0.7$以上であることが知られている．この基準に基づくと，既に作成された要約集合${\bfv}_{Ans_1}\cdots{\bfv}_{Ans_n}$に，新たな要約${\bfv}_{Ans_{n+1}}$を加え，要約集合の要素数nが増加していく過程において，{\bf要約集合における網羅性が十分であると判断できるのはnを増やしても以下の基準が常に満たされ，異なりが飽和している場合}と言うことができる．\begin{equation}Max_{i=1\cdotsn}\kappa({\bfv}_{Ans_i},{\bfv}_{Ans_{n+1}})>0.7\label{satulation-condition}\end{equation}この条件を50文の文書に対して要約率$p=0.3$で要約集合を作成する場合にあてはめると，新たに要約を加える過程で要約集合の中で最も類似した要約との抽出文の異なりが常に3文(抽出文の20\%)以下になった時に網羅性の高い要約集合が得られたということになる．\subsubsection*{(2)品質に関する条件}品質の条件を満たすためには，要約作成の経験を積んだ専門家など，高いスキルを持つ要約者に要約を作成させればよい．しかしながら，{\bf(1)網羅性に関する条件}を同時に満たすことを考慮すると，専門家を多人数使って要約の異なりを尽くし切るような方法はあまりにもコストが膨大で現実的とは言えない．したがって実際に評価を行なう上で要約集合の網羅性と品質の条件をどの程度優先して作成するかという問題も検討する必要がある．対象とするテキストが例えば新聞記事のように，ヘッドライン，パラグラフ構造などの要約作成の指針となるような情報を多く含んでいたり，テキスト中の文数や要約の抽出文数が少ないような場合は，理想的な要約を作成する上での自由度も小さくなると期待される．このように{\bf作成される要約の多様性が比較的小さくなると予想される場合，要約スキルの高い作成者によって，ある程度の網羅性を満たす要約集合を作成するという方法が良い}と思われる．しかし，要約を作成する上での自由度が高く評価対象の多様性が大きいと期待される場合や，評価対象の要約の品質が低くそれほど品質の高い正解を基準とする必要がない場合，要約の品質の高さはそれほど高くなくても網羅性が保証された要約集合を用いるほうがより有意な評価結果が得られるという考え方もできる．後者のような大規模な要約集合を作成した例として，斎藤等による人間による要約文の多様性の研究\cite{K.Saito.01J}が挙げられる．この実験では，朝日新聞のコラム「天声人語」の原文から140名の学生によって20\%と30\%の要約率でそれぞれ70の要約文を作成し，原文から要約文への文節単位での取り込み傾向を分析している．その結果文節はその取り込み率によって，取り込まれる傾向のもの，取り込まれない傾向のもの，そのいずれにも属さないものへと分類され，6割以上の要約者が取り込んでいる文節集合(コア)を並べると，ほぼ意味が通じる要約文が完成するという結果を得ている．この結果で興味深いのは，それほど品質の高さが高くないと予想される要約集合からも，多くの要約者に共通して重要と判定される部分(コア)，共通して重要でないと判断される部分，それ以外を分離することが可能で，かつコアの部分の要約の品質が元の要約集合に比べて高いという点である．\\\noindentこのことから，{\bf品質は高くないが大規模な要約集合が作成可能な場合，まず網羅性の高い大規模な要約集合を作成し，その中から品質が比較的保証されるような部分集合を切り出すといった方法が現実的である}と思われる．コアおよびその周辺の文を多く含む一致度の高い要約の抽出は，要約集合の全要約対の間の一致度に基づいて階層的クラスタ分析などの方法を適用する方法で実施できると思われる．例えば，$\kappa$係数の値の大きな要約対から順次，群平均法などの階層的クラスタ分析を適用して階層構造を作成し，これをKrippendorffの基準($\kappa>0.7$)に基づいて全体の階層構造から一致度の高い要約の部分集合を抽出する．この部分集合を正解の要約集合に用いる際に，部分集合を全て用いるのではなく，含まれる要約数の大きいものだけを正解集合に取り込むようにすれば，正解集合はよりコアに近い文を多く含んだ要約のみが残るため，網羅性に比べてより品質が重視された集合が得られる．
\section{提案評価手法の予備実験}
\subsection{作成した正解要約集合の品質}提案手法の検証のために，要約タスクにおいて複数要約の作成を試みた．ここでは，NTCIR-2TSCの重要文抽出タスク\cite{T.Fukusima.01}における評価セット\footnote{毎日新聞社新聞記事データより作成された要約データ(国立情報学研究所提供)}30記事中の4記事980503045，980505037，940701176，940701189を選び(１テキストあたりの平均文数は$40.8$)，評価セットに付いている専門家による正解に加え，新たに要約者7名によって要約を作成した．要約は評価セットの全要約率10\%，30\%，50\%について行なった．なお，要約者は理系大学の卒業生で，要約に関連する特別な技術を持たない非専門家である．これらの要約者によって作成された4記事に対する要約の品質と網羅性について検討するために，評価セットの正解(専門家による要約)と非専門家7名による要約間の$\kappa$係数を求め，表\ref{matrix-kappa}に示した．Eは専門家による要約結果，N1$\sim$N7はそれぞれ7名の非専門家による要約を表す．表中の各値は，新聞記事4記事に対し要約率$p=0.1,0.3,0.5$で作成されたそれぞれ(計12)の要約の$\kappa$の平均値である．また"平均"は，各評価者とそれ以外の要約者7名との間の$\kappa$係数の平均値を示している．\begin{table*}\begin{center}\caption{各要約対の$\kappa$係数の値(評価セット全4記事，要約率10\%,30\%,50\%の平均値)}{\small\begin{tabular}{|c||c|c|c|c|c|c|c|c|}\hline&E&N1&N2&N3&N4&N5&N6&N7\\\hline\hlineE&-&0.32&0.42&0.31&0.26&0.28&0.34&0.29\\\hlineN1&0.32&-&0.16&0.29&0.29&0.24&0.31&0.27\\\hlineN2&0.42&0.16&-&0.29&0.29&0.25&0.22&0.12\\\hlineN3&0.31&0.29&0.29&-&0.28&0.30&0.15&0.13\\\hlineN4&0.26&0.29&0.29&0.28&-&0.22&0.22&0.01\\\hlineN5&0.28&0.24&0.25&0.30&0.22&-&0.24&0.17\\\hlineN6&0.34&0.31&0.22&0.15&0.22&0.24&-&0.30\\\hlineN7&0.29&0.27&0.12&0.13&0.01&0.17&0.30&-\\\hline\hline平均&0.32&0.27&0.25&0.25&0.22&0.24&0.25&0.18\\\hline\end{tabular}}\label{matrix-kappa}\end{center}\end{table*}すべての$\kappa$係数の値が正であることは，全要約者の間に有意な一致が見られることを示している．特に専門家と他の要約者との値が最も高い．これは専門家による要約結果が非専門家による要約結果のコア(要約者によって共通して抽出されている文集合)をより多く含んでいることを示している．このことは専門家による要約が非専門家の要約に比べて品質が高いことに起因していると理解される．品質の高い要約はコアを含んだ理想的な要約集合における抽出文から構成されるが，品質の低い要約では理想的な要約集合には含まれない文も混在するため，結果として品質の低い要約に比べると品質の高い要約の方がより多くコアを含むと考えられるからである．この要約集合における値をSalton等が報告している2人の要約者による50の文書の要約結果\cite{G.Salton.97}と比較してみる．この結果では，2人の要約者による要約の間の重なりは45.81\%，Randomによるベースラインは39.16\%であり，Salton等は得られた一致度が驚くほど低いと分析している．要約の対象は百科辞典のテキストであり要約率はおよそ$40\%$，要約者のスキルについては情報がなく，実験条件が異なるので単純に比較するには問題があるが，$\kappa$に換算すると0.1093であり我々の作成した要約の値より低い値であることが分かる．また作成された要約集合は，$\kappa$係数の平均値がいずれもKrippendorff等による基準を下回っていることから，非専門家による要約の品質の問題だけでなく網羅性の不足も懸念される．さらに詳細に要約集合の網羅性を検討するため，評価セット中の記事940701176に対して30\%と50\%の要約率で作成された要約結果を具体例として取り上げ検討する．表\ref{matrix-kappa-03}は要約率30\%での要約結果に対する値を示している．表\ref{matrix-kappa}での平均の値と異なり，各要約間の一致度の差がより明確に現れていることが分かる．この中で，要約対(E,N5)と(N2,N5)は基準値である0.7を越えていることから，要約E,N2,N5はこの集合のコアを構成していると考えられる．しかし要約集合全体では，要約Eに対して，要約N1，N2，と順次要約を追加して行く過程での$\kappa$係数の最大値の推移を見ると，0.30，0.54，0.30，$-0.16$，0.76，0.30，0.54，というように式\ref{satulation-condition}の基準を下回る低い値で振動していることが分かる．このことから，ここで作成された要約集合は，飽和するまでにまだかなり要約の数を増やす必要があることが分かる．表\ref{matrix-kappa-05}は要約率50\%での要約結果に対する値を示しているが，全体的な傾向は要約率30\%での結果と変わらない．ただ，要約率50\%では，抽出文の組み合わせの数が最大となるため，要約の可能性がより多様になる分，全体的な$\kappa$係数の値も低くなっている．これに伴って，飽和するまでに必要な要約の数もさらに大きくなると推測される．以上の議論から，作成された要約集合は専門家による要約と非専門家による要約との間に品質の差があり，また要約集合の網羅性を満たすためには要約の数が不足していることが結論出来る．\begin{table*}\begin{center}\caption{各要約対の$\kappa$係数の値(評価セット:940701176，要約率:30\%)}{\small\begin{tabular}{|c||c|c|c|c|c|c|c|}\hline&N1&N2&N3&N4&N5&N6&N7\\\hline\hlineE&0.30&0.54&0.30&-0.16&{\bf0.76}&0.30&0.30\\\hlineN1&-&-0.16&0.06&-0.40&0.06&0.30&0.54\\\hlineN2&-&-&0.30&-0.16&{\bf0.76}&0.06&0.06\\\hlineN3&-&-&-&-0.16&0.54&0.06&0.06\\\hlineN4&-&-&-&-&-0.16&0.30&-0.40\\\hlineN5&-&-&-&-&-&0.30&0.30\\\hlineN6&-&-&-&-&-&-&0.3\\\hline\hline最大値&0.30&0.54&0.30&-0.16&0.76&0.30&0.54\\\hline\end{tabular}}\label{matrix-kappa-03}\end{center}\end{table*}\begin{table*}\begin{center}\caption{各要約対の$\kappa$係数の値(評価セット:940701176，要約率:50\%)}{\small\begin{tabular}{|c||c|c|c|c|c|c|c|}\hline&N1&N2&N3&N4&N5&N6&N7\\\hline\hlineE&0.06&0.24&0.43&-0.16&0.43&0.24&0.24\\\hlineN1&-&-0.53&0.06&0.06&-0.16&0.43&0.43\\\hlineN2&-&-&0.24&0.06&0.24&-0.16&0.06\\\hlineN3&-&-&-&0.24&0.06&0.24&0.06\\\hlineN4&-&-&-&-&-0.16&0.43&-0.16\\\hlineN5&-&-&-&-&-&0.06&-0.16\\\hlineN6&-&-&-&-&-&-&0.43\\\hline\hline最大値&0.06&0.24&0.43&0.24&0.43&0.43&0.43\\\hline\end{tabular}}\label{matrix-kappa-05}\end{center}\end{table*}\subsection{各要約者の要約結果の異なりの検討}ここでは，前節で既に取り上げた評価セット中の記事940701176について，各要約者の要約結果がどのような箇所においてばらつきが生じているのかをさらに詳細に検討する．記事の本文を付録に示し，専門家および非専門家によって作成された要約結果を以下表\ref{testset-sample-sum}に示す．各行は記事中の各文番号，列は各要約率10\%，30\%，50\%における専門家E，非専門家1$\sim$7(既出のN1$\sim$N7に対応)による要約を示し，それぞれの値が1であれば重要文として要約に含まれ，0であれば要約に含まれないことを表している．\begin{table*}\begin{center}\caption{評価セット中の記事940701176に対する要約結果}{\scriptsize\begin{tabular}{|c||c||c|c|c|c|c|c|c||c||c|c|c|c|c|c|c||c||c|c|c|c|c|c|c|}\hline&\multicolumn{8}{c|}{要約率10\%}&\multicolumn{8}{c|}{要約率30\%}&\multicolumn{8}{c|}{要約率50\%}\\\cline{2-25}文&\hspace{-1.0pt}E\hspace{-1.0pt}&\hspace{-1.0pt}1\hspace{-1.0pt}&\hspace{-1.0pt}2\hspace{-1.0pt}&\hspace{-1.0pt}3\hspace{-1.0pt}&\hspace{-1.0pt}4\hspace{-1.0pt}&\hspace{-1.0pt}5\hspace{-1.0pt}&\hspace{-1.0pt}6\hspace{-1.0pt}&\hspace{-1.0pt}7\hspace{-1.0pt}&\hspace{-1.0pt}E\hspace{-1.0pt}&\hspace{-1.0pt}1\hspace{-1.0pt}&\hspace{-1.0pt}2\hspace{-1.0pt}&\hspace{-1.0pt}3\hspace{-1.0pt}&\hspace{-1.0pt}4\hspace{-1.0pt}&\hspace{-1.0pt}5\hspace{-1.0pt}&\hspace{-1.0pt}6\hspace{-1.0pt}&\hspace{-1.0pt}7\hspace{-1.0pt}&\hspace{-1.0pt}E\hspace{-1.0pt}&\hspace{-1.0pt}1\hspace{-1.0pt}&\hspace{-1.0pt}2\hspace{-1.0pt}&\hspace{-1.0pt}3\hspace{-1.0pt}&\hspace{-1.0pt}4\hspace{-1.0pt}&\hspace{-1.0pt}5\hspace{-1.0pt}&\hspace{-1.0pt}6\hspace{-1.0pt}&\hspace{-1.0pt}7\hspace{-1.0pt}\\\hline\hline\hspace{-1.0pt}1\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}1\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}1\hspace{-1.0pt}&\hspace{-1.0pt}1\hspace{-1.0pt}&\hspace{-1.0pt}1\hspace{-1.0pt}&\hspace{-1.0pt}1\hspace{-1.0pt}&\hspace{-1.0pt}1\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}1\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}1\hspace{-1.0pt}&\hspace{-1.0pt}1\hspace{-1.0pt}&\hspace{-1.0pt}1\hspace{-1.0pt}&\hspace{-1.0pt}1\hspace{-1.0pt}&\hspace{-1.0pt}1\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}1\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}1\hspace{-1.0pt}&\hspace{-1.0pt}1\hspace{-1.0pt}&\hspace{-1.0pt}1\hspace{-1.0pt}\\\hline\hspace{-1.0pt}2\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}1\hspace{-1.0pt}&\hspace{-1.0pt}1\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}1\hspace{-1.0pt}&\hspace{-1.0pt}1\hspace{-1.0pt}&\hspace{-1.0pt}1\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}1\hspace{-1.0pt}\\\hline\hspace{-1.0pt}3\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}\\\hline\hspace{-1.0pt}4\hspace{-1.0pt}&\hspace{-1.0pt}1\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}1\hspace{-1.0pt}&\hspace{-1.0pt}1\hspace{-1.0pt}&\hspace{-1.0pt}1\hspace{-1.0pt}&\hspace{-1.0pt}1\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}1\hspace{-1.0pt}&\hspace{-1.0pt}1\hspace{-1.0pt}&\hspace{-1.0pt}1\hspace{-1.0pt}&\hspace{-1.0pt}1\hspace{-1.0pt}&\hspace{-1.0pt}1\hspace{-1.0pt}&\hspace{-1.0pt}1\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}1\hspace{-1.0pt}&\hspace{-1.0pt}1\hspace{-1.0pt}&\hspace{-1.0pt}1\hspace{-1.0pt}\\\hline\hspace{-1.0pt}5\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}1\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}1\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}1\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}1\hspace{-1.0pt}&\hspace{-1.0pt}1\hspace{-1.0pt}&\hspace{-1.0pt}1\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}1\hspace{-1.0pt}\\\hline\hspace{-1.0pt}6\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}1\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}1\hspace{-1.0pt}&\hspace{-1.0pt}1\hspace{-1.0pt}&\hspace{-1.0pt}1\hspace{-1.0pt}&\hspace{-1.0pt}1\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}1\hspace{-1.0pt}&\hspace{-1.0pt}1\hspace{-1.0pt}&\hspace{-1.0pt}1\hspace{-1.0pt}\\\hline\hspace{-1.0pt}7\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}1\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}1\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}1\hspace{-1.0pt}&\hspace{-1.0pt}1\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}1\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}1\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}1\hspace{-1.0pt}&\hspace{-1.0pt}1\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}1\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}\\\hline\hspace{-1.0pt}8\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}1\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}1\hspace{-1.0pt}&\hspace{-1.0pt}1\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}1\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}1\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}1\hspace{-1.0pt}&\hspace{-1.0pt}1\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}1\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}\\\hline\hspace{-1.0pt}9\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}1\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}1\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}1\hspace{-1.0pt}&\hspace{-1.0pt}1\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}\\\hline\hspace{-1.0pt}10\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}1\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}1\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}1\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}1\hspace{-1.0pt}&\hspace{-1.0pt}1\hspace{-1.0pt}&\hspace{-1.0pt}1\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}\\\hline\hspace{-1.0pt}11\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}1\hspace{-1.0pt}&\hspace{-1.0pt}1\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}1\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}1\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}1\hspace{-1.0pt}&\hspace{-1.0pt}1\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}1\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}\\\hline\hspace{-1.0pt}12\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}1\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}1\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}1\hspace{-1.0pt}&\hspace{-1.0pt}1\hspace{-1.0pt}\\\hline\hspace{-1.0pt}13\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}1\hspace{-1.0pt}&\hspace{-1.0pt}1\hspace{-1.0pt}&\hspace{-1.0pt}1\hspace{-1.0pt}&\hspace{-1.0pt}1\hspace{-1.0pt}&\hspace{-1.0pt}1\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}1\hspace{-1.0pt}&\hspace{-1.0pt}1\hspace{-1.0pt}\\\hline\hspace{-1.0pt}14\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}1\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}1\hspace{-1.0pt}&\hspace{-1.0pt}1\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}1\hspace{-1.0pt}&\hspace{-1.0pt}1\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}1\hspace{-1.0pt}&\hspace{-1.0pt}1\hspace{-1.0pt}\\\hline\hspace{-1.0pt}15\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}1\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}1\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}1\hspace{-1.0pt}&\hspace{-1.0pt}1\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}1\hspace{-1.0pt}&\hspace{-1.0pt}1\hspace{-1.0pt}\\\hline\hspace{-1.0pt}16\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}1\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}1\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}1\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}1\hspace{-1.0pt}\\\hline\hspace{-1.0pt}17\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}1\hspace{-1.0pt}&\hspace{-1.0pt}1\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}1\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}1\hspace{-1.0pt}&\hspace{-1.0pt}1\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}1\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}1\hspace{-1.0pt}&\hspace{-1.0pt}1\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}1\hspace{-1.0pt}&\hspace{-1.0pt}1\hspace{-1.0pt}&\hspace{-1.0pt}1\hspace{-1.0pt}&\hspace{-1.0pt}1\hspace{-1.0pt}&\hspace{-1.0pt}1\hspace{-1.0pt}&\hspace{-1.0pt}1\hspace{-1.0pt}\\\hline\hspace{-1.0pt}18\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}1\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}1\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}1\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}1\hspace{-1.0pt}&\hspace{-1.0pt}1\hspace{-1.0pt}&\hspace{-1.0pt}1\hspace{-1.0pt}&\hspace{-1.0pt}1\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}\\\hline\hspace{-1.0pt}19\hspace{-1.0pt}&\hspace{-1.0pt}1\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}1\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}1\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}1\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}1\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}1\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}1\hspace{-1.0pt}&\hspace{-1.0pt}1\hspace{-1.0pt}&\hspace{-1.0pt}1\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}1\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}1\hspace{-1.0pt}&\hspace{-1.0pt}1\hspace{-1.0pt}&\hspace{-1.0pt}1\hspace{-1.0pt}&\hspace{-1.0pt}1\hspace{-1.0pt}&\hspace{-1.0pt}1\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}\\\hline\hspace{-1.0pt}20\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}1\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}1\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}1\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}\\\hline\hspace{-1.0pt}21\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}&\hspace{-1.0pt}0\hspace{-1.0pt}\\\hline\end{tabular}}\label{testset-sample-sum}\end{center}\end{table*}まず，表\ref{testset-sample-sum}の結果を見ると，要約率10\%において専門家"E"は，重要文として第4，19文を選択していることが分かる．一方，非専門家"1$\sim$7"の判断のうち過半数が一致しているのは，第1文である(第1,17,19文の3文には３人以上が集中)．また，要約率30\%では，専門家が重要と判断している第1,2,4,7,8,19文の6文に対し，非専門家の過半数が一致しているのは第1,4,17,19文の4文である．要約率50\%では，専門家が重要と判断している第1,2,4,6,7,8,13,14,17,18,19文の11文に対して，非専門家の過半数が一致しているのは第1,4,5,6,10,11,12,13,14,15,17,18,19文の13文である．これらの結果から，非専門家の多数が重要と判断している文は，専門家の判断によく一致していることが分かる．さらに各要約結果の中身を詳細に検討すると，要約者が重要文を決定する際に，テキスト中での文の重要性と同時に，文間の結束性も考慮されていることが分かる．強い結束関係によって結ばれた2文の一方のみを重要文として抽出しても，要約において意味が正しく伝わらない場合が生じるためである思われる．同記事中に存在する文間の結束性のうち，指示，代用，省略に相当すると思われるものを以下に挙げる．\begin{description}\item[省略1]$第1文:"ダウレット・トルリハノフさんは"\leftarrow\{第2,3,4,5,6,8文,ヘッドライン\}$\item[省略2]$第1文:"カザフスタン"\leftarrow第4文:"独立",第6文:"最高会議議員"$\item[省略3]$第2文:"レスリング"\leftarrow第3文:"チャンピオン"$\item[省略4]$第2文:"五輪"\leftarrow第4文:"メダリスト"$\item[省略5]$第12文:"カザフスタンは"\leftarrow第13文$\item[指示1]$第4文:"褒賞金"\leftarrowヘッドライン:"褒賞金"$\item[指示2]$第4文:"実業界"\leftarrowヘッドライン:"実業界"$\item[指示3]$第5文:"スポーツジム"\leftarrow第9文:"スポーツジム"$\item[指示4]$第7文:"カザフスタンのレスリング"\leftarrow第8文:"それ"$\item[指示5]$第11文:"「奨学金」"\leftarrow第14文:"奨学金"$\item[指示6]$第13文:"給与生活者"\leftarrow第14文:"その"$\item[代用1]$第7文:"広島アジア大会"\leftarrow第19文:"広島",第20文:"アジア大会"$\item[代用2]$第10文:"有望選手六十五人"\leftarrow第15文:"選手"$\end{description}例えばテキスト中の第2,3,4,5,6,8文およびヘッドラインにおいては，"ダウレット・トルリハノフさんは"という主語が，第1文中において既出であるため省略され，省略の関係にある．また，第8文の"それ"は，第7文の"カザフスタンのレスリング"を指しており，指示の関係にあると思われる．表\ref{testset-sample-sum}の10\%の要約結果を結束性に基づいて考慮すれば，非専門家"1$\sim$7"の判断が第1文に集中したのは，第1文とそれ以降の文との間で，結束関係が多数結ばれていたためと考えられる．専門家による要約では，第4,19文が選択されているが，第4文自身は，ヘッドラインとの結束性が高いため，重要性が高いと考えられる．この場合も，"トルリハノフ"と"カザフスタン"が第19文に含まれており，第4文との間での結束性が保存される組合せとなっている．ここで，表\ref{testset-sample-sum}の要約率30\%において，専門家と非専門家の過半数が重要と判断している第1,2,4,7,8,17,19文の7文に注目して検討を行うことにする．第(1$\sim$20)文を文脈的なまとまりで分けると，(7$\sim$15)，(16$\sim$17)，(18$\sim$20)の3つの部分に分割することが出来る．それぞれの部分に閉じた結束関係は，まず最初の部分(1$\sim$6)については"省略1"，"省略2"，"省略3"，"省略4"，"指示1"，"指示2"である．これらの結束性をなるべく保存しながら文抽出を行うとすると，第1文，第2文，第4文の順に抽出することになり(ヘッドラインを重視すれば第4文はより優先される)要約率30\%において第1,2,4文が重要文と評価された結果と矛盾しない．同様に(7$\sim$15)の部分における結束関係は"省略5"，"指示4"，"指示5"，"指示6"であるが，第7,8文を抽出している結果はこのうち"指示4"の結束関係を保存し，構造全体においても以降に続く文の展開の起点となっているため妥当であると考えられる．さらに修辞構造もまた同様に，要約結果を大きく決定づける要因であると考えられる\cite{D.Marcu.97}．このように，複数要約者が要約作成する際，観点の違いによって要約結果の違いを生じることはあっても，結束性，照応関係，修辞構造などの要約の対象である元テキストが持っている構造をなるべく保存するような原則が働いているものと考えられる．このことは，今後より品質の高い要約の正解を作成する上で有用な知見であると思われる．\subsection{自動要約手法との比較}ここでは，要約の戦略の異なるいくつかの重要文抽出法との比較を行なう．重要文抽出法では，テキスト中の文の重要度を計算し，重要度の高い文から順に要約率に達するまで抽出する．この文の重要度の計算には，(1)キーワードの出現頻度，(2)文位置，(3)ヘッドライン，(4)文同士の関係に基づくテキスト構造，(5)手がかり表現，(6)文あるいは単語間の関係，(7)文間の類似性，などのテキスト中の情報が有用であることが知られており\cite{C.D.Paice.90,M.Okumura.99J}，現在に至るまでこれらの情報にもとづく様々な要約手法が検討されてきた\cite{H.P.Edmundson.69,C.Aone.98,C.Nobata.01J,T.Yoshimi.99J,M.Utiyama.00J}．ここでは，以下に示す{\bfTF}，{\bfTF+H}，{\bfLEAD}，{\bfHyb(rid)1}，{\bfHyb(rid)2}の5つの自動要約手法\cite{K.Ishikawa.01}を用いて，これらの手法による要約結果と，先に作成した複数の正解要約との比較評価を行なう．\begin{description}\item[TF]TF法．次式の$IW_{TF}(s)$を文の重要度に用いる．$\{t\}\ins$は文$s$中に出現する単語集合，$f(t)$はキーワード$t$の文書中における出現頻度を表す．\begin{displaymath}IW_{TF}(s)=\sum_{\{t\}\ins}f(t)\end{displaymath}\item[TF+H]ヘッドライン情報を考慮したTF法，次式の$IW_{TF+H}(s)$を文の重要度に用いる．$A=20$を用いる．\begin{displaymath}IW_{TF+H}(s)=\sum_{\{t\}\ins}\alpha(t)\cdotf(t),\;\;\;\;\;\;\alpha(t)=\left\{\begin{array}{ll}A&\mbox{tがヘッドライン中に出現}\\1&\mbox{それ以外}\end{array}\right.\end{displaymath}\item[LEAD]LEAD法．記事テキストの先頭から文の並び順に要約率に達するまで文抽出を行う．\item[Hyb(rid)1]TF+HとLEADを組み合わせた手法．次式の$IW_{Hyb}(s,i)$を文の重要度に用いる．$i$は文$s$のテキスト中での先頭からの位置，$IW_{TF＋H}(s)$は{\bfTF+H}で用いた文の重要度を表す．パラメータは経験的に求められた最適値$A=20$，$B=10$，$N=3$を用いる．\begin{displaymath}IW_{Hyb}(s,i)=\beta(i)\cdotIW_{TF＋H}(s),\;\;\;\;\;\;\beta(i)=\left\{\begin{array}{ll}B&\mbox{if$1\leqi\leqN$}\\1&\mbox{if$i>N$}\end{array}\right.\end{displaymath}\item[Hyb(rid)2]{\bfHyb1}と同じ$IW_{Hyb}(s,i)$を文の重要度に用いる．パラメータに$A=20$，$B=100$，$N=3$を用いる．$B$が十分大きいので，先頭$N$文を無条件に抽出(LEAD法)した後に{\bfTF+H}を適用するのと同様の効果を持つ．\\\end{description}先に複数の要約正解を作成したNTCIR-2要約データ中の4記事に対し，以上の5つの自動要約手法{\bfTF}，{\bfTF+H}，{\bfLEAD}，{\bfHyb1}，{\bfHyb2}を適用し，要約結果を作成した．これらの自動要約手法による要約結果と，複数の正解要約との間の一致度を$\kappa$係数の値として求め，表\ref{kappa-human-machine}に示した．ここでは要約間の一致度の相対的な異なりを議論するために，偶然による一致度が除かれる$\kappa$係数の値を示しているが，太字で示した最大値は本質的に，先に提案した複数の正解に基づくF値(\ref{proposed-measure-1}式)に相当するものである．表中で，Eは専門家による正解要約，N1$\sim$N7はそれぞれ7名の非専門家による正解要約，TF，TF+H，LEAD，Hyb1，Hyb2，は自動要約手法を表す．各$\kappa$係数の値は，新聞記事4記事と3種類の要約率$p=0.1,0.3,0.5$に関する平均値を表している．\begin{table*}\begin{center}\caption{複数の正解要約と自動要約手法による要約結果の$\kappa$係数の値}\begin{tabular}{|c||c|c|c|c|c|c|c|c|}\hline&E&N1&N2&N3&N4&N5&N6&N7\\\hline\hlineTF&0.09&0.09&0.07&0.11&-0.01&0.03&0.06&0.01\\\hlineTF+H&0.12&0.09&0.15&{\bf0.16}&0.13&0.17&0.07&0.05\\\hlineHyb1&0.18&0.14&0.13&0.11&0.13&0.22&0.12&0.11\\\hlineHyb2&{\bf0.23}&0.18&{\bf0.16}&0.11&{\bf0.16}&0.24&0.13&0.11\\\hlineLEAD&0.08&{\bf0.26}&-0.03&-0.01&-0.03&{\bf0.25}&{\bf0.14}&{\bf0.15}\\\hline\end{tabular}\label{kappa-human-machine}\end{center}\end{table*}表を見ると，一致度の高い自動要約手法は，正解ごとで異なっていることが分かる．正解要約E，N2，N4に対しては要約手法Hyb2，正解要約N1，N5，N6，N7に対しては要約手法LEAD，正解要約N3に対しては要約手法TF+Hが最も高い値となっている．これは，正解要約の作成において，それぞれの要約者の観点や戦略が異なるためと考えられる．とくに，正解要約N1，N5，N6，N7を作成した要約者達はテキストの先頭数文を重要文として抽出するLEAD法と類似した戦略をとっているが，正解要約N2，N3，N4を作成した要約者達は全くそのような戦略をとっていないということが表から読みとれる．この結果に見られるような，要約正解の観点や戦略の違いなどによる相違は，提案手法において複数正解を用いる上で期待されていたような傾向であり，正解の品質を十分に高められた場合に，要約結果と正解の間の相性によらずに適切に評価出来るという，提案手法の目指す枠組が有効に機能することを示唆している．より品質の高い正解要約による提案手法の完全な検証は今後の課題である．
\section{おわりに}
本稿では，要約手法として特に重要文抽出法に焦点を当て，複数の正解に基づく評価法の提案を行なった．従来の評価方法では，テキストの要約において唯一の正解を用いるが，テキストによっては観点の異なる正しい要約が複数存在する場合もあり，評価の信頼性が保証されないという問題がある．要約評価の例として，NTCIRWorkshop2のテキスト要約タスクの評価結果を取り上げ，特に要約率50\%において複数の要約間での有意な差が現れていないという現象に着目して議論した．我々は，この要約の自動評価の信頼性を高めるために，評価において複数の正解を用いる方法について検討を行なった．提案手法では，複数の正解要約と評価対象を共に，0，1のバイナリ値を要素とするベクトル表現で表した時，複数の正解要約のパラメータを含んだ線形結合と評価対象との内積の最大値を評価値とする．この評価値は，個々の正解要約から計算される評価値から最大のものを選ぶ方法と異なり，複数の正解要約を組み合わせたような中間的な要約を適切に評価できるという性質を持つ．提案手法の検証のために，要約タスクに対して複数の正解の作成を行なった．ここではNTCIR-2要約データ中の4記事に対して，要約者7名で正解要約の作成を行なった．適切な評価を行なう上で，作成された要約が正解として十分な品質であるかどうかを，正解の要約間の一致度$\kappa$係数で評価した．その結果，Krippendorff等による$\kappa$係数の条件をはるかに下回り，複数正解に基づく評価を行なう上で品質が不十分であることが明らかとなった．この正解の作成過程において，作業コスト，要約作成の経験，対象テキストの性質等は正解の品質に影響し，要約の品質を高めるためにはこれらの要約作成条件を注意深く管理することが重要であることが分かった．さらに，作成された複数の要約を詳細に検討した結果，観点の違いによって要約結果の違いを生じても，元テキスト中の結束性や修辞関係に基づく構造をなるべく損なわない様に要約するという共通の法則性も見出された．この知見は，今後複数の要約正解を作成する上でも有用な知見であると思われる．最後に，提案手法の有効性を検証する予備実験として，異なる幾つかの自動要約手法と複数正解との一致度に基づく評価を行なった．その結果，最も評価の高い自動要約手法は正解によって異なるという結果が得られた．この結果は，正解の品質を十分に高められた場合，要約者の観点や戦略が異なる複数正解の存在によって，要約結果と正解の間の相性によらない適切な評価を実現するという，提案手法の枠組の有効性を示唆している．より品質の高い正解要約による提案手法の完全な検証は今後の課題である．\bibliographystyle{jnlpbbl}\bibliography{346}\section*{付録評価セット(940701176)の本文(毎日新聞全文記事データベース)}{\setlength{\baselineskip}{9pt}{\footnotesize\noindentヘッドライン［ヒロシマ・熱風］／５褒賞金で実業界へ・・・後進を支援【大阪】\\1ダウレット・トルリハノフさん（３０）はカザフスタンでいま，一番有名で，忙しい人物だろう．\\2九歳からレスリングを始め，ソウル五輪（一九八八年）で銀，バルセロナ五輪（九二年）で銅メダルを獲得．\\3全ソ連のチャンピオンに七回輝いた．\\4独立後の経済自由化の波に乗り，メダリストの褒賞金を元手に実業界に転身．\\5レスリングジムを手始めに現在はアルマトイでレストラン，バー，スポーツジムなどからなる複合レジャー施設「ダウリヤット」や出版社などを経営する．\\6今年三月には日本の国会議員に当たる最高会議議員に当選，どこへ行っても握手攻めに遭う国民的英雄だ．\\7カザフスタンのレスリング水準は高く，広島アジア大会でも金メダル三個は狙えるといわれる．\\8それを個人の財力で支援している．\\9トルリハノフさんのスポーツジムには，ドイツ製の最新トレーニングマシンがずらっと並ぶ．\\10レスリングのほか，ボクシング，重量挙げなどの有望選手六十五人が所属．\\11毎月一人最高で日本円二万円相当の「奨学金」をもらっている．\\12カザフスタンは天然資源が豊富なのに，精製工場が国内にない旧ソ連の分業生産体制のなごりで，エネルギー危機が続く．\\13独自通貨の導入に伴う激しいインフレで，給与生活者の大半は本業だけでは生活できず，国家公務員がアルバイトにタクシーを運転する．\\14その平均給与の約八倍にも当たる奨学金は，破格の待遇．\\15それだけに「やる気のないものは出ていけ．余分なやつの面倒はみられない」というレスリングコーチ，サプノフ・ゲナンディさん（５５）のハッパは厳しく，選手たちの表情も真剣だ．\\16大理石を敷きつめた高級レストランの奥で，トルリハノフさんが力説した．\\17「経済，文化，科学は危機的状況だが，スポーツは生き残らせてみせる．わたしたちは国づくりに踏み出したばかり．国民の士気を盛り上げるためにスポーツは非常に重要だからね」\\18七月一日から，従来の「ＣＣＣＰ」（旧ソ連）のパスポートが，カザフスタン独自のものに切り替わり，民族意識はより高まる．\\19「カザフスタンの存在をアジアの仲間に訴えたい」と意気込むトルリハノフさん自身もコーチ兼選手として，広島に乗り込む予定だ．\\20アジア大会開幕まで，あと三カ月——．\\21（おわり）\\}}\begin{biography}\biotitle{略歴}\bioauthor{石川開}{1994年東京大学理学部物理学科卒業．1996年同大学院修士課程修了．同年，NEC入社．1997年より2年間，ATR音声翻訳通信研究所に出向．現在，NECマルチメディア研究所，研究員．自然言語処理の研究に従事．情報処理学会会員．}\bioauthor{安藤真一}{1990年大阪大学基礎工学部生物工学科卒業．1992年同大学院修士課程修了．同年，NEC入社．1995年より2年間，ATR音声翻訳通信研究所に出向．現在，NECマルチメディア研究所，主任．自然言語処理の研究に従事．情報処理学会，人工知能学会，各会員．}\bioauthor{奥村明俊}{1984年京都大学工学部精密工学科卒業．1986年同大学院工学研究科修士課程修了．同年，NEC入社．1992年10月南カリフォルニア大学客員研究員(DARPAMTプロジェクト１年半参加)．1999年東京工業大学情報理工学研究科博士課程修了．現在，マルチメディア研究所，研究部長．自然言語処理の研究に従事．工学博士．情報処理学会，ヒューマンインターフェース学会などの各会員．}\bioreceived{受付}\biorevised{再受付}\biorerevised{再々受付}\bioaccepted{採録}\end{biography}\end{document}