\section{序論}
近年，テキスト自動要約の研究が活発化するとともに，要約の評価方法が研究分野内の重要な検討課題の一つとして認識されてきている．これまで提案されてきた要約の評価方法は，内的な(intrinsic)評価と外的な(extrinsic)評価の2種類に分けることができる\cite{Sparck-Jones:1996}．内的な評価とは，システムの出力した要約そのものを，主に内容と読みやすさの2つの側面から評価する方法である．一方，外的な評価とは，要約を利用して人間がタスクを行う場合の，タスクの達成率が間接的に要約の評価となるという考え方に基づいて評価を行う方法である．本研究では，近年活発にその評価方法が議論され，改良が試みられている内的な評価，特に内容に関する評価方法に焦点を当てる．これまでの要約の内容に関する評価は，人手で作成した抜粋と要約システムの出力との一致の度合を，F-measure等の尺度を用いて測るのが典型的な方法であった．しかし，Jingら\cite{jing:98:a}は，要約のF-measureによる評価と外的な評価を分析し，F-measureには「テキスト中に類似の内容を含む文が複数存在する場合，どちらの文が正解として選択されるかにより，システムの評価は大きく変化する」という問題があることを指摘している．この問題点を解決する方法がこれまでにいくつか提案されている．Radevら\cite{radev:00:a}は，文のutilityという概念を用いた評価方法を示している．文のutilityとは，そのテキストの話題に対する各文の適合度(重要度)を10段階で表したものであり，正解の文のutilityにどのくらい近いutilityの文を選択できるかで評価を行なう．しかし，このような適合性の評価は被験者への作業負荷が大きいという問題がある．Donawayら\cite{Donaway:2000}は，人間の作成した正解要約の単語頻度ベクトルとシステムの要約の単語頻度ベクトルの間のコサイン距離で評価するcontent-basedな評価を提案している．content-basedな評価では，指定された要約率の正解要約を一つだけ用意すれば評価可能であるため，utilityに基づく評価に比べ，被験者への負荷が少ない．しかし，この評価方法で2つの要約を比較する場合，どの程度意味があるのかについては，これまで十分な議論がなされていない．そこで，本研究では，まず，utilityに基づく評価の問題点を改良する新しい評価方法を提案する．一般に低い要約率の抜粋に含まれる文は高い要約率の抜粋中の文よりも重要であると考えられる．このような考えに基づけば，あるテキストに関して複数の要約率のデータが存在する場合，テキスト中の各文に重要度を割り振ることが可能であるため，utilityに基づく評価を疑似的に実現することができる．これまでの要約研究において，1テキストにつき複数の要約率で正解要約が作成されたデータは数多く存在する(例えば，\cite{jing:98:a})ことから，提案する評価方法に用いるデータの作成にかかる負荷は決して非現実的なものではなく，utilityを直接被験者が付与するより負荷は小さいと考えられる．本研究では，評価型ワークショップNTCIR2の要約サブタスクTSC(TextSummarizationChallenge)\cite{Fukushima:2001a,Fukushima:2001b}で作成された10\%，30\%，50\%の3種類の要約率の正解データを用いて，提案方法により評価を行う．この評価結果をF-measureによる結果と比較し，提案方法がF-measureによる評価を改善できることを示す．次に，本研究では，content-basedな評価を取り上げる．同様にTSCのデータを用いて，人間の主観評価の結果と比較し，これまで十分議論されていないその有用性に関する議論を行う．本論文の構成は以下のとおりである．次節では，まず，これまで提案されてきた内的な評価方法，特にF-measureの問題点の解消方法について述べる．3節では，本研究で提案する評価方法について説明する．4節では，F-measureと提案する評価方法を比較し，結果を報告する．また，content-basedな評価に関する調査についても述べる．最後に結論と今後の課題について述べる．
\section{関連研究}
要約の内容に関する評価について，Jingら\cite{jing:98:a}は，典型的な評価方法の1つであるF-measureをとりあげ，その問題点をいくつか指摘している．Jingらは，システムの要約と人間の被験者の作成した抜粋との比較による評価と，要約を利用して人間がタスクを行なう場合のタスクの達成率による評価の2つの評価方法を分析し，評価結果に影響を与える要因を同定することを試みているが，その結果少なくとも次の2つの点において，これまでの人間の抜粋を用いた評価方法は問題であるとの知見を得ている．\begin{itemize}\item{\bf問題点1(要約率の変化に伴う評価値の変化):}\\人間の抜粋との比較による評価では，要約率を変化させると，システムの評価がかなり変化する．このため，特定の要約率でシステム間の性能の比較をする意味がどの程度あるのかは疑問が残る．\item{\bf問題点2(テキスト中の複数類似個所の選択問題):}\\テキスト中に類似の内容を含む文が複数存在する場合，どちらの文が正解として選択されるかにより，システムの評価は大きく変化する．\end{itemize}これまで，問題点1(要約率の変化に伴う評価値の変化)を解消するいくつかの方法が提案されている．Mittalら\cite{mittal:99:a}は，要約率の違いによるシステムの評価の違いに関して，さまざまな要約率における精度を求めた上で，情報検索の評価で用いられている11点平均精度(11pointaverageprecision)のように，複数の要約率での精度の平均として結果を示すべきであるとしている．また，コーパスとするテキスト集合の違いが精度に影響を与えることから，コーパスの要約のしやすさを計る指標として，ランダムに文を選択して要約を作成した場合の精度をベースラインとして示すべきであると主張している．そして，システムの性能を評価する場合，\[p'=\frac{p-b}{1-b}\](ここで，p，b，p'はそれぞれシステム，ベースライン，補正後のシステムの精度)のように，ベースラインを用いて補正した精度を用いるべきであるとしている．一般に，F-measureで要約の精度を評価する場合，ベースライン値＝要約率と考えることができるため，要約率が大きくなるにつれ，F-measure値は大きくなる傾向にある．従って，ベースラインを用いて評価値を補正する上記の評価方法は，Jingらの指摘する問題点1の解消には有用であると考えられる．一方，被験者間の一致の度合をJとすると，Jは要約システムの精度の上限と考えられ，また，ランダムに選択した時の精度Rは下限と言える．そのため，Radevら\cite{radev:00:a}も，Mittalらと同様に，システムの性能を計る値を示す際，普通に計算された値Sを単に用いるのではなく，これらの値で正規化した値\[S'=\frac{S-R}{J-R}\]を示すべきであるとしている．問題点2(テキスト中の複数類似個所の選択問題)を解消する方法もいくつか提案されている．Jingら\cite{jing:98:a}は，人間が選択した重要文を用いて評価を行なう際，正解と一致した場合正解数1，一致しない場合0として再現率，精度を計算するのではなく，正解数を被験者間の一致の度合として計算する方法を提案している．たとえば，5人の被験者中3人，2人がそれぞれ一致して選択した文が存在する場合，これまでの評価方法では，前者をシステムが選択した場合正解数1(過半数以上の被験者が選択しているので)，後者では0となるが，提案する方法では，システムの正解数は，前者では3/5，後者では2/5となる．Radevら\cite{radev:00:a}は，文のutilityという概念を用いた評価方法を示している．文のutilityは，文がそのテキストの話題に対してどの程度適合した内容であるかを示す尺度であり，[0-10]の値をとる\footnote{genericな要約を考えた場合，テキスト中での文の重要度を示していると考えて良い．}．人間が選択した重要文を用いたこれまでの評価方法は，正解と一致した場合正解数1，一致しない場合0として再現率，精度を計算していたが，utilityに基づく評価値は，システムが選択した文に対して人間が割り当てたutilityの総和を，正解の文のutilityの総和で割った値として計算する．これまでの評価方法では，システムが選択した不正解の文は，全く評価が得られなかったのに対し，utilityに基づく評価の場合，Jingらの方法と同様に，たとえ不正解でもその文がある程度の重要度を持つ場合，その重要度に対する部分的な評価が得られる点が異なる．ただ一つ正解が存在し，それとまさに一致することを要求されていたこれまでの評価に比べ，正解の文のutilityにどのくらい近いutilityの文を選択できるかで評価を行なう．Donawayら\cite{Donaway:2000}は，2種類の評価方法を提案している．一つは，人間にも，システムにも，テキスト中の文にすべて順位をつけさせるようにして，その文の序列を比較して評価を行なう方法である．これは，これまでの方法がテキスト中の文を重要/非重要の2つに分類して評価に利用していたのに対し，テキスト中の文数に分類して利用することに相当する．Donawayらが提案するもう一つの評価尺度は，人間の作成した正解要約の単語頻度ベクトルとシステムの要約の単語頻度ベクトルの間のコサイン距離で評価する方法(以後，content-basedな評価)である．Donawayらは，この2種類の評価尺度にこれまでの評価方法である再現率に基づいた評価を加え，これらを実験により比較，検討している．正解の抜粋に含まれる個所が要約作成者毎に異なっていても，内容の類似した個所を抜き出しているのであれば，どの要約作成者の抜粋を用いても似たような評価値が得られる必要がある．Donawayらは，4人の要約作成者の作った抜粋を用いて，上で述べたいくつかの尺度で要約を評価し，尺度毎に評価値の相関を調べている．その結果，content-basedな評価が人間の要約との比較による評価方法としては，Jingらの指摘する問題点2に対する解決策ともなっており，もっとも優れていると結論づけている．
\section{pseudo-utilityに基づく評価}
本研究では，あるテキストに関する複数の要約率の正解データを用いることで，utilityに基づく評価を疑似的に実現する方法(以後，pseudo-utilityに基づく評価)を提案する．例えばあるテキストに，要約率が$r_{1}$\%，$r_{2}$\%，$r_{3}$\%($r_{1}<r_{2},r_{2}<r_{3}$)の3種類の正解データが存在する場合，テキスト中の各文は(1)$r_{1}$\%の要約に含まれる文，(2)$r_{1}$\%には含まれないが$r_{2}$\%には含まれる文，(3)$r_{2}$\%には含まれないが$r_{3}$\%には含まれる文，(4)$r_{3}$\%に含まれない文の4種類に分けられる\footnote{ただし，$r_{1}$\%の要約は$r_{2}$\%の要約に($r_{1}<r_{2}$)，$r_{2}$\%の要約は$r_{3}$\%の要約に($r_{2}<r_{3}$)含まれていることが前提となる．}．これらは，テキストの話題に対する各文の適合度が4段階で表されたデータと考えることができるため，4段階の疑似的なutilityに基づく評価が実現できる．表\ref{table:exp1}に示す例を用いて，pseudo-utilityの計算方法を説明する．表\ref{table:exp1}は，要約率10\%，30\%，50\%の要約データを用いた場合について述べている．表\ref{table:exp1}では，S1--S10の10文からなるテキストについて，要約率毎に，要約作成者と2つの要約システム({\itSystem1}と{\itSystem2})が選択した重要文を`+'で示している．また，ここでは各文の重要度wを`1/要約率'として計算する．表において，例えばSystem1の要約率50\%の要約において，System1が重要文として選択した5文(S3，S4，S7，S9，S10)のうち3文(S4，S7，S10)が一致するため，F-measure値は0.6(3/5)となる．一方，System1が選択した5文(S3，S4，S7，S9，S10)の重要度はそれぞれ0，1/30，1/50，0，1/30であるため，重要度の総和は0+1/30+1/50+0+1/30=13/150となる．また，要約作成者は要約率50\%ではS1，S4，S7，S8，S10の5文を選択している．この場合の重要度の総和は1/10+1/30+1/50+1/50+1/30=31/150となる．pseudo-utility値は，システムの選択した文の重要度の総和を要約作成者の選択した文の重要度の総和で割って正規化した値であり，この例の場合$\frac{13/150}{31/150}=0.419$となる．\begin{table}[t]\caption{pseudo-utilityに基づく評価の例\label{table:exp1}}\begin{center}\begin{tabular}{c||c|c|c||c||c|c|c||c|c|c}\hline&\multicolumn{3}{c||}{正解データ}&重要度&\multicolumn{3}{c||}{\itSystem1}&\multicolumn{3}{c}{\itSystem2}\\\cline{2-4}\cline{6-11}&10\%&30\%&50\%&(重要度)&10\%&30\%&50\%&10\%&30\%&50\%\\\hlineS1&+&+&+&1/10&-&-&-&-&+&+\\S2&-&-&-&0&-&-&-&-&-&-\\S3&-&-&-&0&-&-&+&-&-&-\\S4&-&+&+&1/30&+&+&+&+&+&+\\S5&-&-&-&0&-&-&-&-&-&-\\S6&-&-&-&0&-&-&-&-&+&+\\S7&-&-&+&1/50&-&-&+&-&-&-\\S8&-&-&+&1/50&-&-&-&-&-&-\\S9&-&-&-&0&-&+&+&-&-&+\\S10&-&+&+&1/30&-&+&+&-&-&+\\\end{tabular}\end{center}\vspace{0.3cm}\caption{F-measureとpseudo-utilityに基づく評価によるシステムの比較例\label{table:exp2}}\begin{center}{\scriptsize\begin{tabular}{|c||l|l|l|l|}\hline&\multicolumn{2}{c|}{\itSystem1}&\multicolumn{2}{c|}{\itSystem2}\\\cline{2-5}&F-measure&pseudo-utility&F-measure&pseudo-utilitymeasure\\\hline\hline10\%&0.000\(\displaystyle(\frac{0}{1})\)&0.333\(\displaystyle(\frac{1/30}{1/10})\)&0.000\(\displaystyle(\frac{0}{1})\)&0.333\(\displaystyle(\frac{1/30}{1/10})\)\\\hline30\%&0.667\(\displaystyle(\frac{2}{3})\)&0.400\(\displaystyle(\frac{2/30}{1/10+2/30})\)&0.667\(\displaystyle(\frac{2}{3})\)&0.800\(\displaystyle(\frac{1/10+1/30}{1/10+2/30})\)\\\hline50\%&0.600\(\displaystyle(\frac{3}{5})\)&0.419\(\displaystyle(\frac{2/30+1/50}{1/10+2/30+2/50})\)&0.600\(\displaystyle(\frac{3}{5})\)&0.806\(\displaystyle(\frac{1/10+2/30}{1/10+2/30+2/50})\)\\\hline\end{tabular}}\end{center}\end{table}表\ref{table:exp2}に，System1，2のF-measure値とpseudo-utility値を示す．表\ref{table:exp2}において，要約率10\%におけるF-measure値とpseudo-utility値を比較すると，どちらのシステムも10\%要約の正解であるS1ではなくS4を選択しているため，F-measure値は0になる．ここで，S4は30\%要約の正解に含まれているため，S1よりも重要度は低いが，ある程度重要な情報を含んだ文であると考えられる．この例の場合，要約率10\%ではF-measure値は0か1しか取り得ないが，pseudo-utilityに基づく評価では，このような文も評価の対象とすることで，より適切な評価が可能になる．また，要約率50\%におけるSystem1とSystem2の結果を比較すると，どちらも選択した5文のうち3文が50\%要約の正解データに含まれているため，F-measure値は共に0.6である．この3文のうちS4とS10はSystem1，2が共通して選択しているが，他の1文はSystem1はS7(重要度1/50)，System2はS1(重要度1/10)を選択している．2システムが同数の正解文を抽出している場合でも，特に重要と考えられる文(この場合S1)が抽出されている場合とそうでない場合との区別がF-measureではできない．一方，pseudo-utilityに基づく評価では，この場合System1，2それぞれにおいて0.419，0.806と評価値に開きがあり，この例では両者の区別がつけられることが分かる．
\section{評価方法の分析}
本研究では，pseudo-utilityに基づく評価の有効性を調べるために，TSCのデータを用いて評価を行う．また，TSCではcontent-basedな評価がシステムの評価方法の一つに採用されているが，この評価結果を用い，content-basedな評価の有効性についても検討する．本節では，まず，4.1節でTSCの課題および評価方法について説明する．次に，4.2節でTSCのデータを用いた本研究の分析について述べる．\subsection{TSCにおける評価}TSCとは，要約研究における資源の共有や日本語テキストの要約に関する共通の評価方法や評価基準の明確化を本格的に推進させるために行われた，第2回NTCIRワークショップのタスクである．TSCでは3種類の課題が設定されているが，本節ではそのうち内的(intrinsic)な評価を適用している2つの課題A-1「重要文抽出型要約」とA-2「人間の自由作成要約と比較可能な要約」について述べる．なお，結果に関する詳細およびこの他の課題については，\cite{Fukushima:2001a,Fukushima:2001b,難波:2001}を参照されたい．\subsubsection{課題}\begin{flushleft}・課題A-1:重要文抽出型要約\end{flushleft}新聞30記事から，要約率10\%，30\%，50\%で重要文を抽出する．\begin{flushleft}・課題A-2:人間の自由作成要約と比較可能な要約\end{flushleft}新聞30記事を対象に，要約率20\%，40\%を越えない文字数で要約を作成する．なお，要約部分がplaintextであり，指定文字数以内に納まっていれば，どのような要約でも構わないため，課題A-1と同じシステムの出力からタグを取り除いて，plaintextにすれば，課題A-2にも参加できる．\subsubsection{要約対象テキスト}毎日新聞94年および98年から15記事づつ，計30記事が選ばれている．記事は94年から600，900，1200文字以上の3種類の長さの報道記事が，98年からは1200，2400文字以上の2種類の長さの社説が選ばれている．\subsubsection{評価方法}\subsection*{課題A-1}課題A-1のシステムの提出結果は，重要文抽出に基づいて作成された要約であり，人間が選択した重要文との間の一致度を元に評価を行なう．評価尺度としては，以下の3つを用いる．\\\begin{itemize}\item\(\displaystyle再現率=\frac{システムが選んだ文の内で正解の文の数}{人間が選んだ正解の文の総数}\)\\\item\(\displaystyle精度=\frac{システムが選んだ文の内で正解の文の数}{システムが選んだ文の総数}\)\\\item\(\displaystyle$F-measure値$=\frac{2*再現率*精度}{(再現率+精度)}\)\\\end{itemize}これらの値を要約率ごとに求めた後，平均したものを最終的な結果とする.また，ベースラインシステムとして，以下の2種類を用いる.\begin{itemize}\itemLead:本文の先頭から要約率として指定された文数だけ出力する．\itemTF:本文の各文ごとに内容語のTFの和を計算し，このスコアの高い文を要約率として指定された文数だけ選択する．選択した文を元の文の出現順に戻して出力する.\end{itemize}\subsection*{課題A-2}\subsubsection*{(i)主観評価}まず，\begin{itemize}\item人間の作成した重要個所抽出要約(PART)\item人間の自由作成要約(FREE)\item1システムが提出した結果(SYS)\itemLeadのベースラインシステムの結果(BASE)\end{itemize}の4種類の要約を用意する．同時に元テキストも用意しておく.要約評価者(1名)に元テキストと各要約結果を読んでもらい，次に「テキストとして読みやすいかどうか」の観点と，「元テキストの重要な内容を不足なく記述しているかどうか」の観点の2点から要約を評価をしてもらう．評価は，読みやすいものから，1，2，3，4となり，同様に内容の点で見て良いものから，1，2，3，4となる．\subsubsection*{(ii)content-basedな評価}人間の作成した要約およびシステムの作成した要約をともに，Jumanで形態素解析し，名詞，動詞，形容詞，未定義語を抽出する．そして，人間の作成した正解要約(FREEとPART)の単語頻度ベクトルとシステムの要約の単語頻度ベクトルの間の距離を計算し，どの程度内容が単語ベースで類似しているかという値を求める\cite{Donaway:2000}．ベクトルの要素は，各内容語のtf*idf値とし，idfの計算には，課題と同じ年の毎日新聞CD-ROM('94or'98)の全記事を同じく形態素解析した結果を用いる．なお，課題A-2において，人間の作成する要約は，(1)人間が自由作成した要約，(2)人間が重要個所抽出により作成した要約の2種類があり，content-basedな評価はこの両方に対して行なった．\subsection{評価方法の分析}pseudo-utilityに基づく評価の有効性を示すためには，pseudo-utilityに基づく評価とutilityに基づく評価の比較，および，F-measureとpseudo-utilityに基づく評価の比較を行う必要があると考えられる．しかし，先にも述べたとおり，utilityに基づく評価に用いるデータの作成にかかる負荷は非常に高く準備が困難であったため，本研究ではpseudo-utilityに基づく評価方法を課題A-1に適用し，F-measureとの比較のみを行った．4.2.1節では，まずこの結果について報告する．次に，課題A-2の結果を用いて，content-basedな評価と主観評価の比較を行った．比較結果について4.2.2節で述べる．\subsubsection{F-measureとpseudo-utilityに基づく評価の比較(課題A-1)}まず，実際にどの程度pseudo-utilityに基づく評価が有効に機能しているか，いくつかの事例にあたって調べてみた．図\ref{fig:ps_app1}は，pseudo-utilityに基づく評価が有効に機能した典型例である．2文は，「アジアにおけるエイズ感染」に関する報道記事から，要約率10\%(1文)で重要文を選択したシステムの出力結果と正解の要約である．この2文は，どちらも「アジアにおいてエイズ患者が急増している」ことを示した個所である．F-measureによる評価では，システムは正解文を選択していないので，F-measure値は0となる．一方，システムの選択した文は30\%要約には含まれているため，pseudo-utility値は0.333($\frac{1/0.3}{1/0.1}$)となる．一般に，報道記事1記事に含まれる文数は10文-20文が中心的であり，この場合，要約率10\%の時は正解文が1-2文しかない\footnote{TSCデータにおいて，要約率10\%の時の報道記事の正解文数は過半数が1,2文であった．}．このような場合，システムがある程度重要な情報を含んだ文を抽出していても，最重要文が抽出されなければF-measureでは全く評価に反映されない．一方，pseudo-utilityに基づく評価では，図\ref{fig:ps_app1}の例のようにある程度評価値に反映されるため，より適切なシステムの評価が行なえると考えることができる．別の例を図\ref{fig:ps_app2}に示す．記事940715208において，要約率10\%では正解要約文数は3文である．システムが出力した3文のうち第1文目が正解の要約に含まれているため，F-measure値は0.333となっている．一方，システムの出力した3文のうち，正解に含まれていない残りの2文の一方は30\%の正解に，もう一方は50\%の要約に含まれているため，pseudo-utility値は0.511($\frac{1/0.1+1/0.3+1/0.5}{3/0.1}$)となっている．正解とシステムの出力を比較すると，正解の2文目にある「大学や教育施設一体となった動き」の具体例がシステムの要約の2文目と3文目になっていることがわかる．つまり，システムの抽出した2文は正解文(2文目)の部分情報となっている．このような個所をシステムが抽出できたことをpseudo-utilityでは適切に評価できていることは妥当であると思われる．\begin{figure}[t]\begin{center}\vspace{0.1cm}\begin{tabular}{|c|}\hline\begin{minipage}[c]{14cm}\flushleft{\small\vspace{0.3cm}記事番号:940702171，要約率:10\%(1文)\\見出し:エイズ感染「アジア、２０００年には４倍」−−来日のＷＨＯ局長警告\\F-measure値:{\bf0.000}，pseudo-utility値:{\bf0.333}\begin{itemize}\item{\bf(正解)}\\世界のエイズ患者は推計で約四百万人に達し、特にアジアではこの一年間で八倍にも急増して約二十五万人になったと、世界保健機関（ＷＨＯ）＝ＮＥＷＳのことば参照＝世界エイズ対策プログラム局長のマイケル・マーソン博士が一日、発表した。\item{\bf(システム)}\\八月に横浜市で開かれる第十回国際エイズ会議を前に、来日中の同局長は厚生省で会見し「アジアの累積感染者数は二百五十万人以上だが、二〇〇〇年には四倍増の一千万人以上になると見込まれる」と警告した。\end{itemize}\vspace{0.1cm}}\end{minipage}\\\hline\end{tabular}\end{center}\caption{pseudo-utilityに基づく評価がうまく適用された例(換言)\label{fig:ps_app1}}\vspace{-0.3cm}\begin{center}\vspace{0.1cm}\begin{tabular}{|c|}\hline\begin{minipage}[c]{14cm}\flushleft{\small\vspace{0.3cm}記事番号:940715208，要約率:10\%(3文)\\見出し:止まるか「理工系離れ」−−大学・文部省など“あの手この手”\\F-measure値:{\bf0.333}，pseudo-utility値:{\bf0.511}\begin{itemize}\item{\bf(正解)}\\技術立国ニッポンが危ない——理科嫌いの子供の増加や大学の理工系志願者の伸び悩みなど「理工系離れ」が深刻になっている。\\こうした傾向にストップをかけようと、大学や教育施設一体となった動きが出ている。\\こうした動きの背景にあるのが、若者の理工系離れ。\item{\bf(システム)}\\技術立国ニッポンが危ない——理科嫌いの子供の増加や大学の理工系志願者の伸び悩みなど「理工系離れ」が深刻になっている。\\大学側などは、この夏、子供向けに科学の面白さをＰＲするプログラムを続々登場させた。\\文部省も十四日、理数系に強い高校生への支援策を開始する一方、専門家の懇談会からの報告を受け、魅力ある理工系大学作りに乗り出した。\end{itemize}\vspace{0.1cm}}\end{minipage}\\\hline\end{tabular}\end{center}\caption{pseudo-utilityに基づく評価がうまく適用された例(例示)\label{fig:ps_app2}}\end{figure}これらの調査から，pseudo-utilityに基づく評価が，Jingらの指摘する問題点2(テキスト中の複数類似個所の選択問題)をある程度解消できていると考えられる．次に，F-measureとpseudo-utilityに基づく評価を適用した結果をシステム別にまとめた．結果を表\ref{table:aefscore}および表\ref{table:aefscore2}に示す\footnote{なお，評価用のデータは，脚注1の条件を満たさない4記事(940701189,940702187,940716331,980203053)を除く26記事を用いている．}．課題A-1には7団体10システム参加しており，表中のI--IXは各システムのIDを，また，同団体の異なるシステムはダッシュで示してある．F-measureとpseudo-utilityに基づく評価の各システムの順位を比較すると，F-measureではそれぞれ1位，2位であるシステムII，Iが，pseudo-utilityに基づく評価では順位が逆転している．また，多くのシステムは順位が1位か2位程度変動しており，中でもシステムVは，F-measureでは9位なのがpseudoutilityでは5位になっている．そこで，これらの順位の変動が適正であるかどうかを調べるため，システムIとIIの出力結果を比較した．システムIとIIが出力したそれぞれ90個の要約(30テキスト×10\%,30\%,50\%)のうち，システムIとIIでF-measure値は同じだがpseudo-utility値の異なる16組の要約について調査した．16組のうち，システムIIよりもIの方がpseudo-utility値が高くなる場合は10組，IIが高い場合が6組であった．表\ref{ivsii}にシステムIとIIの出力例を示す．表\ref{ivsii}は，記事980500136における要約率10\%での例で，原文中の文ID，pseudo-utilityに基づく評価に用いた重要度，システムIとIIが選んだ文，および文の内容を示している．重要度1/10の文が要約率10\%の正解である．システムIが選択した5文のうち要約率10\%の正解に含まれるもの(重要度1/10)が2文(S44とS52)あるため，F-measure値は0.4になる．システムIはこの他に重要度1/30の文を1文(S30)，重要度1/50の文を2文(S3とS4)選択しており，結果として，このテキストにおいてはpseudo-utility値0.547を得ている．一方，システムIIもシステムIと同様に要約率10\%の正解に含まれる文(重要度1/10)を2文(S26とS43)選択しているため，F-measure値ではシステムIと同じく0.4になる．システムIIが選んだ残りの3文のうち，重要度1/50の文の2文(S3とS4)はシステムIと共通であるが，残りの1文(S31)は重要度が0であり，pseudo-utility値はシステムIよりも低い0.480に留まっている(表\ref{ivsii2})．この記事の主題は「定年制高齢者に多様な働き方を６５歳現役社会の道も開け」であり，S22(重要度1/10)はその問題提起になっている．システムIが選んだS50はS22の一つの解決方法であり，ある程度重要な情報を持った文であるため，システムIとIIでこの文が選択できたかどうかで，pseudo-utility値に差ができることは妥当であると考えられる．\begin{table*}[t]{\small\caption{課題A-1における各システムのF-measure値\label{table:aefscore}}\begin{center}\begin{tabular}{|c||c|c|c||l|}\hlineSYSTEM&10\%&30\%&50\%&total(順位)\\\hline\hlineI&0.363&0.435&0.589&0.463(2)\\\hlineII&0.337&0.452&0.612&0.467(1)\\\hlineV&0.251&0.447&0.574&0.424(9)\\\hlineVI&0.305&0.431&0.568&0.435(6)\\\hlineVI'&0.282&0.435&0.572&0.429(8)\\\hlineVII&0.305&0.474&0.586&0.455(3)\\\hlineVII'&0.241&0.497&0.578&0.439(5)\\\hlineVIII&0.199&0.399&0.590&0.396(11)\\\hlineIX&0.358&0.420&0.571&0.450(4)\\\hlineIX'&0.268&0.409&0.570&0.416(10)\\\hlineTF&0.284&0.433&0.586&0.434(7)\\\hlineLead&0.276&0.367&0.530&0.391(12)\\\hline\hlineAve．&0.289&0.433&0.577&0.433\\\hline\end{tabular}\end{center}}{\small\caption{課題A-1における各システムのpseudo-utility値\label{table:aefscore2}}\begin{center}\begin{tabular}{|c||c|c|c|||l|}\hlineSYSTEM&10\%&30\%&50\%&total(順位)\\\hline\hlineI&0.518&0.559&0.664&0.581(1)\\\hlineII&0.450&0.603&0.673&0.569(2)\\\hlineV&0.410&0.546&0.641&0.527(5)\\\hlineVI&0.444&0.537&0.608&0.521(8)\\\hlineVI'&0.420&0.516&0.607&0.504(9)\\\hlineVII&0.433&0.560&0.651&0.541(3)\\\hlineVII'&0.401&0.556&0.636&0.525(6)\\\hlineVIII&0.330&0.515&0.654&0.495(11)\\\hlineIX&0.463&0.544&0.616&0.535(4)\\\hlineIX'&0.388&0.509&0.612&0.498(10)\\\hlineTF&0.406&0.526&0.657&0.525(6)\\\hlineLead&0.401&0.481&0.549&0.468(12)\\\hline\hlineAve．&0.422&0.537&0.630&0.530\\\hline\end{tabular}\end{center}}\end{table*}\begin{table}[t]\caption{記事980511036におけるシステムIとIIの要約結果(要約率10\%)\label{ivsii}}\begin{center}見出し:定年制高齢者に多様な働き方を６５歳現役社会の道も開け{\scriptsize\begin{tabular}{|l|l|c|c|l|}\hline文ID&重要度&I&II&文\\\hline\hlineS3&1/50&+&+&東京都武蔵野市にある「横河エルダー」の最高齢者、菅野清治さん（７９）は\\&&&&今も現役時とほぼ同じ週４０時間のフルタイムで元気いっぱいに働き続ける。\\\hlineS4&1/50&+&+&「横河エルダー」は１９７５年に工業計器メーカー「横河電機」（従業員６３\\&&&&１１人）を定年退職した人たちのための受け皿会社として設立された。\\\hlineS22&1/10&&&一律にではなく高齢者のニーズに合わせ、多様なメニューをどう用意するか。\\\hlineS26&1/10&&+&年金支給開始年齢まで働きたくとも働く場がない、という切実な雇用問題が\\&&&&起きるおそれが多分にある。\\\hlineS31&0&&+&今年３月ごろから、６０歳定年制の見返りに、退職金や賃金をダウンさせた\\&&&&という訴えが連合東京をはじめ、全国の労組や労働相談窓口などに相次いで\\&&&&寄せられている。\\\hlineS43&1/10&&+&約２０年前には２０歳代の若者は５人に１人、６５歳以上は１０人に１人だっ\\&&&&たのが、２０１５年には２０歳代は１０人に１人足らずとなり、逆に６５歳以\\&&&&上の人口比率は４人に１人を占める、世界に例のない高齢社会となる。\\\hlineS44&1/10&+&&意欲はあっても働けない高齢者が多くなるほど、年金や医療などの社会保障負\\&&&&担はより若い世代にしわ寄せされるのは明らかだ。\\\hlineS50&1/30&+&&それまでのキャリアを生かす継続雇用を基本に据え、職種によっては高齢者向\\&&&&けの職域拡大を図り、短時間勤務も認める。\\\hlineS52&1/10&+&&２１世紀の初めには「６５歳現役」が当たり前となる社会にしたい。\\\hline\end{tabular}}\vspace{0.5cm}\caption{記事980511036におけるシステムIとIIのF-measure値およびpseudo-utility値(要約率10\%)\label{ivsii2}}\begin{tabular}{|c|c|c|}\hline&I&II\\\hline\hlineF-measure&0.400&0.400\\\hlinepseudo-utility&0.547&0.480\\\hline\end{tabular}\end{center}\end{table}\subsubsection{content-basedな評価の考察--主観評価との比較--(課題A-2)}まず，content-basedな評価の比較対象となる主観評価の結果について簡単に述べる．次に，主観評価とcontent-basedな評価の結果を比較し，考察する．\subsubsection*{主観評価の結果}主観評価に用いた4種類の要約(FREE，PART，SYS，BASE)と順位の関係を表\ref{table:ordera2}に示す．表は，FREE，PART，SYS，BASEの4種類の要約が，内容(CONT)および読みやすさ(READ)の観点において，1位，2位，3位，4位それぞれにランクされた割合を示している\footnote{(要約率20\%，40\%)×30テキスト×10システム=600}．表より，FREEは1位を占める割合が一番高く(73.5\%)，次いでPART，SYS，BASEの順になっているが，FREEやPARTに比べ，SYSとBASEの品質は僅差であると言える．4種類の要約の品質を大小関係で示すと大まかに次のようになる．\begin{quote}(1)FREE$>$(2)PART$>$(3)システム要約とベースライン\end{quote}\begin{flushleft}このようなデータの性質をふまえ，次節では主観評価とcontent-basedな評価の比較を行う．\end{flushleft}\begin{table*}[t]\caption{主観評価に用いた4種類の要約と順位の関係\label{table:ordera2}}\begin{center}{\scriptsize\begin{tabular}{|c|c|c|c|c|c|}\hline&&1位&2位&3位&4位\\\hline\hlineFREE&CONT&69.8\%(419/600)&28.7\%(172/600)&1.5\%(9/600)&0.0\%(0/600)\\&READ&77.7\%(466/600)&19.0\%(114/600)&3.2\%(19/600)&0.2\%(1/600)\\\cline{2-6}&TOTAL&73.5\%(885/1200)&23.8\%(286/1200)&2.3\%(28/1200)&0.1\%(1/1200)\\\hline\hlinePART&CONT&49.0\%(294/600)&49.0\%(294/600)&1.8\%(11/600)&0.2\%(1/600)\\&READ&40.6\%(244/600)&47.5\%(285/600)&8.5\%(51/600)&3.0\%(18/600)\\\cline{2-6}&TOTAL&44.8\%(538/1200)&48.3\%(579/1200)&5.3\%(64/1200)&1.6\%(19/1200)\\\hline\hlineSYS&CONT&2.3\%(14/600)&3.3\%(20/600)&68.0\%(408/600)&26.3\%(158/600)\\&READ&11.2\%(67/600)&10.3\%(62/600)&43.3\%(260/600)&38.8\%(233/600)\\\cline{2-6}&TOTAL&6.6\%(79/1200)&6.8\%(82/1200)&55.7\%(668/1200)&32.6\%(391/1200)\\\hline\hlineBASE&CONT&0.0\%(0/600)&0.8\%(5/600)&38.2\%(229/600)&61.0\%(366/600)\\&READ&6.5\%(39/600)&8.0\%(48/600)&52.7\%(316/600)&32.8\%(197/600)\\\cline{2-6}&TOTAL&3.2\%(39/1200)&4.4\%(53/1200)&45.4\%(545/1200)&46.9\%(563/1200)\\\hline\end{tabular}}\end{center}\end{table*}\subsubsection*{主観評価とcontent-basedな評価の比較}まず，content-basedな評価結果と主観評価の結果の相関について調査した．調査は，主観評価に用いた4種類の要約の中から任意の2つを選び，主観評価による順序とcontent-basedな評価の大小関係が一致する割合を調べた．4種類の要約の組合せは「FREE-PART」「FREE-SYS」「FREE-BASE」「PART-SYS」「PART-BASE」「SYS-BASE」の6通りあるが，FREEとPARTは共にcontent-basedな評価で評価基準として用いており，どちらも人手で作成した理想的な要約であるため，6通りの組合せから「FREE-PART」の組合せだけ除外した\footnote{すなわち，5通りの組合せ×30テキスト×10システム=1500通りの組合せについて調べた.}．また，主観評価は内容と読みやすさの2つの側面から行なったが，content-basedな評価は，要約間の内容の類似度を測るために用いられた指標であるため，主観評価結果は内容による比較のものを用いた．また，content-basedの評価値は，TSCにおける評価ではFREEを基準にした場合とPARTを基準にした場合の2種類で計算しているが，主観評価との比較も，それぞれの場合毎に分けて行っている．表\ref{table:cbcomp1}は，その結果である．表から，要約率が20\%と40\%の両方において，主観評価の結果とcontent-basedな評価が，高い割合(約90\%)で一致していることが分かる.一方，先にも述べたように，主観評価で比較した4種類のうち，システムの要約とベースライン(Lead)の要約は，FREEやPARTと比べると平均的に同程度の品質の要約であると考えられる．そこで，表\ref{table:cbcomp1}の中でも特にシステムの要約とベースラインに着目し，比較を行った．結果を表\ref{table:cbcomp2}に示す．表\ref{table:cbcomp2}において，主観評価とcontent-basedな評価との相関は，表\ref{table:cbcomp1}の場合ほどはっきりとは現れていない．このことから，content-basedな評価は，品質に大きな違いのある2つの要約を比較する上では，よい指標であるが，品質が僅差な2つの要約を比較する上では，それほど有用な指標ではないと考えることができる.\begin{table}[t]\caption{主観評価による順序とcontent-basedな評価の大小関係が一致する事例の割合(全データ)\label{table:cbcomp1}}\begin{center}\begin{tabular}{|c|c|c|}\hline&FREEを基準&PARTを基準\\\hline\hline20\%要約&91.4\%(1371/1500)&88.6\%(1329/1500)\\\hline40\%要約&89.3\%(1339/1500)&90.0\%(1350/1500)\\\hline\end{tabular}\\\vspace{0.1cm}平均:89.8\%\vspace{-0.7cm}\end{center}\end{table}\begin{table}[t]\caption{主観評価による順序とcontent-basedな評価の大小関係が一致する事例の割合\\(SYSとBASEの比較)\label{table:cbcomp2}}\begin{center}\begin{tabular}{|c|c|c|}\hline&FREEを基準&PARTを基準\\\hline\hline20\%要約&64.3\%(193/300)&58.0\%(174/300)\\\hline40\%要約&58.7\%(176/300)&63.7\%(191/300)\\\hline\end{tabular}\\\vspace{0.1cm}平均:61.2\%\vspace{-0.7cm}\end{center}\end{table}そこで，さらに，content-basedの評価値の差と信頼度(精度)に関する調査を行なった.content-basedの評価値の差に着目し，値の差0.1毎に2つの要約のcontent-basedの評価値と主観評価の順位との大小関係が一致する事例の割合について調べた．結果を表\ref{table:cb0.1}に示す．表より,content-basedの評価値で0.2以上の開きがあれば，93\%以上の割合で主観評価の結果と一致する，すなわち，93\%以上の信頼度で要約を評価することが可能になると思われる.\begin{table}[t]\caption{content-basedの評価値と主観評価の順位との大小関係が一致する事例の割合\label{table:cb0.1}}\begin{center}\begin{tabular}{|c|l|}\hlinecontent-basedの評価値の差&主観評価と一致する\\&事例の割合(\%)\\\hline\hline0.0-0.1&0.578(718/1242)\\\hline0.1-0.2&0.771(916/1188)\\\hline0.2-0.3&0.928(966/1041)\\\hline0.3-0.4&0.959(805/839)\\\hline0.4-0.5&0.964(588/610)\\\hline0.5-0.6&0.988(589/596)\\\hline0.6-0.7&0.994(336/338)\\\hline0.7-0.8&0.990(103/104)\\\hline0.8-0.9&1.000(26/26)\\\hline0.9-1.0&1.000(16/16)\\\hline\end{tabular}\end{center}\end{table}表\ref{table:cb0.1}から得られた知見を元に，表\ref{table:cbcomp2}に示したシステムの要約とベースライン(Lead)の要約の比較結果のうち，content-basedの評価値の差が0.2以上の場合について調べてみた．表\ref{table:cbcomp2}の中でcontent-basedの評価値の差が0.2以上となる事例の割合を表\ref{table:cbcomp31}に示す．表\ref{table:cb0.1}において，評価値の差が0.2以上になる場合は全体の59.5\%($1-\frac{1242+1188}{6000}$)であるのに対し，システムの要約とベースラインの要約の間では全体の14.5\%しかない．このことからも，先にも述べたようにシステムの要約とベースラインの要約は，全体的に品質の近い要約であることが分かる．次にシステムの要約とベースラインの要約との間のcontent-basedの評価値の差が0.2以上となる場合に，主観評価による順序とcontent-basedな評価の大小関係が一致する事例の割合を調べた．結果を表\ref{table:cbcomp32}に示す．表\ref{table:cb0.1}における調査(事例数:6000)と比べると事例数が少ない(174)ので，あまり厳密な値であるとは言えないが，表\ref{table:cbcomp32}の値(71.3\%)と表\ref{table:cbcomp2}の61.2\%とを比較すると，評価値の差が0.2以上の場合content-basedな評価の信頼度が10\%以上高くなることが確認できる．しかし，この結果からは表\ref{table:cb0.1}における評価値の差0.2における一致度92.8\%までには至っていない．\begin{table}[t]\caption{content-based値の差が0.2以上ある事例の割合(SYSとBASEの比較)\label{table:cbcomp31}}\begin{center}\begin{tabular}{|c|c|c|}\hline&FREEを基準&PARTを基準\\\hline\hline20\%要約&17.0\%(51/300)&23.0\%(69/300)\\\hline40\%要約&10.0\%(30/300)&8.0\%(24/300)\\\hline\end{tabular}\\\vspace{0.1cm}平均:14.5\%\vspace{-0.7cm}\end{center}\end{table}\begin{table}[t]\caption{content-based値の差が0.2以上ある場合に主観評価による順序と一致する事例の割合\\(SYSとBASEの比較)\label{table:cbcomp32}}\begin{center}\begin{tabular}{|c|c|c|}\hline&FREEを基準&PARTを基準\\\hline\hline20\%要約&74.5\%(38/51)&73.9\%(51/69)\\\hline40\%要約&60.0\%(18/30)&70.8\%(17/24)\\\hline\end{tabular}\\\vspace{0.1cm}平均:71.3\%\vspace{-0.7cm}\end{center}\end{table}
\section{結論と今後の課題}
本研究では，要約の評価方法について，pseudo-utilityに基づく評価方法を提案し，F-measureとの比較を行った．また，content-basedな評価と被験者による主観評価との結果を比較し，結果について検討した．F-measureとpseudo-utilityに基づく評価の比較では，要約システムの出力をいくつか調べたところ，正解には含まれていないが正解文と類似する内容の文をシステムが抽出した場合，pseudo-utilityに基づく評価では評価値にそれが反映されていることが確認された．すなわち，pseudo-utilityに基づく評価は，F-measureがかかえる2つの問題点のうち「(2)テキスト中に類似の内容を含む文が複数存在する場合，どちらの文が正解として選択されるかにより，システムの評価が大きく変化する」が解消できていることがわかった．次に，content-basedな評価と被験者による主観評価との比較の結果，2つの要約が，content-based値で0.2以上の開きがあれば，93\%以上の割合で人間の主観評価の結果と一致することがわかった．本研究では，複数の要約率のデータを用いることで，Radevらの提案するutilityに基づく評価を疑似的に実現できることを示した．本研究はTSCで作成された10\%,30\%,50\%の3種類の要約データを用いたが，今後は，この他の要約率の組合せについても調べる必要がある．また，本研究ではpseudo-utilityに基づく評価において，文の重要度を`1/要約率'として計算したが，この他にも様々な重要度を設定することが可能である．重要度をどのように設定すればより良い評価が可能になるかについても調べる必要があると考えられる．本研究では扱っていないが，Jingらの指摘する問題点1(要約率の変化に伴う評価値の変化)を解消する評価方法についても今後検討していく必要がある．\bibliographystyle{jnlpbbl}\bibliography{jpaper}\begin{biography}\biotitle{略歴}\bioauthor{難波英嗣(正会員)}{1996年東京理科大学理工学部電気工学科卒業．1998年北陸先端科学技術大学院大学情報科学研究科博士前期課程修了．2001年北陸先端科学技術大学院大学情報科学研究科博士後期課程修了．同年4月日本学術振興会特別研究員．2002年東京工業大学精密工学研究所助手，現在に至る．博士(情報科学)．自然言語処理，特にテキスト自動要約に関する研究に従事．情報処理学会，人工知能学会ACL，ACM各会員．nanba@pi.titech.ac.jp．}\bioauthor{奥村学(正会員)}{1984年東京工業大学工学部情報工学科卒業．1989年東京工業大学大学院理工学研究科博士課程修了．同年，東京工業大学工学部情報工学科助手．1992年北陸先端科学技術大学院大学情報科学研究科助教授．2000年東京工業大学精密工学研究所助教授，現在に至る．工学博士．自然言語処理，知的情報提示技術，語学学習支援，語彙的知識獲得に関する研究に従事．情報処理学会，人工知能学会，AAAI，ACL，認知科学会，計量国語学会各会員．oku@pi.titech.ac.jp．}\bioreceived{受付}\biorevised{再受付}\bioaccepted{採録}\end{biography}\end{document}