\quad 
システムの出力した要約そのものを評価する方法は，一般に内的な評価と呼ばれ
ている．これまでの典型的な内的な評価の方法は，人手で作成した抜粋と要約シ
ステムの出力との一致度を，F-measure等の尺度を用いて測ることで行われてき
た．しかし，F-measureは，テキスト中に類似の内容を含む文が複数存在する場
合，どちらの文が正解として選択されるかにより，システムの評価が大きく変化
する，という問題点がある．本研究では，この問題点を解消するいくつかの評価
方法をとりあげ，その有用性に関する議論を行う．F-measureの問題点を解消す
る評価方法の1つにutility に基づく評価があるが，この方法では評価に用いる
データ作成にコストがかかるという問題がある．本研究では，あるテキストに関
する複数の要約率のデータを用いることで，疑似的にutilityに基づく評価を実
現する方法を提案する．提案する評価方法を，第2回NTCIR ワークショップ自動
要約タスク(TSC)のデータに適用し，有用性に関する調査を行った結果，提案方
法は，F-measureの問題点をある程度改善できることが確認された．次に，
F-measureの問題点を解消する他の評価方法の一つであるcontent-basedな評価を
取り上げる．content-basedな評価では，指定された要約率の正解要約を一つだ
け用意すれば評価可能であるため，utilityに基づく評価に比べ，被験者への負
荷が少ない．しかし，この評価方法で2つの要約を比較する場合，どの程度意味
があるのかについては，これまで十分な議論がなされていない．そこで，
pseudo-utilityに基づく評価と同様にTSC のデータを用い，content-based な評
価の結果を被験者による主観評価の結果と比較した結果，2つの要約が
content-basedな評価値で0.2 以上の開きがあれば，93\%以上の割合で主観評価
の結果と一致することが分かった．
要約の内的(intrinsic)な評価法に関する
いくつかの考察
-- 第2回NTCIR ワークショップ
自動要約タスク(TSC)を基に --