1¨¥§解 説 ¦

テキスト要約の自動評価
Automatic Evaluation in Text Summarization
難波 英嗣

Hidetsugu Nanba

広島市立大学大学院
Hiroshima City University

nanba@hiroshima-cu.ac.jp, http://www.nlp.its.hiroshima-cu.ac.jp/~nanba/

平尾 努

Tsutomu Hirao

NTT コミュニケーション科学基礎研究所
NTT Communication Science Laboratories

hirao@cslab.kecl.ntt.co.jp, http://www.kecl.ntt.co.jp/icl/kpro/hirao/index-j.html

keywords: text summarization, summary evaluation
Summary
Recently, the evaluation of computer-produced summaries has become recognized as one of the problem areas that must be addressed in the ﬁeld of automatic text summarization, and a number of automaticand manual methods have been proposed. Manual methods evaluate summaries correctly, because humans
evaluate them, but are costly. On the other hand, automatic methods, which use evaluation tools or programs, are low cost, although these methods cannot evaluate summaries as accurately as manual methods.
To solve this problem, new automatic methods have been investigated, which can reduce the errors of traditional automatic methods by using several evaluation results obtained manually. In this paper, we survey
the state of the art of automatic evaluation methods for text summarization.

1. は じ め に
Luhn[Luhn 58] 以来，半世紀にわたって行われてきた
テキスト要約研究は，様々な自然言語処理技術の発展により，今日，その主流がテキスト中の重要な個所を抽出するという研究から，テキスト (要約) を生成するという研究へと移行しつつある．抽出に基づく要約を評価する

実際に，BLEU を要約評価用に改良した ROUGE[Lin04b] は，今日，テキスト要約分野で標準的に用いられる自動評価法のひとつになっている．2005 年にミシガン大学で開催された自然言語処理関係で最大の国際会議である ACL において，テキスト要約と機械翻訳の評価法に関するワークショップが開催され，両分野の研究者が評価法に関して活発に議論を行った．

ために，これまでは精度や再現率といった尺度を用いて，人間の被験者が作成した抽出に基づく要約との一致度を測るのが一般的であった．しかし，生成に基づく要約の評価にこれらの尺度をそのまま適用することはできない．
また，人間による評価 (以後，マニュアル評価) は正確である反面，時間，金銭的コストが多大にかかる上に評価を繰り返し行うことが困難であるという問題もある．こうしたことを背景として，近年では，テキスト要約の自動評価法に関して活発に議論されるようになってきている．本稿では，要約の自動評価に焦点を当て，これまでの研究を概観する．

このように「参照要約との類似性による評価」は，他の関連分野と協調しつつ発展してきたものの，残念ながら，まだマニュアル評価の代替となるレベルまでには至っていない．これに対し，近年，要約とそのマニュアル評
価結果を大量にプーリング (蓄積) しておき，マニュアル
評価結果に基づいて人間の代替となるような自動評価を実現しようとする全く別のアプローチからの研究が行われるようになってきている．本稿では，近年の要約評価
研究を「参照要約との類似性による評価」と「マニュアル評価結果に基づいた評価」に分けて概観する．

コンピュータが自動的に作成した要約 (以後，システム
要約) は，「人間が作成した理想的な要約 (以後，参照要約)とどれだけ似ているか」によって評価されることが多い．

本稿の構成は以下のとおりである．2 節では，要約研

このような枠組みでの評価法は，テキスト要約に限らずテ究および要約評価の変遷について述べる．3 節では参照

キスト生成系の研究全般に適用可能なものである．例えば，要約との類似性による評価法について，4 節ではマニュ

機械翻訳で一般的に用いられている BLEU[Papineni 02]

アル評価結果を使った評価法について，それぞれ述べ，5という自動評価法は要約評価にもそのまま利用できる．

節で本稿をまとめる．

2

人工知能学会論文誌

2. テキスト要約研究および要約評価の変遷

22 巻 1 号 a（2007 年）

方法 (以後，ピラミッド法) を提案している [Nenkova 07]．
ピラミッド法では，まず，人間の被験者が SCU を認定

テキストを自動的に要約する研究の歴史は，1950 年代

し，次に，SCU レベルで参照要約とシステム要約を比較に行われた Luhn の研究 [Luhn 58] から始まる．Luhn

する．ピラミッド法などのマニュアル評価は正確である

は，まず，テキスト中から単語の頻度に基づいて重要語

反面，非常にコストがかかる．これは，例えば要約シスを抽出し，次に，テキスト中の各文の重要度を，その文がテムのパラメータをチューニングする際に要約評価を用

重要語を含む比率によって算出し，最後に，指定されたいるといった場合，大きな問題となる．また，マニュアル

要約率に達するまで重要度の高い順に文を抽出する，と評価は，比較実験のために実験環境を再現するのが困難

いうものであった．その後，様々な要約手法が考案されであるという問題もある．このような背景から，マニュ

たが，いずれもテキスト中の重要文を抽出する，いわゆ

アル評価の代替となる自動評価法の確立を目指し，今日る重要文抽出が，長い間テキスト要約研究の中心的な課に至るまで，活発に研究されている．これらの評価法の題であった．また，重要文抽出法によって作成された要うち，参照要約との類似性による自動評価法を 3 節で，約の評価は，人間の被験者が抽出した文と要約システム

マニュアル評価結果を用いた自動評価法を 4 節で，それが自動抽出した重要文との一致度を再現率，精度，F 値

ぞれ述べる．

などの尺度で測るのが一般的であった．

1990 年代後半に入り，ある程度実用的な精度で構文解

3. 参照要約との類似性による自動評価法

析が可能になると，要約システムのモジュールとして構文解析器を用い，文よりも小さな単位 (例えば文節など)

参照要約との類似性による自動評価法は，参照要約 R

でテキスト中の重要個所を抽出する，いわゆる重要個所とシステム要約 C の間で一致する文字列に基づきそのス抽出と呼ばれる方法で要約を作成する研究が行われるよ

コア (評価値) を計算する．これは，参照要約とシステムうになった．また，重要文抽出の結果を書き換えて読みや要約との間の一種の類似度を計算することであり，参照

すい要約を自動作成する研究 [Mani 99, Nanba 00]，音

要約との類似度が高いほどよりよい要約であるという考

声認識の結果を要約しテレビのニュース番組などに字幕えに基づく．類似度計算の考え方としては，テキストをを自動的に付与する研究，情報検索システムが検索結果

シーケンスとしてとらえ，その部分列 (N グラム，スキッを表示する際にユーザに提示する要約 (snipet) を作成すプを許した N グラム) の一致数に基づき計算する手法，

る研究 [Tombros 98]，複数のテキストからひとつの要約

テキストを構文木としてとらえ，その部分木の一致数にを作成する複数テキスト要約研究など，要約研究が様々

基づき計算する手法がある．以下，それぞれについて説な広がりを見せるようになってきた．この時期，国内で

明する．

∗1

は Text Summarization Challenge(TSC) ，国外ではTipster プロジェクトの一貫として行われた SUMMAC
や Document Understanding Conference(DUC)∗2 と3・1 ROUGE

いった評価ワークショップが開催され，要約研究に取りられている ROUGE-N [Lin 03] ∗3 は，参照要約とシス組む研究者の裾野が広がったことも，要約研究の多様性

テム要約の間で一致する N グラムの割合を計算する．以を生み出す要因のひとつになったと考えられる．さらに，

下の式で定義される．

現在，要約システムの自動評価法として最も広く用い

評価ワークショップの成果として，要約研究のためのデー∑

タが整備されると，これらのデータを訓練データとして用い，機械学習ベースでテキスト要約システムを構築する研究も，この頃から盛んになった．
このように，重要文抽出以外の様々な方法で要約が作ROUGE-N(C, R) =Countclip (e)e∈n-gram(C)∑(1)
Count(e)e∈n-gram(R)成されるようになると，要約の作成方法だけでなく評価

ニュアル評価において，Nenkova らは SCU(Summaryn-gram(C) は，システム要約に含まれる N グラム，n-gram(R) は，参照要約に含まれる N グラム集合をあらわす．Count(e) は，ある N グラムの出現頻度を数える関数であり，Countclip (e) は，システム要約に含まれる N グラムのシステム要約における出現頻度 Count(e ∈n-gram(C)) と参照要約における出現頻度 Count(e ∈ n-gram(R))の小さい方の値を採用する．Lin らは，N を 1 から 4 まContent Unit) という意味的な単位に基づいて評価する

で変化させ，マニュアル評価結果との相関を調べた結果，方法にも要約研究者の注意が向けられるようになった．
重要文抽出法では，人間の作成した要約 (以後，参照要約) とシステム要約は，文という単位で比較していたが，単文，単語列，単語など，様々な言語単位で参照要約とシステム要約を比較し自動評価する方法がこれまでに提案されている．その一部は，次節で紹介する．また，マ∗1 http://www.lr.pi.titech.ac.jp/tsc/∗2 http://duc.nist.gov/

N= 1, 2 が最も高い相関であったと報告している．
∗3 先に説明した DUC で自動評価指標として採用されている．

3

テキスト要約の自動評価

しかし，ROUGE-N は，隣接という強い制約にある単語共起のみに着目し，スコアを計算する．よって，隣接

表 1 各手法による参照要約とシステム要約との間の部分列の一致数

していないが，かかり受け関係にあるような単語の共起

手法

一致数

を考慮することができない．このような問題を解決する

ROUGE-1
ROUGE-2
ROUGE-SROUGE-SU
ESKd=23
1
3
4
7 + λ + 2λ2 + λ3 + λ4 + λ5 + λ6 + λ9

ため，Lin らはスキップを許したバイグラム (スキップバイグラム) を考慮して一致率を計算する ROUGE-S を提案した [Lin 04a, Lin 04b]．以下の式で定義される．

ROUGE-S(C, R) =(1 + γ 2 )PS (C, R)RS (C, R)
RS (C, R) + γ 2 PS (C, R)(2)の空間における内積として定義できる．ただし，陽にテ

ここで，PS (C, R)，RS (C, R) は，それぞれ以下の式で定義される．

計算できる．詳しい計算法に関しては文献 [平尾 06] を∑
PS (C, R) =参照されたい．この時，ノードのスキップに対しては，

Countclip (e)e∈bigram(C)∪skip-bigram(C)∑Count(e)(3)∑λ(0 ≤ λ ≤ 1) という減衰パラメータを用いてその重みを小さくする．たとえば，ノードを 1 つスキップした場合には，重みが λ となり，2 つスキップした場合には，λ2となる．

e∈bigram(C)∪skip-bigram(C)RS (C, R) =キストを高次元空間へ写像することなく内積を効率的に例として，以下の参照要約，システム要約を用いて ESKの値を計算する．なお，単語の意味ラベルはカッコ内にCountclip (e)(4)

R Becoming a cosmonaut:{SPACEMAN} is my great
dream:{DREAM}
C Becoming an astronaut:{SPACEMAN} is my ambition:{DREAM}e∈bigram(C)∪skip-bigram(C)∑示す．

Count(e)e∈bigram(R)∪skip-bigram(R)さらに，ROUGE-S に対しユニグラムを素性として追ここで，“cosmonaut” と “astronaut” は共通の意味ラ加した ROUGE-SU [Lin 04a, Lin 04b] も提案されてベル “SPACEMAN” を持ち，“ambition” と “dream”

いる．

は共通の意味ラベル “DREAM” を持つ．

ただし，ROUGE-S，ROUGE-SU ではスキップを許したトライグラムを扱うことはできない．さらに，ある単語の組合せが参照要約，システム要約のどちらか一方
ではバイグラム，もう一部ではスキップバイグラムとして出現した場合，スキップの有無を区別せずに一致数を計算するという問題がある．さらに，ROUGE-N も含“Becoming−DREAM” という部分列は，R では “a”，
“cosmonaut:SPACEMAN”，“is”，“my”，“great” という 5 つのノードをスキップしており，C では同様に 4 つのノードをスキップして出現している．よってその重みは，それぞれ，λ5 ，λ4 となる．

えがあった場合には一致数が著しく低下するという問題

ESKd=2 (C, R) は，C ，R から得た重み付きベクトルの内積であるので，C ，R に共通する 15 の部分列の重みもある．

の積として以下の式で計算される．

3・2 ESKめ，単語の表記での一致しか見ておらず，単語の言い換

先述した ROUGE の問題点を解決するため，文献 [平ESKd=2 (C, R) = 1 + 1 + 1 + 1 + 1 + λ9 + λ2 + λ4 + λ6 +λ + 1 + λ2 + λ3 + 1 + λ = 7 + λ + 2λ2 + λ3 + λ4 + λ5 +λ6 + λ9 .

尾 06] では，拡張ストリングカーネル (Extended String

表 1 に例としてあげた R，C に対し ROUGE-1，2，

Subsequence Kernek: ESK) を用いた自動評価法が提案

ROUGE-S，SU，ESKd=2 を用いて一致する部分列を計された．

算した結果をまとめる．表より，単語の意味ラベルを考ESK は，Lodhi らによって提案された String Subsequence Kernel (SSK)[Lodhi 02]，Cancedda らによって提案された Word Sequence Kernel (WSK)[Cancedda
03] を拡張したものである．ESK では，まず，テキスト

慮できない ROUGE は，ESK と比較してかなり低い値を単語とその意味ラベルを属性としたノード列として考り λ = 0 としても ROUGE より十分高い．これは，人える．そして，テキストを d 個までの部分ノード列に対間の直観に合致している．文献 [平尾 06] によると，λ は，応する軸を持つ高次元空間へと写像する．ESK は，そ

0.5 程度がよいとされている．

5をとる傾向にあることがよくわかる．特にバイグラムの一致数は 1 しかなく，極端に低いスコアである．これに対し，意味ラベルを考慮できる ESK は高いスコアであ4

人工知能学会論文誌

22 巻 1 号 a（2007 年）

3・3 Basic Elements
これまでに紹介した ROUGE，ESK がテキストをシーケンスとしてとらえていることに対し，Basic Elements(BE) を用いた自動評価法 [Hovy 06] はテキストを構文の要約のマニュアル評価スコアを，内容の類似したプー木としてとらえている点で大きく異なる．参照要約，シあるテキストに対し n 種類の要約手法を用いて要約

ステム要約に含まれる文を構文木へと変換し，その部分

C1 〜Cn を生成し，それらをマニュアル評価しておく．
ここで，要約 C1 〜Cn に対するマニュアル評価スコア
を H(C1 , R)〜H(Cn , R) と表記する．R は参照要約を示す．また，要約 C1 〜Cn とその評価スコア H(C1 , R)〜
H(Cn , R) をここではプーリングデータと呼ぶ．ある要約システム X が生成した要約の評価スコアは，その要約と各プーリング要約 Ci との類似度∗4 simi を考慮し，∑ni=1 H(Ci , R) · simi によりマニュアル評価スコアを足し合わせることで計算される．もし，システム X の要約

構造である BE へと分解し，それらの間で一致する BEの数にに基づきスコアを計算する．ここで， BE は，文中の名詞，動詞，形容詞などの単語とそれらとの間に依存関係 (かかり受けの関係) を持つ単語の組，それらの組の間の関係名のタプル < 関係名, 単語 1, 単語 2 > として表現される．

R 天気は雨になりそうだ．
C 雨の天気になりそうだ．
上記の参照要約，システム要約を例にすると BE は以

リング要約から推測できる．このような考え方に基づいて，賀沢ら [賀沢 03] は次に述べる手法で要約の自動評価を行っている．

と非常に類似した要約がプーリングデータ中に存在すれ下のとおりである．

ば，類似度 simi の値が大きくなるため，システム X の

R : < は, 天気, なりそうだ >，< に, 雨, なりそうだ >C : < の, 雨, 天気 >，< に, 天気, なりそうだ >要約の評価スコアは，そのプーリング要約の評価スコア

なお，関係名に関しては格解析を用いて詳細に決定す

グデータ中に存在しなくても，他のプーリング要約とのべきであるが，本稿では，文献 [福本 06] と同様，単純に2 つの単語を結ぶ単語であらわした．例より，かかり受類似度を考慮して，評価スコアを算出できる．なお，賀け関係にある単語の組に着目するため，隣接した単語の成する要約手法の信頼度，評価スコアを 0 から 1 の間に組だけでなく，自然とスキップした単語の組を扱えてい

おさまるよう調整するためのパラメータなども考慮してることがわかる．しかし，この例では，R の 1 つ目 BEいる．

に近くなる．また，もし非常に類似する要約がプーリン

沢らが提案する実際の評価法では，プーリング要約を作と C の 2 つ目の BE が関係名が異なっているため，一致する BE の数はゼロであり，我々の直観に反する．この

4・2 単回帰モデルに基づく自動評価法

ように，関係名を入れることで制約がより強くなり，問

賀沢らの評価法とはアプローチが異なるが，機械翻訳

題となる場合もある．また，単語の言い換えを吸収するの分野でもプーリングデータを用いてシステムを評価すことができないという点では ROUGE と同様の問題をる手法が提案されている [Yasuda 03]．Nanba ら [Nanba

抱えている．

プログラムやツールなどを用いるためコストはかからな

06] はこの手法 (以後，Yasuda 手法) を用い，要約評価
における Yasuda 手法の有効性を検証している．以下に，
Yasuda 手法を用いた要約評価について述べる．
一般に，A，B の 2 つの要約システムのうち，A が B
よりも優れていれば，A が高品質の要約を生成する割合
は B よりも高い．また，A と B の性能差が大きい程，その割合は大きくなる．逆に，A と B の性能差がほとんどなければ，割合はほぼ 0.5 になると考えられる．そこで，いが，現状ではマニュアル評価のような正確な評価を行

性能の高いものから低いものまで様々なレベルの要約シ

うまでには至っていない．この両者の問題を解決するた

ステムを準備しておき，それらをあらかじめマニュアル

4. マニュアル評価結果を用いた自動評価法
マニュアル評価は人間の被験者が要約を評価するため正確であるが，コストがかかるという問題がある．これに対し，3 節で述べた参照要約との類似性による評価法はめ，近年では，マニュアル評価結果を大量にプーリング

評価しておけば，「ある要約システム X を評価する」としておき，それらを用いて自動評価するという新しい評

いう問題は，「様々な性能の要約システムの中から，要約価法が検討されるようになってきている．本節では，マシステム X と同品質の要約を生成するシステムを見つけ

ニュアル評価結果を用いたいくつかの自動評価法についる」という問題として解くことができる．以下に，評価て述べる．

の具体的な手順について述べる．
準備段階

4・1 プーリングデータを用いた自動評価法
一般に，もし 2 つの要約が類似していれば，その評価結果も類似していると考えられる．そこで，あるテキス
トから生成された要約 (以後，プーリング要約) とそのマ
ニュアル評価結果を大量にプーリングしておけば，任意(1) 複数の要約システム S1 〜Sn を用意する．
(2) テキスト T1 〜Tm を各要約システムを使って要約∗4 類似度計算には，情報検索などで一般的に使われているコサ
イン距離の他に，3 節で紹介した参照要約との類似性による評価法が利用できる．

5

テキスト要約の自動評価

する．

(3) これらの要約をマニュアル評価し，その値を各要約システムの評価スコア (性能) と見なす．
評価段階(1) 評価対象の要約システム X でテキスト T1 〜Tm を

2

1
6 1
6
X= 6 .
4 ..
1

ROUGE-1(C1 , R)
ROUGE-1(C2 , R)..
.
ROUGE-1(Cn , R)

ROUGE-S(C1 , R)
ROUGE-S(C2 , R)..
.
ROUGE-S(Cn , R)

3
ESK(C1 , R)
ESK(C2 , R) 7
7
7,
..
5
.
ESK(Cn , R)

要約する．

(2) 3 節で述べた ROUGE などの尺度を用いてシステ
ム X の要約を評価する．
(3) 要約システム S1 〜Sn を用いてテキスト T1 〜Tmとすると，式 (5) は，以下の式であらわせる．

y = Xβ + ϵを要約する．

(4) ROUGE などの尺度を用いてシステム S1 〜Sn の

ここで，マニュアル評価スコアと回帰モデルによって推測したスコアの二乗誤差を最小にする回帰パラメータ

要約を評価する．

(5) 手順 2 の結果と手順 4 の結果を比較し，システム
X よりも高品質な要約が作成した割合を要約システ
ム S1 〜Sn ごとに計算する．
(6) グラフの横軸に要約システムの性能 (プーリング
データの準備の手順 3 で得られた値)，縦軸に手順 5ベクトル β̂ は以下の式で求まる．

β̂ = (XT X)−1 XT y.

(6)

このように，β̂ を求めることができれば，マニュア
ル評価スコアが与えられていないシステム要約に対し，の割合をプロットする．

(7) 回帰直線を引き，その直線上で割合 (グラフの縦軸) が 0.5 となる点の横軸の値をシステム X の評価

ROUGE などの自動評価スコアのみを用いてそのマニュアル評価スコアを予測することができる．
ただし，重回帰モデルでは，強い相関にある説明変数

スコアとして出力する．

Nanba らは TSC2 のデータを用いて Yasuda 手法とROUGE を比較する実験を行い，Yasuda 手法が ROUGEの組が含まれていると，多重共線性という現象が起こり，よりも優れていることを確認している．

たとしても汎化性能が著しく悪化するという問題が生じ(6) 式において，逆行列が存在しない，あるいは，存在しる．3.2 節で説明したような自動評価スコアは，参照要
約とシステム要約との間の文字列の一致割合に基づく計

4・3 重回帰モデルに基づく自動評価法
前節で説明した Yasuda 手法は，単回帰 (説明変数が 1つしかない) モデルである．しかし，一般的には，複数の説明変数を組合せた方が回帰モデルの予測性能はより向上する．そこで，文献 [平尾 07] では，重回帰モデルを改良した自動評価法が提案された．
訓練データとして n 個のシステム要約に対してマニュア
ル評価 H(Ci , R) が得られており，ROUGE-1，ROUGE-S，ESK スコアがそれぞれ求まっているとする．ここで，重回帰モデルでは，H(Ci , R) と自動評価スコアの間に以下の関係を仮定する．
H(C1 , R) = β0 + β1 ROUGE-1(C1 , R) +β2 ROUGE-S(C1 , R) + β3 ESK(C1 , R) + ϵ1
H(C2 , R) = β0 + β1 ROUGE-1(C2 , R) +β2 ROUGE-S(C2 , R) + β3 ESK(C2 , R) + ϵ2
..
.

(5)

H(Cn , R) = β0 + β1 ROUGE-1(Cn , R) +β2 ROUGE-S(Cn , R) + β3 ESK(Cn , R) + ϵn

算されるため，それらの間の相関は高い．よって，これらを説明変数として用いる場合には注意しなければならない．そこで，文献 [平尾 07] では，情報量基準の観点から良い回帰モデルを複数選択し，それらの回帰モデル
が予測したスコアの平均を最終的な予測スコアとする手法を提案している．
先の例を用いて説明する．まず，与えられた説明変数
集合 E = {ROUGE-1, ROUGE-S, ESK} から下記の空でない可能な部分集合を求める．

• {ROUGE-1}• {ROUGE-S}• {ESK}• {ROUGE-1, ROUGE-S}• {ROUGE-1, ESK}
• {ROUGE-S, ESK}
• {ROUGE-1, ROUGE-S, ESK}
次に，それぞれの説明変数セットを用いて回帰モデル

M1 , M2 , . . . , M7 を構築し，以下の式を用いて AIC [Akaike73] を改良した AICc (Corrected-AIC) [Sugiura 78] を求める．ここで，p は説明変数の数である．

なお，H(Ci , R) は目的変数と呼ばれる．また，ϵi は，誤差をあらわす．ここで，母回帰係数ベクトルを β =(β0 ,β1 ,β2 , β3 )T ，
目的変数ベクトルを y = (H(C1 , R),H(C2 , R), . . . , H(Cn , R))T ，
誤差ベクトルを ϵ = (ϵ1 , ϵ2 , . . . , ϵn )，計画行列 X を

AICc (M ) = AIC(M ) +2p(p + 1)
n−p−1

なお，AIC(M ) は以下の式で定義される．

(7)

6

人工知能学会論文誌

表 2 各モデルに対する AICc ，∆AICc ，予測値

モデル

変数セット

M1
M2
M3
M4
M5
M6
M7

S1
S2
S3
S4
S5
S6
S7

AICc
−17.4
−27.1
−19.1
−26.6
−29.7
−19.3
−31.2

∆AICc
13.8
4.1
12.1
4.6
1.5
11.9
0

22 巻 1 号 a（2007 年）

いう特徴がある．利用者は，自動評価法としてのこのよ

予測値

うな特性の違いを理解し，目的によって適切に使い分け

0.82
0.71
0.99
0.68
0.70
0.61
0.79

る必要がある．
ただし，マニュアル評価結果を用いた自動評価法には，まだ解決すべき課題が残されている．そのひとつは，「どの程度の種類と分量のシステム要約とそのマニュアル評
価をプーリングしておけば十分であるか」である．テキスト中でどの情報が重要と考えるかは，要約率，要約の読み手の立場，テキストが客観的事実のみを述べたもの
か意見文も含んだものなのかなど，多くの事項が要因として挙げられる．例えば，要約の読み手の立場に関して，ある年に行われたテニスのウィンブルドン選手権に関する報道記事から要約を作成する場合を考えると，一般的

AIC(M ) = −2MLL + 2p,
(8)
n
R
p
MLL = − {(1 + log(2πσ 2 )) + log( )}2nには「誰が優勝したか」という観点で要約が作成される．
しかし，この選手権に日本人選手が出場している場合には，要約の読み手が日本人であれば「誰が優勝したか」

Rp は残差平方和 (訓練データに対する二乗誤差の和)である．AICc は小さければ小さいほど良い．ここで，AICc best (= mini AICc (Mi )) を求め，これとの差 ∆AICc (=AICc (Mi ) − AICc best ) がある一定の幅 τ におさまる全の他に，「その日本人選手がどこまで勝ち進んだか」といての回帰モデルを選択する．そして，これらの回帰モデて変わってくると思われる．また，プーリングデータのルがそれぞれ独立に予測した値の平均値を最終的な予測

種類と分量は，おそらく要約の課題が単一テキスト要約

値とする．

であるか，複数テキスト要約であるかにも依存するであ

回帰モデル M1 〜M7 に対して，AICc ，∆AICc ，予測

う点にもおそらく興味を持つであろう．この場合，この観点からの要約も作成可能である．このように，プーリ
ングデータの種類は誰が要約の読み手であるのかによっ

ろう．

値が 表 2 のとおり得られ，τ = 5 であるとすると最終的

上記のような問題は，要約固有の課題として解決するな予測値は，モデル M2 , M4 , M5 , M7 が予測した値の平必要があるが，同時に，要約評価には一般的なテキスト

均であるので，(0.71 + 0.68 + 0.70 + 0.79)/4 = 0.72 と評価の問題として扱えるものも存在する．実際に，要約なる．

の自動評価が他の分野から影響を受けていることは，す

文献 [平尾 06] では，TSC3，DUC2004 のデータを用でに本稿で述べたとおりである．これらの他にも，本稿いて評価実験を行った結果，単回帰モデルをはじめとす

では取り上げなかったが，テキストの読みやすさに関する従来の回帰モデルよりも性能が良く，また，説明変数

る問題は，要約に限らず，テキスト生成系の研究全般にセットとして，ROUGE-2，ESK，擬似的質問応答 (詳関するものである．今後のテキスト要約の評価法は，テ

しくは文献 [Hirao 04] を参照されたい) などの組合せがキスト要約固有の問題と一般的なテキストの評価に関す

良いと報告している．

る問題に切り分けて議論し，後者に関しては可能な限り関連分野と連携していく必要があろう．

5. お わ り に
本稿では，テキスト要約におけるこれまでの自動評価
法を「参照要約との類似性による自動評価法」と「マニュアル評価結果を用いた自動評価法」に分類し，概観した．
前者の評価法は，参照要約のみ用意すればシステム要約を評価可能であり，自動評価にかかるコストはあまりかからない．しかし，各システム要約に与えられる自動評
価スコアそのものの信頼性は低いため，システム間の性能差を粗くに見積もりたい場合には有効であるが，あるシステムがどのようなトピックを得意，不得意とするかというような特性を知るためには有効ではないという特徴を持つ．一方，後者はマニュアル評価結果をある程度プーリングする必要があることから，前者よりもコストはかかるが，評価法としての信頼性は前者よりも高いと♢ 参 考 文 献 ♢[Akaike 73] Akaike, H.: Information Theory as an Extensionof the Maximum Likelihood Principle, in Proc of the 2nd
International Symposium on Information Theory, pp. 267–
281 (1973)[Cancedda 03] Cancedda, N., Gaussier, E., Goutte, C., andRenders, J.-M.: Word Sequence Kernels, Journal of Machine Learning Research, Vol. 3, No. Feb, pp. 1059–1082(2003)[Hirao 04] Hirao, T., Okumura, M., Fukushima, T., andNanba, H.: Text Summarization Challenge 3 – Text Summarization Evaluation at NTCIR Workshop 4 –, in Working Notes of the 4th NTCIR Workhop Meeting, pp. 407–411(2004)[Hovy 06] Hovy, E., Lin, C.-Y., Zhou, L., and Fukumoto, J.:
Automated Summarization Evaluation with Basic Elements, in Proc. of the 5th Conference on Language Resources and Evaluation (2006)

7

テキスト要約の自動評価[Lin 03] Lin, C.-Y. and Hovy, E.: Automatic Evaluationof Summaries Using N-gram Co-occurrence Statistics, in
Proc. of the 4th Meeting of the North American Chapterof the Association for Computational Linguistics and Human Language Technology, pp. 150–157 (2003)[Lin 04a] Lin, C.-Y.: ROUGE: A Package for Automatic
Evaluation of Summaries, in Proc. of Workshop on Text
Summarization Branches Out, Post Conference Workshop
of ACL 2004, pp. 74–81 (2004)[Lin 04b] Lin, C.-Y. and Och, F.: Automatic Evaluation of
Machine Translation Quality Using Longest Common Subsequence and Skip-Bigram Statistics, in Proc. of the 42nd
Annual Meeting of the Association for Computational Linguistics, pp. 606–613 (2004)[Lodhi 02] Lodhi, H., Saunders, C., Shawe-Taylor, J., Cristianini, N., and Watkins, C.: Text Classiﬁcation Using
String Kernel, Journal of Machine Learning Research,
Vol. 2, No. Feb, pp. 419–444 (2002)[Luhn 58] Luhn, H.: The Automatic Creation of Literature Abstracts, IBM Journal of Research and Development,
Vol. 2, No. 2, pp. 159–165 (1958)[Mani 99] Mani, I., Gates, B, and Bloedom, E.: Improving
Summaries by Revising Them, in Proc. of the 37th Annual
Meeting of the Association for Computational Linguistics,
pp. 558–565 (1999)[Nanba 00] Nanba, H. and Okumura, M.: Producing More
Readable Extracts by Revising Them, in Proc. of the 18th
International Conference on Computational Linguistics,
pp. 1071–1075 (2000)[Nanba 06] Nanba, H. and Okumura, M.: An Automatic
Method for Summary Evaluation Using Multiple Evaluation
Results by a Manual Method, in Proc. of COLING/ACL
206 Main Conference Poster Sessions, pp. 603-610 (2006)[Nenkova 07] Nenkova, A., Passonneau, R., and McKeown,
K.: The Pyramid Method: Incorporating Human Content
Selection Variation in Summarization Evaluation, ACM
Transactions on Speech and Language Processing, Vol. 4,
Issue 2 (2007)[Papineni 02] Papineni, K., Roukos, S., Ward, T., and WJ, Z.: BLEU: a Method for Automatic Evaluation of Machine Translation, in Proc. of the 40th Annual Meeting of
the Association for Computational Linguistics, pp. 311–318(2002)[Sugiura 78] Sugiura, N.: Further Analysis of the Data by
Akaike’s Information Criterion and the Finite Corrections,
Theory and Methods, Vol. A7, No. 1, pp. 13–26 (1978)[Tombros 98] Tombros, A. and Sanderson, M.: Advantagesof Query Biased Summarization in Information Retrieval, in
Proc. of the 21st Annual International ACM-SIGIR Conference on Research and Development in Information Retrieval, pp. 2–10 (1998)[Yasuda 03] Yasuda, K., Sugaya, F., Takezawa, T., Yamamoto, S. and Yanagida, M.: Applications of Automatic
Evaluation Methods to Measuring a Capability of Speech
Translation System, in Proc. of the 10th Conference of theEuropean Chapter of the Association for Computational
Linguistics, pp. 371–378 (2003)[賀沢 03] 賀沢 秀人, Arrigan, T., 平尾 努, 前田 英作：文書要約
における抽出単位と評価法についての考察, 情報処理学会研究報告 自然言語処理 NL-158，pp. 25–30 (2003)[平尾 06] 平尾 努, 奥村 学, 磯崎 秀樹：拡張ストリングカーネルを用いた要約システムの自動評価法, 情報処理学会論文誌, Vol. 47,
No. 6, pp. 1753–1766 (2006)[平尾 07] 平尾 努, 奥村 学, 安田 宜仁, 磯崎 秀樹：投票型回帰
モデルによる要約の自動評価法, 人工知能学会論文誌, Vol. 22,
No. 2B, pp. 115–126 (2007)[福本 06] 福本 淳一, 加藤 恒昭, 桝井 文人, 森 辰則, 神門 典子：
Basic Element を用いた質問応答の自動評価, 情報処理学会研究報告 情報学基礎 FI-084, pp. 71–78 (2006)

著

者 紹 介
難波 英嗣（正会員）
1996 年，東京理科大学理工学部電気工学科卒業．1998 年，

北陸先端科学技術大学院大学情報科学研究科博士前期課程修了．2001 年，北陸先端科学技術大学院大学情報科学研
究科博士後期課程修了．同年，日本学術振興会特別研究員．
2002 年，東京工業大学精密工学研究所助手．同年，広島市立大学情報科学部講師．現在に至る．博士 (情報科学)．
テキストマイニング，情報検索，自動要約に関する研究に従事．言語処理学会，情報処理学会，ACL，ACM 各会員．
nanba@hiroshima-cu.ac.jp，http://www.nlp.its.hiroshima-cu.ac.jp/ nanba

平尾

努

1995 年関西大学電気工学科卒業．1997 年奈良先端科学
技術大学院大学情報科学研究科博士前期過程修了．同年，(株)NTT データ入社．2000 年より，NTT コミュニケー
ション科学基礎研究所に所属．博士 (工学)．自然言語処理の研究に従事．情報処理学会，言語処理学会，ACL 各
会員．