言語処理学会 第24回年次大会 発表論文集 (2018年3月)

冗長な Ngram/Basic Elements を除いた自動要約評価指標
本多 右京 1111

平尾 努 2

永田 昌明 2奈良先端科学技術大学院大学 情報科学研究科
2
NTT コミュニケーション科学基礎研究所

honda.ukyo.hn6@is.naist.jp, 2 {hirao.tsutomu, nagata.masaaki}@lab.ntt.co.jp
pBE が最も高い順位相関係数を示した．

はじめに
自動要約評価指標は，自動要約システム研究において重要な役割を果たす．自動生成された要約に人手で2関連研究

スコアを付けるのはコストが大きすぎるため，自動要

我々の提案手法と最も関連するのは ROUGE-WE[7]約システムの良し悪しはもっぱら自動要約評価指標にと BEwT-E[11] である．ROUGE-WE は単語分散表よるスコアで決定されるからである．

現を採用し，ngram 同士の一致は 0/1 ではなく，コ

自動要約評価指標で最も広く使われているのはサイン類似度にて [0,1] の連続値で表現される．このROUGE[4] と BE[2] である．ROUGE/BE は，評価対象となる要約とその参照要約との間でいくつのユニット，すなわち ngram/basic elements1 が一致するかを数える．多くの場合，ngram では unigram か bigram，basic elements では (head|modifier|relation) のdependency triple が用いられる．
しかし，この評価方法は次の 2 点で人間の要約評価方法と大きく異なる．1 点目は低情報量のユニットを重く評価すること，2 点目は意味的に重複するユニットに複数回点数を与えることである．
我々は，これら冗長なユニットをそれぞれ次の 2 ステップで取り除いてこの問題を解決する．すなわち，ユニットの頻度カウントを省略すること，意味的に重複するユニットを単語分散表現に基づいて 1 つのクラスタにまとめることである．この 2 ステップを適用した ROUGE/BE を pruned ROUGE/pruned BE(pROUGE/pBE) と呼ぶことにする．
実 験 の 結 果 ，DUC
2003-2007 に お い て
pROUGE/pBE が そ れ ぞ れ ROUGE/BE よ り 人
間の評価結果に対して高い相関を示し，特に basicelements は元々 ngram より冗長なユニットが少ないため，大半のケースで pBE が ROUGE の相関を大きく上回ることが確認された．また，関連研究の
ROUGE-WE との比較では，TAC 2011 の自動要約評価指標コンペティションに参加した指標の中で，手法は，評価対象要約と参照要約間で ngram の意味

1 名称の曖昧性を避けるため，自動要約評価指標としての Basic
Elements は BE，一致を見るユニットとしての Basic Elements
は basic element(s) と表記する．

的な一致を考慮することができる点において本研究に類似しているが，その片方の要約内でも意味的に重複する ngram があるかを判断しない点で異なる．また，
ROUGE-WE は頻度カウントを省略しない．これらの違いから，ROUGE-WE では本研究で目的とするところの冗長なユニットの除去はなされない．
BEwT-E は basic elements を変形し，これらが表層形の違いを超えて一致できるようにする手法である．
ROUGE-WE と同様，表層形以外の要素を考慮して一致を判断させようとする点で本研究に類似するが，この変形は複雑なルールを必要とする．さらにこのルールは英語固有の性質に基づいたものも多く，他の言語に適用することが難しい．提案手法は単語分散表現のみで意味的な重複を判断することができるため，多言語に適用可能である．BEwT-E はまた，頻度カウントの有無による性能への影響も調べている．しかし単にハイパーパラメータの一つとして操作しているだけであり，なぜ頻度カウントが性能に影響するのかは述べられていない．本研究の貢献は，頻度カウント省略の効果は冗長なユニットの除去であり，そのため意味的に重複するユニットの除去と組み合わせるととりわけ大きく効果を発揮すると説明を与える点である．

3

提案手法
この章では ROUGE/BE の概要について述べた後，提案手法の pROUGE/pBE を 2 ステップに分けて説― 17 ―Copyright(C) 2018 The Association for Natural Language Processing.
All Rights Reserved.

明する．

もう一つの利点として，多言語に応用可能であるということが挙げられる．

3.1

ROUOGE/BE

Basic elements として扱うのは，UD の係り受けラベ
ルのうち，狭義の係り受けラベルと multiword expres-

ROUGE/BE は次の式で定義される：
ROUGE/BE(R, S) =
∑K ∑M
kk
k=1
m=1 min{N (fm , Rk ), N (fm , S)}
.
∑K ∑M
k
k=1
m=1 {N (fm , Rk )}sion (MWE) の係り受けラベル4 をもつすべての dependency triple (head|modifier|relation) とする．これは，この組み合わせの BE が最も良い性能を示した(1)

K 個の参照要約 R = {R1 , ..., RK } と評価対象要約 S ，k}とRk に現れるユニットのセットを Fk = {f1k , ..., fMkkk
おく．N (fm , Rk )，N (fm , S) はそれぞれ，fm が何回Rk ，S に出現するかを返す関数である．上式からわかるとおり，ROUGE/BE は評価対象要約 S の中に f が何回出現するかでスコアを定める．

ROUGE と BE の相違点は，ROUGE は ngram，BEは basic elements をユニットにとる点である．Basicelements は ngram の欠点を補う目的で提案された [2]．
ROUGE は unigram や bigram のような短い ngramを用いることが多いが，これらはしばしば情報量の低い ngram を生み出す．例えば，“John went to thestore on foot” という文は [“John went”, “went to”,“to the”, “the store”, “store on”, “on foot”] というbigram に分解される．ここで見られる “to the” のような，機能語のみから成る bigram はほぼ意味をなさな
いが，機能語は文中に頻出するためこのような bigramは頻繁に出現する．これに対して basic elements は係り受け情報を持つので，“to” と対になるのは “the” ではなく “store” だということが正しく反映される2 ．
我 々 は 単 語 の 依 存 構 造 と し て ，Universal De-

pendencies(UD)[8] を 使 用 す る ．UD は 内 容

語 を 中 心 に 係 り 受 け を と る た め ，文 の 要 点 をよ り 直 接 的 に 表 す dependencyためである．

3.2

前節のとおり，ROUGE/BE ではユニットの出現頻度がスコアに大きな影響を持つ5 ．問題は，ROUGE/BEで複数回点数を与えられるユニットは情報量が低いものであることが多いということである．前述のように，

bigram では機能語の対が頻出しこれらが他の bigramより大きくスコアを稼ぐ．BE ではこのようなユニットは現れない．しかし BE でも det，compound の tripleが不当にスコアを付与されるという問題点が残る．例
kk
えば DUC 2003 では，min{N (fm, Rk ), N (fm, S)} で2 以上を返す basic elements が 301 あるうち，139 がcompound，96 が det で，全体の約 78%を占めた．これは，これらの triple が一つの名詞しか表していないに等しいためだと考えられる6 ．これに対して，文の中心である動詞と結びついた，より情報量のあると思われる係り受け関係 nsubj，dobj，iobj などはほぼ頻度による重み付けを受けない．Det と compound のtriple は不要ではないが，nsubj らより重く評価する重要性はない．
そこで我々は，単純に頻度カウントを省略することでこの問題に対処する．頻度カウントを省略した

ROUGE/BE を次の式で定義する：

triple が と れ る

pROUGE/pBE−cnt (R, S) =∑K ∑Mと い う 利 点 が あ る ．例 え ば ，上 記 の 文 は Stan-ford

Dependency[1](went|to|prep),

ではStep 1: 頻度カウントの省略

k=1(store|the|det),k
m=1 {O(fm , S)}.
km=1 {O(fm , Rk )}∑K ∑M[(went|John|nsubj),

k=1(to|store|pobj),(2)(went|on|prep), (on|foot|pobj)] と 分 解 さ れ る の に

kkk
O(fm, Rk ) と O(fm, S) は，それぞれ fm
が Rk ，S に対し，UD では [(went|John|nsubj), (store|to|case),

入っていれば 1 を返し，そうでなければ 0 を返す．

(store|the|det), (went|store|nmod:to), (foot|on|case),3(went|foot|nmod:on)] と な る ．UD の triple では ，述 語-目 的 語 の 関 係 が ，(went|to|prep)と(to|store|pobj) のような中間的な表現を経ることなく(went|store|nmod:to) と表現されている．また UD の2 単に機能語を取り除くだけでは，“store foot” のような意味のない bigram ができてしまう．
3 ROOT の triple は，後述するように本稿での basic elementsから除外されているためここでも表記していない．

4 nsubj,dobj, iobj, csubj, ccomp, xcomp, obl, vocative,expl, dislocated, advcl, advmod, discourse, aux, cop, mark,nmod, appos, nummod, acl, amod, det, clf, case, fixed, flat,compound.
5 BE については頻度カウントの有無が既にオプションとして用意されているが [11]，我々はなぜ頻度カウントを無視するオプションが有効なのか説明する．
6 例えば複合名詞 “ Donald Trump” は，“Donald Trump won
the election.” や “Donald Trump will visit China next week.”など複数のトピックにわたって何度も用いられる可能性があるが，主語-述語関係を表した “Trump won” などは Trump が何かに勝ったという特定のトピックでしか現れず，またそのようなトピックが一つの要約で複数回出てくることは考えにくい．

― 18 ―

Copyright(C) 2018 The Association for Natural Language Processing.
All Rights Reserved.

3.3

Step 2: 意味的に重複する単語を同じクラスタに割り当てる

表 1: データセット詳細. Ref と System は，それぞれトピックごとの参照要約とシステム要約の数である．
人手評価法

制限語数

トピック

Ref

System

DUC 2003

coverage

100

30416

人間は意味的な同一性を判断できる．もし我々が，DUC 2004

coverage

100

50417

要約の中にある要点が含まれているか否かを判断す

DUC 2005

responsiveness250

504 or 932

るように言われたら，要点と意味的に一致する記述がDUC 2006あるかどうかを見るはずである．しかし ROUGE/BE

DUC 2007

は表層形の一致しか判断できない．このことから，表TAC 2011responsivenesspyramid
responsivenesspyramidpyramid25025025050204523444443522321351

層形が異なっていても意味的には同じであるようなユ
ニットについて，ROUGE/BE では重複してスコアを与えたり，あるいは不当に与えなかったりすることがある．例えば，ある評価対象要約に “John killed” と“John murdered” の記述があり，その各記述がそれぞれ別の参照要約に含まれていたとする．この場合，評価対象要約は同じ内容に対して二重にスコアを与えられることになる．また，今度は評価対象要約に “Johnkilled”，参照要約に “John murdered” が含まれていたとすると，正しい内容を含んでいるのにもかかわらず表層形の相違から正しくスコアが与えられない．
この問題に対処するため，意味的に同一と思われる単語を同じクラスタに割り当てる．K 個の参照要約 R = {R1 , ..., RK } と，評価対象要約 S, R と S に含まれる unigram のセット U = {u1 , ..., uP }, U 内の unigram Q 個に対する単語分散表現のセット V ={v1 , ..., vQ } (Q ≤ P ) が与えられているとする．V に基づいて階層クラスタリングを行い，U をクラスタ

ID のセット C = {c1 , ..., cN } に割り当てる．クラス
タ数 N はハイパーパラメータである．次に，R と S
中の unigram を該当するクラスタ ID c に置き換える．
クラスタ ID を付されていない unigram は置き換えず残す．置き換え操作後の参照要約と評価対象要約をそまず，ROUGE/BE と比較して pROUGE/pBE の性能がどの程度向上したかを確かめるため DUC のデータセットで実験をした．Basic elements には de-pendency triple を使うので，ngram で最もこれに近いのは bigram であると考え，ROUGE-27 と比較した．
次に，ROUGE-WE が高い性能を示した，TAC 2011

AESOP task のデータセットで比較を行った．先行研
究では ROUGE-WE-1 が最も良い数字を出していたので [7]，ROUGE には pROUGE-1 を用いた．
その他詳細な実験設定は以下に記す．

Parser：Stanford CoreNLP[5] の neural-network

dependency parser を使用した．係り受けアノテーシ
ョンは enhanced++ Universal Dependencies [10] に設定した．
クラスタリング： 最長距離法の階層クラスタリングを用いた．クラスタ数 N は，pROUGE では 0.95 ∗ Q，

pBE では 0.975 ∗ Q とした．
単語分散表現：word2vec[6] を使って Google-News

で学習された，300 次元 300 万単語のものを使用した8 ．

5

結果と考察

れぞれ R′ ，S ′ とおき，R′ k 中のユニットのセットを実験結果を表 2 と表 3 に示す．表 2 から，DUC 2003′kFk′ = {f1′k , ..., fM} とおく．これを step 1 と組み合わ以外ではすべて ROUGE より pROUGE の相関係数

せると，冗長なユニットを最大限除去した提案手法はが高くなり，すべてのケースで BE と比べて pBE の以下のように定義される：

相関係数が高くなっていることがわかる．特に pBEの相関係数の高さは顕著であり，7 つのデータセット

pROUGE/pBE−cnt+cls (R, S) =∑K ∑M′k′k=1m=1 {O(fm , S )}.
∑K ∑M′k′k=1m=1 {O(fm , R k )}のうち 4 つで最高値を出している．これは，元々冗長(3)なユニットの少ない BE が，提案手法によってさらにこれを取り除かれたためだと考えられる．
表 2 では，+cls が相関係数を下げてしまうことが多4いのにもかかわらず，-cnt+cls の組み合わせが他の指標実験設定より高い相関係数をとっていることも見てとれる．こ

提案手法の性能を調べるにあたって，人手の評価スコアとの相関係数を比較した．使用したのは DUC

2003-2007，TAC 2011 の複数文書要約データセットである．詳細は表 1 を参照．相関係数は，参照要約を除く全システム要約について計算した．

7 本稿の実験において，
ROUGE-1，2 と BE はすべて著者らの実装である．我々の実装では，できるだけ BE と ROUGE の条件を近づけるため，tokenization はどちらも Stanford CoreNLP の tokenizerを使用した．(p)ROUGE-2 は stemming なしで stopword 除去なし，pROUGE-1 は stemming なしで stopword 除去の設定とした．
8 https://code.google.com/archive/p/word2vec/― 19 ―

Copyright(C) 2018 The Association for Natural Language Processing.
All Rights Reserved.

表 2:

pROUGE と pBE の相関係数．“Pearson/Spearman/Kendall” の順に記載．

DUC03

DUC04

DUC05

DUC06

DUC06 pyr

DUC07

DUC07 pyrROUGE-2.872/.832/.667.928/.814/.662.912/.889/.718.828/.736/.557.882/.874/.714.885/.882/.728.982/.978/.923

pROUGE-2−cnt.881/.832/.667.934/.841/.691.925/.905/.751.854/.777/.597.913/.888/.766.893/.888/.740.986/.984/.949

pROUGE-2+cls.872/.826/.650.930/.826/.676.912/.878/.702.834/.732/.557.887/.886/.740.885/.880/.724.984/.989/.949

pROUGE-2−cnt+cls.880/.824/.650.937/.853/.721.924/.898/.735.859/.785/.604.919/.893/.775.892/.886/.736.989/.995/.974

BE.927/.862/.617.936/.868/.721.897/.867/.714.834/.757/.584.883/.837/.680.891/.890/.732.982/.973/.897

pBE−cnt.929/.871/.717.938/.873/.735.904/.879/.718.857/.783/.607.896/.850/.723.902/.906/.760.985/.978/.923

pBE+cls.929/.871/.717.941/.877/.735.897/.862/.702.837/.779/.607.888/.844/.688.890/.893/.732.981/.967/.897

pBE−cnt+cls.932/.879/.750.944/.885/.765.905/.876/.714.861/.805/.635.901/.841/.688.902/.906/.756.985/.989/.949

表 3:

pROUGE/pBE，ROUGE-WE と そ の 他 TAC
2011 AESOP task に参加した自動評価指標の相関係数．
ROUGE-SU4/ROUGE-WE-1/C S IIITH3[3] はそれぞれ
Pearson/Spearman/Kendall 相関係数で最高値をとっていた指標 [9]．
PearsonSpearman

参考文献[1] Marie-Catherine de Marneﬀe, Bill MacCartney, andChristopher D. Manning. Generating typed dependency
parses from phrase structure parses. In 5th International Conference on Language Resources and Evaluation (LREC 2006), 2006.

Kendall

ROUGE-SU4

.981

.894

.737

C S IIITH3.965

.903

.758

ROUGE-WE-1.949.914.753

pROUGE-1−cnt+cls.974

.902

.760

pBE−cnt+cls.946

.915

.772

[2] Eduard H. Hovy, Chin-Yew Lin, Liang Zhou, and Junichi Fukumoto. Automated summarization evaluation
with basic elements. In Proceedings of the Fifth International Conference on Language Resources and Evaluation (LREC 06), 2006.
[3] Niraj Kumar, Kannan Srinathan, and Vasudeva Varma.
Using unsupervised system with least linguistic featuresfor tac aesop task. In Proceed- ings of the Text Analysis
Conference (TAC), 2011.

れは，クラスタリングによって，一つの要約に複数回出[4] Chin-Yew Lin. Rouge: A package for automatic evaluation of summaries. In In Text Summarization Branches
Out: Proceedings of the ACL-04 Workshop, pages 74 ‒ –81, 2004.

現する低情報なユニットが増えたからである．例えばkk
DUC 2003 においては，min{N (fm, Rk ), N (fm, S)}

で 2 以上を返す basic elements が 301 あったが，クラ[5] Christopher D. Manning, Mihai Surdeanu, John Bauer,Jenny Finkel, Steven J Bethard, and David McClosky.
The Stanford CoreNLP natural language processing
toolkit. In Association for Computational Linguistics(ACL) System Demonstrations, pages 55–60, 2014.

スタリング後はこれが 352 にまで増えた．内訳は det
が 106，compound が 175 で，全体の約 80%を占めるまでに増加した．このように，クラスタリングは意味[6] Tomas Mikolov, Ilya Sutskever, Kai Chen, Greg S Corrado, and Jeﬀ Dean. Distributed representations of words
and phrases and their compositionality. In Proceedings ofthe 27th Annual Conference on Neural Information Processing Systems (NIPS), pages 3111 ‒ –3119, 2013.

的な重複を取り除くと同時に低情報量のユニットの重みを上げてしまうが，この重みは-cnt を適用すれば解消される．-cnt+cls はこの相乗効果の結果，高い相関係数を出すものと思われる．

[7] Jun-Ping Ng and Viktoria Abrecht. Better summarization evaluation with word embeddings for rouge. In Proceedings of the 2015 Conference on Empirical Methods
in Natural Language Processing, pages 1925–1930, Lisbon, Portugal, September 2015. Association for Computational Linguistics.

表 3 では，pROUGE−cnt+cls が ROUGE-WE1 に対して Pearson/Kendall 相関係数で上回り，pBE−cnt+cls
は Spearman/Kendall 相関係数で全評価指標中最高値を出しており，提案手法の有効性を示している．

6[8] Joakim Nivre, Marie-Catherine de Marneﬀe, Filip Ginter, Yoav Goldberg, Jan Hajic ˇ , Christopher D. Manning, Ryan McDonald, Slav Petrov, Sampo Pyysalo, Natalia Silveira, Reut Tsarfaty, and Daniel Zeman. Universal dependencies v1: A multilingual treebank collection.
In Proceedings of the Tenth International Conference onLanguage Resources and Evaluation (LREC-2016), 2016.

おわりに
本稿では，冗長なユニットを取り除くために次の 2ステップを適用することを提案した．すなわち，(1)[9] Karolina Owczarzak and Hoa Trang Dang. Overview ofthe TAC 2011 summarization track: Guided task andAESOP task. In Proceedings of the Text Analysis Conference (TAC), 2011.

頻度カウントを省略することと，(2) 意味的に重複する単語を同じクラスタに割り振ることである．以上をROUGE/BE に適用した結果，使用したほぼすべてのデータセットで性能が向上した．特に BE に 2 ステップを適用したものについては，DUC のデータセット

7 つのうち 5 つにおいて人間の評価結果との相関がROUGE を大きく上回り，TAC 2011 では順位相関係
数 2 つで全指標中最も高い値をとった．

[10] Sebastian Schuster and Christopher D. Manning. Enhanced English Universal Dependencies: An improved
representation for natural language understanding tasks.
In Proceedings of the Tenth International Conference onLanguage Resources and Evaluation (LREC 2016), 2016.
[11] Stephen Tratz and Eduard H. Hovy. Summarization evaluation using transformed basic elements. In Proceedingsof Text Analytics Conference (TAC), 2008.

― 20 ―

Copyright(C) 2018 The Association for Natural Language Processing.
All Rights Reserved.