言語処理学会 第24回年次大会 発表論文集 (2018年3月)

Minimum Risk Training に基づく要約モデルの出力長制御
牧野拓哉 1,2 ，岩倉友哉 1 ， 高村大也 2,3 ，奥村学 3
株式会社富士通研究所 1 , 産業技術総合研究所人工知能研究センター 2
東京工業大学 3{makino.takuya,iwakura.tomoya}@jp.fujitsu.com{takamura,oku}@pi.titech.ac.jp

1

はじめに
テキスト自動要約とは与えられた文書や文に対して簡潔で一貫性のある要約を生成する研究課題である。
要約器は指定された長さ以内でできるだけ入力テキス
トの情報を網羅した文を生成することが求められる。
デバイスの大きさやシステム要件に関係して、制限長(a) 従来の MRT内で要約を生成することは重要である。
近年、文要約に対する生成型要約研究が盛んにおこなわれている [1,3,6,8]。要約の長さを制御するためにLong Short Term Memory (LSTM) [2] の変種が提案されている [3]。この手法では、要約の長さを制御するために、入力文と正解の要約文 (参照要約) の対から、出力可能な残りの長さに関する情報を加えて、対数尤度の最大化 (Maximizing Log-likelihood Estimation;MLE) に基づいてモデルを学習する。この方法では参照要約の生成確率を最大化することを目的とし、長さ制限を超えた場合についての学習はしない。そのため、要約生成時には長さ制限を超えることも少なくない。
本稿は長さ制限を考慮した Minimum Risk Training(MRT) を提案する。MLE に基づく学習と異なり、提案手法は参照要約に加えて長さ制限を超えた要約を学習に用いる。また従来の MRT と異なり、提案手法はROUGE [5] に最適化するだけでなく、長さ制限を超えた要約に対して罰則を与える。
また、提案手法における可読性に関わる要因分析をおこなう。ROUGE は単語 n-gram に基づく参照要約とモデルが生成した要約 (システム要約) の一致に基づく評価指標である。そのため、非文法的で可読性が低くても ROUGE 値が高い要約を生成する可能性がある。そこで提案手法では参照要約を利用することで可読性の改善に貢献することを示す。
Annotated Gigaword コーパス [7] および DUC 2004
task1 を用いて実験をおこなった。提案手法は多くの場合で長さ制限内で要約を生成する一方で、 ROUGE(b) 提案手法

図 1: 従来手法および提案手法の概要による自動評価で先行研究を超え、人手評価で同等の評価値が得られた。

2

Minimum Risk Training
図 1a に従来の MRT の概要を示す。MRT は入力文x = ⟨x1 , ..., xN ⟩ および参照要約 y = ⟨y1 , ..., yM ⟩ の対からなる学習データ D = {(x, y), ...} に対して、次の損失を最小化することによりモデルを評価値に対して最適化する。
∑∑
LM RT (θ) =Q(y′ |x; θ)∆(y, y′ ),(x,y)∈D y′ ∈S(x)ただし、― 392 ―p(y′ |x; θ)γ.
∗γy∗ ∈S(x) p(y |x; θ)Q(y′ |x; θ) = ∑Copyright(C) 2018 The Association for Natural Language Processing.
All Rights Reserved.

覆するほど減少する。末尾 byte(y′ ) − byte(y) バイト
は ROUGE 値の計算に考慮されない。第二項はシス
テム要約が参照要約よりも長いほど増加する。図 2 に∆(y, y′ ) および提案手法の損失の例を示す。

(a) ∆(y, y′ ) の例

提案手法の目的関数は次の様に書き換えられる。

∑ {LLim (θ) =−Q(y|x; θ)(x,y)∈D−∑y− ∈S̃ − (x)+˜(b) ∆(y,y′ ) の例′}
˜
Q(y+ |x; θ)∆(y,y+ ) ,y+ ∈S̃ + (x)′˜
図 2: ∆(y, y ) および ∆(y,y ) の例。ただし ROUGEの再現率を unigram に基づいて計算するものとする。y = ⟨malaysia, markets, closed, for, holiday⟩ とし、y′ = ⟨markets, in, malaysia, closed, for, holiday⟩とする。byte(y) および byte(y′ ) は 38、35 となる。

∆(y, y′ ) は損失とし、参照要約 y およびシステム
要約 y′ の間の ROUGE 値の負の値である。γ は平滑化因子とする。S(x) は入力文 x に対してモデルが生成した要約の集合とし、サンプリングによって生成する。p(y|x; θ) はパラメータを θ として、入力文を x としたときの y の生成確率であり、p(y|x; θ) =∏M
t=1 p(yt |y1 , ..., yt−1 , x; θ) とする。

3

∑˜Q(y− |x; θ)|∆(y,y− )|MRT における出力長の制御

˜
ただし S̃ − (x) = {y′ |y′ ∈ S̃(x) ∧ ∆(y,y′ ) < 0} およ˜び S̃ + (x) = {y′ |y′ ∈ S̃(x) ∧ ∆(y,y′ ) > 0} とする。
Q(y′ |x; θ) ≥ 0 であり、y′ が参照要約の長さを超え˜る場合、∆(y,y′ ) ≥ 0 となる。よって LLim を最小化する際に以下のようになる。(i) 長さ制限より短い要˜
約に対する Q(y− |x; θ) は ∆(y,y− ) < 0 のため増加する。(ii) 長さ制限より長い要約に対する Q(y+ |x; θ) は˜∆(y,y+ ) > 0 のため減少する。そのため長さ制限を超える要約は、学習を通して生成されにくくなる。ま˜た、∆(y,y) = −1 であることから、参照要約の生成確率を上げることはモデルの出力の確率を上げるよりも LLim の減少により寄与する。

4実験

4.1

データセット

図 1b に提案手法の概要を示す。提案手法では参照モデルの学習には Annotated Gigaword コーパス

要約よりも長いシステム要約に対して罰則を与えるた
˜ を導入する。目的関数は次のようになる。
めに、∆から抽出したおよそ 400 万事例のヘッドラインおよLLim (θ) =∑∑び記事の先頭文の対を用いる。評価には AnnotatedGigaword コーパスのテストデータから無作為に抽出˜Q(y′ |x; θ)∆(y,y′ ),した 2,000 事例および DUC 2004 task1 を用いる。

(x,y)∈D y′ ∈S̃(x)ただし S̃(x) = S(x) ∪ {y} および4.2p(y|x; θ)γQ(y |x; θ) = ∑∗γy∗ ∈S̃(x) p(y |x; θ)′AttRNN 注意機構付きの RNN エンコーダ・デコー
ダ [6]。ビームサーチにより出力を生成する際に、˜とする。∆(y,y′ ) は次の様に計算する。
′

出力のスコアを単語の数により正規化し、極端に短い出力を生成しないようにする。

′˜∆(y,y ) = −ROUGE(y, trim(y , byte(y)))+max(0, byte(y′ ) − byte(y)),

比較する要約モデル(1)

LenEmb 長さ制御を考慮した LSTM に基づく RNN

ただし trim(y′ , byte(y)) は y′ の先頭から byte(y) バイト取得する関数である。式 (1) の初項はシステム要約の先頭 byte(y) バイトが参照要約の n-gram を被― 393 ―エンコーダ・デコーダ [3]。長さの分散表現の次元を 100、長さの異なり数を 300 とした。本稿で再実装したこのモデルを LenEmb (ReImp) とする。

Copyright(C) 2018 The Association for Natural Language Processing.
All Rights Reserved.

表 1: Gigaword における LenEmb (ReImp) の ROUGE 値 (%) 。ROUGE 計算時にストップワードを含む。∗ がついたスコアはその列の最良のスコアとの差が有意である。

学習手法

MLE
MRT-Lim R1
MRT-Lim R2

R1
26.74∗
28.58
27.33∗

50 bytes
R2
11.19∗
11.95
11.96

RL
24.98∗
26.67
25.73∗

R1
31.50∗
32.86
31.70∗

75 bytes
R213.22∗
14.04
13.57∗

RL
28.83∗
30.09
29.19∗

MRT-Lim LenEmb (ReImp) を学習するための提案
˜ には長さに対する罰則を付けた ROUGE手法。∆
1 および ROUGE-2 の再現率の負の値の二種類をそれぞれ学習した。
パラメータの更新には Adam [4] 1 を用いた。MRTおよび MRT-Lim に対して γ を 0.0005 とし、|S̃(x)|を 20 とした。MRT のすべての学習対象のパラメータの初期値を事前に MLE で学習した。
(a) 50 bytes(b) 75 bytes

4.4

図 3: LenEmb (ReImp) の出力長の分布

実験結果

表 1 に Gigaword での LenEmb (ReImp) の各学習手法の結果を示す。評価には ROUGE-1 (R1)、ROUGE-

表 2: DUC2004 における ROUGE 値 (%)
モデル

学習手法ABS+ [8]LenEmb [3]G-RNN [1]LenEmb(ReImp)AttRNN
LenEmb(ReImp)LenEmb(ReImp)

MLE
MLE
MRT R1MLE
MRT R1
MRT-Lim
R1
MRT-Lim
R2

2 (R2) および ROUGE-L (RL) の再現率を用いた。
R1
28.18
26.73
30.41
26.52

R2
8.49
8.28
10.87
8.49

RL
23.81
23.25
26.79
23.51

27.42
28.09

8.53
8.98

23.82
24.85

26.98

8.91

23.95

ROUGE 値はそれぞれ 50, 75 バイトと長さ制限を与えて計算した。有意差検定にはウィルコクソンの符号和付き順位検定 (p ≤ 0.05) を用いた。提案手法はMLE よりもすべての評価値で良い結果が得られた。
図 3 に MLE、MRT-Lim で学習したモデルによる出力長分布を示す。提案手法は MLE よりも長さ制限以内で要約を生成できることがわかる。これらの結果か
ら提案手法は長さ制限内で ROUGE 値が高い出力を生成することに寄与していることが分かる。

各モデルの単語の分散表現、隠れ状態の次元を 100、表 2 に先行研究との比較を示す。ROUGE 値の計算200 とした。出力の生成には幅 5 のビームサーチを用は他の先行研究の設定と同じとしている 2 。先行研究いる。ビーム内のすべての出力の末尾が文の終端を表と比較して、提案手法は R2 および RL において良いす EOS となるか、生成した単語数が 20 となれば探索値を示している。

MRT に基づく G-RNN はすべての ROUGE 値にお終了とした。

いて最高の結果を示している。しかしながら G-RNN
は長さ制限を考慮したモデルではないので、制限より4.3比較する学習手法も長い出力を生成している可能性がある。

MLE 対数尤度の最大化に基づく学習。次の目的関数を最大化することによりパラメータを更新す∑る: LM LE (θ) =(x,y)∈D p(y|x; θ)。LenEmb

4.5

人手評価

本稿の著者ではない評価者に次の 2 つの項目につい(ReImp) の学習に用いる。て 5 段階評価を依頼した。

MRT AttRNN を学習するための従来の MRT。 ∆は ROUGE-1 の再現率の負の値とした。

― 394 ―

1 α = 0.0001, β = 0.9, β = 0.999, ϵ = 10−8 とした
1
2
2 https://github.com/facebookarchive/NAMAS

Copyright(C) 2018 The Association for Natural Language Processing.
All Rights Reserved.

表 3: Gigaword における生成例
入力
参照要約

MLE
MRT-Lim R2

the european central bank published on wednesday details of its latest operations to boost
interbank lending on eurozone money markets .
ecb releases latest details of money market dollar lending
european central bank publishes latest operations to boost interbank lending
ecb publishes latest operations to boost interbank lending money marketsである。参照要約を用いて学習することで、可読性や表 4: 人手評価結果情報性が向上することが分かる。
モデル

学習手法

Reference
AttRNN
LenEmb(ReImp)LenEmb(ReImp)LenEmb(ReImp)–
MRT R1
MLE(R)
3.75
2.89
2.85(I)
4.13
2.57
2.54

MRT-Lim R1

2.79

2.415終わりに長さ制限がある要約タスクに対する minimum risk

training を提案した。提案手法は長さ制限内で出力をMRT-Lim R22.86

2.54生成し、また ROUGE 値および人手評価において先行研究よりも良い。今後の課題として、一層可読性を改善するために、可読性を考慮したモデルの学習手法

表 5: ROUGE 値 (%) と人手評価の結果を検討したい。
w/ refw/o ref

R1
28.09
29.47

R2
8.98
8.89

RL
24.85
25.60(R)
2.79
2.28(I)
2.41
2.26

参考文献

• 可読性 (R) ヘッドラインは文法的に正しいか• 情報性 (I) ヘッドラインは入力文の重要な箇所を被覆しているかシステムの出力に加えて参照要約 (Reference) の評価も依頼した。Reference は 4 つの参照要約の平均値とする。表 4 に人手評価の結果を示す。提案手法は可読性および情報性の観点でともに MLE と同等の結果となった。AttRNN は MLE で学習した LenEmb よりも良い結果を示している。しかし AttRNN は出力長を制御しない。表 3 に長さ制限を 75 バイトとしたと
きの LemEmb の出力例を示す。MLE と比較して提案手法は長さ制限内で出力を生成している。

4.6

MRT における参照要約の寄与の評価

表 5 に MRT-Lim R1 の学習時に参照要約を利用した場合 (w/ ref) としていない場合 (w/o ref) での評価結果を示す。前者は学習時に S̃(x) を、後者は S(x)を用いる。参照要約を利用しない MRT-Lim は、参照要約を利用した MRT-Lim よりも高い ROUGE 値となった。しかし人手評価の結果は参照要約を利用した[1] Ayana, Shi-Qi Shen, Yan-Kai Lin, Cun-Chao Tu,Yu Zhao, Zhi-Yuan Liu, and Mao-Song Sun. RecentAdvances on Neural Headline Generation. Journal ofComputer Science and Technology, No. 4, pp. 768–784.
[2] Sepp Hochreiter and Jürgen Schmidhuber. Long
Short-Term Memory. Neural Comput., No. 8, pp.
1735–1780.
[3] Yuta Kikuchi, Graham Neubig, Ryohei Sasano, Hiroya Takamura, and Manabu Okumura. Controlling
Output Length in Neural Encoder-Decoders. In Proceedings of EMNLP16, pp. 1328–1338.
[4] Diederik P. Kingma and Jimmy Ba. Adam:
Method for Stochastic Optimization. CoRR.

A[5] Chin-Yew Lin. ROUGE: A Package for AutomaticEvaluation of Summaries.
[6] Minh-Thang Luong, Hieu Pham, and Christopher D.
Manning. Eﬀective Approaches to Attention-based
Neural Machine Translation.
In Proceedings ofEMNLP15, pp. 1412–1421.
[7] Courtney Napoles, Matthew Gormley, and Benjamin
Van Durme. Annotated Gigaword. In Proceedings of
AKBC-WEKEX12, pp. 95–100.
[8] Alexander M. Rush, Sumit Chopra, and Jason Weston. A Neural Attention Model for Abstractive Sentence Summarization. In Proceedings of EMNLP15,pp. 379–389.

ほうが良い結果となった。これは 1 節で述べたように非文法的でかつ ROUGE 値が高い文を用いた学習により、モデルが非文法的な文を生成しやすくなるため― 395 ―

Copyright(C) 2018 The Association for Natural Language Processing.
All Rights Reserved.