Vol.2016-NL-227 No.5
2016/7/29

情報処理学会研究報告
IPSJ SIG Technical Report

Encoder-Decoder モデルにおける出力長制御
菊池悠太1,a)Graham Neubig2,b)

笹野遼平1,c)

高村大也1,d)

奥村学1,e)

概要：本稿では，encoder-decoder モデルにその出力系列の長さを制御させるための取り組みについて報告する．これは，要約のような一部の応用タスクにおいては必須とも言える機能ではあるが，従来のencoder-decoder モデルでは明示的に取り組まれてこなかった．我々は，文要約タスクを対象に，出力系列の長さを制御するためのいくつかの手法を提案し比較を行う．実験の結果，提案した学習ベースの手法が，従来研究と比較してその精度を劣化させずに出力長の制御機能を獲得したことを確認した．

1. はじめにまれてこなかった．
本研究では，encoder-decoder モデルにおいて出力長を制機械翻訳に適用されて以降 [4], [18], [35]，画像キャプ

御をするための 4 つの手法を提案する．そのうち 2 手法はション生成 [38], [42], 構文解析 [37], 対話応答生成 [21], [34]ビーム探索に変更を加える手法であり，標準的な encoder-

や文要約 [5], [32] などを含む多くの系列生成タスクにおいdecoder モデルを訓練したのち，探索時に長さの入力を受て encoder-decoder モデルを適用した研究が報告されていけ取る．残りの二手法は学習に基づくものであり，出力系

る．本稿においてはこのうち文要約に焦点を当てる．文要列の長さの指定を入力として受け取るようモデルの拡張を

約は，文書要約 [29] やヘッドライン生成 [8] のように，与行い，学習を通して出力長の制御能力を獲得する．

えられた原文 (書) 集合の内容を簡潔にまとめた短い文 (書)提案手法の有効性を確かめるために，文要約における標を生成する，テキスト自動要約の一種である．Rush ら [32]

準的な評価セットにおいて要約の長さ制限を変化させた時がニュース記事とタイトルから大規模な訓練データを整の評価値の変化を確認した．実験により，学習ベースの手備して以降，文要約はニューラルネットワークに基づく

法は長い制限長 (50 バイトおよび 75 バイト) のときに探encoder-decoder モデルの新たな適用タスクとして盛んに研索ベースの手法を上回る傾向にあることが確認できた．ま究され始めている [1], [5], [14], [15], [24], [26], [30].

た，従来手法との比較により，我々の学習ベースの手法は要約器が持つべき重要な能力の一つとして，出力する要約の長さを制御できることが挙げられる．ユーザが所望する要約の長さは，原文書から把握したい情報の粒度や要約を読むデバイスの大きさなど，利用する条件に強く依存する．そのため，ユーザにより入力された所望の長さに応じ出力長の制御能力を獲得しつつもその要約精度の劣化を避けていることを確認した．

2. 背景
2.1 関連研究て柔軟に出力する要約長を制御できることは非常に重要

テキスト要約は自然言語処理において最も古くから研究であり，必須の能力である．実際，文書要約分野におけるされてきた分野のひとつである．その多くは文書を扱う文実験設定では原文書と同時に要約の長さ制限を入力する

書要約であるが，文を対象とする文圧縮やヘッドライン生成のが標準となっている．しかし，その重要さに関わらず，といったタスクも古くから盛んに研究されてきた．与えら

encoder-decoder モデルによる文要約に取り組んだ従来の研れた文からより短い文を生成するというタスクにおいて，伝究では，この出力長の制御という点について明確に取り組

統的にはルール [8], [43] や統計 [9], [10], [11], [12], [20], [40]1に基づく単語の削除を行う手法が盛んに研究されており，現

2

a)
b)
c)
d)
e)

東京工業大学Tokyo Institute of Technology
奈良先端科学技術大学院大学
Nara Institute of Science and Technology
kikuchi@lr.pi.titech.ac.jp
neubig@is.naist.jp
sasano@pi.titech.ac.jp
takamura@pi.titech.ac.jp
oku@pi.titech.ac.jpⓒ 2016 Information Processing Society of Japan

在も主要なアプローチとなっている．また，単語の削除に限らずに原文にない表現を生成するアプローチも研究されている．それらのアプローチは統語的な変換 [6], [27] や句に基づく統計的機械翻訳の枠組みを利用したもの [3], [7], [41]などが報告されている．

1

Vol.2016-NL-227 No.5
2016/7/29

情報処理学会研究報告
IPSJ SIG Technical Report
40000

14000035000

120000180000160000140000

30000

100000120000

25000
80000

100000

60000

80000

20000
15000
10000

40000
20000

5000
0

60000

40000

0

100

200

300

400

500

600

700

0

20000

0

50

(a) 原文 (181.87)

100

150

200

250

300

0

0

(b) 要約文 (51.38)

0.5

1

1.5

2

2.5

3

3.5

(c) 比率 (0.30)

図 1 Annotated English Gigaword Corpus における原文（本文の一文目），要約文（タイトル）の長さ，またそれらの比率のヒストグラム．括弧内の数値はコーパス全体での平均値である．

Rush らは，Annotated English Gigaword Corpus に含まれる．例えば，本タスクでよく用いられる評価セットである，るニュース記事から，大量の訓練事例の自動構築を行った．

DUC2004 の共通課題 1 は 75 バイトという要約長の制限がこれにより，文要約タスクにおいても，encoder-decoder モ

規定されている．75 バイトよりも長い文に対しては 75 バ

デル [4], [18], [35] や attention 機構 [2], [25] といった近年

イトに達するまで文末の文字が削除される．一方で，75 バ

注目されているニューラルネットワークに基づいた研究

イトよりも短い長さの要約に対する追加点は与えられないが増加している．いくつかの研究は，機械翻訳などと共にため，要約システムはできるだけその制限長に近い長さの系列生成タスクのベンチマークの一つとして利用してい要約を出力することが求められる．

る [1], [24], [30]. 一方で，文要約というタスクの性質に着目

Rush らのモデルをはじめとする従来のニューラル文要約

し，原文からのコピーといった人間による要約にも高頻度モデルでは，モデルそのものに出力長を制御する機能を持で出現する現象を捉えたモデルの拡張を行う研究も存在したないため，DUC2004 による評価時はアドホックな手法ている [14], [15]. Nallapati らは，原文に埋め込まれたキーを用いている．具体的には，モデルが文の生成を終える時

ワードを考慮する場合や複数文を入力する場合など，要約に用いる文末記号に対応するシンボル (EOS タグ) の生起における重要な側面について幅広い調査を行った [26]．

確率に −∞ を割り当てる．モデルから EOS を出力する機

言語モデルにおいて文の長さを考慮した研究として，能を排除する代わりに，出力単語数がある閾値*1 に達した

Rosenfeld らによる whole-sentence language models[31] なら出力を終える．最終的に，要約の長さが 75 バイトに収どが挙げられる．しかしながら，冒頭で述べたように，

まるように文末から文字を切り取る．本来であれば，モデ

encoder-decoder モデルやニューラル言語モデルにおいてルは指定された要約長に応じてその振る舞いを変化させ，は，出力文の長さの制御について明示的に取り組んだ研究

適切なタイミングで自ら EOS タグを出力できることが望は存在しない．

まれる．

2.2 Encoder-Decoder モデルにおける出力長の制御

3. Attention 機構付き Encoder-Decoder モデル

1 節で述べた通り，文書要約における最も標準的な設定

本節では，本研究で用いる encoder-decoder モデルについでは，要約対象である原文書と所望する要約の長さを同時て説明する．具体的には， encoder として両方向 Recurrentに要約システムへの入力とする．そのため，要約システム

Neural Network (RNN) を利用する，attention 機構を備えたは任意の長さで要約を生成できることが求められ， これモデルである．図 2 に我々のモデルの概要を示す．

は encoder-decoder モデルに基づく要約器においても同様である．

モデルは， 単語の系列として表された原文 x =(x1 , x2 , x3 , ..., xN ) を要約対象として受け取り (原系列)，

基本的に，encoder-decoder モデルが出力する系列の長さ対応する要約文 y = (y1 , y2 , y3 , ..., yM ) を出力する (目的系

は，その訓練データに含まれる事例の統計値に依存する．

列)．モデルは原文が与えられたときの要約文の条件付き

たとえば，本稿では Annotated English Gigaword Corpus か

確率 p(y|x) を推定するためのパラメータを大規模な訓練ら構築された訓練データを用いるが，人手による要約文

事例 (原文-要約文対) の集合から学習する．この条件付きの平均長は 51.38byte である．図 1 に，Annotated English

確率は，これまで観測した履歴に条件付けられた各単語のGigaword Corpus における文長の統計値を示す．実際，本生起確率の積に分解される:コーパスで標準的な encoder-decoder モデルを訓練し，標準的なビーム探索をを行うと，その出力系列の長さは 40-50
バイトになる傾向にある．しかしながら，これまで述べたようにその出力長は使途に応じて柔軟に変化するべきであⓒ 2016 Information Processing Society of Japan*1

Rush らが公開している実装 (https://github.com/facebook/NAMAS)
では，この閾値を表すデフォルト引数は 15 単語に設定されている．なお，DUC2004 の評価セットに含まれる平均の単語数は10.43 である．

2

Vol.2016-NL-227 No.5
2016/7/29

情報処理学会研究報告
IPSJ SIG Technical Report

ytて，その時刻における decoder の隠れ層 st を用いて以下の

s̃t

at

Attenderみ込む．Luong らの手法は，デコードの各ステップにおい文脈ベクトル dt を計算する．まず，前節で求めた両方向−→←−の隠れ層を加算したベクトル h̄i = h i + h i を原文の情報

h̄iとして保持する．文脈ベクトル dt は，これらの重み付き

ct
ht

mt

ct
ht

st

x1

x2

図2

p(y|x) =xN

x3

平均として計算される:∑
dt =ati h̄i ,i

yt 1

ここで ati は t ステップ目における原系列中の i 番目の単

本稿で用いる encoder-decoder モデルの概要図．
M∏

語の重みであり，softmax 関数により計算される:
ct

ct 1

p(yt |y<t , x),

t=1

ft

i t jt o t

ここで，y<t = (y1 , y2 , y3 , ..., yt−1 ). 以降では， この条件付
ht 1
き確率 p(yt |y<t , x) の計算方法について説明する．

e1 (xt )文脈ベクトルを計算した後，文脈情報付き隠れ層 s̃ と次ステップにおける単語の予測確率 p(yt |y<t , x) を計算する:
hts̃t = tanh(Whs [st ; dt ] + bhs ),p(yt |y<t , x) = softmax(Wso s˜t + bso ).

3.1 Encoder としての両方向 RNN
Encoder は入力された原文系列を後段の decoder を条件
xt

付けるための内部状態へ変換 (エンコード) するための機構である．本研究では，encoder として，ニューラル機械翻訳 [2] や音声認識 [13], [33] において効果が確認されている
両方向 RNN(BiRNN) を用いる．

BiRNN は，原系列を順方向 (文頭から文末) と逆方向 (文末から文頭) で独立に処理する二種類の RNN を用いる．すなわち，エンコードを終えた時点で現系列を順方向に処
−
→ −
→
−
→
理した履歴としての隠れ層のリスト ( h 1 , h 2 , ..., h N ) と，
←
− ←
−
←
−
逆方向に処理した場合の隠れ層のリスト ( h 1 , h 2 , ..., h N )を以下のように計算する:−→→−
h t = g( h t−1 , xt ),←−←−h t = g( h t+1 , xt ).

このとき確率が最大となった単語 yt は，t ステップ目の出力となるとともに，t + 1 ステップ目における LSTM への入力となる．また yt に加えて，Luong らの input feeding 構
造に基づき，s̃t も同様に t + 1 ステップ目の LSTM への入力に用いる．

3.3 目的関数
訓練における目的関数は訓練データ集合 D における対数尤度の最大化である:∑
Lt (θ) =log p(y|x; θ),(x,y)∈Dp(y|x; θ) =∏p(yt |y<t , x).

t

ここで g は RNN で用いる任意の活性化関数であり，本稿では Long short-term memory (LSTM)[16] を用いる．LSTM
を利用する場合は，隠れ層に加え両方向に対応するメモ→−
リーセル −c (あるいは ←c ) を持つ．
texp(st · h̄i )ati = ∑.
′h̄′ exp(st · h̄ )t

ここで θ はモデルが持つ訓練対象のパラメータである．
訓練後は，入力される原文 x に対し，p(y|x; θ) を最大化する出力系列 y をビーム探索により求める．

4. 出力長制御手法

エンコード処理を終えると，次節で説明する decoder の
初期内部状態（隠れ層 s0 およびメモリーセル m0 ）を以下のように初期化する．

←−
s0 = h 1 ,
−
m = ←
c .
0

1

本節では，encoder-decoder モデルを用いて出力の長さを制御するための 4 つの手法を述べる．まず，はじめに訓練するモデルそのものには変更を加えず，ビーム探索時に出力系列の長さを考慮する 2 つの手法を説明する．その後，
出力長の制御を学習により獲得させるためにモデルそのものに変更を加える 2 つの手法について述べる．本稿におい3.2 Decoder および Attention
Decoder は，encoder によりもたらされる原系列の情報に基づき対応する目的系列を出力 (デコード) する．本研究でては，実験に用いる評価セットに合わせてバイト数を長さの単位として実験を行うが，単語を長さの単位にすることも同様に可能である．

は，decoder として encoder と同様に，LSTM をその活性化関数として持つ RNN を用いる．
加えて，Luong らによる attention 機構 [25] をモデルに組ⓒ 2016 Information Processing Society of Japan

4.1 f ixLen: EOS タグの排除による固定長ビーム探索
本手法は，従来の多くのニューラル文要約手法で適用さ3

Vol.2016-NL-227 No.5
2016/7/29

情報処理学会研究報告
IPSJ SIG Technical Report

4.3 LenEmb: 長さ埋め込みベクトルの導入
mt

mt 1

本節および 4.4 節の 2 種類の手法は，出力長の制御機能を訓練を通じて獲得するためにモデルに拡張を加える．近ft

年，decoder への追加的な情報の入力が，その出力系列の

i t jt o t
st

st 1

特性を変化させることが確認されている [22], [39]．本手法
はそれらの知見に基づき，長さの情報を decoder への追加

e1 (xt )e2 (lt )xt

lt

入力とする．
具体的には，本手法では近年のニューラルネットワーク

図3を用いた自然言語処理において標準的に用いられている

LenEmb: 出力すべき残り長さを LSTM への追加的な入力と単語の埋め込み (word embedding) と同様に長さ埋め込みする．

Wle ∈ RE×L をを導入する．L は長さの異なり数であり，Wle は訓練対象のパラメータである．デコードの各ステップにおいて，その時点における出力するべき残りの長さ lt

れている方法に類似した方法である．具体的には，各スについての長さ埋め込みベクトル e2 (lt ) ∈ RE を decoder

テップにおける EOS タグの生起確率を −∞ に設定する．

の LSTM への追加的な入力とする．図 3 に本手法において通常，encoder-decoder モデルは文末記号である EOS タグ

用いる decoder の LSTM を示す．

を生成することでその出力を終えるため，これはすなわちlt は encoder によるエンコード処理が終わったあとに初

モデル自身では文の生成を終えること出来ないことを意味

期化され，decoder によるデコード処理の過程で以下のよする．そのため本手法では，出力系列が指定の長さに達し

うに更新される:

た時点で強制的に生成を止めることで指定した長さに応じた出力系列を得る．このとき，必ず指定長よりも短い系列を得るために，指定長を超えた最後の単語については EOS
タグに置き換える．また生起確率についても同様に，最後

l1 = length,{0
lt+1 =
lt − byte(yt )(lt − byte(yt ) ≤ 0)
(otherwise),の単語の確率の代わりに EOS タグ本来 (すなわち，−∞ に

ここで，byte(yt ) は t ステップ目における出力単語 yt の長置換する前) の生起確率を用いて文全体の生起確率を修正さを返す関数であり，length はモデルが指定された出力長

する．

である．

4.2 f ixRng: 出力長の範囲を規定するビーム探索の情報を入力することにより，decoder は残された長さに各ステップにおいてモデルが出力するべき長さについて
本手法では，f ixLen のように探索時における EOS タグ

応じた文生成のプランニングが可能になる．

の排除は行わない．そのかわり出力系列の長さの許容範囲(最大値と最小値) を規定し，その範囲を超えた長さで EOS
タグを出力した系列全体をビームから削除することで所望の長さの出力系列を得る．
具体的には，標準的なビーム探索の手続きに加え，以下の二つの規則を追加する:• モデルが EOS タグを生成した時，その出力系列の長さが最低値未満であった場合，その系列をビームから削除する．

• モデルが EOS タグ以外の単語を生成したことでその4.4 LenInit: 出力長に応じたメモリセルの初期化
LenEmb では decoder の各ステップにおいて出力するべき残り長さ lt を入力していたが，本手法では LenInit をデコード処理の最初に一度だけ入力する．具体的には，指定された出力長の情報を用いて decoder の LSTM の状態 (隠れ層 s0 およびメモリセル m0 ) を以下のように初期化する:←−
s0 = h 1 ,m0 = bc ∗ length.

(1)

系列の長さが最大値を超えた場合，その系列をビーム

ここで，ベクトル bc ∈ RH は訓練対象のパラメータであから削除する．

り，length は指定された出力長である．本手法を適用した

言い換えると，規定された範囲内で EOS タグを出力したモデル構造を図 4 に示す．

系列のみがビームに残る．本手法は decoder による文生成

各ステップで残り長さの情報を明示的に入力していたのプランニングを尊重することと，出力長を指定すること

LenEmb と異なり，本手法におけるモデルはその内部状態のトレードオフを取った手法となっている．本手法はビーを用いて出力長の制御を行う．内部状態としてメモリーセム探索中に系列を積極的に削除するため，指定範囲が訓練ルを備えた LSTM はこの目的に適していると考えられる．

データの平均長と大きく異なる場合は他手法と比較して大出力長を制御する機構として，既存のメモリーセルを置

きいビーム幅が必要になることに注意されたい．

ⓒ 2016 Information Processing Society of Japan

き換えずに長さ専用のメモリーを追加するなど，ほかの方

4ytAttenderVol.2016-NL-227 No.5
2016/7/29

情報処理学会研究報告
IPSJ SIG Technical Report

yt
x1

x2

x3

xN

lengthbc

Attenderlength

x1

x2

x3

xN
図4

ct-1

ct

ht-1

ht

xt

lengthLenInit: 長さに依存した decoder のメモリーセル m0 の初期化．

bc

10

300

9

140

ct-1

ct

120

250
8
7

100

200

80

6
150
5

60

4

100

40

3
50

1

20

ht-1

2

50

100

150

200

250

300

350

400

450

500

550

(a) 原文 (206.91)

0

35

40

45

50

55

60

65

70

75

80

(b) 要約文 (70.00)

0

ht
0

0.2

0.4

0.6

0.8

1

1.2

(c) 比率 (0.35)

図 5 DUC2004 における原文（本文の一文目），要約文（タイトル）の長さ，またそれらの比率のヒストグラム．括弧内の数値はコーパス全体での平均．
xt

length法も考えられるが，このようなシンプルな拡張でも効果的点は与えられない．本タスクには合計 500 の原文書に対しに働くことを実験を通して確認した．

最大 4 つの人手で書かれた要約 (参照要約) が付与されてい

5. 実験
5.1 データセット

る．図 5 に，本評価セットにおける長さに関する統計値を示す．
本研究では出力長の制御能力を評価するため，75 バイト

訓練データとして，Rush ら [32] がニューラル文要約のの他に制限長を 30 バイト，50 バイトと変化させたときのために構築した Annotated English Gigaword Corpus[28] の評価値の変化を確認する．これにより各々のモデルの出力一部を利用した．前処理として彼らの公開しているスクリ

系列は短くなるが，全ての条件において参照要約についてプトを利用した*2 .

は 75 バイトのまま評価値を計算することに注意されたい．

本データセットは約 360 万対のニュース記事本文の１文

自動評価尺度として ROUGE[23] を用いた．評価を行

目とそのタイトルの組で構成されている．本データセット

う言語単位としてはユニグラム (ROUGE-1)，バイグラムの長さに関する統計値は図 1 に示したとおりである．ま(ROUGE-2) 及び最長共通部分列 (ROUGE-L) を用いた．

た，文頭 (BOS)，文末 (EOS)，未知語 (UNK) タグを含めた原文の語彙サイズは 116,875 であり，要約文の語彙サイズ

5.2 実装の詳細は 67,564 であった．LenEmb および LenInit については，

パ ラ メ ー タ の 学 習 は Adam[19](α=0.001, β1 =0.9,

訓練時にはその訓練事例の要約文の長さを入力する．それ

β2 =0.999, eps=10−8 ) により行い，ミニバッチのサイズはぞれ長さに応じた独立したモデルを訓練するわけではな

80 とした．計算量の効率化を図るため，同じバッチ内のく，指定した長さに柔軟に対応する一つのモデルを訓練す事例の長さを出来るだけ揃えるようにした．具体的には，ることに注意されたい．

まず 10,000 バッチ（800,000 事例）分の訓練事例を読み込

モデルの評価は，DUC2004 における共通課題 1 (gener-

み，ソートにより原文の長さが同じ 80 事例ずつのグルー

ating very short single-document summaries) にて行う．本評

プを作成し，その 10,000 個のグループを無作為に並べ替

価タスクでは，要約システムは入力された文書に対して 75

えたものを順に読み込みパラメータの更新を行った．

バイト未満という非常に短い長さの要約を出力することが単語埋め込みベクトル E の次元は 100，隠れ層の次元 H は求められる．75 バイトを超えた分のテキストは強制的に200 とした．Jozefowicz らの報告 [17] に倣い，LSTM の for-

切り取られ，75 バイトよりも短い文を生成したとしても加get gate のバイアスのみを 1.0 に初期化し，他の gate のバイ*2

アスの初期値は 0.0 とした．モデルの実装には Chainer[36]https://github.com/facebook/NAMASⓒ 2016 Information Processing Society of Japan5

Vol.2016-NL-227 No.5
2016/7/29

情報処理学会研究報告
IPSJ SIG Technical Report

30 bytemodel

ROUGE-1

f ixLen

14.35

f ixRng

ROUGE-2

50 byteROUGE-L

3.10

13.24

ROUGE-1
20.01

ROUGE-2∗∗

5.99

75 byteROUGE-L

ROUGE-1

ROUGE-2

ROUGE-L∗

7.93

23.07∗∗

22.78∗

18.27

∗
∗

26.02

7.69

26.73

25.88

14.32

3.13

13.23

20.08

5.75

18.19

LenEmb

14.24

3.22

13.02

20.79

5.98

18.57

8.40

23.88

LenInit

14.31
3.28
13.20
20.88
6.17
19.01
25.87∗
8.28
表 1 いくつかの要約長制限による各手法の ROUGE 値．∗ は，各列について太字で示された最23.25

高値と比較して，並べ替え検定 (p ≤ 0.05) により有意な差が確認できた値を示している．

sourcefive-time world champion michelle kwan withdrew from the #### us figure skating championships on wednesday ,but will petition us skating officials for the chance to compete at the #### turin olympics .

referencef ixLen (30)

injury leaves kwan ’s olympic hopes in limbo
kwan withdraws from us gp(50)

kwan withdraws from us skating championships(75)

kwan pulls out of us figure skating championships for turin olympics

f ixRng (30)kwan withdraws from us gp(50)

kwan withdraws from figure skating championships(75)

kwan pulls out of us figure skating championships for turin olympics bid

LenEmb (30)kwan withdraws from us figure(50)kwan withdraws from us figure skating championships(75)

world champion kwan withdraws from #### olympic figure skating championships

LenInit (30)kwan quits us figure skating(50)

kwan withdraws from #### us figure skating worlds(75)

kwan withdraws from #### us figure skating championships for #### olympics
表 2 各手法が実際に出力した文の例．

を利用した．

モデルが獲得した出力長の制御の能力を示すためである．

LenEmb において，L は 300 とした．これは本研究で

表 1 を 見 る と ，学 習 に 基 づ く 手 法（LenEmb お よ び

用いるデータセットにおける要約文の最大長よりも大き

LenInit）は，50 バイトおよび 75 バイト設定においてな数である (図 1-(b) および図 5-(b) を参照されたい). ビー

探索に基づく手法 (f ixLen および f ixRng) を上回る傾向

ム探索時のビーム幅は f ixRng 以外のモデルでは 10 としにあることがわかる．しかしかながら， 30 バイト設定におた．前述の通り f ixRng では多くの事例がビームから削除

いて両者に有意な差は見られなかった．これは，30 バイト

されるため．ビーム幅を 100 にして実験を行った．また，設定においてモデルが強いられる平均圧縮率は 15.38%で

f ixRng における範囲の最大値は指定された長さ，最小値あり，訓練時に観測した平均圧縮率である 30% (図 1-(c))

は最大値から 5 を減じた値を用いた．

との乖離が大きいことが原因として考えられる．

6. 実験結果

6.2 各手法の出力例

6.1 ROUGE による評価

表 2 および表 3 に，訓練データセットの検証セットにお表 1 に，各長さ制限における ROUGE 値を示す．ここで，いて各モデルが出力した要約を示す．表より，4 つの手法

f ixLen および f ixRng はその性質上，出力系列の長さにのいずれの例においても，多くの場合で定性的に破綻の無関するハードな制約があるため必ず制限長以下の長さの系

い文を生成できていることが確認できる．“#### us figure列が出力されるが，LenEmb と LenInit はハードな制約

championships”*3 や “withdrew” に対する多様な言い換えなとして長さの制御を学習しているわけではないため，ビーどが観測できることは従来のニューラル文要約タスクでもム探索の終了時には制限長を微妙に超える系列も存在して報告されていたが，本稿の提案手法でも同様に観測できた．

しまう．比較を公平に行うため，ROUGE 値を計算するとまた，表 3 における LenEmb および LenInit の 30 バイト

きは LenEmb および LenInit にも長さをハードに制約し設定のように一つの名詞句としてタイトルを生成することたビーム探索を行う．具体的には，f ixRng における最小は，短い要約文が必要なケースにおいて有効な能力である値を 0 にした設定でビーム探索を行う．

といえる．

ただし，以降の節で詳しく述べる表 2，表 3 および表 4-(a)については長さに関する制約は一切用いずにビーム探索を行った結果を示す．これは，学習ベースの手法に基づいたⓒ 2016 Information Processing Society of Japan*3“#” は，数字を置き換えたタグであり，“us” は “US” (United States)を意味している.

6

Vol.2016-NL-227 No.5
2016/7/29

情報処理学会研究報告
IPSJ SIG Technical Reportsourceat least two people have tested positive for the bird flu virus in eastern turkey , health minister recep akdag told anews conference wednesday .
two test positive for bird flu virus in turkey

referencef ixLen (30)

two people tested positive for(50)

two people tested positive for bird flu in eastern(75)

two people tested positive for bird flu in eastern turkey says health ministerf ixRng (30)

two infected in bird flu case(50)

two tests positive for bird flu in eastern turkey(75)

two people tested positive for bird flu in eastern turkey says minister

LenEmb (30)

two bird flu cases in turkey(50)

two confirmed positive for bird flu in eastern turkey(75)

at least two bird flu patients test positive for bird flu in eastern turkey

LenInit (30)

two cases of bird flu in turkey(50)

two people tested positive for bird flu in turkey(75)

two people tested positive for bird flu in eastern turkey health conference
表 3 各手法による別の実例．

logp(y|x)

byte

sentencelogp(y|x)

byte

sentence

-4.27

31

two cases of bird flu in turkey

-5.05

57

two people tested positive for bird flu in eastern turkey

-4.41

28

two bird flu cases in turkey

-5.13

50

two tested positive for bird flu in eastern turkey

-4.65

30

two people tested for bird flu

-5.30

39

two people tested positive for bird flu

-5.25

30

two people tested in e. turkey

-5.49

51

two people infected with bird flu in eastern turkey

-5.27

31

two bird flu cases in e. turkey

-5.52

32

two tested positive for bird flu

-5.51

29

two bird flu cases in eastern

-5.55

44

two infected with bird flu in eastern turkey

-5.55

32

two people tested in east turkey

-6.00

49

two more infected with bird flu in eastern turkey

-5.72

30

two bird flu cases in turkey :

-6.04

54

two more confirmed cases of bird flu in eastern turkey

-6.04

30
two people fail bird flu virus(a) LenInit のビームの最終状態．

表4

-6.50
49
two people tested positive for bird flu in turkey(b) 出力系列の長さを考慮しなかった場合のビームの最終状態．

LenInit と長さの考慮を伴わない encoder-decoder モデルにおけるビームの最終状態．

6.3 学習ベース手法の出力長制御能力

model

ROUGE-1

ROUGE-2

ROUGE-L

表 4-(a) は，表 3 の 30 バイト設定において LenInit が

f ixLen

25.88

7.93

23.07

要約文を出力した際の最終的なビームの状態である．長さ

f ixRng

26.02

7.69

22.78

について一切制約を加えない標準的なビーム探索であるに

LenEmb

26.73

8.40

23.88

LenInit

25.87

8.28

23.25

ABS[32]

26.55

7.06

22.05

ABS+[32]

28.18

8.49

23.81

RAS-Elman[5]

28.97

8.26

24.06

も関わらず，ビーム内のすべての系列が指定した 30 バイ
トに近い長さの文になっており，学習に基づく LenInit のモデルがその出力長の制御能力を獲得していることがわかる．なお，この傾向は LenEmb においても同様であった．
比較として，表 4-(b) に明示的に長さについて考慮しな
い標準的な設定で訓練した encoder-decoder モデル (すなわRAS-LSTM[5]
27.41
7.69
23.06
表 5 従来手法で報告されている ROUGE 値との比較．上 4 行は表 1
からの再掲.

ち，f ixLen および f ixRng で用いたもの) に対して標準的なビーム探索を行った際の最終的なビームの状態を示す．
この例においても要約文自体は破綻のない原文に沿ったものになっているものの，その長さは多様であることがわかる．

ることは興味深い．
表 5 に，表 1 から再掲した我々の手法の ROUGE 値と，主な従来手法による ROUGE 値を示す．提案手法のうち

f ixLen が，モデルそのものの複雑度を無視した場合に，6.4 既存手法との比較

ABS[32] を始めとした他の従来手法と最も似た設定での実最後に本節では，DUC2004 の共通課題 1 における標準験を行っている．表 5 に示す結果から，f ixLen と従来手的な 75 バイト設定における従来手法との比較を行う．本法との間には精度の面で大きな差異がないことが確認でき

稿の目的は本評価セットにおける最高精度を獲得することる．また，学習ベースである LenEmb および LenInit が，ではないものの，出力長の制御機能を獲得した我々のモデ

ROUGE 値の劣化を避けつつ出力長の制御能力を獲得してルが ROUGE 値の観点で従来手法とどう異なるかを確認すいることも分かる．

ⓒ 2016 Information Processing Society of Japan7

Vol.2016-NL-227 No.5
2016/7/29

情報処理学会研究報告
IPSJ SIG Technical Report

7. おわりに[14]

本研究では，文要約タスクを対象に，encoder-decoder モ
デルにおいてその出力系列の長さを制御させるための取り[15]組みを行った．本稿では探索ベースや学習ベースの 4 つの手法を提案し，定量的および定性的な実験を行った．実験の結果，学習ベースの手法が探索ベースの手法を上回る傾[16]

向にあることが分かり，学習ベースの手法はその出力系列の長さを制御する機能を，ROUGE 値の劣化を伴うことな[17]

く獲得できていることが分かった．
[18]

謝辞
本研究は JSPS 科研費 JP26280080 の助成を受けたものです．また，本研究を進めるにあたり株式会社ドワンゴ様から GPU サーバファーム紅莉栖の一部貸与を受けました．

[19]
[20]

ここに記して謝意を表します．
[21]

参考文献
[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]

[10]

[11]

[12]

[13]

Ayana, Shen, S., Liu, Z. and Sun, M.: Neural Headline Generation with Minimum Risk Training, CoRR,
Vol. abs/1604.01904 (2016).
Bahdanau, D., Cho, K. and Bengio, Y.: Neural MachineTranslation by Jointly Learning to Align and Translate, Proceedings of ICLR15 (2015).
Banko, M., Mittal, V. O. and Witbrock, M. J.: Headline
Generation Based on Statistical Translation, Proceedings of
ACL00, pp. 318–325 (2000).
Cho, K., van Merrienboer, B., Gulcehre, C., Bahdanau, D.,
Bougares, F., Schwenk, H. and Bengio, Y.: Learning Phrase
Representations using RNN Encoder–Decoder for Statistical Machine Translation, Proceedings of the EMNLP14, pp.
1724–1734 (2014).
Chopra, S., Rush, A. M. and Auli, M.: Abstractive Summarization with Attentive Recurrent Neural Networks, Proceedings of the NAACL-HLT16 (2016).
Cohn, T. and Lapata, M.: Sentence Compression Beyond
Word Deletion, Proceedings of COLING08, pp. 137–144(2008).
Cohn, T. and Lapata, M.: An Abstractive Approach to Sentence Compression, ACM TIST13, Vol. 4, No. 3, pp. 41:1–
41:35 (2013).
Dorr, B., Zajic, D. and Schwartz, R.: Hedge Trimmer: A
Parse-and-Trim Approach to Headline Generation, Proceedings of the HLT-NAACL 03 Text Summarization Workshop,
pp. 1–8 (2003).
Filippova, K., Alfonseca, E., Colmenares, C. A., Kaiser, L.
and Vinyals, O.: Sentence Compression by Deletion with
LSTMs, Proceedings of EMNLP15, pp. 360–368 (2015).
Filippova, K. and Altun, Y.: Overcoming the Lack of Parallel
Data in Sentence Compression, Proceedings of EMNLP13,
pp. 1481–1491 (2013).
Filippova, K. and Strube, M.: Dependency Tree Based
Sentence Compression, Proceedings of INLG08, pp. 25–32(2008).
Galanis, D. and Androutsopoulos, I.: An extractive supervised two-stage method for sentence compression, Proceedings of NAACL-HLT10, pp. 885–893 (2010).
Graves, A., Jaitly, N. and r. Mohamed, A.: Hybrid speechⓒ 2016 Information Processing Society of Japan

[22]

[23]

[24]

[25]

[26]

[27]

[28]

[29]

[30]

[31]

[32]

[33]

recognition with Deep Bidirectional LSTM, Proceedings ofIEEE Workshop on ASRU13, pp. 273–278 (2013).
Gu, J., Lu, Z., Li, H. and Li, V. O. K.: Incorporating Copying
Mechanism in Sequence-to-Sequence Learning, Proceedingsof ACL16 (to appear) (2016).
Gülçehre, Ç., Ahn, S., Nallapati, R., Zhou, B. and Bengio,
Y.: Pointing the Unknown Words, Proceedings of ACL16 (toappear) (2016).
Hochreiter, S. and Schmidhuber, J.: Long Short-Term Memory, Neural Computation, Vol. 9, No. 8, pp. 1735–1780(1997).
Józefowicz, R., Zaremba, W. and Sutskever, I.: An Empirical
Exploration of Recurrent Network Architectures, Proceedings of ICML15, pp. 2342–2350 (2015).
Kalchbrenner, N. and Blunsom, P.: Recurrent Continuous
Translation Models, Proceedings of EMNLP13, pp. 1700–
1709 (2013).
Kingma, D. P. and Ba, J.: Adam: A Method for Stochastic
Optimization, Proceedings of ICLR15 (2015).
Klerke, S., Goldberg, Y. and Søgaard, A.: Improving sentence compression by learning to predict gaze, Proceedingsof NAACL-HLT16, pp. 1528–1533 (2016).
Li, J., Galley, M., Brockett, C., Gao, J. and Dolan, B.: A
Diversity-Promoting Objective Function for Neural Conversation Models, Proceedings of the NAACL-HLT16 (2016).
Li, J., Galley, M., Brockett, C., Gao, J. and Dolan, B.: A
Persona-Based Neural Conversation Model, Proceedings of
ACL16 (to appear) (2016).
Lin, C.-Y.: ROUGE: A Package for Automatic Evaluation ofSummaries, Text Summarization Branches Out: Proceedingsof the ACL-04 Workshop, pp. 74–81 (2004).
Lopyrev, K.: Generating News Headlines with Recurrent
Neural Networks, CoRR, Vol. abs/1512.01712 (online), available from ⟨http://arxiv.org/abs/1512.01712⟩ (2015).
Luong, T., Pham, H. and Manning, C. D.: Effective Approaches to Attention-based Neural Machine Translation,
Proceedings of EMNLP15, pp. 1412–1421 (2015).
Nallapati, R., Xiang, B. and Zhou, B.: Sequence-to-Sequence
RNNs for Text Summarization, CoRR, Vol. abs/1602.06023(online), available from ⟨http://arxiv.org/abs/1602.06023⟩(2016).
Napoles, C., Callison-Burch, C., Ganitkevitch, J. andVan Durme, B.: Paraphrastic Sentence Compression with a
Character-based Metric: Tightening without Deletion, Proceedings of the Workshop on Monolingual Text-To-Text Generation, pp. 84–90 (2011).
Napoles, C., Gormley, M. and Van Durme, B.: Annotated
Gigaword, Proceedings of the Joint Workshop on Automatic
Knowledge Base Construction and Web-scale Knowledge Extraction, pp. 95–100 (2012).
Nenkova, A. and McKeown, K.: Automatic Summarization,
R in Information Retrieval, Vol. 2-3,
Foundations and Trends⃝
pp. 103–233 (2011).
Ranzato, M., Chopra, S., Auli, M. and Zaremba, W.:
Sequence Level Training with Recurrent Neural Networks, CoRR, Vol. abs/1511.06732 (online), available from⟨http://arxiv.org/abs/1511.06732⟩ (2015).
Rosenfeld, R., Chen, S. F. and Zhu, X.: Whole-sentence exponential language models: a vehicle for linguistic-statistical
integration., Computer Speech & Language, Vol. 15, No. 1,
pp. 55–73 (2001).
Rush, A. M., Chopra, S. and Weston, J.: A Neural Attention
Model for Abstractive Sentence Summarization, Proceedingsof EMNLP15, pp. 379–389 (2015).
Schuster, M. and Paliwal, K.: Bidirectional Recurrent Neural8

情報処理学会研究報告
IPSJ SIG Technical Report

[34]

[35]

[36]

[37]

[38]

[39]

[40]

[41]

[42]

[43]

Vol.2016-NL-227 No.5
2016/7/29

Networks, IEEE Transactions on Signal Processing, Vol. 45,
No. 11, pp. 2673–2681 (1997).
Serban, I. V., Sordoni, A., Bengio, Y., Courville, A. C. andPineau, J.: Building End-To-End Dialogue Systems Using
Generative Hierarchical Neural Network Models, Proceedings of AAAI16, pp. 3776–3784 (2016).
Sutskever, I., Vinyals, O. and Le, Q. V.: Sequence toSequence Learning with Neural Networks, Proceedings of
NIPS14, pp. 3104–3112 (2014).
Tokui, S., Oono, K., Hido, S. and Clayton, J.: Chainer: a
Next-Generation Open Source Framework for Deep Learning, Proceedings of NIPS15 Workshop on LearningSys(2015).
Vinyals, O., Kaiser, L., Koo, T., Petrov, S., Sutskever, I. andHinton, G. E.: Grammar as a Foreign Language, Proceedingsof NIPS15, pp. 2773–2781 (2015).
Vinyals, O., Toshev, A., Bengio, S. and Erhan, D.: Show andtell: A neural image caption generator, Proceedings of theIEEE Conference on Computer Vision and Pattern Recognition, pp. 3156–3164 (2015).
Wen, T.-H., Gasic, M., Mrkšić, N., Su, P.-H., Vandyke, D.
and Young, S.: Semantically Conditioned LSTM-based Natural Language Generation for Spoken Dialogue Systems, Proceedings of EMNLP15, pp. 1711–1721 (2015).
Woodsend, K., Feng, Y. and Lapata, M.: Title Generation with Quasi-Synchronous Grammar, Proceedings of the
EMNLP10, pp. 513–523 (2010).
Wubben, S., van den Bosch, A. and Krahmer, E.: Sentence
Simplification by Monolingual Machine Translation, Proceedings of ACL12, pp. 1015–1024 (2012).
Xu, K., Ba, J., Kiros, R., Cho, K., Courville, A., Salakhudinov, R., Zemel, R. and Bengio, Y.: Show, Attend and Tell:
Neural Image Caption Generation with Visual Attention, Proceedings of ICML15 (Blei, D. and Bach, F., eds.), pp. 2048–
2057 (2015).
Zajic, D., Dorr, B. J. and Schwartz, R.: Bbn/umd at duc-2004:
Topiary, Proceedings of NAACL-HLT04 Document Understanding Workshop, pp. 112 – 119 (2004).

ⓒ 2016 Information Processing Society of Japan

9