言語処理学会 第24回年次大会 発表論文集 (2018年3月)

ニューラルヘッドライン生成における誤生成問題の改善
清野 舜 1
1

高瀬 翔 2

鈴木 潤 2

岡崎 直観 3

乾 健太郎 1,4

永田 昌明 2

NTT コミュニケーション科学基礎研究所 3 東京工業大学 4 理研 AIP
1{kiyono, inui}@ecei.tohoku.ac.jp 3 okazaki@c.titech.ac.jp
2{takase.sho, suzuki.jun, nagata.masaaki}@lab.ntt.co.jp

東北大学

2

1 はじめにアテンション付きエンコーダデコーダモデル（EncDec）[10]は，提案されて以来，機械翻訳 [1]，対話システム [9]，ヘッドライン生成 [7] など様々なタスクへと適用されてきた．現在，EncDec は強いベースライン手法としてこれらのタスクに用いられている．一方で，以下の例の様に，EncDec は同じフレーズ（単語）を繰り返し生成したり，全く関係のない単語を出力することが知られている．加えて，重要な語句が欠落した文を出力することもある．本研究では，この現象を「誤生成問題」と呼び，要約タスク上でこの問題の解決に取り組む．

対応関係を考慮しながら生成を行うため，同じ情報を出力し続けるという (1) 繰り返し生成問題を解消する．同様に，出力単語に対応する入力側の単語を考慮しているので，入力に無関係な単語を生成してしまうという (2) 無関係な単語の生成も防げる．また，入力から重要な情報を選択する機構を取り入れることで，(3) 重要な語句の欠損を解決する．Rush ら [7]によって提案されたヘッドライン生成データセット上で実験を行い，提案手法の有効性を検証する．結果から，提案手法は既存手法よりも性能が良く，また，今日までに提案されている手法の中で最高性能を達成できることを示す．また，提案手法はアライメントの正解データ無しに，入出力文のトークン単位の対応関係を学習できる．

(1) 繰り返し生成

2

Gold: duran duran group fashionable again
EncDec: duran duran duran duran(2) 無関係な単語の生成
Gold: u.s. troops take first position in serb-held bosnia
EncDec: precede sarajevo(3) 重要な語句の欠損
Gold: graf says goodbye to tennis due to injuries
EncDec: graf retires

機械翻訳タスクは「損失なし生成」タスクであり，入出力文間で情報が一致することを仮定している．この仮定にもとづいて誤生成問題を解決する Coverage モデル [5, 13] やReconstruction モデル [12] が提案されている．一方で，要約は「損失あり圧縮生成」である [6, 11]．例えば，Rush ら [7] が提案したヘッドライン生成タスクでは，入力文から日時や人物名といった情報が省略されることが多い．このため，上記のモデルを要約タスクに適用することは難しい．そこで，本研究では，損失あり圧縮生成に適した，誤生成問題を解決するモデルを考案する．
損失あり圧縮生成においても，誤生成問題の解決に取り組んでいる研究はある．例えば，Zhou ら [14] は，エンコーダ側に選択式ゲート機構を追加し，入力文から適切な単語を選択するモデルを提案した．これは，重要な語句の欠損や無関係な単語の生成を低減すると期待される．また，Suzuki ら [11]は，与えられた入力文から，出力文の単語頻度の上限を予測することで，繰り返し生成に対処した．しかし，これらの対策手法は誤生成問題の一部の現象に着目して考案された方法であり，上記の誤生成問題の全ての現象に対応していない．
本研究では，全ての誤生成問題の統一的な解決に取り組む．具体的には，EncDec に拡張モジュールを用意し，入力文と出力文とのトークン単位の対応関係をモデル化することで，誤生成問題の解決を図る．このモジュールを Source-sidePrediction Module（SPM）と呼ぶ．提案手法は，入出力間のRNN エンコーダデコーダモデル

本節では，提案手法のベースライン手法である EncDec を定義
する*1 ．EncDec への入力 X は 1-hot ベクトルから成る長さI の系列である．xi ∈ {0, 1}Vs は X 中 i 番目の 1-hot ベクトルとする．また，Vs は入力側語彙 Vs の語彙数とする．以降，
X = (x1 , . . . , xI ) を x1:I と略記する．同様に出力側について，yj ∈ {0, 1}Vt は出力 Y （長さ J ）の j 番目の 1-hot ベク
トルと定義する．Vt は出力側語彙 Vt の語彙数とする．ここで，Y は常に専用のトークンを 2 つ含むと仮定する．具体的には，y0 が bos であり，yJ+1 が eos である．また，Rushら [7] の提案したヘッドライン生成タスクでは常に I > J が成り立つ．
EncDec は以下の条件付き確率をモデル化する．

p(Y |X) =J+1j=1 p(yj |y0:j−1 , X)

(1)

EncDec は x1:I を受け取り，隠れ層の系列 h1:I へとエンコードする．ここで，hi ∈ RH であり，H を隠れ層の次元数と定義する．その後，AttnDec をアテンション付きデコーダの全ての処理を表す関数だとする．各時刻において，以下の様に最終隠れ層 zj ∈ RH が計算される．
zj = AttnDec(yj−1 , h1:I )(2)

EncDec は単語確率分布 oj ∈ RVt から単語を生成する．
oj = softmax(Wo zj + bo ),(3)

ここで，Wo ∈ RVt ×H はパラメータ行列であり，bo ∈ RVt はバイアス項である．
D を訓練データの集合，θ を EncDec で訓練するパラメータの集合だとする．最適なパラメータ θ̂ を，次のコスト関数― 1 ―*1 EncDec モデルの詳細は Luong らのモデル [4] に従う．

Copyright(C) 2018 The Association for Natural Language Processing.
All Rights Reserved.

Cross Ent.

Cross Ent.

Cross Ent.









RNNEncoder 

TaiwanTaiwanonTuesday.

eases







<pad>



RNN




RNN






SUM

<pad>



 

 (8)

SUM

SUM

Cross Ent.


<eos>

RNNRNN

Cross Ent.

図 1: 提案手法（EncDec+SPM）の全体像：破線で区切られたモジュールが SPM を表す．

G1 (θ) を D 上で最小化することによって求める．
1 trg (Y , X, θ),|D| (X,Y )∈Dtrg (Y , X, θ) = − log p(Y |X, θ)

EncDec に SPM を組み合わせる場合，同じベクトル zj から，G1 (θ) =(4)

推論時には，訓練したパラメータのもと，式 1 で定義した条件付き確率の積を最大化する系列をビームサーチで探索する．

3 提案手法：入力側予測モデル
1 節では，入出力間の対応関係のモデル化が，誤生成問題の解決に重要であることを述べた．提案手法では，各出力トークンについて，それに対応する入力側のトークンを予測するという枠組みによって，モデル化を行う．
図 1 に提案手法の全体像を示す．EncDec のデコーダは，各時刻 j に出力側の単語確率分布 oj ∈ RVt と入力側の単語確率分布 qj ∈ RVs を同時に計算する．ここで，入力側の予測する単語は，出力側の予測する単語に対応することを期待する．
また，SPM は出力系列長 J に関わらず，入力系列 I の長さまで確率分布を計算する．このとき，出力側では専用のトークンである pad を正解系列と定め，eos 後の oj からは pad
が出力されるとする．これにより，出力系列の長さは常に入力系列と一致するため，ヘッドライン生成のような損失あり圧縮生成タスクにおいても，トークン単位の対応関係を考慮できる．加えて，入力文から省略されるトークンについても，
pad に対応させることができる．
ヘッドライン生成のベンチマークデータには，アライメン
ト情報のような，入出力間のトークン単位の対応関係は付与されていない．そのため，毎時刻に各 qj に対して教師データを用意することは困難である．そこで本研究では，トークン単位の対応関係を教師なし学習の枠組みで学習することを試みる．具体的には，トークン単位ではなく文単位の尤度関数を導入し最適化を行う．
以下では，モデルの詳細を定義する．
■モデルの定義 SPM は各時刻 j において，出力側の単語確率分布 qj ∈ RVs を以下の様に計算する．
qj = softmax(Wq zj + bq )入力と出力の単語確率分布が同時に予測される．
今，Y  = y0:I を Y と pad の 1-hot ベクトル系列を結合した系列として定義する．ここで，yJ+1 は eos の 1-hot ベクトルであり，各 j ∈ {J + 2, . . . , I} について yj は pad に対応する 1-hot ベクトルである*2 ．
x̃ と q̃ をそれぞれ入力 1-hot ベクトル系列 x1:I の和（x̃ =IIi=1 xi ）と SPM による予測 q1:I の和（q̃ =j=1 qj ）とする．ここで，x̃ は入力に登場する単語全てをまとめたベクトル表現（または，Bag-of-Words 表現）である．
つまり，SPM は以下のような，入力文に対するヘッドライン及び入力文の単語集合の条件付き確率をモデル化する．

p(Y  , x̃|X) = p(x̃|Y  , X)p(Y  |X)

ここで，p(Y  |X) は式 1 の J + 1 を I に置換したものである．
また，p(x̃|Y  , X) を次の様に定義する．

1p(x̃|Y , X) = expZ−q̃ − x̃22C

(7)

ここで Z は正規化項であり，C は確率分布 p(x̃|Y  , X) の影響を制御するハイパーパラメータである．x̃ が文中の単語全てを含むことから，式 7 は文単位の尤度関数とみなせる．
■モデルの訓練 今，γ を SPM によって新しく追加されたパラメータとすると，SPM のコスト関数は次のように定義される．

src (x̃, X, Y  , γ, θ) = − log p(x̃|Y  , X, γ, θ) .

式 7 から，src は次のように展開できる．

src (x̃, X, Y  , γ, θ) =1
q̃ − x̃22 + log(Z).
C(8)

ここで，右辺の第 2 項は，γ と θ に依存しない定数のため，学習時の目的関数としては無視できる．
今回，SPM と EncDec を同時に最適化することを考える．
そのため，SPM のコスト（src ）と EncDec のコスト（trg ）の和によって全体のコスト関数 G2 を定義する．
1
G2 (θ, γ) = |D|(5)

ここで，Wq ∈ RVs ×H はパラメータ行列であり，bq ∈ RVsはバイアス項である．2 節で述べたように，EncDec は zj から出力側の単語確率分布 oj を計算する（式 3）．そのため，(6)


(X,Y )∈D

trg (Y  , X, θ) + src (x̃, X, Y  , γ, θ)(9)直観的には，この学習の枠組みを 2 つのコスト trg , src を考慮するマルチタスク学習として解釈できる．

― 2 ―*2 J + 1 = I のときに限り Y  = Y である．

Copyright(C) 2018 The Association for Natural Language Processing.
All Rights Reserved.

Source Vocab. Size Vs
Target Vocab. Size Vt
Word Embedding Size D
Hidden State Size H

5131
5131
200
400

RNN Cell
Encoder RNN Unit
Decoder RNN UnitLong Short-Term Memory（LSTM）[2]2 層双方向 LSTM
アテンション付き 2 層 [4]Optimizer

Adam0.001
Epoch9 後，各 Epoch で 0.5 倍10256（各 Epoch でシャッフル）5max 15 epochs with early stopping
Dropout（rate 0.3）
ビーム幅 20 & length normalization

初期学習率
学習率減衰
src の重み C
ミニバッチサイズ

Gradient Clipping
終了条件
正則化
ビームサーチ

Gigaword Test (Ours)

Gigaword Test (Rush)

RG-1

RG-2

RG-L

RG-1

RG-2

RG-L

EncDecEncDec+sGate
EncDec+SPM†
EncDec+sGate+SPM†

45.74
45.98
46.18
46.41

23.80
24.17
24.34
24.58

42.95
43.16
43.35
43.59

34.52
35.00
35.17
35.79

16.77
17.24
17.07
17.84

32.19
32.72
32.75
33.34

EncDec+sGate+SPM(5 Ensemble)†

47.16

25.3444.34

36.23

18.11

33.79

---

29.55
36.15
36.27
36.30

11.32
17.54
17.57
17.31

26.42
33.63
33.62
33.88

ABS [7]SEASS [14]DRGD [3]
WFE [11]

表 2: 実験結果: † は提案手法を示す．

表 1: モデルの詳細及びハイパーパラメータ■推論 推論時には，通常の EncDec モデルの様に，eos を出力するまで探索を行えば良いため，pad を出力する必要がない．そのため，SPM を用いる場合も，推論における計算コストは EncDec と同じである．

たコーパスから語彙の構築を行った．入力側語彙 Vs と出力側語彙 Vt の両方で共通の語彙を用いた．

4.2

実験結果

表 2 に比較実験の結果を示す．ここで，RG-1，RG-2，RG-L
は ROUGE-1，ROUGE-2，ROUGE-L の F1 スコアである．表は横二重線で上部と下部に分割されている．上部は提案手法
4 実験とベースライン手法を比較するため，また，下部は既存研究の4.1 実験設定値を参考にするために示す．上部は 4.1 節で述べたように前■データセット ヘッドライン生成タスクの訓練・評価には， 処理が異なることに加えて，BPE を用いて語彙の構築を行っRush ら [7] が提案したベンチマークデータを用いるのが一般ている．これらの実験条件の違いから，上部と下部の値の比的である．同ベンチマークデータは，約 380 万文の訓練デー
較によって手法間の優劣を議論することはできない．
タ，20 万文の開発データ，40 万文のテストデータで構成さ
表 2 の上部より，両方のテストデータで EncDec+SPM がれている．ここで，低頻度語は unk で置換されているため，EncDec と EncDec+sGate を上回る性能を示していることが評価時に unk を出力することが正解として扱われる．本稿わかる．このことから，SPM が EncDec の性能を改善するこ
では，より現実的な設定で実験を行うため，公開されているとがわかる．また，EncDec+sGate+SPM が全体の中でも最もデータ生成・前処理スクリプト*3 を変更し，unk による置換良い性能を示したことから，SPM は既存の最高性能のモデルをせずにデータセットを構築した．その後，開発データ 20 万 （EncDec+sGate）の性能を向上させられることがわかる．
文から 8000 文，1 万文をサンプリングし，それぞれ新しい開提案手法と表 2 の下部を比較すると，一部の既存手法は提発データとテストデータとした．また，既存手法との比較の案手法に比べて高い ROUGE スコアを示しているとわかる．
ため，Rush ら [7] と同じテストデータ上での評価も行った．
この差は，語彙の構築手法の差によるものと考えられる．我々，Rush ら
以降，我々のテストデータを Gigaword Test（Ours）の実験設定では，BPE を用いて語彙を構築しており，語彙に[7] のテストデータを Gigaword Test（Rush）と表記する．
unk を含まないため，unk を出力することはできない．そ■比較手法 提案手法の有効性を検証するため，SPM をそれのため，Gigaword Test（Rush）で unk が正解とされる箇所
ぞれ（1）EncDec（2）現在の最高性能のモデル（EncDec+sGate）
は，仮に正しい生成をしていたとしても必ず推定誤りと判定さに組み合わせて実験を行った．具体的には，以下の 4 モデルれるため，ROUGE スコアが不当に減点された可能性がある．
間での実験を行った．
EncDec 2 節で定義したエンコーダデコーダモデル
5 分析
EncDec+sGate Zhou ら [14] が提案した選択式ゲート機構■システムの生成例 図 2 にシステムの実際の生成例を示す．
(sGate) と EncDec を組み合わせたモデル
図から，EncDec と比較すると，SPM は同じフレーズの出力，
EncDec+SPM 3 節で定義した SPM と EncDec を組み合わせ関係の無い単語の出力，重要な語句の欠落といった全ての誤たモデル生成問題を減らせていることが定性的にわかる．
EncDec+sGate+SPM EncDec+sGate モデルと SPM を組み合
■SPM とアテンションの可視化 SPM が入出力間のトークわせたモデル
ン単位の対応関係を学習できているかを確かめるため，SPM■実装の詳細 表 1 に本稿で用いた実験の設定をまとめた．の予測を可視化する．その際，一般にアライメントのようにモデルの次元数，最適化手法などについては，文献 [6, 7, 11]振る舞うとされる [1] アテンション分布との比較を行う．などで一般的に用いられているものを採用した．
入出力ペア (X, Y ) を各 EncDec と EncDec+SPM に入力
語彙については，近年のニューラル機械翻訳の慣習になら
EncDec+SPM の入力側予測 q1:I と EncDec のアテンショ
し，い，Byte-Pair-Encoding（BPE）[8] を用いて構築した*4 ．BPEン分布 α1:J を得る．アテンション分布は次式で計算する．の merge operation を 5000 と定め，入力文，出力文を結合しj )exp(hi Wα zαj [i] = Ij )exp(hWαzii=1*3 https://github.com/facebookarchive/NAMAS*4 https://github.com/rsennrich/subword-nmt

― 3 ―

(10)

Copyright(C) 2018 The Association for Natural Language Processing.
All Rights Reserved.

(1) 繰り返し生成Gold:duran duran group fashionable again
EncDec:duran duran duran duran
EncDec+SPM: duran duran fashionably cool once againGold:community college considers building $ ## million technology
EncDec:college college colleges learn to get ideas for tech center
EncDec+SPM: l.a. community college officials say they ’ll get ideas(2) 無関係な単語の生成
Gold:

u.s. troops take first position in
serb-held bosnia
EncDec:precede sarajevo
EncDec+SPM: u.s. troops set up first post in bosniancountrysideGold:northridge hopes confidence does n’t wane

EncDec:csun ’s csun
EncDec+SPM: northridge tries to win northridge men ’s basketball team(3) 重要な語句の欠損Gold:

graf says goodbye to tennis due to injuries Gold:

EncDec:graf retires
EncDec+SPM: german tennis legend steffi graf retires

new york ’s primary is most suspenseful of super tuesday
races
EncDec:n.y.
EncDec+SPM: new york primary enters most suspenseful of super tuesday
contests

図 2: ベースライン手法 EncDec と提案手法 EncDec+SPM の生成文の比較：“Gold” は正解のヘッドラインを表す．

SPM は高い確度を持ってアラインする先を決めていると分かる．また，SPM は “tuesday” や “straight” など，ヘッドラインで重要度の低い単語を pad に対応させている．これらの事
実から，SPM はアテンション分布と比較して，より良いトークン単位の対応関係を予測しているとわかる．SPM の訓練時にアライメントの正解データを与えていないにも関わらず，対応関係を学習できているのは，特筆すべき結果である．

(a) EncDec のアテンション分布

6

おわりに

本稿では，ヘッドライン生成のような損失あり圧縮生成タスクに対して，誤生成問題を減らす手法を提案した．提案手法
である SPM は，入力と出力間のトークン単位の対応を予測するモデルである．実験では，ヘッドライン生成のベンチマークデータ上で，既存の最高性能の手法を上回る性能を達成し，誤生成問題の減少を確認した．また，SPM はアライメント情報を与えられることなく，入出力間のトークン単位の対応関係を学習できることを示した．

(b) EncDec+SPM の入力側予測

図 3: EncDec と EncDec+SPM の可視化：x 軸と y 軸はそれぞれ入力文と出力文に対応する．y 軸の括弧内のトークンは，アラインされた入力側のトークンを表す．
ここで Wα ∈ RH×H はパラメータ行列，αj [i] は αj の i 番
 ∈ RH はデコーダの隠れ層である．
目の要素を表す．また，z入力側の予測に関しては，各 j について qj から xi ∈ X に対応する値を抽出した．
図 3 にヒートマップを示した．テストデータには Gigaword
Test (Ours) を用いた．ここで，y 軸括弧内のトークンは，その時刻で出力側のトークンにアラインされた入力側のトークンを表す．トークンのアライン先については，アテンション分布（図 3a）に基づく方法では，アテンション確率が最も高かったトークンを選択し，SPM の予測（図 3b）では，全入力側語彙 Vs の中から最も出力確率が高いトークンを選択した．
アテンション分布（図 3a）では，値のほとんどが文末に集中している．このことから，アテンション分布は，入出力間のトークン単位の対応関係を正確に表していないと想定できる．例えば，出力側の “tokyo” や “end” は入力側のピリオドにアラインされている．一方で，SPM の予測（図 3b）は対応関係を捉えることに成功している．例えば，入力側の “tokyostocks closed higher” は出力側の “tokyo stocks end higher” にアラインされている．各値がほぼ離散的な値を示すことから，謝辞株式会社 Preferred Networks の小林颯介氏には研究の遂行に有益なアドバイスを頂いた．また本研究は，文部科学省科研費 15H01702，15H05318 の支援を受けたものである．

参考文献[1] Dzmitry Bahdanau, Kyunghyun Cho, and Yoshua Bengio. Neural Machine Translation by Jointly Learning to Align and Translate. In ICLR, 2015.
[2] Sepp Hochreiter and Jürgen Schmidhuber. Long Short-Term Memory. Neural Computation, Vol. 9, No. 8, pp. 1735–1780, 1997.
[3] Piji Li, Wai Lam, Lidong Bing, and Zihao Wang. Deep Recurrent Generative Decoder
for Abstractive Text Summarization. In EMNLP, pp. 2081–2090, 2017.
[4] Thang Luong, Hieu Pham, and Christopher D. Manning. Effective Approaches toAttention-based Neural Machine Translation. In EMNLP, pp. 1412–1421, 2015.
[5] Haitao Mi, Baskaran Sankaran, Zhiguo Wang, and Abe Ittycheriah. Coverage Embedding Models for Neural Machine Translation. In EMNLP, pp. 955–960, 2016.
[6] Ramesh Nallapati, Bowen Zhou, Cicero dos Santos, Caglar Gulcehre, and Bing Xiang.
Abstractive Text Summarization Using Sequence-to-Sequence RNNs and Beyond. In
SIGNLL, pp. 280–290, 2016.
[7] Alexander M. Rush, Sumit Chopra, and Jason Weston. A Neural Attention Model for
Abstractive Sentence Summarization. In EMNLP, pp. 379–389, 2015.
[8] Rico Sennrich, Barry Haddow, and Alexandra Birch. Neural Machine Translation ofRare Words with Subword Units. In ACL, pp. 1715–1725, 2016.
[9] Lifeng Shang, Zhengdong Lu, and Hang Li. Neural Responding Machine for ShortText Conversation. In ACL & IJCNLP, pp. 1577–1586, July 2015.
[10] Ilya Sutskever, Oriol Vinyals, and Quoc V. Le. Sequence to Sequence Learning with
Neural Networks. In NIPS, pp. 3104–3112, 2014.
[11] Jun Suzuki and Masaaki Nagata. Cutting-off Redundant Repeating Generations for
Neural Abstractive Summarization. In EACL, pp. 291–297, 2017.
[12] Zhaopeng Tu, Yang Liu, Lifeng Shang, Xiaohua Liu, and Hang Li. Neural MachineTranslation with Reconstruction. In AAAI, pp. 3097–3103, 2017.
[13] Zhaopeng Tu, Zhengdong Lu, Yang Liu, Xiaohua Liu, and Hang Li. Modeling Coverage for Neural Machine Translation. In ACL, pp. 76–85, 2016.
[14] Qingyu Zhou, Nan Yang, Furu Wei, and Ming Zhou. Selective Encoding for Abstractive Sentence Summarization. In ACL, pp. 1095–1104, 2017.

― 4 ―Copyright(C) 2018 The Association for Natural Language Processing.
All Rights Reserved.