言語処理学会 第25回年次大会 発表論文集 (2019年3月)

談話構造を考慮する階層的注意機構による抽出型ニューラル単一文書要約
石垣 達也 † 上垣外 英剛 ‡ 高村 大也 ‡§ 奥村 学 ‡†東京工業大学総合理工学研究科 ‡ 東京工業大学科学技術創成研究院 § 産業総合技術研究所{ishigaki, kamigaito}@lr.pi.titech.ac.jp

1{takamura, oku}@pi.titech.ac.jp

はじめに

本稿では，原文書の談話構造を考慮する新たな抽出型ニューラル要約モデルを提案する．なお，本研究において抽出型要約課題は，原文書の各文に対し抽出すべきか否かを表現する二値のラベルを付与する，系列ラベリング問題として定式化する．
修辞構造理論 [7] に代表される談話構造を表現する
枠組みは，文書中の文や単語などの間に内在する意味的なつながりに着目する．本研究では特に文間の意味的なつながりを考える．図 1 に原文書とその談話構造の例を示す．S1 と S2 は原因とその結果について言及している．S3 は S2 に補足的な情報を与え，さらにS4 は S3 を補足する．このような談話構造は抽出型要約において文の重要度を算出するための手がかりとなる．例えば，原因よりも結果，補足する文よりも補足される文が重要とすれば，S2 を要約に含めることで重要な情報を含んだ要約を出力できる．
整数計画法に基づく要約手法において，談話構造解
析器の出力する談話構造を考慮しながら文選択することで，情報量および一貫性の観点から要約器の性能が向上することが報告されている [5]. これらの要約器は前処理として談話構造解析器を利用するため，その解析誤りの影響を大きく受ける．談話構造解析器は長いテキストや，学習に用いられたドメインとは異なるドメインのテキストに適用すると性能が大きく劣化する．
一方で，リカレントニューラルネットワーク (RNN)に基づく抽出型手法が 2016 年以降，単一文書要約において良い性能を示している．この手法は原文書を文の系列とみなしベクトル化し文の重要度を決定し，文間の談話構造は明示的には利用しない．談話構造に関する情報の欠如は，重要度スコア決定における性能劣化や出力要約の一貫性の低下を引き起こす可能性がある．
そこで本研究では，談話構造解析器の解析誤りによる影響を抑えながら，RNN を用いた要約モデルの性能における利点を活用するため，原文書の談話構造と文の重要度スコアリング器を同時に学習する新たな枠組みを提案する．本モデルにおいて，原文書の談話構造は階層的な注意機構として表現される．スコアリン
グ器は RNN に基づくデコーダとソフトマックス関数

図 1: 談話構造の例
により構築され，対象文に加えその親の情報も考慮しながら，対象文の重要度スコアを算出する．
DailyMail データセットを用いた評価実験において，提案手法がベースラインよりも ROUGE 値および人手評価において良い評価値を得た．さらに，既存の性能の良い手法と同等もしくは，より良い結果を得た．

2

RNN に基づく抽出型要約モデル

本節では初めに，多くの既存手法で採用されている
RNN に基づく抽出型要約モデルの基本構成について説明する．この基本構成における要約器は文エンコーダ，文書エンコーダおよび文スコアリング器から構成される [1, 8, 2]．以下に順にその動作について説明する．
文エンコーダ: 文エンコーダの目的は N 文から構成される原文書 x 中の文 xi (0 ≤ i ≤ N ) を文埋め込み表現 hi に変換することである．ここで，x0は談話構造木における根を表現する特別な文であり，本稿では ROOT と呼ぶ．文エンコーダは初めに，xi中の各単語を単語埋め込み表現に変換する．xi の n番目の単語の単語埋め込み表現を emb(wi,n ) とする．
単語を両方向 Long Short-term Memory (LSTM) で読→→み込むと −e i,n = LSTM(−e i,n−1 , emb(wi,n )) および←−←−−e i,n = LSTM( e i,n+1 , emb(wi,n )) となる. ←e i,n およ−→び e i,n はさらに一つのベクトルに結合され，hi,n =→−[−e i,n ; ←e i,n ] を得る．すべての単語に対する hi,n を平均したベクトルを最終的な文埋め込み表現 hi とする．
文書エンコーダ: 文書エンコーダは文脈を考慮した
文表現 Hi および文書全体を表現するベクトル K を−→生成する．具体的には，両方向 LSTM を用い， H i =― 1555 ―Copyright(C) 2019 The Association for Natural Language Processing.
All Rights Reserved.

3 談話構造を考慮する注意機構
本研究では式 (1) のソフトマックス関数に xi の親を表現するベクトル Ωi を追加で入力することで，談話構造を考慮しながら確率を計算するモデルに拡張する．親を表現するベクトルの獲得には，単語間 の依存構造を捉える Kamigaito ら [6] のモデルを文間の談話依存構造を捉えるよう拡張して用いる．図 2 に x4の親を表現するベクトル Ω4 が生成される過程を示す．
3.1 節で生成過程を説明し，3.2 節で定式化する．

3.1 親を表現するベクトルの生成過程

図 2: 注意機構の動作概要．Ω4 の生成過程を示す．

−→←−←−LSTM( H i−1 , hi ) および H i = LSTM( H i+1 , hi ) を生−→ ←−成し，結合する: Hi = [Hi ; Hi ]．すべての文に対し文脈を考慮した文表現 (H = {H1 , ..., HN }) を獲得し，Hiの平均ベクトルを文書表現 K とする．
文スコアリング器: 文スコアリング器は文 xt (1 ≤t ≤ N ) を要約に含める確率 p(yt = 1|x, θ) を，LSTMによるデコーダとソフトマックス関数により出力する．
デコーダは，時点 t (1 ≤ t ≤ N ) において，直前の時点での LSTM の出力 st−1 と ht を受け取り，新たなベクトルを出力する: st = LSTM(st−1 , ht ). なお，s0 は←−
文書エンコーダの後ろ向き LSTM の最終状態 H0 とする．文 xt を要約に含める確率は，文脈を考慮した文
表現ベクトル Ht ，LSTM の出力 st および文書表現 Kを結合し以下の式により得る:
p(yt = 1|x, θ) = δyt =1 · softmax(Wo [Ht ; st ; K]). (1)
ここで，Wo は重み行列，δyt =1 は yt = 1 に対応する次元のみ 1 を取るベクトルで，ソフトマックス関数の出力との内積を取り，文 xt を要約に含める確率を得る．

Step1: Parent Attention Parent Attention はすべての文の組み合わせ xk および xj （ただし k ̸= j ）について xk が xj の親となる確率 p(k|j, H) を計算する．図
2 の Step1 に示すように，H に含まれる各ベクトルが頂点に対応するグラフを考える．矢印の始点を親，終点を子とすると，H は p(k|j, H) を Hj に対応する頂点から Hk に対応する頂点に向かう辺の重みとした重み付き全結合グラフで表現される．
Step2: Recursive Attention Recursive Attention はParent Attention が生成した全結合グラフの情報を用
い，x4 の d 次親を表現するベクトル γd,4 を，H を加重平均することで得る．ここで，2 頂点を結ぶ経路に含まれる辺の数を 2 頂点間の距離 d と考える．2 頂点間の距離が d である親子関係の親を d 次親と呼ぶ．
Recursive Attention は 1 次親 (d = 1) の場合から計算を始める．各 2 文の組について距離が 1 である親子関係が成り立つ確率は Parent Attention により計算済みである．Recursive Attention はこの確率を Hk (ただし k ̸= 4) に与える重み α1,k,4 とし，加重平均ベクト
ル γ1,4 を得る．
d = 2 の場合の Hk に与える重み α2,k,4 の計算過程について述べる．この場合は x4 と距離が 2 離れた親子関係を考える．図 2 において，x2 から x4 に向かう経路は赤色で示す線および青色で示す線の２通りがある．Recursive Attention は Hk に対応する頂点から H4 に対応する頂点に向かう経路に含まれる辺の重みを掛け合わせ，すべての経路について足し合わせた確率値を Hk に対しての重みとして扱う．すなわち，
α2,2,4 = α1,2,3 × α1,3,4 + α1,2,1 × α1,1,4 である. すべての Hk (ただし k ̸= 4) に対して，重み α2,k,4 を計算したら，これらの重みで Hk を加重平均し 2 次親を表現するベクトル γ2,4 を得る．
d > 2 に対しても，d = 2 までに計算した重みを用いて，3.2 節に示すように再帰的に重みを計算する．
Step3: Selective Attention Selective Attention は d 次
親を表現するベクトル γd,4 が得られたら，さらにそれらのベクトルに対する重みを計算する．計算した重みを用いて加重平均したベクトル Ω4 を式 (1) に追加で入力し，文 4 を要約に含めるスコアを算出する．

― 1556 ―Copyright(C) 2019 The Association for Natural Language Processing.
All Rights Reserved.

3.2 定式化− log p(y|x) − λ ·談話構造を考慮する注意機構を定式化する．ParentAttention はすべての文の組み合わせ xk および xj に対し (ただし k ̸= j) 親子となる確率を計算する：

p(k|j, H)=σ(g(k, j)),(2)

g(k, j)=va · tanh(Ua Hk + Wa Hj ).

(3)

ここで，va は重みベクトル, Ua および Wa は重み行列である．
Recursive Attention は再帰的に xk が xj の d 次親となる確率 αd,k,j を計算する:
p(k|j, H)(d = 1), (4)N∑
αd,k,j =
αd−1,k,l × α1,l,j(d > 1). (5)l=1

さらに，以下の制約を α1,k,i に課す:(k = 0, j = 0),1
α1,k,j =0(k > 0, j = 0),0(k = i, j ̸= 0).

(6)(7)(8)式 (7) および式 (8) は ROOT から出るノードを ROOT 自身に限定し，ROOT が親に持たないよう制約する．一方で，ROOT 以外の文は親を持つので式 (8) により自分自身への辺は持たないよう制約する．計算された確率 αd,k,j を重みとして用いて H の加重平均ベクトルγd,j を以下のように得る:

γd,j =

N∑

αd,k,j Hk .

(9)

k=0

全ての文の組み合わせに関し、xj の d 次親を表現するベクトル γd,j が得られたら，Selective Attention はデコーダの現在の時点 t における、それぞれの d に対応する γd,t を重み付け，加重平均ベクトル Ωt を得る:

βd,t
Ωt

= δd · softmax(Wβ [Ht ; st ; K]),∑=βd,t · γd,t .

(10)(11)d

ここで δd は特定の d に対応する次元のみ 1 を取るベクトルで，ソフトマックス関数の出力した確率分布を確率に変換する．
談話構造を考慮するよう式 (1) を拡張した以下の関数により，xt を要約に含める確率を出力する:

p(yt = 1|x, θ) = δyt =1 · softmax(Wo [Ht ; st ; K; Ωt ]).
(12)

3.3 目的関数
重み行列の重みは以下の目的関数を最小化するよう更新する：

N ∑N∑

Ek,i · log α1,k,i .

(13)

k=1 i=1

この式は第 1 項で訓練データ中の正解ラベルアノテーションを再現するようにパラメータを更新する．第 2項において，Ek,i は訓練事例において xk から xi への辺が存在する場合に 1 をとる二値関数である．よって，正解の談話構造アノテーションを再現するよう αd,k,iを学習する，談話構造解析のための項になっている．

4 実験
文書要約の既存研究では固有名詞を@entity に置き換えた Cheng ら [1] による前処理済み DailyMail データセットがしばしば用いられる．しかし，このデータでは談話構造解析器の必要とする段落境界や単語の表層情報が欠如しており，解析性能が著しく劣化する．そのため，本研究では前処理済みデータではなく Hermann
ら [3] の DailyMail データセットに対し，HILDA パー
ザ [4] を用いて談話構造情報を自動アノテーションしたデータを用いる．DailyMail データセットには新聞記事と人間が記述した “ハイライト” が含まれており，ハイライトを生成的に作られた正解要約とみなす方法がいくつかの既存研究で採用されている．抽出型要約器の訓練には抽出文か否かを示す二値のアノテーションが必要である．そのため，本研究では Nallapati ら[8] のデータ作成手法に基づき，ハイライトを参照要約とし ROUGE-2 F1 値を最大にする文集合を抽出すべき文集合として自動的にアノテーションした．
比較手法として，既存の抽出型ニューラル要約器として良い性能を示している SummaRuNNer [8]，談話構造を考慮しない式 (1) を確率の計算に用いるベースライン（no-attn）および先頭 3 文を選ぶ LEAD-3 を用いる．これらの手法と ROUGE-1，ROUGE-2，ROUGEL を 75 バイト，275 バイトおよび参照要約長の 3 つの出力長制約で比較する．また，無作為に選択した 100
文書に対し 5 人の評価者が一貫性および情報量について良い順に並べ替える人手評価も行った．この評価では評価者が同順位を付与することも許容した．評価者の募集は Amazon Mechanical Turk で行った．

5 結果
表 1 に各手法の ROUGE 値を示す．談話構造を考慮する注意機構を持たないモデル no-attn と提案する
注意機構を追加したモデル DIS を比較すると，すべての出力長制約において，各 ROUGE 値が向上した．
よって，談話構造を考慮することで ROUGE 値が向上することがわかった．既存のニューラル要約手法として良い性能を示している SummaRuNNer との比較においては，出力長制約 275 バイトでの ROUGE-1 以外― 1557 ―Copyright(C) 2019 The Association for Natural Language Processing.
All Rights Reserved.

75
R-1
DIS, d={1}DIS, d={1,2}
DIS, d={1,2,3}#
DIS, d={1,2,3,4}
Lead-3
SummaRuNNer (re-trained)
no-attn

22.9
25.0+
24.6+
24.1+
23.0
23.2
20.1

275

R-2

R-L

9.6
11.1+
11.2+
10.8+
9.4
9.6
7.1

R-1

12.1
13.4+
13.5+
13.2+
11.8
11.0
10.4

Ref.

R-2

41.9
41.7
41.8
41.1
41.9
42.0
39.6R-L

17.4
17.4
17.2
17.5
17.0
17.2
15.4

35.2
35.0
35.2
35.1
32.5
32.5
33.3

R-1

R-2+

41.1
41.0
41.1+
41.2+
40.4
37.6
39.3

R-L+

16.9
16.7
16.8+
16.9+
16.3
14.8
15.3

36.7+
36.7+
36.8+
37.0+
36.1
33.7
35.2

表 1: DailyMail データセット (non-anonymized) における ROUGE 値．[+] ROUGE スクリプトの-c オプションにより統計的有意であることを確認.

75(一貫性/情報量)
DIS
LEAD-3
SummaRuNNer
no-attn

275(一貫性/情報量)

正解要約長 (一貫性/情報量)

1234

12

34

12

34.24/.22.42/22.19/.38.14/.16.31/.24.25/.24.27/.33.16/.18.23/.15.23/.30.38/.17.16/.38.23/.38.10/.24.14/.11.53/.27.33/.26.25/.23.35/.28.08/.23.35/.24.35/.26.23/.28.08/.23.23/.27.30/.28.25/.25.23/.20.10/23.10/.23.18/.19.63/.34.40/.37.30/.23.27/.21.05/.18.35/.30.31/.31.27/.30.06/.09.21/.24.34/.31.32/.32.12/.12.03/.09.05/.14.16/.16.77/.60

表 2: 人間によるランキング．数値は各手法が 1–4 位に評価された割合を示す．スラッシュ(/) の左が一貫性，右が情報量に関する評価である．

では，提案手法が良い性能を示した．さらに 75 バイ
トおよび参照要約長の出力長制約においては，提案手法がほとんどのパラメータにおいて他のベースラインを統計的に有意に上回る ROUGE 値を獲得した．75 バ
イト，参照要約長，275 バイトの出力長の設定の順に，提案手法と SummaRuNNer の性能差が小さくなった．
これは，出力長が短い設定においては提案手法がより良い性能を示し，長い出力長制約の設定については提案手法も SummaRuNNer も同等の性能に収束しているためと考えられる．よって，談話構造の導入は特に短い出力長制約下で有効であることが示唆される．
表 2 に人手評価の結果を示す．表中の数値は，並べ替え評価において，各手法が 1–4 位に判定された割合である．75 バイトの要約長制約の設定において，Lead-3 が最も良い性能を示した．Lead-3 は連続する 3 文を出力する性質を持つが他の比較手法はこの性質を持たないためだと考えられる．提案手法 DIS はLead-3 の次に良い評価を得た．SummaRuNNer とno-attn よりも 75 バイト設定において一貫性について良い評価を得ていることから，談話構造が寄与していることがわかる．長い要約長制約である 275 バイトの設定下では，DIS ，Lead-3 ，SummaRuNNer がそれぞれ最も良いと判定された割合は，0.33，0.25，0.35で，2 番目に良いと判定された割合は 0.35，0.35，0.23と，近い性能を示した．正解要約長の制約下においては DIS が他の手法よりも良い評価を得た．これらは，ROUGE 値の傾向と同様である．

6 おわりに
本研究では原文書の談話構造を捉える新たな注意機構を提案した．評価実験において提案注意機構の導入による ROUGE 値の向上を確認した．人手評価においても既存ニューラル手法と同等か良い性能を示した．

参考文献[1] Jianpeng Cheng and Mirella Lapata. Neural summarization by extracting sentences and words. In Proceedings of ACL2016, pp. 484–494, Berlin, Germany, 2016.
[2] Arman Cohan, Franck Dernoncourt, Doo Soon Kim, Trung Bui,Seokhwan Kim, Walter Chang, and Nazli Goharian. A discourseaware attention model for abstractive summarization of long documents. In Proceedings of NAACL2018, pp. 615–621, 2018.
[3] Karl Moritz Hermann, Tomas Kocisky, Edward Grefenstette,Lasse Espeholt, Will Kay, Mustafa Suleyman, and Phil Blunsom.
Teaching machines to read and comprehend. In Proceedings ofNIPS2015, pp. 1693–1701, 2015.
[4] Hugo Hernault, Helmut Prendinger, Mitsuru Ishizuka, et al. Hilda:
A discourse parser using support vector machine classification. Dialogue & Discourse, Vol. 1, No. 3, 2010.
[5] Tsutomu Hirao, Yasuhisa Yoshida, Masaaki Nishino, Norihito Yasuda, and Masaaki Nagata. Single-document summarization as atree knapsack problem. In Proceedings of EMNLP2013, pp. 1515–1520, 2013.
[6] Hidetaka Kamigaito, Katsuhiko Hayashi, Tsutomu Hirao, andMasaaki Nagata. Higher-order syntactic attention network forlonger sentence compression. In Proceedings of NAACL2018, pp.
1716–1726, 2018.
[7] William C. Mann and Sandra A. Thompson. Rhetorical structure
theory: Toward a functional theory of text organization. TextInterdisciplinary Journal for the Study of Discourse, Vol. 8, No. 3,pp. 243–281, 1988.
[8] Ramesh Nallapati, Feifei Zhai, and Bowen Zhou. Summarunner:
A recurrent neural network based sequence model for extractive
summarization of documents. In Proceedings of AAAI2017, pp.
3075–3081, 2017.

― 1558 ―Copyright(C) 2019 The Association for Natural Language Processing.
All Rights Reserved.