言語処理学会 第26回年次大会 発表論文集 (2020年3月)

Coverage を考慮した BERTSUM による生成型自動要約秋山 和輝 1
1

二宮 崇 2

大林 弘明 3

愛媛大学 情報工学科，2 愛媛大学 大学院理工学研究科 電子情報工学専攻，
3
トランスコスモス株式会社
1,2

1

田村 晃裕 2

{k akiyama@ai., tamura@, ninomiya@}cs.ehime-u.ac.jp，
3
Oobayashi.Hiroaki@trans-cosmos.co.jp

はじめに関連研究

2

入力された文書を短くまとめた要約を自動的に生成

近年の自動要約モデルは，ニューラルネットワークする自動要約技術は，自然言語処理の分野で盛んに研を利用したエンコーダ・デコーダモデルが主流となっ究されている．自動要約技術は，要約の作成方法によっている．エンコーダ・デコーダモデルでは，出力単語て「抽出型」と「生成型」の 2 種類に分けられる．抽を決定する際に入力情報のどこに着目するかを捉える

出型の自動要約は，入力文書中の重要と思われる文をattention 機構を組み込むことで性能を大きく向上させている [6]．

識別・抽出し，抽出した文を結合させたものを要約とする方法である．一方，生成型の自動要約は，要約の文章を一から生成する方法である．本研究では，生成2.1型の自動要約モデルの技術に着目する．

Coverage 機構

生成型自動要約は，ニューラルネットワークに基づ

Coverage 機構 [3] は，自動要約の分野では，代表的なくエンコーダ・デコーダモデルが出現したことで，要抽出型エンコーダ・デコーダ要約モデルである Pointer-約の品質が大きく向上した [1] ．しかし，古典的な生generator network[2] の中で過剰生成問題を解決するために導入された．Coverage 機構の概要図を図 1 に示す．Coverage 機構とは，要約元文書の各単語（各入力単語）が要約として出現した度合い（coverage）を考慮する機構のことである．具体的には，t 番目の出力単語を決めるデコーダでは，各入力単語に対するcoverage をベクトルで表した coverage ベクトル ct を，′式 (1) の通り，これまでの attention ベクトル at の合計で算出する．

成型要約モデルでは，入力文書中の内容（各単語等）を複数回繰り返した要約を生成してしまう過剰生成問題が発生する．そこで，生成型要約モデルにおいて，入力文書中の内容（各単語等）が要約文に含まれた度合いを表す，coverage を考慮するモデルが提案されている [2, 3]．coverage に基づき，既に要約文に含まれた入力文書の内容は要約として生成されにくくすることで，過剰生成問題を防いでいる．
また，近年，自然言語処理において汎用的な事前学習モデルである BERT[4] を抽出型と生成型の両方ct =の要約に拡張させた BertSum[5] という要約モデル′at(1)

t′ =0が提案され，高い要約性能を実現している．しかし，

BertSum では，coverage が考慮されておらず過剰生成問題が生じやすい可能性がある．
そこで本研究では，BertSum に基づく生成型の自動要約モデルにおいて coverage を考慮するモデルを提案する．コールセンターにおける通話の自動要約評価実験を行い，coverage を考慮することにより ROUGE-Lの F 値が 1.24 ポイント改善することを確認した．

t−1∑

そして，attention ベクトル at を，式 (2) の通り，coverage ベクトル ct も利用して算出する．
eti= v T tanh(Wh hi + Ws st + wc cti + battn ) (2)at= softmax(et )(3)

ここで，v ，Wh ，Ws ，wc ，battn は学習可能なパラメー
タ，hi はエンコーダの隠れ状態，st はデコーダの隠れ状態である．

― 449 ―

Copyright(C) 2020 The Association for Natural Language Processing.
All Rights Reserved.

coverage を考慮したモデルの学習時には，coverageする．文献 [5] では，二種類の BertSum に基づく生に対する損失（covloss）を加えた損失関数を用いる。

成型要約モデルにおいて，BertSumExtAbs モデル

具体的には，attention ベクトルと coverage ベクトルの方が BertSumAbs モデルよりも要約性能が高いの各要素の最小値を合計した covloss を加える．

ことが示されていることから，本研究では，Bert-covlosst =∑min(ati , cti )(4)i

SumExtAbs モデルに coverage 機構を組み込む．
具体的には，BertSumExtAbs の学習時に，cov-erage に対する損失（2.1 節の式 (4) 参照）を加えた以以上の coverage 機構により，これまでの要約の生成下の損失関数を使用する．

で attention が向けられた単語に対しては，attention

losst = − log P (w∗ ) + λ covlosst

が向けられにくくすることで過剰生成問題を防ぐ．

(5)

ここで，P (w∗ ) は正解単語 w∗ の予測確率，λ はハイ2.2パーパラメータである．

BERTSUM近 年 ，自 然 言 語 処 理 の 様々な タ ス ク に お い て ，Transformer[7] モデルをベースとした汎用的な事前学習モデル BERT[4] の有効性が確認されている．自動要約においては，Liu and Lapata[5] が，BERT を抽出型及び生成型の自動要約用に拡張した BertSum を提案している．図 2 に BertSum による要約元文書のEmbeddings の概要を示す．通常の BERT では入力の先頭にのみ [CLS] トークンを付けるのに対し，Bert-Sum では入力の各文の先頭に [CLS] トークンを付け，[CLS] トークンにより要約元文書中の各文を表現する．
また，Segment Embeddings を導入し，EA と EB の二種類の Embeddings を交互に割り当てることで，複数の文を明確に区別できるようにしている．
抽出型要約用の BertSum モデルでは，各 [CLS]トークンに対するエンコーダの最上位層の出力ベク

提案手法の概要図を図 3 に示す．提案モデルはTransformer に基づくモデルであり，エンコーダとデコーダは共に複数の層が積み重なり，デコーダの各層でエンコーダとデコーダ間の attention が計算されているが，coverage ベクトルはデコーダの最終層の at-tention に基づき算出する．また，2.1 節の coverage 機構では推論時にも coverage ベクトルを考慮しているが，本実験では coverage ベクトルはモデル学習時のcoverage loss の計算にのみ使用し，推論時には考慮していない．
提案手法では，モデル学習時に coverage loss を考慮することで，既に要約文に含まれた入力文中の単語に対する attention に罰則がつけられ，同じ内容を複数回生成してしまう過剰生成問題を緩和した BertSumによる生成型自動要約モデルを実現できる．

トルをシグモイド分類器にかけることで，各文を要約文に含めるか否かを決定する．このモデルは Bert-SumExt と呼ばれている．生成型要約用の BertSum
モデルでは，エンコーダ・デコーダモデルを適用し，4実験

4.1

データセットBertSum による要約元文書のエンコード結果からTransformer デコーダを用いて要約文を生成する．エンコーダとして事前学習済みの BertSum を利用するモデルは BertSumAbs と呼ばれており，まず最初に BertSumExt をファインチューニングして，ファインチューニングした BertSumExt をエンコーダとして利用するモデルは BertSumExtAbs と呼ばれている．

本研究では実験データとして，トランスコスモス株式会社との秘密保持契約の元提供された，コールセンター業務の要約コーパスを使用した． 一部のコールセンター業務では，応答品質向上や VoC 分析のために問合せの会話音声を音声認識器を用いてテキストデータに変換し記録している． このデータセットは，コールセンター業務で記録されたテキストデータを要約元文書とし，その内容を人手で要約した要約文とを対にした日本語のデータセットである． データセットの3

総件数 1,263 件の内，1,063 件を学習データ，100 件を提案手法開発データ，100 件をテストデータとした．

本節では，BertSum[5] の生成型自動要約モデルにcoverage を考慮する機構を組み込んだモデルを提案― 450 ―

Copyright(C) 2020 The Association for Natural Language Processing.
All Rights Reserved.

t=1
coverage
vectory2

t=0

attention

x0

x1x2

x3x4x5

y0

y1

y2y3

(t=0)

(t=1)

(t=2)

(t=3)

Encoder

Decoder

図 1: Coverage 機構の概要図
InputDocument[CLS]

1stsent

[SEP]

[CLS]

2ndsent

[SEP]

[CLS]

3rdsent

[SEP]

Token
Embeddings

E[CLS]

E1stEsent

E[SEP]

E[CLS]

E

Esent

E[SEP]

E[CLS]

E

Esent

E[SEP]

Segment
Embeddings

EA

EA

EA

EA

EB

EB

EB

EB

EA

EA

EA

EA

Position
Embeddings

E1

E2

E3

E4

E5

E6

E7

E8

E9

E10

E11

E12

2nd3rd

図 2: BertSum の Embeddings

4.2

実験設定

抽出型要約モデルは，ベースラインモデルと提案モ

実 験 で は ，Coverage 機 構 を 用 い な い 従 来 のBertSum

モ デ ル（BertSumExtAbs）[5]とCoverage 機構を導入した提案の BertSum モデル（BertSumExtAbs+COV）の性能を比較する．4.1
節のデータセットに対して，要約元文書及び要約文書の各文の先頭に [CLS] トークンをつけたものを各モデルの入力とする1 ．要約元文書および要約文書の各文は Juman++ (v2.0.0-rc2)2 で形態素解析し，BERTの subwords tokenizer3 でサブワード化した．各モデ
ルは，日本語の事前学習済み BERT モデル4 を実験データでファインチューニングすることで学習した．
まず，抽出型の要約モデルをファインチューニングし，開発データにおいて perplexity が最も低かったモデルを生成型要約モデルのファインチューニング時に利用した．使用するファインチューニング済み
1 要約元文書は一発話を一文とみなした．

デルで同一のものである．
生成型要約モデルの学習では，総ステップ数を25,000，エンコーダ (BERT) の warmup ステップ数
を 10,000，デコーダの warmup ステップ数を 5,000，モデルの保存ステップ数を 2,000 とした．また，提案モデルにおける式 (5) のハイパーパラメータ λ は 1.0とした．
要約生成時は，ビーム探索（size 5）を使用し，1.0から 0.6 の間の length penalty α をかけた．また，出力文字数の制限である最小文字列長 min length は 10，最大文字列長 max length は 512 とし，その他の設定はBertSum の初期設定と日本語の事前学習済み BERT
モデルの設定と同じである．
テ ス ト 時 に お い て ，要 約 性 能 は ，ROUGE-1，

ROUGE-2，ROUGE-L の F 値で評価した5 ．開発
データに対して perplexity が低かったモデルを上位から 3 つ選択し，各モデルが出力した要約文書に対2 https://github.com/ku-nlp/jumanpp
3 https://github.com/huggingface/transformers
4 http://nlp.ist.i.kyoto-u.ac.jp/

5 pyrouge（https://github.com/bheinzerling/pyrouge）
を用いて各 ROUGE 値を算出した．

― 451 ―

Copyright(C) 2020 The Association for Natural Language Processing.
All Rights Reserved.

Learning

5Prediction
outputprobabilities

Loss function

おわりに本研究では，自動要約タスクにおいて高い性能を実現している BERTSUM による生成型自動要約モデル
Coverage
Loss(Last layer)

Softmax(BertSumExtAbs) に対し，要約元文書と要約文書

Linearの coverage を考慮させる coverage 機構を組み込んだモデルを提案した．具体的には，coverage loss を加えAdd & Norm

た損失関数に基づきモデルを学習することで，同じ内Feed Foward

容が複数回生成されることを抑制する要約モデルを獲得する．コールセンター業務の要約コーパスを用いた

Add & Norm

Add & Norm

Feed Foward

Multi-HeadAttention

評価実験により，要約精度の改善を確認した．
×N

今後は，coverage ベクトルを学習時だけではなく推論時にも考慮するモデルに拡張予定である．また，

×N

CNN/Daily Mail や XSum などの標準的なデータセッ

Add & Norm

Add & Norm

Multi-Head
Self-Attention

Multi-Head
Self-Attention

Embeddings

Embeddings

inputsoutputs

トに対しても提案モデルの有効性を検証予定である．

6

謝辞
本研究は，トランスコスモス株式会社により助成を受けたものである．ここに謝意を表する．
図 3: 提案手法のモデル図

参考文献

する ROUGE スコアの平均値を評価・比較した．

4.3[1] Alexander M Rush, Sumit Chopra, and Jason Weston. A neural attention model for abstractive sentence summarization. In Proc. EMNLP, 2015.

結果

評価結果を表 1 に示す．表 1 より，従来モデルである BertSumExtAbs モデルに比べ，coverage 機構を組み込んだ提案モデル (BertSumExtAbs+COV) では，ROUGE において全体的な向上が見られた．特に，ROUGE-L の F 値は提案モデルが従来モデルよりも1.24 ポイント上回っている．このことから提案モデルの有効性が実験的に確認できた．

Model

表 1: 各モデルの要約性能
ROUGE[％]BertSumExtAbs
BertSumExtAbs+COV[2] Abigail See, Peter J Liu, and Christopher D. Manning. Get to the point: Summarization with pointergenerator networks. In Proc. ACL, 2017.
[3] Zhaopeng Tu, Zhengdong Lu, Yang Liu, Xiaohua Liu,and Hang Li. Modeling coverage for neural machinetranslation. In Proc. ACL, 2016.
[4] Jacob Devlin, Ming-Wei Chang, Kenton Lee, andKristina Toutanova. BERT: Pre-training of Deep
Bidirectional Transformers for Language Understanding. In Proc. NAACL: Human Language Technologiess, 2019.
[5] Yang Liu and Mirella Lapata. Text summarization
with pretrained encoders. In Proc. EMNLP, 2019.

12L

18.54
19.80

3.62
4.00

17.81
19.05

[6] Dzmitry Bahdanau, Kyunghyun Cho, and Yoshua
Bengio. Neural machine translation by jointly learning to align and translate. In Proc. ICLR, 2015.
[7] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob
Uszkoreit, Llion Jones, Aidan N Gomez, L ukasz
Kaiser, and Illia Polosukhin. Attention is all you
need. In Proc. NIPS, 2017.

― 452 ―

Copyright(C) 2020 The Association for Natural Language Processing.
All Rights Reserved.