トピックに基づく抽象型要約文生成への取り組み
横川悠香(指導教員：小林 一郎)

はじめに

1

2.3

Plug and Play Language Models（PPLM） [3] は，文章生成においてトピックや感情を文に導入する手法である．その特徴として，既存の言語モデルに追加学習することなく，文にトピックを取り入れられる点が挙げられる．

大量の情報が溢れている現代において，情報を短時間で把握できる要約文の生成を行う研究が盛んに行われている．要約には大きく分けて 2 種類の手法がある．
1 つは，要約元の文章から重要文を抽出することにより要約文を生成する「抽出型要約」であり，もう 1 つは人が行うように文書内容を反映した要約文を生成する「抽象型要約」である．深層学習が要約文生成研究に導入された後は，後者の研究が盛んに進められている．
本研究でも抽象型要約を行い，文章生成のタスクにおいて用いられる，文章の持つスタイルをコントロールする手法を要約文の生成に取り入れた手法を提案する．

2.3.1

PPLM の着想

いま，x を生成されたサンプル，a をコントロールしたい分布とする．文のスタイルをコントロールするということは，p(x|a) をモデリングすることを含意する．しかし，言語モデルは p(x) のみを学習している．
そこで、ベイズの定理により提案手法

2

PPLM

p(x|a) ∝ p(x)p(a|x)

図 1 に提案手法の概要を示す．

(1)

であることから，p(x) に分布 p(a|x) を掛け合わせることにより，p(x|a) を得る．PPLM では，p(a|x) にトピックを導入する場合は Bag of Words，感傷的な文といった感情の導入を行う場合は単層の識別器を用いる．本研究では前者を用いたトピックの導入を要約文生成に加える．

2.3.2

トークンの列 X = {x0 , . . . , xn } が与えられたとき，言語モデル（LM）は p(X) を学習する．Ht を Transformer のアテンション計算における key-value のペアで構成される行列とする．

図 1: 提案手法
抽象型要約を行うエンコーダ・デコーダ手法である
PreSumm [1] をベースとし，デコーダを GPT-2 [2] に変更する．変更したモデルが要約文を生成する際に，PPLM [3] の手法を取り入れることによって，要約文にトピックを導入する．

2.1

Ht = [(Kt (1) , Vt (1) ), . . . , (Kt (l) , Vt (l) )](2)

ここで，(Kt (i) , Vt (i) ) は i 番目の層の，0 から t までの全てのタイムステップで生成された key-value のペアである．PPLM では，2.3.1 節で挙げた着想をもとに，生成される文がコントロールしたい分布 a を持つように式 (2) における Ht をアップデートする．∆Htを Ht に対するアップデートとする．分布 p(a|x) をp(a|Ht + ∆Ht ) と置き換えた上で ∆Ht は以下のように計算される．

PreSumm

PreSumm [1] は，Transformer [4] ベースのエンコーダ・デコーダ要約手法である．エンコーダには BERT [5]を用いており，通常の BERT の単語埋め込みに変更を加えることを特徴としている．要約対象の文をエンコーダである BERT に与え，得られた隠れ状態をデコーダである Transformer に渡し，要約を生成する．
2.2

PPLM によるトピックの導入∆Ht ← ∆Ht + α∇∆Ht log p(a|Ht + ∆Ht )||∇∆Ht log p(a|Ht + ∆Ht )||γ(3)Wolf らによる効率的な Transformer の実装 [6] に基づき，アップデートされた H̃t = Ht + ∆Ht を用いて，xtが与えられたときの x̃t+1 が以下のように予測される．

GPT-2

Generative Pre-Training 2（GPT-2） [2] は，Transformer のデコーダ部分のみを用いて開発された汎用言語モデルであり，特に文章生成タスクにおいて高い性能を示している．GPT-2 は，BERT のように大量のデータを使って特定のタスクに適するようにファインチューニングする必要がない，教師なし学習で様々なタスクを学習可能であることを目的として作られた汎用言語モデルである．言語モデルにおいて，タスクを含めて出力を考え，大量のデータを用いてモデルを学習するため，一度も見たことがない（zero-shot setting）データに対しても精度良く推定が行える．

õt+1 , Ht+1=

LM (xt , H̃t )(4)

x̃t+1 ∼ p̃t+1=

Sof tmax(W õt+1 )(5)õt+1 はロジットベクトルであり，W は線形変換である．このように，コントロールしたい分布に基づいてサンプルが生成される．
本研究では，入力をエンコーダに通して得られた隠れ状態をもとに，デコーダで要約文を生成する段階において PPLM のトピック導入を追加し，要約文にトピックを付加する．
1

3

実験

3.1

実験設定

きく関与したことが原因ではないかと推察される．
ま た ，PPLM を 導 入 し な い 場 合 と す る 場 合 のROUGE スコアの変化は小さかった．これは，ROUGEは要約の精度を測るために正解要約文との一致度を見る指標であり，トピックの追加は必ずしも精度の上昇には繋がらないとも考えられる．
表 3 では，ポジティブな単語の導入において PPLMを加えないモデルから Distinct-N のスコアが下がる結果となったが，ネガティブな単語の導入においてはDist-1，2 でわずかながらスコアの向上が見られた．また，ネガティブなトピックを導入して生成された要約
文において，事件などのネガティブな記事の要約ほどPPLM によって導入された単語が出現しやすいことが確認できた．反対に，ポジティブな記事の要約にはあまり変化が見られなかった．ポジティブな場合も同様であり，PPLM によるトピック導入は導入したいトピックと要約する対象の記事が一致しているとその影響が大きくなると考えられる．このことから，法律に関するニュースは数が限られるため，法律に関する単語の導入の効果は限定的になったことも考えられる．

CNN/Daily Mail Dataset 1 を使用する．このデー
タセットはニュース記事とその短い要約からなり，文章要約の先行研究において広く使用されている．デー
タ数は訓練/検証/評価で 287227/ 13368/11490 である．データの前処理は PreSumm と同様に行なう．エンコーダの入力である記事は最大 512 単語に切り捨てる．要約の正解文のトークナイザーは GPT-2 のものに変更した．
表 1: 実験設定
データセット
学習ステップ勾配法
語彙損失関数学習率
BoW の単語数

CNN/Daily Mail200000
Adam
エンコーダ:30522 デコーダ:50259
負の対数尤度
エンコーダ:0.002 デコーダ:0.2
Positive:2005 Negative:206 Legal:131

トピックの導入に用いる Bag of Words は，ポジティブな単語，ネガティブな単語，法律に関わる単語の 3種を用いる．ポジティブな単語と法律に関わる単語は
PPLM で使用される単語リストを使用する．ネガティブな単語は 4600 個の単語リスト2 の中から，CNN/Daily
Mail Dataset での出現回数が上位 200 個から 3200 個に入る単語のみを使用する．
評 価 指 標 に は ROUGE，Distinct-N を 用 い る ．
ROUGE [7] は文章要約の評価指標として多く使用されるもので，PreSumm においても用いられている．
Distinct-N [8] は文章の多様性を評価する指標である．
Distinct-N の計算は各モデルの出力から最初の 1000文書を抜き出して行った．

3.2

表 3: Distinct-N スコア
モデル
Dist-1 Dist-2
GPT-20.8737 0.9486
GPT-2 + PPLM
(Positive)0.8737 0.9472(Negative)
0.8745 0.9491
0.8760 0.9472(Legal)まとめ

本研究では，既存の抽象型要約手法である PreSummのデコーダに汎用言語モデル GPT-2 を採用し，PPLMによるトピックを追加する要約文生成手法を提案した．
CNN/Daily Mail Dataset を用いた実験から，一部においてはトピックの導入が確認されたが再検討の余地が残った．今後は，提案手法をさらに発展・応用し，既存研究との性能比較をしていきたい．

参考文献[1] Yang Liu et al. Text summarization with pretrained
encoders. In Proc. of EMNLP-IJCNLP2019, pp.
3730–3740, 2019.

実験結果
表 2: ROUGE スコア
モデルR1R2BertSumAbs
41.72 19.39
GPT-237.12 15.74
GPT-2 + PPLM(Positive)
37.07 15.71(Negative)
37.04 15.65(Legal)37.01 15.65

3.3

4[2] Vanya Cohen and Aaron Gokaslan. Opengpt-2: Openlanguage models and implications of generated text.
XRDS, Vol. 27, No. 1, p. 26–30, sep 2020.

RL
38.76
34.63

[3] Sumanth Dathathri et al. Plug and play language
models: A simple approach to controlled text generation. In Proc. of ICLR2020, 2020.

34.59
34.55
34.54

[4] Ashish Vaswani et al. Attention is all you need. In
Advances in Neural Information Processing Systems,Vol. 30. Curran Associates, Inc., 2017.
[5] Jacob Devlin et al. BERT: Pre-training of deep bidirectional transformers for language understanding. InProc. of NAACL-HLT2019, pp. 4171–4186, 2019.

Dist-30.9234[6] Thomas Wolf et al. Transformers: State-of-the-art
natural language processing. In Proc. of EMNLP2020,
pp. 38–45, 2020.

0.92200.92330.9211[7] Chin-Yew Lin. ROUGE: A package for automatic
evaluation of summaries. In Text Summarization
Branches Out, pp. 74–81, Barcelona, Spain, July
2004. Association for Computational Linguistics.

考察

表 2 では，本研究での PPLM を加えないモデルにおいて，PreSumm のモデルから ROUGE スコアが下がった．これは，デコーダを Transformer から GPT-2にしたことにより，GPT-2 の言語モデルが文生成に大[8] Jiwei Li et al. A diversity-promoting objective function for neural conversation models. In Proce. of
NAACL-HLT2016, pp. 110–119, San Diego, California, 2016.

1 https://cs.nyu.edu/ kcho/DMQA/
2 https://positivewordsresearch.com/list-of-negativewords/2