言語処理学会 第26回年次大会 発表論文集 (2020年3月)

Pointer-Generator モデルにおけるデータ拡張に関する研究
大内 智仁 田伏 正佳
京都府立大学大学院生命環境科学研究科
1 はじめに

t-ouchi@mei.kpu.ac.jp, tabuse@kpu.ac.jp
ない要約になる可能性もある。それに対して、生成型

近年、全世界のネットの情報量は、指数関数的に増要約では、一から生成するので、学習がうまくいけば、加しており、2020 年には、44ZB になると予想されてひとつのまとまった要約になる可能性がある。文法もいる[1]。そのなかで、情報を効率よく取捨選択するに学習するので、抽出型要約のように、単語やフレーズは、自動要約の技術が必要不可欠となってくる。そこをどう繋げていいかわからないということもない。たで、我々は、まず、ネットの情報のなかで、大部分をだし生成型要約は、入力記事と生成要約の大量のペア占めている英語の記事を日本語の要約に変換する研究で学習する必要があり、コーパスを用意するのに手間を始めようとした。しかし、そのような英語の記事とがかかってしまう。

日本語の要約がセットとなっているコーパスは存在しそこで本研究では、生成型要約において、データ拡ない。そのようにタスクによっては、自動要約システ張が効果あるかどうかを検証する。データ拡張の提案

ムで使えるコーパスは整備されていない。そこで、我々手法として、入力記事において重要度の一番低い文をは、画像処理でよく使われるデータ拡張の手法を自然除いた記事も同様に学習させるものとする。また、本

言語処理に応用できないかと考えた。

研究では、既存のデータ拡張手法である EDA[4](文書自然言語処理にデータ拡張を適用した研究がいくつ分類に適応したもの)を自動要約システムに適応させか行われている。中間ベクトルにノイズを加える方法て、提案手法と比較検討する。生成型要約は、[2]や方言などで語尾を変化させてデータ拡張する方Pointer-Generator モデル[5]を用いた。データ拡張の法[3]などである。しかし、いずれも文書分類に適応し方法(提案手法、EDA)については、2 節で述べる。実たもので、自動要約に適応したものはまだない。自動験と評価は 3 節、結論は 4 節にて述べる。

要約の性質として、重要でない部分はなくても生成する要約には影響が少ないという点がある。一方で、画像処理において、背景を変えてデータ拡張することがある。これは、背景は、対象とするタスクには直接影2 データ拡張手法
2.1

提案手法

響がないことを前提にしている。よって我々は、画像提案手法は、本来の学習に加えて入力記事にある操処理のデータ拡張のひとつである背景の変更に着目し作をしてできた拡張記事と参照要約のペアを学習するて、自動要約における元記事の重要でない文の削除にというものである。入力記事に加える操作は以下の通よるデータ拡張を行った。

りである。

自動要約には大別して 2 つある。1 つは、抽出型要約で、入力記事の単語やフレーズまたは、文をそのま1.

全データセットからトピックモデル[6]を作る

2.

入力記事の各文の重要度をトピックモデルからま抽出して組み合わせて要約を作るというものである。

決める(文の重要度の決め方については後述する)

もう 1 つは、生成型要約で、入力記事をいったん中間

3.

最も重要度の低い文を入力記事から削除ベクトルに直してから、その中間ベクトルをもとに、4.

入力記事全てにおいて、2,3 を繰り返す要約を生成するというものである。抽出型要約の問題点として、抜き出した単語やフレーズ、文をどう並べて繋げるのかという問題点がある。また、抽出された要約において、指示語が何をさしているのかが分から― 941 ―

Copyright(C) 2020 The Association for Natural Language Processing.
All Rights Reserved.

3.2

文の重要度の決め方[7]は次のように行う。
1.

評価方法

あるトピックにおける文の重要度を計算する

自動要約の一般的な評価手法として、参照要約と生(ア) あるトピックにおける文中の全ての単語の出現成した要約の単語の一致で評価する ROUGE[9]が用確率を求め、総和するいられる。今回用いたのは、ROUGE-1、ROUGE-2、(イ) 文に使われた単語の数の平方根で割る

ROUGE-L である。ROUGE-1、ROUGE-2 はそれぞ2.

れユニグラム、バイグラムの一致で評価する。

全てのトピックで総和する

2.2EDAROUGE-L は最長共通部分列の一致で評価する。そし本研究では、データ拡張の比較対象として EDA をて、それぞれの ROUGE 評価手法には、F 値、recall、用いた。記事を直接変えて拡張する方法として、EDA

precision というものが存在する。recall とは、参照要を選んだ。EDA は以下の 4 つの手法からなる。

約のうちにどれだけ生成した要約の単語が含まれてい sr(synonym replacement)

るかで、precision というのは、生成した要約のうちに同義語に置き換える

どれだけ参照要約の単語が含まれているかである。F ri(random insertion)値は以下の式で求める。

同義語を記事のランダムな位置に挿入するF= rs(random swap)
ランダムな 2 つの単語を入れ替える

3.3

 rd(random deletion)

2 × Recall × Precision
Recall + Precision

実験条件

本研究で使った Pointer-Generator プログラム[10]ランダムな単語を削除する
EDA では、上の 4 つの手法を行う頻度を記事に使は Pytorch を使用したものとなっている。このプログわれている単語数にハイパーパラメータ α を掛けて求ラムでも、[5]と同等の結果を得られることは検証済み

めている。この研究では、訓練データが 5000 以上だである。このプログラムでは、入力記事をエンコードと α は 0.1 に、データ拡張して増やす記事数を 4 倍とする際に使用する単語数は、400 と限定されている。

し て い る の で 、 そ れ に 倣 っ た 。 そ し て 、 EDA をしかし、本研究で用いるデータ拡張の手法において、Pointer-Generator モデルに適応して、提案手法との最初の単語から 400 単語までの内に、最も重要度の低比較検討を行った。

い文が存在しない場合は、文を抜いたとしても、学習3.

実験と評価に何の影響もでない。そこで、学習データに使われて3.1

データセットいる記事の中で、最も単語数の多い記事を見つけた。
その単語数は 2380 語であった。そして、入力記事を本研究では、データセットとして、CNN/DailyMaildataset[8]を用いた。このデータセットは、訓練デー
タ 287226 記事、評価データ 13768 記事、テストデー

エンコードする際に使用する単語数の上限を 2380 に設定した。表１に単語数の上限を 400 にした場合と2380 にした場合の ROUGE の値の変動を示す。ただタ 11490 記事が存在する。実験では、訓練データ数にし、学習した記事数は、全記事データ、つまり 287,226

よって、データ拡張の効果が変わることを想定して、記事となっている。

訓練データとして 10000 記事、45000 記事、90000 記

表１事、180000 記事、287226 記事を用意した。

ROUGE の値

― 942 ―

単語数を 400 と 2380 にしたときの4002380

ROUGE-1-f ROUGE-1-r ROUGE-1-p ROUGE-2-f ROUGE-2-r ROUGE-2-p
0.39350.43720.38000.17090.18910.16620.39580.41810.39940.17410.18320.17704002380

ROUGE-L-f ROUGE-L-r ROUGE-L-p
0.36160.40140.34930.36440.3846
0.3679Copyright(C) 2020 The Association for Natural Language Processing.
All Rights Reserved.

表１をみてもらうとわかるように、単語数の上限を400 から 2380 にすることによる影響は表れていないことがわかる。
また、先行研究では、コピー機構で学習した後、カバレッジ機構で学習する。従って、本研究でもそれに倣う。本研究では、バッチサイズを 8 に設定した。表1 では、バッチサイズの記事を何回学習するかを示し

表 3 拡張手法とベースの学習法の比較(ROUGE-1 の F 値)
srri
rsrd
normalextended

10,000articles 45,000articles 90,000articles 180,000articles
0.32880.33590.34550.37030.32350.34450.33810.37430.33930.3456
0.3496
0.37520.33050.32090.35280.37050.3226
0.33980.35380.37580.33350.3506
0.36270.3827ている。
表 4 拡張手法とベースの学習法の比較

表 2 各記事数に対する学習回数
10,000 articles
45,000 articles
90,000 articles
180,000 articles
287,226 articles(ROUGE-2 の F 値)

iteration in copy mechanism iteration in coverage mechanism
20,000 times
300 times
80,000 times
1,000 times
160,000 times
2,000 times
320,000 times
4,000 times
460,000 times
6,000 times

この研究で使用される pointer-generator プログラ

srri
rs
rd
normalextended

10,000articles 45,000articles 90,000articles 180,000articles
0.12470.12940.13630.15660.11860.13220.13060.15720.12940.13380.13380.1576
0.12430.12060.14140.15470.12090.13040.14040.15870.12750.13780.14950.1628

ムは、1 バッチ学習するのに約 0.27 秒かかった。本研

表 5 拡張手法とベースの学習法の比較

究で使用した GPU は GeForce GTX 1080 Ti である。

(ROUGE-L の F 値)

したがって、10,000 記事を学習するには約 1 時間半かかる。同様に、45000 記事、90000 記事、180000 記事、287226 記事を学習するのに、約 6 時間、12 時間、24 時間、35 時間かかる。拡張すると記事数が二倍に

srri
rsrd
normalextended

10,000articles 45,000articles 90,000articles 180,000articles
0.30440.31100.3212
0.34300.29930.31940.31440.34560.31450.32090.32480.34650.3046
0.29820.32830.34370.29940.31550.3288
0.34750.30850.32490.33720.3515なるため学習時間は二倍になるが、本研究では、記事数を二倍にするとき、バッチサイズを半分にしたため287,226 記事(全データ)で学習したときの、提案手法かかる時間は同じとなった。とベースの学習法の ROUGE の値を表 6 に示す。

3.4

表 6 提案手法とベースの学習法の比較

実験結果

提案手法と EDA で拡張したときと、ベースの学習法の ROUGE による評価を表 3、表 4、表 5 に示す。
ただし、表 3 は、すべて ROUGE-1 の F 値、表 4 は、
すべて ROUGE-2 の F 値、表 5 は、すべて ROUGE-L(287,226 記事)
normalextended

ROUGE-1-f ROUGE-1-r ROUGE-1-p ROUGE-2-f ROUGE-2-r ROUGE-2-p
0.39180.4121
0.39580.17030.17840.17330.39410.42880.38590.17210.18690.1693

original
extended

ROUGE-L-f ROUGE-L-r ROUGE-L-p
0.35930.3776
0.36330.36250.39410.3551の F 値となっている。また、normal はベースの学習法で、extended は提案手法となっている。
表 3、表 4、表 5 はいずれも、10,000 記事、45,000 記事、90,000 記事、180,000 記事で学習したものとなっている。

3.5 考察
記事数が増え 90,000 記事、180,000 記事になると、
EDA の拡張手法は、ベースの学習法よりも悪い結果となっている。一方で提案手法はどの記事数でもベースの学習法よりも良い結果となっている。ただ、10,000記事のときは、EDA の rs 手法が提案手法を上回っている。また、拡張の効果は、記事数が少ない方のときの方が出ることがわかる。試しに、提案手法とベース― 943 ―

Copyright(C) 2020 The Association for Natural Language Processing.
All Rights Reserved.

の学習法の、ROUGE の値の差を測ってみると、表 7のようになる。(提案手法の ROUGE の値から、normal

参考文献の ROUGE の値を引く)[1] Data Growth,Business Opportunities, and the IT

表 7Imperatives,

提案手法(extended)からベースの学習法

http://www.emc.com/leadership/digital-universe/201(normal)の ROUGE の値を引いた結果
ROUGE-1-f
ROUGE-2-f
ROUGE-L-f

4iview/executive-summary.htm

10,000articles 45,000articles 90,000articles 180,000articles 287,226articles
0.01090.01080.00890.00690.00230.00660.00740.00910.00410.00180.00910.00940.00840.00400.0032[2]

このことからも、記事数が少ないときほど拡張の効果が出ることがわかる。

4

Embedding

Zhichao Yang,

Perturbation

for“WordSentenceClassification” arXiv:1804.08166vl(2018)[3] I. Saito, J. Suzuki, K.Nishida, K. Sadamitsu, S.
Kobashikawa, Ryo. Masumura, Y. Matsumoto, J.

結論
本研究で、提案手法による拡張手法が有効であることが示せた。特に、少ない記事数のときに拡張の効果は出るが、そのときでも、EDA の手法よりもおおよそ良い結果となった。
今後の課題として言えるのは、まず他の自動要約システムにも、提案手法が適応できないかどうかというのと、どれくらい効果があるのかを調べることである。
また、新たな拡張手法も考えられる。本研究では、どのような長さの記事に対しても一文を除くだけであったが、EDA のように、記事の長さによって変更できれば、もう少し改善がみられるのではないかと考えている。他にも、文の重要度の測り方として ROUGE を使う方法や、拡張手法として、重要な文だけを残す方法などが考えられる。

Dongxu Zhang,

Tomita “Improving Neural Text Normalization with
Data

Augmentation

atCharacter-andMorphological Levels” Proceedings of the 8thInternational

Joint

Conferenceon

NaturalLanguage Processing,pages257-262(2017)
[4]

Jason

Wei,

Augmentation
Performance

KaiZou“EDA:Techniquesfor

Boosting

Classification

Tasks”

onTextEasy

Data

arXiv:1901.11196v2[cs.CL](2019)[5] Abigail. See, Peter J. Liu, et al. “Get To The
Point:Summarization

withPointer-GeneratorNetworks” arXiv:1704.04368(2017)[6] Blei,D.M，Ng，A.Y. and Jordan，M.I. “Latent
Dirichlet Allocation”，journal of Machine Learning
Research，3，pp.993-1022，(2003)[7] 重松遥、 小林一郎、“潜在的トピックの重要度を考慮した要約文の生成”言語処理学会
年次大会

第 18 回発表論文集(2012)[8] https://cs.nyu.edu/~kcho/DMQA/[9] Lin C. W., “ROUGE: A Package for Automatic
Evaluation of Summaries”, Proceeding of theACL-04 workshop, Vol.8 (2004)[10]https://github.com/atulkum/pointer_summarizer― 944 ―

Copyright(C) 2020 The Association for Natural Language Processing.
All Rights Reserved.