言語処理学会 第26回年次大会 発表論文集 (2020年3月)

深層強化学習によるテキスト平易化における文難易度報酬の適用
中町礼文 † ，梶原智之 ‡ ，荒瀬由紀 ††大阪大学大学院情報科学研究科，‡ 大阪大学データビリティフロンティア機構{nakamachi.akifumi，arase}@ist.osaka-u.ac.jp， kajiwara@ids.osaka-u.ac.jp

1

はじめに
テキスト平易化 [1] は、テキストの意味を保持しつつ、難解な文法や語彙を平易に変換する言い換え生成タスクの一種である。この技術は言語学習者の学習支援や読解支援に役立つだけでなく、機械翻訳などの自然言語処理応用タスクの前処理としても有用である。
テキスト平易化の理想的な出力は、以下を満たす。

• 同義性：入出力間で意味が等価である• 文法性：出力文が文法的に正しい• 平易性：入力文に対して出力文が平易である

図 1: 深層強化学習に基づくテキスト平易化

Zhang and Lapata [2] は、これらのそれぞれに対応する報酬を用いた深層強化学習に基づくテキスト平易化モデルを提案した。しかし、平易性に関する報酬に対応する SARI [3] は文の難易度を直接的に評価する尺度ではないため、平易性についての人手評価とは弱い相関しか得られていない。
本 研 究 で は 、上 記 の 3 項 目 に 対 応 す る 報 酬 を
BERT [4] を用いた回帰モデルとして設計し、図 1 に示すように深層強化学習の枠組みでテキスト平易化モデルを訓練する。Zhang and Lapata [2] の先行研究とは異なり、文の難易度を直接的に評価する報酬の導入によって、提案手法はより平易なテキストを生成することが期待できる。Newsela [5] を用いた実験の結果、我々の提案する報酬に基づく深層強化学習によって、テキスト平易化の性能が改善することを確認した。

テキストの難易度を考慮するテキスト平易化モデルとしては、クロスエントロピー損失を単語の難易度によって重み付けする手法 [8, 9] が提案されている。しかし、これらの手法では文全体の大域的な難易度を考慮することができない。深層強化学習の報酬として同義性・文法性・平易性を考慮する DRESS [2] は、本研究と最も関連する先行研究である。DRESS では、入力文と出力文をそれぞれ自己符号化器でベクトル化し、ベクトル間の余弦類似度によって同義性を評価する。また、文法性は出力文の言語モデル尤度、平易性は入力文・出力文・参照文の 3 つ組を用いて SARI [3]で評価する。しかし、SARI は入力文に対する出力文の語句の追加・保持・削除の F 値に基づく評価尺度であり、テキストの難易度を直接的に評価しない。本研
究では、テキストの難易度を直接的に評価する報酬を用いて深層強化学習の枠組みでモデルを訓練する。

2関連研究
テキスト平易化は同一言語の翻訳問題として解くこ3とができる。そのため、フレーズベースの統計的機械翻訳モデルを用いる PBMT-R [6] や注意機構に基づくニューラル機械翻訳モデルを用いる EncDecA [2, 7]などが提案されている。本研究では、単純な翻訳問題

提案手法
本研究では、入出力間の同義性・出力文の文法性・出力文の平易性の 3 報酬に基づく深層強化学習によって、事前訓練済みのテキスト平易化モデルを再訓練する。

としてではなく、テキスト平易化タスクの特徴であるテキストの難易度を考慮してモデルを設計する。

― 225 ―

Copyright(C) 2020 The Association for Natural Language Processing.
All Rights Reserved.

3.1

報酬推定器の構築

Train

Dev

Test

Label

Pearson r

テキスト平易化モデルの強化学習に用いる同義性・同義性

5, 7491, 5001, 379[0, 5]

0.897

文法性・平易性の報酬推定器を構築するために、それ文法性

1, 518747

754[1, 4]

0.655

ぞれの関連タスクのデータセットを用いて回帰モデル

平易性

94, 208

1, 1291, 077[2, 12]0.762を訓練する。各報酬器の訓練に用いたデータセットの表 1: 報酬推定器の構築

統計情報を表 1 に示す。
同義性に関する報酬器を訓練するために、文間の意味的類似度推定タスクである STS-B データセット1 [10]中間表現を生成する符号化器と、符号化器の生成するを用いる。STS-B は、複数のアノテータが入力の 2 文中間表現および出力系列 y = {y1 , · · · , ym } から次のの意味的類似度を [0, 5] の範囲で判定したデータセッ

出力単語分布を生成する復号器によって構成される。
符号化器 fenc は、入力系列 x から中間表現 h =トである。本研究では、2 文を入力として受け取り、各アノテータが付与したスコアの平均値を推定する回{h1 , · · · , hn } を式 (1) のように生成する。

帰モデルを訓練する。ただし、推定性能を高めるために、（文 1、文 2、類似度）の形式の各データから、（文hj = fenc (hj−1 , xj )2、文 1、類似度）、（文 1、文 1、5.0）、（文 2、文 2、復号器は、符号化器にて生成された中間表現および5.0）の疑似データを生成し、データ拡張を行う。
文法性に関する報酬器を訓練するために、文法誤り訂正タスクで利用される GUG データセット2 [11] を出力系列 y = {y1 , · · · , ym } から出力予測の対数尤度を式 (2) のように計算する。

用いる。GUG は、1 人の専門家が文の文法性を [1, 4]log p(y|x) =の範囲で判定したデータセットである。本研究では、平易性に関する報酬器を訓練するために、テキスト平易化タスクで利用される Newsela データセット3 [5]m∑log pdec (yi |y1:i−1 , h)

(2)

i=1

1 文を入力として受け取り、文法性スコアを推定する
回帰モデルを訓練する。

(1)

事前訓練では、任意の長さの入力文 x および長さ M 以下の出力文 y からなるデータ集合 D ={(x1 , y 1 ), · · · , (xK , y K )} に対して、以下のクロスエントロピー損失を最小化する。

を用いる。Newsela は、ニュース記事に対して米国学校制度の学年ラベル（2 年生から 12 年生まで）が付与されたデータセットである。テキスト平易化タスクでLC = −は、これらのニュース記事を専門家が人手で平易に書K ∑M∑kyik log pdec (yik |y1:i−1, hk )(3)

k=1 i=1

き換えたものに対して自動的に文アライメントをとったパラレルコーパス [5] が利用されており、本研究でもこれを用いる。本研究では、1 文を入力として受け3.3取り、その文が含まれる文書の学年ラベルを推定する回帰モデルを訓練する。

強化学習と報酬設計

強化学習に基づくテキスト平易化モデルの再訓練のために、REINFORCE [13] を用いる。REINFORCE
では、クロスエントロピー損失の各時刻に対して推定3.2される報酬 Rt を重み付けした目的関数を最適化する。

テキスト平易化モデルの事前訓練

テキスト平易化モデルの事前訓練として、注意機構に基づくニューラル機械翻訳モデル [12] のクロスエン

Rt は、x, y, ŷ などの系列全体から計算される評価
値 S(·) に対して、ニューラルネットワーク bt を用いて次のように定義される [14]。

トロピー損失を最小化する。このモデルは、各単語をRt (·) = S(·) − bt

one-hot 表現で表した入力系列 x = {x1 , · · · , xn } から
1 http://ixa2.si.ehu.es/stswiki/index.php/

STSbenchmark
2 https://github.com/EducationalTestingService/
gug-data
3 https://newsela.com/data/(4)

時刻 t の報酬を適切に推定するため、強化学習の中で並行して bt を目的関数 ∥bt − S(·)∥2 で最小化する。
評価値は、S(·) = αrmean +βrgram +(1−α−β)rsimpと設計する。

― 226 ―

Copyright(C) 2020 The Association for Natural Language Processing.
All Rights Reserved.

自動評価尺度

報酬推定器による評価

BLEU ↑SARI ↑FKGL ↓

同義性 ↑

文法性 ↑

平易性 ↑

平均報酬 ↑DRESS [2]

23.21

27.37

4.13

0.732

0.952

0.606

0.763

EncDecA

22.40

25.61

5.50

0.734

0.916

0.617

0.756

BERT-RL

23.02

25.31

4.86

0.785

0.881

0.641

0.769

表 2: テキスト平易化モデルの性能評価• rmean (x, ŷ): STS-B の回帰モデルの出力報酬• rgram (ŷ): GUG の回帰モデルの出力報酬

おいても、BERT に基づく報酬推定が人手評価との高• rsimp (ŷ): Newsela の回帰モデルの出力報酬セットを用いて訓練した文法性の報酬推定器は、人手い相関を持つことがわかる。ただし、小規模なデータ学習を安定させるために、クロスエントロピー損失と評価との相関が比較的低い。の線形補完により、最終的な損失を計算する [15]。

L = λLC + (1 − λ)LR

(5)

4.2

テキスト平易化モデルの性能評価

テキスト平易化モデルには、DRESS [2] の設定に合わせて 256 次元の 2 層 LSTM を使用し、隠れ層に確率評価実験

40.2 でドロップアウトを適用する。語彙は訓練データの各タスクにおける報酬推定器の性能および Newselaにおけるテキスト平易化モデルの性能を評価する。

ソース側とターゲット側のそれぞれで出現頻度が 3 回以上の単語のみを用いる。なお、安定した報酬計算のために、モデルの最大出力長を 30 単語6 に制限する。
バッチサイズは 32 で、事前訓練および強化学習に4.1報酬推定器の性能評価よる再訓練の両方で BLEU [17] による early stopping

本実験では、報酬推定のための回帰モデルとして事前訓練済みの BERT [4] を各タスクで再訓練する。

BERT は大規模コーパスを用いて事前訓練された文の符号化器であり、対象タスクにおける再訓練によって多くのタスクで高い性能を達成している。

BERT には bert-base-uncased4 を用いる。これは 12の注意ヘッドに基づく 768 次元の 12 層モデルであり、各層には確率 0.1 でドロップアウトを適用している。
単語分割には語彙数 30, 522 の SentencePiece5 を用いる。バッチサイズは 32、エポック数 3 で、学習率 1e−5 、epsilon 1e−8 の Adam [16] で最適化する。
報酬推定器の出力は次のように [0, 1] に正規化する。

（エポック数 20）によって訓練を停止する。テキスト
平易化モデルの事前訓練では、学習率 0.001, epsilon

0.999 の Adam [16] で最適化する。強化学習による再訓練では、各報酬の重みを α = β = 0.33, λ = 0.2 とし、学習率 0.01 の SGD で最適化する。
本実験では、深層強化学習に基づくテキスト平易化モデルである DRESS [2]、我々が事前訓練したテキス
ト平易化モデルである EncDecA、強化学習による再訓練を行った BERT-RL の 3 モデルの性能を比較する。性能評価には、テキスト平易化タスクで一般的なBLEU [17]・SARI [3]・FKGL [18] とともに、我々が構築した報酬推定器を使用する。
実験結果を表 2 に示す。提案手法である BERT-RL• rmean (x, ŷ) = BRRTSTS-B (x, ŷ)/(5 ∗ 3)が、ベースラインである EncDecA よりも BLEU およ• rgram (ŷ) = BERTGUG (ŷ)/(4 ∗ 3)

び FKGL の評価において高い性能を達成した。表 2 の• rsimp (ŷ) = (13 − BERTNewsela (ŷ))/(12 ∗ 3)

報酬推定器による評価では、各報酬推定器の出力を文各データセットのテストセットを用いて評価したピアソンの相関係数を表 1 に示す。いずれのタスクにごとに [0, 1] に正規化した値の平均値を示している。提案手法は同義性および平易性の報酬値において最高性能を達成したが、文法性の報酬値はベースラインより

4 https://github.com/huggingface/transformers
6 訓練データにおける参照文の 95%以上の文を網羅できる。

5 https://github.com/google/sentencepiece― 227 ―

Copyright(C) 2020 The Association for Natural Language Processing.
All Rights Reserved.

入力文

They are tired and it shows in their voices , but they ’re still on the freedom highway .

参照文

Their voices sound tired .

EncDecA

They are tired and it shows in their voices , but they ’re still on the freedom .

BERT-RL

They are tired and it shows in their voices .

表 3: モデル出力の例も低下した。これは先述の通り、小規模なデータセッ
トで訓練した文法性の報酬推定器が比較的低い人手評価との相関を持つことに起因すると考えられる。
表 3 に、モデル出力の例を示す。EncDecA のベー
スラインよりも提案手法の BERT-RL が積極的に削除や書き換えを行い、難解な表現を平易化していた。

5

おわりに本研究では、深層強化学習によるテキスト平易化において、BERT を利用した入力文と出力文の同義性、出力文の文法性、出力文の平易性の各報酬推定器を構築し、適用した。既存手法が SARI に対して最適化を行っているのに対して、提案手法では文の難易度を直接的に考慮した最適化を行うことで、テキスト平易化の性能を改善できることを示した。

[6] Sander Wubben, Antal van den Bosch, and Emiel Krahmer. Sentence Simplification by Monolingual MachineTranslation. In Proc. of ACL, pp. 1015–1024, 2012.
[7] Sergiu Nisioi, Sanja Štajner, Simone Paolo Ponzetto, andLiviu P. Dinu. Exploring Neural Text Simplification
Models. In Proc. of ACL, pp. 85–91, 2017.
[8] Reno Kriz, João Sedoc, Marianna Apidianaki, CarolinaZheng, Gaurav Kumar, Eleni Miltsakaki, and Chris
Callison-Burch. Complexity-Weighted Loss and Diverse
Reranking for Sentence Simplification.
In Proc. ofNAACL, pp. 3137–3147, 2019.
[9] Daiki Nishihara, Tomoyuki Kajiwara, and Yuki Arase.
Controllable Text Simplification with Lexical Constraint
Loss”. In Proc. of ACL, pp. 260–266, 2019.
[10] Alex Wang, Amanpreet Singh, Julian Michael, Felix Hill,
Omer Levy, and Samuel Bowman. GLUE: A Multi-Task
Benchmark and Analysis Platform for Natural Language
Understanding. In Proc. of EMNLP, pp. 353–355, 2018.
[11] Michael Heilman, Aoife Cahill, Nitin Madnani, MelissaLopez, Matthew Mulholland, and Joel Tetreault. Predicting Grammaticality on an Ordinal Scale. In Proc. ofACL, pp. 174–180, 2014.
[12] Thang Luong, Hieu Pham, and Christopher D. Manning.
Eﬀective Approaches to Attention-based Neural MachineTranslation. In Proc. of EMNLP, pp. 1412–1421, 2015.

謝辞
本研究は JST（ACT-I、課題番号: JPMJPR18UB）[13] Ronald J. Williams.
Simple Statistical Gradientfollowing Algorithms for Connectionist Reinforcement
Learning. Machine Learning, pp. 229–256, 1992.の支援を受けたものである。

[14] Marc’Aurelio Ranzato, Sumit Chopra, Michael Auli, andWojciech Zaremba. Sequence Level Training with Recurrent Neural Networks. In Proc. of ICLR, 2016.

参考文献[15] Kazuma Hashimoto and Yoshimasa Tsuruoka. Accelerated Reinforcement Learning for Sentence Generation byVocabulary Prediction. In Proc. of NAACL, pp. 3115–3125, 2019.

[1] Matthew Shardlow. A Survey of Automated Text Simplification. International Journal of Advanced Computer
Science and Applications, Special Issue on Natural Language Processing 2014, pp. 58–70, 2014.
[2] Xingxing Zhang and Mirella Lapata. Sentence Simplification with Deep Reinforcement Learning. In Proc. ofEMNLP, pp. 584–594, 2017.
[3] Wei Xu, Courtney Napoles, Ellie Pavlick, Quanze Chen,and Chris Callison-Burch. Optimizing Statistical Machine Translation for Text Simplification. TACL, Vol. 4,
pp. 401–415, 2016.
[4] Jacob Devlin, Ming-Wei Chang, Kenton Lee, andKristina Toutanova. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. InProc. of NAACL, pp. 4171–4186, 2019.

[16] Diederik P. Kingma and Jimmy Ba. Adam: A Methodfor Stochastic Optimization. In Proc. of ICLR, 2014.
[17] Kishore Papineni, Salim Roukos, Todd Ward, and WeiJing Zhu. BLEU: a Method for Automatic Evaluationof Machine Translation. In Proc. of ACL, pp. 311–318,2002.
[18] J. Peter Kincaid, Robert P. Fishburne Jr., Richard L.
Rogers, and Brad S. Chissom. Derivation of New Readability Formulas (Automated Readability Index, Fog
Count and Flesch Reading Ease Formula) for Navy Enlisted Personnel. Technical report, Defence Technical Information Center Document, pp. 8–75, 1975.

[5] Wei Xu, Chris Callison-Burch, and Courtney Napoles.
Problems in Current Text Simplification Research: New
Data Can Help. TACL, pp. 283–297, 2015.

― 228 ―

Copyright(C) 2020 The Association for Natural Language Processing.
All Rights Reserved.