ソフトな語彙制約によるテキスト難易度制御の検討
西原大貴 1
1 大阪大学情報科学研究科

梶原智之 2

荒瀬由紀 1

2 大阪大学データビリティフロンティア機構

1テキストの難易度制御
難しいテキスト
中学生向けのテキスト

小学生向けのテキスト
2

テキストの難易度制御の必要性
l 言語学習の教育現場では、学習者に適した難易度のテキストが必要
According tothe Pentagon, …

The Pentagon?

l 教師が各学習者向けに人手で平易化している
l 負担軽減のために自動化が求められている
3

テキスト平易化
l 難解な入力文を含意する平易な文を生成
学年

例

入力
12

According to the Pentagon , 152 female troops havebeen killed while serving in Iraq and Afghanistan .

7

The Pentagon says 152 female troops have been
killed while serving in Iraq and Afghanistan .

5

The military says 152 female have died .

4

テキスト平易化
l 難解な入力文を含意する平易な文を生成
l テキスト平易化の代表的な操作：置換と省略
学年

例

入力
12

According to the Pentagon , 152 female troops havebeen killed while serving in Iraq and Afghanistan .

7

The Pentagon says 152 female troops have been
killed while serving in Iraq and Afghanistan .

5

The military says 152 female have died .

5

平易文は短い
平均文長（単語数）

難解
30
20

平易

100

2

3

4

5

6

7

8

難易度（学年）

910 11 126

テキスト平易化の既存手法
l テキスト平易化は同一言語内の翻訳問題

難解文

翻訳器

平易文

l 多くの研究[2-6]では２段階の平易化のみ
l あまり書き換えない保守的なモデルになる[3]難解文
平易文

According to the Pentagon , 152 female troops have been
killed while serving in Iraq and Afghanistan .

ThePentagonsays
152 female troops have been
killed while serving in Iraq and Afghanistan .

[2] Nisioi et al.:Exploring Neural Text Simpli cation Models. In Proc. of ACL, Vol. 2, pp. 85-91 (2017).
[3] Zhang and Lapata: Sentence Simpli cation with Deep Reinforcement Learning. In Proc. of EMNLP, pp. 584-594 (2017).
[4] Vu et al.: Sentence Simpli cation with Memory-Augmented Neural Networks. In Proc. of NAACL, Vol. 2, pp. 79-85 (2018).
[5] Guo et al.: Dynamic Multi-Level Multi-Task Learning for Sentence Simplification. In Proc. of COLING, pp. 462-476 (2018).
[6] Zhao et al.: Integrating Transformer and Paraphrase Rules. In Proc. of EMNLP, pp. 3164-3173 (2018)7

既存手法：文の難易度を考慮[7]
正解文

損失

出力先
< 難易度 > 難解文

翻訳器<5> According to the Pentagon ,female troops have been killed
while serving in Iraq .

平易文

The Pentagon says femaletroops have been killed .

l 入力文頭に平易文の難易度を付与する
l 文の難易度を考慮する：省略は得意
l 出力文に難解な単語がしばしば現れる[7] Scarton and Specia: Learning Simplifications for Specific Target Audiences, In Proc. of ACL, pp. 712‒718 (2018).

8提案手法：単語の難易度も考慮
正解文

損失 ! #&(#, %)出力先< 難易度 > 難解文

翻訳器

平易文

l 仮定：易しい単語は易しい文中で出現しやすい
l 各単語のクロスエントロピー損失 !(#) を文の難易度 % に対する単語 # の出現しやすさ& #, % で重み付け
9

“the”はどの難易度でもよく出る
正解文

損失 ! "×1.0
出力先< 難易度 > 難解文
入力：<5> According to the Pentagon ,152 female troops have been
killed .

翻訳器

the平易文

出力：
The military says 152
female have died .

10“military”は<5>でよく出る正解文

損失 ! "

×2.5
出力先< 難易度 > 難解文
入力：<5> According to the Pentagon ,152 female troops have been
killed .

翻訳器

military

平易文

出力：
The military says 152
female have died .

11

重み !(#, %)：TFIDF
l 特定の難易度の特徴的な単語に重み付け

0
TFIDF #, % = , # % log
01 #l , # % は特定の難易度 % に対する単語 # の出現確率
l 0 = 11 は難易度の総数
l 01 # は単語 # が出現する難易度の種類数
12

重み !(#, %)：PPMIl 文の難易度と単語の共起の強さPMI. #, %. #%PMI #, % = log= log. # . %
. #l 重みは正数でないといけない

PPMI #, % = max(PMI #, % , 0)
! #, % = Func #, % + 1,Func ∈ TFIDF, PPMI13

データセット：Newselal 難易度 2〜12（米国学校制度の学年）が専門家によって文書ごとに付与されている
l Xu et al. [8] のアライメント
l Zhang and Lapata [3] の分割
訓練用 1,070 文書 94,208 文対
検証用
30 文書
1,077 文対評価用
30 文書
1,129 文対
[8] Xu et al., C.: Problems in Current Text Simplification Research: New Data Can Help, TACL, Vol. 3, pp. 283‒297 (2015).
[3] Zhang and Lapata: Sentence Simplification with Deep Reinforcement Learning, In Proc. of EMNLP, pp. 584‒594 (2017).

14

学習設定
l Marianを用いて以下の設定で学習
l 初期値を無作為に変更して 3 回の平均をとる
符号化器
復号器

２層の Bi-LSTM

隠れ層1024次元

埋め込み層

512次元・dropout率0.1

最適化

Adam

early-stopping

Perplexity, 8 epochs

15

比較手法
l s2s

難易度制御を行わないモデル

l s2s+grade

既存手法（文の難易度を考慮）[7] の再実装

l s2s+grade+TFIDF

提案手法（TFIDFで単語の難易度も考慮）

l s2s+grade+PPMI

提案手法（PPMIで単語の難易度も考慮）[7] Scarton and Specia: Learning Simplifications for Specific Target Audiences, In Proc. of ACL, pp. 712‒718 (2018).

16

実験項目
l 総合的な評価l 難易度ごとの分析
l エラー分析17

総合的な評価l BLEU↑：出力と正解の語句の一致率
l SARI↑：正しく追加・削除・保持したか
l BLEUST↓：入力と出力の語句の一致率
l 文長のMAE↓：文長の平均絶対誤差
l MPMI↑：出力単語の平均 PMI

18

結果：BLEU↑・SARI↑

正しい編集を行なった

30

正しい文を出力した
25

s2s

s2s+grades2s+grade+TFIDF

20

15

s2s+grade+PPMI

BLEU

SARI

19

結果：BLUEST↓
40

積極的に書き換えた
s2s30

s2s+grades2s+grade+TFIDF
s2s+grade+PPMI

20

20

結果：文長のMAE↓・MPMI↑
文長を制御できている
5

0.2

2.5

0.1

00

文長のMAEs2s

s2s+grade

学年に適した単語を出力した

s2s+grade+TFIDF

MPMI
s2s+grade+PPMI

21

実験項目
l 総合的な評価
l 難易度ごとの分析
l エラー分析22

難易度ごとの分析
目標難易度ごとに以下の２つを評価
l FKGL◦ テキストの可読性指標◦ 易しいほどスコアが低い

l MPMI↑◦ 目標難易度に適した単語を出力できたか23

メリハリがついた
6s2s+grade+PPMI
s2s+grade

FKGL

420

2

3

4

5

6

目標難易度（学年）7824

目標難易度の単語が出力できた
0.3

s2s+grade+PPMI
MPMI

0.2

s2s+grade
0.1

02

3

4

5

6

目標難易度（学年）

7

825

実験項目
l 総合的な評価
l 難易度ごとの分析
l エラー分析◦ 無作為抽出した25文について、省略と置換のエラーを数えた26

エラー分析：省略
l 省略不足：省略すべきだが省略しなかった箇所
l 省略過多：入力から残すべきだが省略した箇所
入力文の単語集合
省略不足

出力文の単語集合

省略過多

正解文の単語集合27分析結果：省略
提案手法の方が積極的に省略している

エラー数

15

1050

省略不足
s2s+grade

省略過多
s2s+grade+PPMI

28

エラー分析：置換
l 置換すべき箇所
l 置換成功：正しく置換した箇所
l 置換失敗：誤った表現に置換した箇所
l 置換不足：置換すべきだが置換しなかった箇所
l 置換過多：置換すべきでないが置換した箇所
入力文

She said the college application process can be especially stressful for immigrant students .

正解文

She said the college application process can be especially tough for immigrants .

出力文

She said the college application process can be very hard for immigrant students .

29

分析結果：置換
既存手法

提案手法

再現率 =

置換成功
置換すべき場所

4.0%

8.3%

適合率 =

置換成功
置換成功＋置換失敗＋置換過多

4.7%

8.7%

網羅率 =

置換成功＋置換失敗
置換すべき箇所

44.0%

56.3%

30

分析結果のまとめと今後の課題
l 置換の再現率も適合率も低い
l そもそも半分しか書き換えようとしていない
l コピーや省略に比べて、置換は難しい
l 翻訳は置換のみなのでリスクを取るしかないがテキスト平易化ではコピーや省略などの低リスクな操作に甘えがち
l 入力に無い単語の出力に対して報酬を与えたい
l もっと大きなコーパスが必要かもしれない31

まとめl 学習者支援のため難易度を細かく制御
l 既存手法は、文の難易度を考慮
l 提案手法は、単語の難易度も考慮◦ 単語の難易度に基づいて損失を重み付け◦ BLEU と SARI が改善◦ 目標難易度に適した単語を出力

l 今後の課題：入力にない単語に報酬を与える

32