Vol.2019-NL-240 No.8
2019/6/13

情報処理学会研究報告
IPSJ SIG Technical Report

ソフトな語彙制約によるテキスト難易度制御の検討
西原 大貴1,a)

梶原 智之2,b)

荒瀬 由紀1,c)

概要：本稿では言語学習アプリケーションでの使用を目的として，特定の学年に合わせたテキストの難易度制御を行う．提案手法は，文および単語の両方の難易度を考慮することで，入力文を目標の難易度の文へ言い換える．まず，文の難易度はテキスト平易化モデルの入力として目標の難易度を加えることで考慮される．また，単語の難易度は目標の難易度に応じて各単語の損失を重み付けすることで考慮される．実験の結果，提案手法が BLEU および SARI の両方を改善することが明らかになった．既存手法は文の難易度のみを考慮しており，文長制御など構文的な平易化には長けるが，難解な単語をしばしば残す．一方で，提案手法では構文と単語の両方の難易度制御に成功した．

1. はじめにテキスト平易化 [1] は，ユーザの文章読解支援を目的とし

表 1
学年

例文

12

According to the Pentagon , 152 female troops have

7

The Pentagon says 152 female troops have been

5

The military says 152 female have died .

て，難解なテキストから平易なテキストへ意味を保持しつつ書き換えるタスクである．各ユーザの語学レベルや読解

been killed while serving in Iraq and Afghanistan .
killed while serving in Iraq and Afghanistan .

力，認知力，知識などによって求められるテキストの難易度が異なるため，それぞれのユーザに対応した難易度制御

学年に合わせたテキスト平易化の例が求められている．特に言語学習に関する教育現場では，教師が多くの時間をかけて各学習者向けに手動で平易なテ

テキスト平易化における多くの先行研究 [4–11] では，

キストを生成している．インプット仮説 [2] によると，学

難解な英文と平易な英文からなるパラレルコーパスに基習者の能力よりわずかに高い難易度の教材を用いることでづく単言語の機械翻訳によって 2 段階の難易度変換を行

高い学習効果が得られる．一方，過度に高い難易度の教材

なっており，細かく難易度を制御できない．Scarton andでは学習効果が低くなり，学習意欲の低下を招く要因にもSpecia [12] は 11 段階の難易度付きパラレルコーパス [13]なる．そのため，教師の負担軽減のために自動的なテキスを用いて，出力文の目標難易度を入力文にラベルとして付トの難易度制御が求められている [3]．

与する手法により，初めて難易度制御を行なった．これにテキストの難易度は，構文の難易度と単語の難易度により，同じ入力文であっても目標難易度に応じて言い換え

よって定まる．表 1 に示す例では，米国の 12 年生（高校分けることができるようになった．しかし，文全体の難易3 年生）向けのテキストでの According to ∼, が 7 年生

度のみを考慮しているため，文長など構文の難易度制御に（中学 1 年生）向けのテキストでは ∼ says に置換されるこは優れるが，ターゲットユーザにとって難易度の高い単語とで，構文的な難しさが減少している．また，単語単位でもしばしば出力文に現れる．

の平易化として，7 年生向けのテキストにおける Pentagon

そこで本研究では，適切な難易度の単語の出力を促進す

が 5 年生（小学 5 年生）向けのテキストでは military へ書るために，Scarton and Specia の手法において，各単語のき換えられている．本研究では，言語学習アプリケーショ

損失を難易度に応じて重み付けする手法を提案する．これ

ンにおける利用を想定して，このように各学年に応じた難により，既存手法では書き換えられなかった難解な単語を易度へ自動的に書き換えることを目的とする．

積極的に平易化することが期待できる．評価実験の結果，提案手法は Scarton and Specia の手法と比較して BLEU

1
2
a)
b)
c)

大阪大学大学院情報科学研究科
大阪大学データビリティフロンティア機構
nishihara.daiki@ist.osaka-u.ac.jp
kajiwara@ids.osaka-u.ac.jp
arase@ist.osaka-u.ac.jpⓒ 2019 Information Processing Society of Japanが 1.04 ポイント，SARI が 0.15 ポイント改善された．さらに詳細な分析の結果，提案手法が単語と構文の両方の難易度を制御し，積極的な書き換えを促進することがわかった．

1Vol.2019-NL-240 No.8
2019/6/13

৘ใॲཧֶձ‫ڀݚ‬ใࠂ
IPSJ SIG Technical Report

正解文

2. ؔ࿈‫ڀݚ‬

最適化

2.1 ςΩετฏқԽ
入力文ςΩετฏқԽ͸೉ղจ͔Βฏқจ΁ͷಉҰ‫಺ޠݴ‬ͷ຋

seq2seq༁໰୊ͱߟ͑ΒΕΔɽ͜Ε·Ͱͷ‫Ͱڀݚ‬͸ Wikipedia ͱ
目標難易度

Simple Wikipedia ͷύϥϨϧίʔύε (W-SW) [14, 15] ্
Ͱɼ2 ஈ֊ͷ೉қ౓ม‫׵‬ϞσϧΛֶश͖ͯͨ͠ɽॳ‫ظ‬ͷ‫ݚ‬‫Ͱڀ‬͸౷‫ܭ‬త‫ػ‬ց຋༁ (SMT) ʹ‫ͮ͘ج‬ख๏͕੝ΜͰ͋ͬ

出力文

ਤ 1

୯‫ ޠ‬w ͱ໨ඪ೉қ౓ l Λ༻͍ͯଛࣦΛॏΈ෇͚͢ΔఏҊख๏͕ͨ [4–6]ɼۙ೥Ͱ͸χϡʔϥϧ‫ػ‬ց຋༁ (NMT) ͷ੒ޭ૬ؔΛ࣋ͭͱԾఆ͠ɼ֤จͷ೉қ౓ʹ͓͚Δ୯‫ޠ‬ͷग़‫ݱ‬සΛड͚ɼ஫ҙ‫ྻܥͮ͘جʹߏػ‬ม‫׵‬ϞσϧΛ༻͍Δख๏͕౓Λख͕͔Γʹ೉қ౓ʹదͨ͠୯‫ޠ‬Λਪఆ͢Δɽ͋Δ୯‫ޠ‬ओྲྀͰ͋Δ [7–11]ɽ͔͠͠ɼ͍ͣΕ΋ςΩετͷ೉қ౓Λͷଛࣦ͕େ͖͘ͳΔͱɼͦͷ୯‫ޠ‬ͷग़ྗΛ࿙Β͞ͳ͍Α͏ʮ೉͍͠ʯ͓Αͼʮқ͍͠ʯͷ 2 ஈ֊Ͱม‫͓ͯ͠׵‬Γɼ೉қʹֶश͕ଅ͞ΕΔͨΊɼଛࣦͷॏΈ෇͚ʹΑͬͯ໨ඪ೉қ౓ͷ੍‫ޚ‬͸ߦΘΕ͍ͯͳ͍ɽ

౓ʹదͨ͠୯‫͕ޠ‬ग़ྗ͞Ε΍͘͢ͳΔͱ‫ظ‬଴Ͱ͖ΔɽҰൠʹɼ‫ྻܥ‬ม‫׵‬Ϟσϧͷଛࣦ͸ΫϩεΤϯτϩϐʔΛ

2.2 ςΩετͷ೉қ౓੍‫ޚ‬ςΩετฏқԽʹ͓͍ͯ W-SW ͱฒͿ୅දతͳσʔλ༻͍ͯ‫ٻ‬ΊΒΕΔɽϞσϧͷग़ྗΛ o = [o1 , · · · , oN ] ∈ RN
ʢN ͸‫ޠ‬ኮ਺ʣͱ͢Δͱɼଛࣦ L(o, y) ͸ɼηοτͱͯ͠ Newsela [13] ͕͋ΔɽNewsela ͸ɼ11 ஈ֊ͷL(o, y) = −y log o = − log oc ,೉қ౓෇͖ύϥϨϧίʔύεͰ͋Δɽ͔͠͠ɼNewsela Λ༻͍ͨઌߦ‫ڀݚ‬ͷଟ͘ [8–11] Ͱ͸ɼࡉ͔ͳ೉қ౓ͷҧ͍Λߟྀͤͣ 2 ஈ֊ͷ೉қ౓ม‫׵‬Λߦͳ͍ͬͯͨɽ

Scarton and Specia [12] ͸ Newsela Λ༻͍ͯɼॳΊͯςΩετฏқԽʹ͓͚Δ೉қ౓੍‫ʹޚ‬औΓ૊Μͩɽ͜Ε͸ɼͰಘΒΕΔɽͨͩ͠ɼy = [y1 , · · · , yN ] ∈ RN ͸ਖ਼ղ୯‫ޠ‬Λࢦ͢ c ൪໨ͷཁૉ͕ 1 Ͱଞͷཁૉ͕શͯ 0 Ͱ͋Δ one-hotϕΫτϧͰ͋ΔɽఏҊख๏Ͱ͸ɼࣜ (1) ΛL(o, y, w, l) = −f (w, l) log oc ,ग़ྗ͍ͨ͠໨ඪͷ೉қ౓Λೖྗจʹ෇༩͢Δख๏Ͱ͋Δɽ۩ମతʹ͸ɼจͷ೉қ౓Λࣔ͢ಛघϥϕϧʮ<೉қ౓>ʯΛೖྗจͷจ಄ʹ෇Ճ্ͨ͠ͰɼNisioi Β [7] ͱಉ༷ͷඪ४తͳ஫ҙ‫ྻܥͮ͘جʹߏػ‬ม‫׵‬ϞσϧΛ‫܇‬࿅ͨ͠ɽೖྗจ
ʹಛघϥϕϧΛ෇Ճͯ͠ग़ྗจΛ੍‫͢ޚ‬Δख๏͸ɼଟ‫ݴ‬‫ޠ‬຋༁ [16] ΍ελΠϧม‫[ ׵‬17] ͳͲͷଞͷ Text-to-Text

Generation λεΫͰ΋੒ޭ͍ͯ͠Δ༗๬ͳΞϓϩʔνͰ

(1)

(2)

ͱվΊΔ͜ͱͰɼ໨ඪ೉қ౓ʹԠͯ͡ଛࣦΛॏΈ෇͚͢
ΔɽॏΈ f (w, l) ʹ͸ɼTFIDFʢTerm Frequency Inverse

Document Frequencyʣ·ͨ͸ PPMIʢPositive Pointwise
Mutual InformationʣΛར༻͢Δɽ
TFIDF ೉қ౓͝ͱͷ୯‫ޠ‬ͷॏཁ౓Λਪఆ͢ΔͨΊʹɼ֤೉қ౓ͷจͷू߹ΛจॻͱΈͳͯ࣍ࣜ͠ͷ TFIDF

͋ΔɽScarton and Specia ͷख๏͸໨ඪͷ೉қ౓Λߟྀ͠Λߟ͑Δɽ

ͳ͍ϕʔεϥΠϯ [7] ͱൺ΂ͯ BLEU ͓Αͼ SARI Λվળ͠ɼ೉қ౓ʹԠͨ͡ฏқԽΛ࣮‫͖Ͱݱ‬Δ͜ͱΛࣔͨ͠ɽ͠

TFIDF(w, l) = P (w | l) log͔͠ɼจશମͷ೉қ౓ͷΈΛߟྀ͍ͯ͠ΔͨΊɼߏจͷฏ

D
.
DF(w)

(3)

қԽʹ͸༏ΕΔҰํͰɼλʔήοτϢʔβʹͱͬͯ೉қ౓

ͨͩ͠ɼP (w | l) ͸ಛఆͷ೉қ౓ l ʹ͓͚Δ୯‫ ޠ‬w ͷͷߴ͍୯‫ޠ‬΋͠͹͠͹ग़ྗจʹ‫ݱ‬ΕΔɽͦͷͨΊຊ‫Ͱڀݚ‬ग़‫཰֬ݱ‬ɼD ͸೉қ౓ͷ૯਺*1 ɼDF(w) ͸୯‫ ޠ‬w ͕

͸ɼScarton and Specia ͷख๏ʹ͓͍ͯɼจͷ೉қ౓ʹՃग़‫͢ݱ‬Δ೉қ౓ͷछྨ਺Λද͢ɽͦͷͨΊ TFIDF ͸ɼ͑ͯ୯‫ޠ‬ͷ೉қ౓΋ߟྀ͢Δ͜ͱͰɼΑΓਖ਼֬ͳςΩετಛఆͷ೉қ౓ʹ͓͍ͯಛ௃తͳ୯‫ʹޠ‬ΑΓେ͖ͳॏΈͷ೉қ౓੍‫ޚ‬Λߦ͏ɽΛ༩͑Δɽ

3. ୯‫ޠ‬ͷ೉қ౓ʹ‫ͮ͘ج‬ଛࣦͷॏΈ෇͚PPMI ֤จͷ೉қ౓ͱ୯‫ޠ‬ͷ‫ىڞ‬ͷ‫͞ڧ‬Λਪఆ͢ΔͨΊʹɼ࣍ࣜͷࣗ‫ݾ‬૬‫ޓ‬৘ใྔʢPMIʣΛߟ͑Δɽ

Scarton and Specia ͷ೉қ౓੍‫ޚ‬͸ɼจશମͷ೉қ౓ͷ

PMI(w, l) = logΈΛߟྀ͢ΔͨΊɼϢʔβʹద͞ͳ͍೉қ౓ͷ୯‫ޠ‬΋͠͹͠͹ग़ྗ͞ΕΔɽͦ͜Ͱຊ‫Ͱڀݚ‬͸ɼ໨ඪͷ೉қ౓ʹద͠‫཰֬ݱ‬ɼP (w | l) ͸ࣜ (3) ͱಉ͘͡ಛఆͷ೉қ౓ l ʹ୯‫ޠ‬Λ೉қ౓ʹԠͯ͡ॏΈ෇͚͢Δɽ͜ͷॏΈ f (w, l) ͸ɼ͓͚Δ୯‫ ޠ‬w ͷग़‫཰֬ݱ‬Λද͢ɽ͜͜ͰɼPMI ͕ෛจͷ೉қ౓ l ʹର͢Δ୯‫ ޠ‬w ͷग़‫͠ݱ‬΍͢͞Λද͢ɽຊ‫ݚ‬ⓒ 2019 Information Processing Society of Japan(4)

ͨͩ͠ɼP (w) ͸ίʔύεશମʹ͓͚Δ୯‫ޠ‬ͷ w ͷग़ͨ୯‫ޠ‬ͷग़ྗΛଅͨ͢Ίɼਤ 1 ͷΑ͏ʹଛࣦͷ‫֤ʹ࣌ࢉܭ‬‫Ͱڀ‬͸ɼ୯‫ޠ‬ͷ೉қ౓͸ͦͷ୯‫ޠ‬ͷग़‫͢ݱ‬Δจͷ೉қ౓ͱP (w | l)P (w, l)= log.
P (w)P (l)P (w)਺ΛऔΔ৔߹ɼl ͱ w ͷؔ࿈͕௿͍ͱ‫͑ݴ‬Δɽ͢ͳΘ
*1ຊ࣮‫Ͱݧ‬͸ 2 ͔Β 12 ·Ͱͷ೉қ౓Λѻ͏ͨΊ D = 11ɽ

2

Vol.2019-NL-240 No.8
2019/6/13

情報処理学会研究報告
IPSJ SIG Technical Report
表 2

実験結果

BLEU ↑SARI ↑

BLEUST ↓文長の MAE ↓MPMI ↑

source

21.37

2.82

100.0

10.73

0.08

reference

100.0

70.13

18.30

0.00

0.23

s2s

20.43

28.21

37.60

4.38

0.12

s2s+grade

20.82

29.44

31.96

3.77

0.15

s2s+grade+TFIDF

21.00

29.58

31.56

3.75

0.15

s2s+grade+PPMI

21.86

29.59

31.38

3.69

0.19

ち，難易度との PMI が低くなる単語は，難易度に依は adam を利用し，検証データにおける perplexity が 8 エ

存せず広く使用される単語であると予測される．特定

ポック改善しなくなったところで訓練を終了した．いずれの文の難易度において頻出する単語の出力を促すことの実験も初期値を無作為に変更しつつ 3 回ずつ試行し，得が目的であるため，PMI が負となる単語は重み付けのられた評価値の平均値を報告する．

考慮から除外する．そのため，PMI の正のみを利用し4.3 比較手法

た次式の PPMI を用いる．

Scarton and Specia [12] は Xu らによって一般に公開さPPMI(w, l) = max(PMI(w, l), 0).

(5)

TFIDF および PPMI は，いずれも値域が [0, ∞) である．難易度に対して偏りのない単語の損失の重みを 1 倍にするために，W (w, l) はバイアスとして 1 を加えてれている Newsela よりも大規模なコーパスを利用しており，また訓練・検証・評価用データの分割方法も Zhang
ら [8] によるものとは異なっている．そのため論文で報告されている性能と本研究で実施する実験結果を直接比較することができない．そこで本研究では Scarton and Specia

f (w, l) = Func(w, l) + 1,

(6)

Func ∈ {PPMI, TFIDF},

(7)

とする．

4. 評価実験
4.1 データセットの手法を再現した上で比較を行う．
本実験では，以下の 4 種類の手法を比較した．

( 1 ) s2s は，難易度制御を行わない注意機構に基づく系列
変換モデルである．

( 2 ) s2s+grade は，文頭に出力文の目標難易度を付与する既存手法 [12] に基づくモデルである．

( 3 ) s2s+grade+TFIDF は，s2s+grade のベースライン

本研究では多段階の難易度制御を行うために，Scarton

モデルに提案手法（3 節）である TFIDF に基づく損失

and Specia [12] と同じく Newsela を用いた．Newsela の各の重み付けを適用したモデルである．各単語の TFIDF

文書は 1 つのニュース記事に対応し，専門家によって文書

値は訓練データを用いて計算した．

単位でより平易なレベルにあるよう書き換えられている．

( 4 ) s2s+grade+PPMI は，s2s+grade のベースライン

各文書に付与されている難易度は米国の学校制度におけるモデルに提案手法（3 節）である PPMI に基づく損失

学年を表しており，2〜12 の 11 段階が用意されている．

の重み付けを適用したモデルである．各単語の PPMI

本研究で使用した Newsela は，Xu ら [13] によって文アは訓練データを用いて計算した．

ライメントが取られ，Zhang ら [8] によって訓練用 1, 070
文書（94, 208 文対），検証用 30 文書（1, 129 文対），評価用

4.4 自動評価

30 文書（1, 077 文対）に分割されたデータセットである．

本実験では，BLEU [19] および SARI [6] を用いて各手法

本実験では，先行研究 [12] と同じく，各文の難易度をそのを自動評価した．これらは，テキスト平易化の研究 [4–12]文が含まれる文書の難易度とした．

における標準的な自動評価尺度である．
より詳細な分析のために，本研究では BLEUST ，文長の4.2 実験設定

平均絶対誤差（MAE）および平均 PMI（MPMI）による自本実験では，Marian*2 [18] を使用してテキスト平易化

動評価も行った．BLEUST は，出力文と正解文の一致度をモデルを構築した．符号化器および復号器には 2 層の Bi-評価する通常の BLEU とは異なり，入力文（Source）と出LSTM を用い，隠れ層は 1, 024 次元で dropout 率 0.2，埋力文（Target）の一致度を評価する．これが低いほど，入め込み層は 512 次元で dropout 率 0.1 とした．埋め込み層

力文を積極的に書き換えるモデルであると言える．文長のは符号化器と復号器および出力層で共有した．最適化に

MAE は次式に示す通り，出力文の単語数に基づいて構文*2の難易度を評価する．

https://github.com/marian-nmt/marian/commit/02f4af4ⓒ 2019 Information Processing Society of Japan3

Vol.2019-NL-240 No.8
2019/6/13

情報処理学会研究報告
IPSJ SIG Technical Report
表 3 出力例
学年

例文

入力
12

In its original incarnation during the ‘ 60s , African-American ” freedom songs ” aimed to motivate protesters to march
into harm ’s way and , on a broader scale , spread news of the struggle to a mainstream audience .
s2s+grade: In the 1960s , African-American ” freedom songs are aimed to motivate protesters to march into harm ’s way .

7

s2s+grade+PPMI: In its original people in the 1960s , African-American ” freedom songs are aimed to inspire protesters
to march into harm ’s way .
s2s+grade: In the 1960s , African-American ” freedom songs are aimed to motivate protesters to march into harm ’s way .

4

s2s+grade+PPMI: African-American ” freedom songs are aimed to inspire protesters to march into harm ’s way .

表 4 各難易度における s2s+grade（既存手法）と s2s+grade+PPMI（提案手法）の FKGL と MPMIすることで入力文に含まれない単語をより積極的に出力す

FKGL

学年

いる．したがって，提案手法は難易度に適した単語を重視

MPMIると分かる．s2s は目標の難易度を考慮しないため，積極

既存手法

提案手法

差分

既存手法

提案手法

的な書き換えを学習せずあまり書き換えを行わない保守的

<8>

4.92

5.33

+0.41

0.11

0.12

なモデルとなり，BLEUST が他の手法と比較して高くなっ

<7>

4.87

5.25

+0.38

0.10

0.12

たと考えられる．

<6>

4.47

4.56

+0.09

0.12

0.14

文長の MAE を見ると，s2s+grade は s2s から 0.61 ポイ

<5>

3.51

3.71

+0.20

0.13

0.15

<4>

2.68

2.69

+0.01

0.16

0.19

ント改善され，2 つの提案手法は s2s+grade と同程度であ

<3>

2.06

1.89

−0.17

0.18

0.23

<2>

1.81

1.44

−0.37

0.20

0.24

MAE

1.52

1.45

−

−

−

MAELen =1
N∑|Len(sR ) − Len(sT )|る．すなわち，文の難易度を考慮することによって出力文の文長が正解文と近くなり，構文の難易度制御が改善されている．MPMI の観点では，s2s+grade+PPMI が最も高い．したがって s2s+grade+PPMI は，s2s+grade による構文の難易度制御の特性を保ちつつ，適した難易度の単語(8)sR ∈ReferencesT ∈Targetを出力できることが明らかになった．
表 3 にモデルの出力例を示す．s2s+grade+PPMI は

ここで，N は評価用データセットの文数，Reference は正incarnation を 7 年生向けとして people に，motivate を

解文，Len(s) は文 s の単語数を表す．文長の MAE が低い

4 年生向けとして inspire に書き換えている．いずれのモデほど，適切な長さの文を生成するモデルであると言える．

MPMI は次式に示す通り，出力文に含まれる各単語と目

ルも and , on ∼ を削除できているが，s2s+grade+PPMI
は 4 年生向けの文をより短い文を出力できている．

標難易度の一致度に基づいて単語の難易度を評価する．

MPMI =

1W∑∑

5.2 各難易度における FKGL と MPMI による分析
PMI(w, ls )(9)

難易度の制御についてより詳細な分析を行うために，評s∈Target w∈s

価用データセットの各入力文に対して，入力文よりも平ここで，W は出力文 Target に含まれるトークン数，ls は文

易な全ての難易度*3 に向けての平易化を行った．表 4 に，

s の目標難易度である．PMI は訓練データを用いて式 (4)s2s+grade（既存手法）と s2s+grade+PPMI（提案手法）

によって求めた．MPMI が高いほど，適切な難易度の単語に対する目標難易度ごとの FKGL [20] および MPMI を示を出力するモデルであると言える．

す．FKGL は平均音節数および平均文長に基づきテキスト

5. 実験結果と分析
5.1 実験結果
表 2 に示した評価結果のうち，source は入力文を変えずにの可読性を評価する自動評価尺度である．FKGL の評価値
は米国学校制度における学年に対応しており，本実験ではこれを目標難易度と比較することにより各手法の難易度制
御の品質を分析する．

そのまま出力文とし，reference は正解文を出力文とみなし

FKGL の分析によると，いずれのモデルも過度に平易なたものである．表 2 によると，提案手法は，BLEU と SARI

文に書き換えてしまっているが，目標学年に対する MAEの両方において既存手法である s2s+grade を上回った．特を比較すると提案手法は既存手法より優れている．表 4 中，に s2s+grade+PPMI の BLEU と SARI は s2s+grade と比FKGL の差分は学年ごとに既存手法と提案手法の FKGL

較してそれぞれ 1.04 ポイント，0.15 ポイント改善した．

の差を示している．これによると，提案手法は目標学年がBLEUST は ，提 案 手 法 が 最 も 優 れ て い た ．特 に ，
s2s+grade+PPMI が最も積極的に書き換えを行なってⓒ 2019 Information Processing Society of Japan*3

正解文は各入力文に対して一部の難易度についてのみ付与されているため，ここでは正解文を用いる評価は実施できない．

4

Vol.2019-NL-240 No.8
2019/6/13

情報処理学会研究報告
IPSJ SIG Technical Report
表 5
入力文

エラー分析の例

She said the college application process can be especially stressful for immigrant students .

正解文

Albrecht said applying for college can be especially tough for immigrants .

既存手法

She said the college program can be especially hard for immigrant students .

提案手法

She said it can be very hard for immigrant students .
表 6 評価用データセットから無作為抽出された 25 文に関するエラー分析
省略不足

省略過多

置換すべき箇所

置換成功

置換失敗

置換不足

置換過多

既存手法

14

9

50

2

20

28

21

提案手法

11

15

48

4

23

21

19

小さい場合はより平易な文を出力し，目標学年が大きい場ントされる．

合はより難解な文を出力しているため，既存手法と比較し表 6 の分析結果から，提案手法は既存手法に比べて，省てより明確に難易度を区別した制御ができている．この結略過多は多いが省略不足は少なく，より積極的に省略を)(置換成功行っていることがわかる．置換の 再現率 = 置換すべき箇所

果により，単語の難易度を考慮することで，テキスト平易化の難易度制御に寄与することが分かる．

MPMI の評価によると，提案手法は全ての学年で既存手法より優れている．したがって，PPMI に基づく損失の重42は 提 案 手 法 が 48
，既 存 手 法 が 50
で あ り ，提 案 手 法 がよ り 正(し く 置 換 で き た も の の ，い
) ず れ も 低 い ．ま た ，
適合率 = 置換成功+置換成功
置換失敗+置換過多を見ると，提案手法が適した単語を出力することが確認できた．

2
4
43 ，既存手法が46 と低く，書き換えの誤りは多い．一方，
)
(
+置換成功
27
は提案手法が 48，既存手法が網羅率 = 置換失敗
置換すべき箇所22
50 である．テキスト平易化においては，難解な表現（置換5.3 エラー分析

すべき箇所）を平易に言い換える（置換成功）ことが目的

み付けを行う提案手法が，我々の期待通りに目標の学年に

今後の課題を明らかにするために，評価用データセットであるため，高い置換の再現率を達成することが望ましい．

から無作為抽出した 25 文について，s2s+grade（既存手法）

既存手法と提案手法はいずれも，置換の網羅率に比べて適および s2s+grade+PPMI（提案手法）のエラー分析を行

合率が低いために再現率が低いことがわかる．単語の難易なった．ここでは，テキスト平易化における代表的な操作度も考慮してテキストの難易度制御を行う提案手法は，よである省略および置換について，それぞれの細分類ごとにり積極的な省略および置換を行うが，より正しい単語を出

エラー数を人手で調べた．まず省略に関するエラー分析の力することが今後の課題である．

ために，入力文・出力文・正解文の三つ組を比較して，省略すべきだが省略しなかった箇所（省略不足）と出力すべ

6. おわりにきだが過剰に省略している箇所（省略過多）を数えた．次

本研究では，単語の難易度に注目することで高品質な難に置換に関するエラー分析のために，入力文中の置換すべ易度制御を行うテキスト平易化手法を提案した．文の難易き箇所，正しく置換した箇所（置換成功），誤った表現に置度と単語の共起の強さによって損失を重み付けすることで，換した箇所（置換失敗），置換すべきだが置換しなかった箇

BLEU および SARI による自動評価が既存手法を上回り，所（置換不足），置換すべきでないが置換した箇所（置換過積極的かつ正確な難易度制御ができることを確認した．ま*4多）を数えた．

た難易度ごとの分析からも，提案手法が構文的にも語彙的表 5 はエラー分析の例であり，下線は編集箇所を示してにもより正確な難易度制御を実現できることを確認した．

いる．この例では，省略の操作は行われていないことに注本研究では，Scarton and Specia [12] と同様に，文書の意されたい．例えば，入力文における単語 stressful は

難易度を各文の難易度とみなした．テキストの可読性や難tough に置換すべきだが，いずれのモデルも hard へ置換

易度については，文書 [20] や語句 [21, 22] の単位では研究しており，置換失敗としてカウントされる．また，入力文

されているが，文単位での難易度推定は今後の課題である．

中の句 immigrant students はいずれのモデル出力にもそのまま残っており，置換不足としてカウントされる．そして，提案手法は入力文と正解文に共通して出現する単語

especially を very へ置換しており，置換過多としてカウ*4

謝辞
本研究は Microsoft Research Asia の助成を受けたものです．

本研究では単一の正解文を用いたが，本来正解文は複数存在する
ため，正解文と異なる場合であっても正しいとすべき出力文が存在する．しかし，ここでは単一正解文の表現のみを正解とする厳しい評価を行なうため，本来の評価よりも低く評価される．

ⓒ 2019 Information Processing Society of Japan5

Vol.2019-NL-240 No.8
2019/6/13

情報処理学会研究報告
IPSJ SIG Technical Report

参考文献
[1]

[2]
[3]

[4]

[5]

[6]

[7]

[8]

[9]

[10]

[11]

[12]

[13]

[14]

[15]

[16]

Shardlow, M.: A Survey of Automated Text Simplification, International Journal of Advanced Computer Science and Applications, Special Issue on Natural Language Processing 2014, Vol. 4, No. 1, p. 425 (2014).
Krashen, S. D.: The input hypothesis: Issues and implications, New York: Longman (1985).
Petersen, S. E. and Ostendorf, M.: Text Simplification for Language Learners: A Corpus Analysis, Speechin Language Technology in Education (SLaTE2007),
No. SLaTE, p. 4 (2007).
Specia, L.: Translating from Complex to Simplified Sentences, Lecture Notes in Computer Science (including
subseries Lecture Notes in Artificial Intelligence andLecture Notes in Bioinformatics), Vol. 6001 LNAI, pp.
30–39 (2010).
Wubben, S., van den Bosch, A. and Krahmer, E.: Sentence Simplification by Monolingual Machine Translation, In Proceedings of the 50th Annual Meeting of the
Association for Computational Linguistics, Vol. 1, pp.
1015–1024 (2012).
Xu, W., Napoles, C., Pavlick, E., Chen, Q. and CallisonBurch, C.: Optimizing Statistical Machine Translation
for Text Simplification, Transactions of the Association
for Computational Linguistics, Vol. 4, No. 1, pp. 401–415 (2016).
Nisioi, S., Štajner, S., Ponzetto, S. P. and Dinu, L. P.:
Exploring Neural Text Simplification Models, In Proceedings of the 55th Annual Meeting ofthe Association
for Computational Linguistics, Vol. 2, pp. 85–91 (2017).
Zhang, X. and Lapata, M.: Sentence Simplification with
Deep Reinforcement Learning, In Proceedings of the2017 Conference on Empirical Methods in Natural Language Processing, pp. 584–594 (2017).
Vu, T., Hu, B., Munkhdalai, T. and Yu, H.: Sentence Simplification with Memory-Augmented Neural
Networks, In Proceedings of the 2018 Conference of theNorth American Chapter of the Association for Computational Linguistics: Human Language Technologies,
Vol. 2, pp. 79–85 (2018).
Guo, H., Pasunuru, R. and Bansal, M.: Dynamic MultiLevel Multi-Task Learning for Sentence Simplification,
In Proceedings of the 27th International Conference on
Computational Linguistics, pp. 462–476 (2018).
Zhao, S., Meng, R., He, D., Andi, S. and Bambang, P.:
Integrating Transformer and Paraphrase Rules, In Proceedings of the 2018 Conference on Empirical Methods
in Natural Language Processing, pp. 3164–3173 (2018).
Scarton, C. and Specia, L.: Learning Simplifications forSpecific Target Audiences, In Proceedings of the 56th
Annual Meeting of the Association for Computational
Linguistics, pp. 712–718 (2018).
Xu, W., Callison-Burch, C. and Napoles, C.: Problems
in Current Text Simplification Research: New Data Can
Help, Transactions of the Association for Computational Linguistics, Vol. 3, pp. 283–297 (2015).
Zhu, Z., Bernhard, D. and Gurevych, I.: A Monolingual
Tree-based Translation Model for Sentence Simplification, Computational Linguistics, No. August, pp. 1353–
1361 (2010).
Coster, W. and Kauchak, D.: Simple English Wikipedia:
A New Text Simplification Task William, Research Journal of Agricultural Sciences, pp. 665–669 (2011).
Johnson, M., Schuster, M., Le, Q. V., Krikun, M., Wu,
Y., Chen, Z., Thorat, N., Viégas, F., Wattenberg, M.,ⓒ 2019 Information Processing Society of Japan

[17]

[18]

[19]

[20]

[21]

[22]

Corrado, G., Hughes, M. and Dean, J.: Google’s Multilingual Neural Machine Translation System: Enabling
Zero-Shot Translation, Transactions of the Association
for Computational Linguistics, pp. 339–351 (2016).
Niu, X., Rao, S. and Carpuat, M.: Multi-Task Neural Models for Translating Between Styles Within and
Across Languages, In Proceedings of the 27th International Conference on Computational Linguistics, pp.
1008–1021 (2018).
Junczys-Dowmunt, M., Heafield, K., Hoang, H., Grundkiewicz, R. and Aue, A.: Marian: Cost-eﬀective HighQuality Neural Machine Translation in C++, In Proceedings of the 56th Annual Meeting ofthe Association for Computational Linguistics, System Demonstrations, pp. 116–121 (2018).
Papineni, K., Roukos, S., Ward, T. and Zhu, W.-J.:
BLEU: a Method for Automatic Evaluationof MachineTranslation, In Proceedings of the 40th Annual Meetingof the Association for Computational Linguistics, pp.
311–318 (2002).
Kincaid, J. P., Fishburne Jr., R. P., Rogers, R. L. andChissom, B. S.: Derivation Of New Readability Formulas(Automated Readability Index, Fog Count And Flesch
Reading Ease Formula) For Navy Enlisted Personnel,
Technical report, Defence Technical Information Center Document (1975).
Pavlick, E. and Callison-Burch, C.: Simple PPDB: A
Paraphrase Database for Simplification, In Proceedingsof the 54th Annual Meeting of the Association for Computational Linguistics, pp. 143–148 (2016).
Maddela, M. and Xu, W.: A Word-Complexity Lexicon
and A Neural Readability Ranking Model for Lexical
Simplification, In Proceedings of the 2018 Conferenceon Empirical Methods in Natural Language Processing,pp. 3749–3760 (2018).

6