# テキスト平易化における語彙制約に基づく難易度制御

西原 大貴 $^{\dagger}$ ・梶原 智之 ${ }^{\dagger}$ ・荒瀬 由紀 ${ }^{\dagger,+\dagger \dagger}$
}

本稿では，入力される英文を特定の学年に合わせた難易度に平易化する難易度制御 の手法を提案する．提案手法では，文と単語の両方の難易度を考慮することで， 入力文を目標の難易度の文へ書き換える。文の難易度は既存手法と同様，テキスト平易化モデルの入力として目標の文の難易度ラベルを加えることで考慮する。単語の 難易度を考慮するために，本研究では 3 種類の手法を提案する。それぞれ，単語分散表現を拡張して素性として単語難易度を考慮する手法, 難解な単語を出力しない ハードな語彙制約手法, 平易な単語を出力しやすくするソフトな語彙制約手法であ る。評価実験により，ソフトな語彙制約が有効であることを示す。既存手法は文の 難易度のみを考慮しており，省略など構文的な平易化には長けるが，難解な単語を しばしば残す。一方で，提案手法は構文と単語の両方の難易度制御を実現できる。 キーワード：テキスト平易化，テキストの難易度制御
## Controllable Text Simplification with Lexical Constraint

## DaIki Nishihara $^{\dagger$, Tomoyuki Kajiwara ${ }^{\dagger \dagger}$ and Yuki Arase ${ }^{\dagger, \dagger \dagger \dagger}$}

\begin{abstract}
We propose a method for controlling the sentence complexity in text simplification tasks. Our text simplification method is successful in translating an input sentence into a specific grade level by considering the complexities of both sentences and words. Sentence complexities are considered by adding the target grade level to an input. In contrast, a word complexity is considered by following three different methods: (a) by extending word embedding by adding a grade level as a feature, (b) by imposing a hard constraint that prohibits outputting complex words, and (c) by imposing a soft constraint that encourages outputting of simple words. Results from the experiments indicate that a soft constraint improves the performance of a text simplification task. Although the existing model that considers only the sentence complexity may control the syntactic complexity aspects like omission, it tends to generate words beyond the target complexity. Our method achieves the control of both syntactic structures and lexical complexities.
\end{abstract}

Key Words: Text Simplification, Controllable Text Simplification

表 1 学年に合わせたテキスト平易化の例

 \\

## 1 はじめに

テキスト平易化 (Shardlow 2014) は，ユーザの文章読解支援を目的として，難解なテキストから平易なテキストへ意味を保持しつつ書き換えるタスクである。各ユーザの語学レベルや読解力, 認知力, 知識などによって求められるテキストの難易度が異なるため, それぞれのユーザに対応した難易度制御が求められている．特に言語学習に関する教育現場では，教師が多くの時間をかけて各学習者向けに手動で平易なテキストを生成している．インプット仮説 (Krashen 1985)によると，学習者の能力よりわずかに高い難易度の教材を用いることで高い学習効果が得られる。一方, 過度に高い難易度の教材では学習効果が低くなり, 学習意欲の低下を招く要因にもなる. そのため, 教師の負担軽減のために自動的なテキストの難易度制御が求められている (Petersen and Ostendorf 2007).

テキスト平易化の処理は, 主に「省略」と「言い換え」によって実現される。表 1 の例では, 米国の 12 年生（高校 3 年生）向けのテキストでの while serving 〜が 5 年生 (小学 5 年生) 向けのテキストでは省略されている。また， 12 年生向けのテキストにおける According to が 7 年生（中学 1 年生）向けのテキストでは saysに, Pentagon が 5 年生向けのテキストでは military へ言い換えられている。個々のユーザに対応した難易度制御へ向けた第一歩として, 本研究では「学年」を対象とし，目的の学年に適した難易度へ文を自動で変換する課題に取り組む.

テキスト平易化における多くの先行研究 (Specia 2010; Coster and Kauchak 2011; Wubben, van den Bosch, and Krahmer 2012; Xu, Napoles, Pavlick, Chen, and Callison-Burch 2016; Kajiwara and Komachi 2016; Nisioi, Štajner, Ponzetto, and Dinu 2017; Zhang and Lapata 2017; Vu, Hu, Munkhdalai, and Yu 2018; Guo, Pasunuru, and Bansal 2018; Zhao, Meng, He, Andi, and Bambang 2018) では，難解な英文と平易な英文からなるパラレルコーパスに基づく同一言語内の機械翻訳によって単純に「難解」から「平易」への難易度変換を行っており，難易度を細かく制御できない. Scarton and Specia (2018) は，11 段階の難易度付きパラレルコーパス (Xu, Callison-Burch, and Napoles 2015) を用いて細かな難易度制御に初めて取り組んた. この手法では, 出力文の目標難易度を入力文にラベルとして付与することにより, 同じ入力文であっても
目標難易度に応じて書き換え分けるが，単語の難易度については考慮されていない．本研究では，文全体の大域的な難易度に加えて，個々の単語の局所的な難易度も適切に制御するために，文の難易度とともに単語の難易度も考慮する手法を 3 種類提案する。それぞれ，単語分散表現を拡張する手法，難解な単語の出力を制限するハードな語彙制約手法，平易な単語の出力を促すソフトな語彙制約手法である。いずれの手法も，既存手法では言い換えられなかった難解な単語を積極的に平易化することが期待できる.

上述の難易度付きパラレルコーパスを用いて，提案手法の有効性を検証する。テキスト平易化では BLEU (Papineni, Roukos, Ward, and Zhu 2002) および SARI (Xu et al. 2016) が標準的な評価指標として用いられる。BLEU が出力文と正解文の語句の一致率を評価するのに対して, SARI は入力文・出力文・正解文の 3 つを比較することで言い換えるべき語句を正しく言い換えたかを評価する。評価実験の結果，ソフトな語彙制約手法は既存手法と比較して BLEUを 1.04 ポイント，SARIを 0.15 ポイント改善した。さらに詳細な分析の結果，提案手法は文全体の難易度だけでなく単語の難易度も上手く制御でき，積極的な書き換えを促進することが明らかとなった。

## 2 関連研究

## 2.1 テキスト平易化

テキスト平易化は難解な文から平易な文への同一言語内の翻訳問題と考えられる．これまでの研究では English Wikipedia と Simple English Wikipedia のパラレルコーパス (W-SW) (Zhu, Bernhard, and Gurevych 2010; Coster and Kauchak 2011) 上で，2 段階の難易度変換モデルを訓練してきた。 初期の研究では統計的機械翻訳に基づく手法 (Specia 2010; Wubben et al. 2012; Xu et al. 2016; Kajiwara and Komachi 2016) が盛んであったが，近年ではニューラル機械翻訳の成功を受け，注意機構に基づく系列変換モデルを用いる手法 (Nisioi et al. 2017; Zhang and Lapata 2017; Vu et al. 2018; Guo et al. 2018; Zhao et al. 2018) が主流である.しかし, いずれもテキストの難易度を「難解」および「平易」の 2 段階で変換しており，難易度の細かな制御を行っていない.

## 2.2 テキストの難易度制御

テキスト平易化において W-SW と並ぶ代表的なデータセットとして Newsela ${ }^{1}$ (Xu et al. 2015) がある. Newsela は 11 段階の難易度付きパラレルコーパスであるが, Newsela を用いた先行研究の多く (Zhang and Lapata 2017; Vu et al. 2018; Guo et al. 2018; Zhao et al. 2018) は，細か


な難易度の違いを考慮せず 2 段階の難易度変換を行っていた。

Scarton and Specia (2018) は Newsela を用いて，初めてテキスト平易化における難易度制御に取り組んだ。この手法では，出力したい目標の難易度を入力文に付与する．具体的には，文の難易度を示すラベル「<<難易度 $>」$ を入力文の文頭に付加した上で, Nisioi et al. (2017) と同様の標準的な注意機構に基づく系列変換モデルを訓練した，入力文にラベルを付加して出力文を制御する手法は，多言語翻訳 (Johnson, Schuster, Le, Krikun, Wu, Chen, Thorat, Viégas, Wattenberg, Corrado, Hughes, and Dean 2017) やスタイル変換 (Niu, Rao, and Carpuat 2018) などの他の Text-to-Text Generation タスクでも成功している有望なアプローチである. Scarton and Specia (2018)の手法は目標の難易度を考慮しないべースライン (Nisioi et al. 2017) と比べて BLEU (Papineni et al. 2002) およびSARI (Xu et al. 2016)の自動評価を改善し，難易度に応じた平易化を実現できることを示した。しかし，この手法では文全体の難易度のみを考慮しているため，省略の操作には優れる一方で，夕ーゲットユーザにとって難易度の高い単語が言い換えられずに出力文に残る場合が少なくない，そのため本研究では， Scarton and Specia (2018) の手法において, 文の難易度に加えて単語の難易度も考慮することで, より正確なテキストの難易度制御を行う。

## 3 単語の難易度を考慮したテキストの難易度制御

本研究では, Scarton and Specia (2018)の手法において, 目標の難易度に適した単語の出力を促すために，単語の難易度を考慮する 3 種類の手法を提案する． 3.1 節では，各単語の分散表現を拡張することで，素性として単語の難易度を考慮する手法を提案する． 3.2 節では, 目標の難易度に応じて出力可能な単語を制限するハードな語彙制約を提案する． 3.3 節では, 目標の難易度に応じて各単語を重み付けするソフトな語彙制約を提案する.

## 3.1 素性としての単語難易度の考慮

単語の難易度を考慮するために，埋め込み層を拡張する，本手法では，難解な単語は難解な文中で出現しやすく平易な単語は平易な文中で出現しやすいと仮定して, 文の難易度ごとの各単語の出現確率の分布を用いて埋め込み層を拡張する.

まず，大規模な生コーパス上で事前訓練された $k$ 次元の単語分散表現を用意する。この単語分散表現は，単語の意味を表現するべクトルであり，難易度の情報は持たないと仮定する。これに単語の難易度を表現する $n$ 次元べクトル $\boldsymbol{a}=\left(a_{1}, a_{2}, \cdots, a_{n}\right)$ を結合することで拡張した $k+n$ 次元のベクトルを, 符号化器および復号器の埋め込み層として使用する. ここで $n$ は, 訓練データにおける文の難易度の種類数であり, 本研究では 11 である. 拡張するべクトル $\boldsymbol{a}$ の各
要素 $a_{i}(i=1,2, \cdots, n)$ は $n$ 段階の各難易度に対応しており, 次式で定められる.

$
a_{i}=\frac{P\left(w \mid u_{i}\right)}{\sum_{j=1}^{n} P\left(w \mid u_{j}\right)}, \quad(i=1,2, \cdots, n)
$

ここで, $P\left(w \mid u_{i}\right)$ は訓練デー夕の各難易度 $u_{i}$ における単語 $w$ の出現確率を表している。すなわち, べクトル $\boldsymbol{a}$ は，単語の出現確率の分布として単語の難易度を表現する素性である。意味ベクトルおよび難易度べクトルの情報を保持するために，テキスト平易化モデルの訓練時には, これらの埋め达み層は固定する。

類似した手法として，対話応答生成タスクでは，復号器の埋め込み層において話者の分散表現を付加するスタイル変換の手法 (Li, Galley, Brockett, Spithourakis, Gao, and Dolan 2016)が提案されている。この手法はスタイルごとに 1 つの固定された情報を復号器の入力として付加するが, 提案手法では符号化器および復号器の入力として単語ごとに固有の情報を付加する.

## 3.2 ハードな語彙制約による単語難易度の考慮

目標の難易度に合致した単語を出力するために，出力語彙を制限する．本手法では，訓練デー 夕において各単語が出現する文の難易度のうち, 最も平易な難易度をその単語の難易度であると仮定する．例えば，ある単語が 3 年生向けテキストおよび 4 年生向けテキストに出現する場合, その単語の難易度は 3 とし, 3 年生から 12 年生までの文で出現可能として扱う。つまり,目標の難易度が 3 未満の場合にはこの単語を出力しないという制約を復号器に加える。

テキスト平易化の推論では，各タイムステップの復号器出力を $\boldsymbol{o}=\left[o_{1}, \cdots, o_{N}\right] \in \mathbb{R}^{N}(N$ は語彙サイズ）として，最大要素のインデックス $\arg \max _{i} o_{i}$ に対応する単語をモデルが出力する.出力する単語を目標の難易度 $T$ に適した単語のみに制限するために，まず語彙制約マスク

$
\boldsymbol{m}=\left[m_{1}, \cdots, m_{N}\right], \quad m_{i}= \begin{cases}1 & \text { if } b_{i} \leq T \\ 0 & \text { otherwise }\end{cases}
$

を用意する。ここで， $b_{i}$ はインデックス $i$ に対応する単語の難易度を表す。これを用いて，図 1 に示すようにモデルの出力を

$
\boldsymbol{o}^{\prime}=\boldsymbol{o} \odot \boldsymbol{m}
$

と改めることで出力語彙を制限する。はべクトルの要素ごとの積を計算する演算子である.訓練データから単語の難易度を推定する他に, 既存の単語難易度辞書 (English Vocabulary

図 1 ハードな語彙制約により単語難易度を考慮する提案手法

Profile ${ }^{2}$ や Maddela and Xu (2018) の辞書 3 など）を語彙制約のために利用することも考えられる.しかし, Newselaコーパスにおける語彙の網羅率が English Vocabulary Profile では $8.87 \%$, Maddela and Xu (2018)の辞書では $26.18 \%$ と低く, ほとんどの単語に難易度を割り当てられなかったため, 本研究では使用しなかった.

## 3.3 ソフトな語彙制約による単語難易度の考慮

目標の難易度に適した単語の出力を促すために，図 2 のように損失の計算時に各単語を難易度に応じて重み付けする。この重み $f(w, l)$ は, 文の難易度 $l$ に対する単語 $w$ の出現しやすさを表す。本手法では，難解な単語は難解な文中で出現しやすく, 平易な単語は平易な文中で出現しやすいと仮定し, 各文の難易度における単語の出現頻度を手がかりに難易度に適した単語を推定する。ある単語の損失が大きくなると, その単語の出力を漏らさないように学習が促されるため, 損失の重み付けによって目標難易度に適した単語が出力されやすくなると期待できる.

一般に，系列変換モデルの損失はクロスエントロピーを用いて求められる．各タイムステップのモデルの出力を $\boldsymbol{o}=\left[o_{1}, \cdots, o_{N}\right] \in \mathbb{R}^{N}$ とすると, 損失 $L(\boldsymbol{o}, \boldsymbol{y})$ は,

$
L(\boldsymbol{o}, \boldsymbol{y})=-\boldsymbol{y} \log \boldsymbol{o}^{\top}=-\log o_{c}
$

で得られる。ただし, $\boldsymbol{y}=\left[y_{1}, \cdots, y_{N}\right] \in \mathbb{R}^{N}$ は正解単語を指す $c$ 番目の要素が 1 で他の要素が全て0である one-hot ベクトルである。提案手法では, 式 (4)を

$
L\left(\boldsymbol{o}, \boldsymbol{y}, w_{c}, l\right)=-f\left(w_{c}, l\right) \log o_{c}
$

と改めることで，目標難易度に応じて損失を重み付けする。ここで，語彙を $V$ とすると $w_{c} \in V$ は正解単語を表す。重み $f(w, l)$ には, TFIDF (Term Frequency Inverse Document Frequency)
^{3}$ https://github.com/mounicam/lexical_simplification
}

図 2 単語 $w$ と目標難易度 $l$ を用いて損失を重み付けするソフトな語彙制約

または PPMI (Positive Pointwise Mutual Information)を利用する.

TFIDF 難易度ごとの単語の重要度を推定するために，各難易度の文の集合を文書とみなして次式の TFIDF を考える。

$
\operatorname{TFIDF}(w, l)=P(w \mid l) \log \frac{n}{\mathrm{DF}(w)}
$

ただし, $P(w \mid l)$ は特定の難易度 $l$ における単語 $w$ の出現確率， $n$ は難易度の総数 ${ }^{4}$, $\mathrm{DF}(w)$ は単語 $w$ が出現する難易度の種類数を表す。そのため TFIDF は，特定の難易度において特徴的な単語により大きな重みを与える。

PPMI 各文の難易度と単語の共起の強さを推定するために, 次式の自己相互情報量 (PMI, Pointwise Mutual Information)を考える。

$
\operatorname{PMI}(w, l)=\log \frac{P(w, l)}{P(w) P(l)}=\log \frac{P(w \mid l)}{P(w)} .
$

ただし， $P(w)$ はコーパス全体における単語の $w$ の出現確率, $P(w \mid l)$ は式 (6) と同じく特定の難易度 $l$ における単語 $w$ の出現確率を表す. ここで, PMI が負数を取る場合, $l$ と $w$ の関連が低いと言える。すなわち, $\operatorname{PMI}(w, l)$ の值が小さくなる単語 $w$ は，難易度に依存せず広く使用される単語であると考えられる．特定の文の難易度において頻出する単語の出力を促すことが目的であるため, PMI が負となる単語は重み付けの考慮から除外する。そのため，PMIの正のみを利用した次式の PPMI (Positive PMI)を用いる。

$
\operatorname{PPMI}(w, l)=\max (\operatorname{PMI}(w, l), 0)
$

TFIDF および PPMI は，いずれも值域が $[0, \infty)$ である。難易度に対して偏りのない単語の損失の重みを 1 倍にするために,$f(w, l)$ はバイアスとして 1 を加えて


$
f(w, l)=\operatorname{Func}(w, l)+1, \quad \text { Func } \in\{\text { TFIDF }, \text { PPMI }\}
$

とする.

## 4 実験

## 4.1 実験設定

## 4.1.1 データセット

本研究では多段階の難易度制御を行うためのデータセットとして, Scarton and Specia (2018) と同じくNewsela (Xu et al. 2015)を用いる. Newsela の各文書は 1 つのニュース記事に対応し,専門家によって文書単位で平易化されている。各文書には，米国学校制度における学年に対応する難易度が付与されており，2～12の11 段階の難易度を利用できる.

本研究で使用した Newsela は，Xu et al. (2015) によって文アライメントが取られ，Zhang and Lapata (2017) によって訓練用 1,070 文書 $(94,208$ 文対)，検証用 30 文書（1,129 文対），評価用 30 文書（1,077 文対）に分割されたデータセットである．本実験では， Scarton and Specia (2018) と同じく, 各文の難易度をその文が含まれる文書の難易度とする．なお， Scarton and Specia (2018) は一般に公開されている Newsela (Xu et al. 2015)よりも大規模な非公開のコーパスを利用しているため，この論文で報告されている性能と本研究で実施する実験結果は直接比較できない。そこで本研究では Scarton and Specia (2018)の手法を再現した上で比較を行う.

## 4.1.2 評価指標

本実験の評価では，テキスト平易化の先行研究 (Xu et al. 2016; Nisioi et al. 2017; Zhang and Lapata 2017; Scarton and Specia 2018) と同じく, BLEU (Papineni et al. 2002) および次式の SARI (Xu et al. 2016)を用いる.

$
\mathrm{SARI}=\frac{1}{3}\left(F_{\mathrm{add}}+F_{\text {keep }}+P_{\text {del }}\right)
$

ここで, $F_{\mathrm{add}}, F_{\mathrm{keep}}, P_{\mathrm{del}}$ は, 入力文・出力文・正解文の 3 つを比較して計算される. それぞれ, モデルが入力文に対して正しく追加した $n$-gram ${ }^{5}$ の $\mathrm{F}$ 値，入力文から正しく保持した $n$-gram の $\mathrm{F}$ 値，入力文から正しく削除した $n$-gram の適合率である。BLEU は主に意味と文法の観点で人手評価との相関を持ち，SARI は意味と文法に加えて難易度の観点でも人手評価との相関を持 $\supset$ (Xu et al. 2016).

評価指標の特性を理解するために, source および reference-shuffleの 2 つのベースラインを考える. source は入力文を編集せずにそのまま出力するものである． reference-shuffle は，正解文
^{5}$ 1-gram から 4-gram まで考慮する.
}

の語順を無作為に入れ替えるものである． 4.2 節に示すように，入力を書き換えない source は高い BLEU を得られるが, SARI は低い。一方, reference-shuffle は高い SARIを得られるが, BLEU は低い。つまり，BLEU または SARI の一方のみが高いモデルは容易に得られてしまうため，両方のスコアを同時に改善したモデルが優れていると考えられる.

## 4.1.3 比較手法

実験項目は以下の通りである。項目 (1) から (4) が比較手法, (5) から (8) が提案手法である.

(1) $\mathbf{s} \mathbf{s}$ は，注意機構に基づく単純な系列変換モデルである.

（2） s2s+grade は，入力文頭に目標難易度のラベル 6 を付与して出力文の難易度を制御する既存手法 (Scarton and Specia 2018) に基づくモデルである.

(3) s2s (GloVe) は注意機構に基づく系列変換モデルにおいて, 埋め込み層として GloVe (Pennington, Socher, and Manning 2014)の訓練済み単語分散表現を用いるモデルである.

(4) s2s (GloVe)+grade は s2s (GloVe)において (Scarton and Specia 2018)の手法を適用したモデルである.

（5） s2s (GloVe+単語難易度ベクトル)＋grade は， Scarton and Specia (2018)の手法において，埋め込み層に提案手法（3.1 節）を適用したモデルである。本実験では, GloVeの 512 次元の訓練済み単語分散表現に 11 次元の単語難易度ベクトルを追加した 523 次元を埋め込み層として用いた。

（6） s2s+grade+hard は，s2s+grade においてハードな語彙制約を行う提案手法（3.2 節）である.

（7） s2s+grade+TFIDF は，s2s+grade のベースラインモデルに TFIDF に基づく損失の重み付けを適用した提案手法（3.3 節）である。各単語の TFIDF 値は訓練データを用いて計算した。

(8) s2s+grade+PPMI は，s2s+grade のベースラインモデルに PPMI に基づく損失の重み付けを適用した提案手法（3.3 節）である。各単語の PPMI 値は訓練デー夕を用いて計算した.

## 4.1.4 手法の実装

手法 (3) (5) で使用する単語分散表現 GloVe は, 次元数 512 , 空幅 15 として English Wikipedia ${ }^{7}$ および Newsela を用いて訓練した。なお, 文の難易度ラベルに対応する分散表現を得るため, Newsela の全ての文頭に各文の難易度を示すラベルを付与して GloVeの訓練を行った。

本実験では, Marian ${ }^{8}$ (Junczys-Dowmunt, Grundkiewicz, Dwojak, Hoang, Heafield, Neckermann,
>,<\mathbf{3}>, \cdots,<\mathbf{1 2}>$ の 11 種類である.

7 https://dumps.wikimedia.org/enwiki/20191201/enwiki-20191201-pages-articles-multistream.xml.bz2

 }^{8}$ https://github.com/marian-nmt/marian/commit/02f4af4

表 2 実験結果（太字は $\mathrm{s} 2 \mathrm{~s}+$ grade と比較して評価値が優れているもの）

表 3 素性として単語難易度を考慮する提案手法の失敗例

Seide, Germann, Aji, Bogoychev, Martins, and Birch 2018)を使用してテキスト平易化モデルを構築した. 符号化器および復号器には 2 層の Bi-LSTM を用い, 隠れ層は 1,024 次元で dropout 率 0.2 , 埋め込み層は 512 次元で dropout 率 0.1 とした。埋め込み層は符号化器と復号器および出力層で共有した，最適化には Adam (Kingma and Ba 2015) を利用し，検証データにおける perplexity が 8 エポック改善しなくなったところで訓練を終了した. ニューラルネットワークの初期値依存性を考慮し，いずれの実験も初期值を無作為に変更しつつ 3 回ずつ試行し，得られた評価値の平均を報告する。

## 4.2 実験結果

## 4.2.1素性としての単語難易度を考慮する提案手法（3.1 節）の実験結果

実験結果を表 2 に示す。提案手法 (5) s2s (GloVe+単語難易度ベクトル)+grade は，比較手法 (3) s2s (GloVe) および (4) s2s (GloVe)+grade よりもBLEU および SARI が優れており，素性としての単語難易度を考慮する提案手法の有効性が確認された。しかし, 訓練済みの単語分散
表 4 ハードな語彙制約により単語難易度を考慮する提案手法の失敗例

図 3 ハードな語彙制約において各難易度で使用可能な語彙サイズ

表現を用いた手法 (3)，(4)，（5）は，それを用いない手法 (1) s2s および (2) s2s+grade に比べて SARI が低く，入力から正しい書き換えを行っていない。モデル出力の失敗例を示した表 3 によると，失敗例 1 では enhances を buildsに言い換えできていない，失敗例 2 では，crewを worker に言い換えできていない。このように，期待とは異なり難解な単語を残したまま出力する例が見られた。そこで手法 (6)～(8) では，訓練済みの単語分散表現を用いるのではなく，分散表現も同時に学習するアプローチを用いた.

## 4.2.2 ハードな語彙制約により単語難易度を考慮する提案手法（3.2 節）の実験結果

表 2 によると, 提案手法 (6) s2s+grade+hard は既存手法 (2) s2s+grade と比較して SARI を 2.21 ポイント改善しているが, BLEUが著しく低く正しい単語を出力できていない.

表 4 の失敗例 1 では，期待通り難解な単語 wounds の出力を避けることができたが，誤って異なる意味の単語 seas を出力してしまった. 図 3 に示すように, 各難易度で使用可能な語彙サイ
表 5 ソフトな語彙制約により単語難易度を考慮する提案手法の出力例

 &  \\

ズを見ると，難易度 2 では 1,059 語彙 $(2.82 \%)$ の単語に制限されている.このような厳しすぎる制約によって，自然な文を構成する上で必要な単語を利用できず，表 4 の失敗例 2 に示すように入力文とは意味が全く異なる文を出力してしまったと考えられる.

## 4.2.3 ソフトな語彙制約により単語難易度を考慮する提案手法（3.3 節）の実験結果

表 2 によると, 提案手法 (7) s2s+grade+TFIDF および (8) s2s+grade+PPMI は, BLEU と SARI の両方において既存手法である (2) s2s+grade を上回った. 特に (8) s2s+grade+PPMI の BLEU と SARI は (2) s2s+grade と比較してそれぞれ 1.04 ポイント（p值 $0.024 ）, 0.15$ ポイント改善した。ソフトな語彙制約によって単語難易度を考慮することで, 出力文を崩壊させずにより目標難易度に適した単語を出力できたと考えられる。

表 5 にモデルの出力例を示す. (8) s2s+grade+PPMI は incarnationを 7 年生向けに people へ, motivate を 4 年生向けにinspireへ書き換えている.いずれのモデルも and ，on ～の並列構造を省略できているが，(8) s2s+grade+PPMI は 4 年生向けの文をより短い文へ省略できている.

次節では，BLEU と SARI の両方を改善した提案手法 (8) s2s+grade+PPMI に焦点を当てて考察と分析を行う.
表 6 詳細な分析結果

## 5 考察と分析

BLEU およびSARIによる自動評価において最高性能を達成した (8) s2s+grade+PPMI（提案手法）について，本節では (2) s $2 \mathrm{~s}+$ grade（既存手法）と比較しながら 3 つの追加の自動評価指標および人手による分析により詳細な検証を行う，既存のテキスト平易化モデルは， 入力文をあまり書き換えず，難解な表現を出力文に残してしまいやすい(Zhang and Lapata 2017). そこで 5.1 節では，モデルが入力文を積極的に書き換えているかを評価する。また，テキスト平易化の処理は主に省略と言い換えによって実現される。そのため, 5.2 節では省略による難易度制御の評価を， 5.3 節では言い換えによる難易度制御の評価を行う． 5.4 節では，難易度の制御に関する詳細な分析のために, 目標難易度ごとに文および単語の難易度による評価を行う。最後に 5.5 節では, 人手による出力文のエラー分析から今後の改善策を議論する.

## 5.1 書き換えの積極性の評価

書き換えの積極性を評価するために，self-BLEU (Sun and Zhou 2012)を用いる．出力文と正解文の一致度を評価する通常の BLEU とは異なり, self-BLEU は入力文と出力文の一致度を評価する。つまり，self-BLEU の值が低いほど，入力文を積極的に書き換えるモデルであると言える.表 6 に示した結果のうち, source は入力文を編集せずにそのまま出力文とし, reference は正解文を出力文とみなしたときの評価である，表 6 によると, self-BLEU においても s2s+grade+PPMI が最も優れており，目標難易度に適した単語を重視することで入力文に含まれない単語を積極的に出力できていることがわかる． s2s は目標の難易度を考慮しないため，あまり書き換えを行わない（self-BLEU が高い）保守的なモデルになったと考えられる。

## 5.2 省略による難易度制御の評価

省略による難易度制御の品質を評価するために，文長の平均絶対誤差を用いる．文長の平均絶対誤差は, 出力文の単語数に基づいて次式で得られる.

$
\text { (文長の平均絶対誤差) }=\frac{1}{S} \sum_{i}\left|\operatorname{Len}\left(r_{i}\right)-\operatorname{Len}\left(t_{i}\right)\right| \text {. }
$

ここで， $S$ は評価用データセットの文数, $r_{i}(i=1, \cdots, S)$ は正解文, $t_{i}$ は $r_{i}$ に対応する出力文, Len $(s)$ は文 $s$ の単語数を表す. 文長の平均絶対誤差が低いほど, 適切な長さの文を生成するモデルであると言える。表 6 を見ると, $\mathrm{s} 2 \mathrm{~s}+$ grade は $\mathrm{s} 2 \mathrm{~s}$ から文長の平均絶対誤差が 0.61 ポイント改善され，s2s+grade+PPMI は s2s+grade と同程度である。すなわち，文の難易度を考慮することによって出力文の文長が正解文と近くなり, 省略による難易度制御が改善されている.

## 5.3 言い換えによる難易度制御の評価

言い換えによる難易度制御の品質を評価するために，平均 PMI を用いる。平均 PMI は，次式に示す通り出力文に含まれる各単語と目標難易度の一致度に基づいて得られる。

$
(\text { 平均 } \mathrm{PMI})=\frac{1}{W} \sum_{s \in \text { Target }} \sum_{w \in s} \operatorname{PMI}\left(w, l_{s}\right) \text {. }
$

ここで, $W$ は出力文の集合 Target に含まれる単語数, $l_{s}$ は文 $s$ の目標難易度, $w$ は文 $s$ に含まれる単語である。PMI は訓練データを用いて式 (7) によって求めた。平均 PMI が高いほど, 適切な難易度の単語を出力するモデルであると言える。表 6 を見ると, 平均 PMI は s2s+grade+PPMI が最も高い．したがって s 2 s+grade+PPMI は，s2s+gradeの省略による難易度制御の品質を保ちつつ，より目標難易度に適した単語を出力できることが明らかになった。

## 5.4 目標難易度ごとの出力文における文と単語の難易度

難易度の制御についてより詳細な分析を行うために，評価用データセットの各入力文に対して，入力文よりも平易な全ての難易度 9 に向けての平易化を行った. 表 7 に, s 2 s+grade と s2s+grade+PPMI に対する目標難易度ごとの FKGL (Kincaid, Fishburne Jr., Rogers, and Chissom 1975) および平均 PMI を示す. FKGL は，テキストの可読性を評価する自動評価尺度であり,次式で得られる.

$
\mathrm{FKGL}=0.39 \frac{\# \text { words }}{\# \text { sentence }}+11.8 \frac{\# \text { syllables }}{\# \text { words }}-15.59
$

ここで，\#words は単語数，\# Asentence は文数，\# syllables は音節数である．FKGL の評価値は米国学校制度における学年に対応しており, 本実験ではこれを目標難易度と比較することにより各手法の難易度制御の品質を分析する。

FKGLの分析によると, いずれのモデルも過度に平易な文に書き換えてしまっているが，目

表 7 各難易度における $s 2$ s+grade（既存手法）と $s 2$ s+grade+PPMI（提案手法）の FKGL と平均 PMI

標学年に対する平均絶対誤差 (MAE) を比較すると $\mathrm{s} 2 \mathrm{~s}+$ grade+PPMI の方が優れている。表 7 中, FKGLの差分は学年ごとに s2s+grade と s2s+grade+PPMI の FKGL の差を示している.これによると, s2s+grade+PPMI は目標学年が小さい場合はより平易な文を出力し, 目標学年が大きい場合はより難解な文を出力しているため, s2s+grade と比較してより明確に難易度を区別した制御ができている。この結果から，単語の難易度を考慮することで，テキスト平易化の難易度制御に寄与することが分かる。

平均 PMI の評価によると, s2s+grade+PPMI は全ての学年で $\mathrm{s} 2 \mathrm{~s}+$ grade より優れている. したがって，単語の難易度に基づく損失の重み付けを行う提案手法が，我々の期待通りに目標の学年に適した単語を出力することが確認できた.

## 5.5 エラー分析と人手評価

今後の課題を明らかにするために，評価用データセットから無作為抽出した 50 文について, $\mathrm{s} 2 \mathrm{~s}+$ grade（既存手法）および $\mathrm{s} 2 \mathrm{~s}+$ grade+PPMI（提案手法）のエラー分析（5.5.1 節）と人手評価（5.5.2 節）を行った。

## 5.5.1 エラー分析

テキスト平易化における代表的な操作である省略および言い換え（置換）について，それぞれの細分類ごとにエラー数を著者の一人が人手で調べた。まず省略に関するエラー分析のために，入力文・出力文・正解文の三つ組を比較して，入力文中の省略すべき箇所，正しく省略した箇所 (省略成功), 省略すべきだが省略しなかった箇所（省略不足）, 出力すべきだが過剰に省略している箇所（省略過多）を数えた，次に置換に関するエラー分析のために，入力文中の置換すべき箇所，正しく置換した箇所（置換成功），誤った表現に置換した箇所（置換失敗），置換すべきだが置換しなかった箇所（置換不足），置換すべきでないが置換した箇所（置換過多）
表 8 エラー分析の例（出力失敗例）

 \\

を数えた ${ }^{11}$.

表 8 はエラー分析の例であり, 下線は置換すべき箇所および各手法においてそれらに対応する箇所を，太字は省略すべき箇所を示している，例えば，表 8 の上の例では入力文における単語 stressful は toughに置換すべきだが，いずれのモデルもhardへ置換しており，置換失敗としてカウントされる。また, 入力文中の句 immigrant students はいずれのモデル出力にもそのまま残っており，置換不足としてカウントされる，そして，s2s+grade+PPMI は入力文と正解文に共通して出現する単語 especiallyを veryへ置換しており, 置換過多としてカウントされる。また，下の例では in five Turkish citiesを省略すべきだが，s2s+grade では省略できていない.

表 9 の分析結果から, 省略の成功率 $(=$ 省略すべき略成项所 $)$ は $2 \mathrm{~s}+$ gradeが 45 箇所中 13 箇所 $(28.9 \%)$, s2s+grade+PPMI が 45 箇所中 19 箇所 $(42.2 \%)$ であり，また 2 s+grade+PPMI は 2 s +grade に比べて省略過多は多いが省略不足は少なく，より積極的に省略を行っていることがわかる．

表 10 に置換操作に関するエラー分析結果を示す. 本分析では各手法の出力について, 省略不足や省略過多ではなかった (省略が成功した) 部分のみについて置換すべき箇所をカウントしている. そのため置換すべき箇所の個数が手法によって異なっている。置換の再現率 $\left(=\frac{\text { 置換成功 }}{\text { そ筒所 }}\right)$ は s $2 \mathrm{~s}+$ grade+PPMI が 82 箇所中 4 箇所 (4.9\%), s2s+grade が 86 箇所中 5 箇所 $(5.8 \%)$ でありい

72 箇所中 4 箇所 $(5.6 \%), \mathrm{s} 2 \mathrm{~s}+$ grade が 74 箇所中 5 箇所 $(6.8 \%)$ と低く, 書き換えの誤りが多い.

が 86 箇所中 39 箇所 $(45.4 \%)$ であり, いずれも書き換えようとした箇所自体が半数以下である.

表 9 評価用データセットから無作為抽出された 50 文に対する省略のエラー分析

表 10 評価用データセットから無作為抽出された 50 文に対する置換のエラー分析

表 11 評価用データセットから無作為抽出された 50 文に対する人手評価

## 5.5.2 人手評価

先行研究 (Zhang and Lapata 2017) に倣い，流暢性 (Fluency)，意味の等価性 (Adequacy) および平易性 (Simplicity) の 3 項目について人手評価を行った. Zhang and Lapata (2017) と同様に，各項目について流暢性は「Is the output grammatical and well formed?」，意味の等価性は $\lceil$ To what extent is the meaning expressed in the original sentence preserved in the output?」, 平易性は「Is the output simpler than the original sentence?」と説明し，1から5の 5 段階（1が最低性能， 5 が最高性能を表す）の評価 ${ }^{12}$ 依頼した。評価者は英語話者 1 名である.

表 11 に各項目の平均値を示す. さらに我々は, Mallinson and Lapata (2019) と同様に最小値も評価した，最小値は，文ごとに流暢性，意味の等価性および平易性の各評価値の最小値を取り，平均したものである．最小値を用いる理由は，モデルが 3 項目のうちいずれかの項目を無視すれば残りの項目において容易に高いスコアが得られるためである。例えば，入力文をそのまま出力すれば流暢性と意味の等価性は最高スコア 5 が得られるが平易性は 1 となる。また意味の等価性を無視すれば平易かつ流暢な文が容易に得られてしまう。

表11の最小の列を見ると, s2s+grade+PPMI は, s2s+gradeを 0.04 ポイント上回り, s2s+grade と同等以上の性能が確認できた，流暢性および意味の等価性は $2 \mathrm{~s}+$ grade の方が，平易性は s2s+grade+PPMI の方が優れた，入力から積極的な書き換えを行わない（保守的な）モデルは

流暢性および意味の等価性が高く，平易性が低くなると考えられるため，s2s+grade+PPMI は s2s+grade と比較してより積極的な書き換えを行っていることがわかる.

## 5.5.3 今後の課題

エラー分析（5.5.1 節）の結果, 既存手法 $s 2 s+$ grade と提案手法 $s 2 s+$ grade+PPMI の両手法とも積極的な省略を行い，置換がほとんど行われないことがわかった。その中でも，人手評価 （5.5.2 節）の結果，単語の難易度も考慮した $\mathrm{s} 2 \mathrm{~s}+$ grade+PPMI は $2 \mathrm{~s}+$ grade と比較してより積極的な平易化を行うことを確認した.

テキスト平易化では書き換え前後の文で共通した単語が使用される割合が高く，また入力の語句の省略も頻繁に行われる。一方，テキスト平易化と同様に系列変換タスクである機械翻訳では入力と出力の言語が異なることから，入力文の語句のほぼ全てが置換され，かつ入力に現れる語句が大幅に省略されることは稀と考えられる．このようなタスクの特性により，テキスト平易化では複製や省略の操作の学習は容易であるが，置換操作は学習が難しく，モデルにとってリスクが高いため積極的な書き換えを行わない。したがって複製や省略という簡単な操作に甘んじやすいと考えられる。 そのため今後は, 入力文中に出現しない正解単語の出力に大きな報酬を与える工夫が必要であると考えられる。

## 6 おわりに

本研究では，単語の難易度に注目することで高品質な難易度制御を行うテキスト平易化手法を提案した。素性として単語分散表現に単語の難易度を埋め込む手法, ハードな語彙制約手法, ソフトな語彙制約手法の 3 種類のアプローチを試みた結果, ソフトな語彙制約手法が有効であった.ソフトな語彙制約では，文の難易度と単語の共起の強さによって損失を重み付けすることで，BLEU およびSARIによる自動評価が既存手法を上回り，積極的かつ正確な難易度制御に貢献することを確認した。また難易度ごとの分析からも，提案手法が省略および置換の操作に対して有効であることを示した。

本研究では, Scarton and Specia (2018) と同様に, 文書の難易度を各文の難易度とみなした。 しかし，難解な文書中にも平易な文が含まれる場合があるため，実際には文ごとに難易度を推定する必要がある。テキストの可読性や難易度については, これまで文書 (Kincaid et al. 1975) や語句 (Pavlick and Callison-Burch 2016; Maddela and Xu 2018)の単位では研究されてきたが,文単位での難易度推定は今後の課題である.

## 謝 辞

本研究は, Microsoft Research Asia, Microsoft Japan Co., Ltd., JST ACT-I Grant Number JPMJPR18UB, JSPS KAKENHI Grant Number JP18K11435 の支援を受けたものである.

## 参考文献

Coster, W. and Kauchak, D. (2011). "Simple English Wikipedia: A New Text Simplification Task." In Proceedings of the 49th Annual Meeting of the Association for Computational Linguistics, pp. 665-669.

Guo, H., Pasunuru, R., and Bansal, M. (2018). "Dynamic Multi-Level Multi-Task Learning for Sentence Simplification." In Proceedings of the 27th International Conference on Computational Linguistics, pp. 462-476.

Johnson, M., Schuster, M., Le, Q. V., Krikun, M., Wu, Y., Chen, Z., Thorat, N., Viégas, F., Wattenberg, M., Corrado, G., Hughes, M., and Dean, J. (2017). "Google's Multilingual Neural Machine Translation System: Enabling Zero-Shot Translation." Transactions of the Association for Computational Linguistics, 5, pp. 339-351.

Junczys-Dowmunt, M., Grundkiewicz, R., Dwojak, T., Hoang, H., Heafield, K., Neckermann, T., Seide, F., Germann, U., Aji, A. F., Bogoychev, N., Martins, A. F. T., and Birch, A. (2018). "Marian: Fast Neural Machine Translation in C++." In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics, System Demonstrations, pp. 116-121.

Kincaid, J. P., Fishburne Jr., R. P., Rogers, R. L., and Chissom, B. S. (1975). "Derivation of New Readability Formulas (Automated Readability Index, Fog Count and Flesch Reading Ease Formula) for Navy Enlisted Personnel." Technical report, Defence Technical Information Center Document, pp. 8-75.

Kingma, D. P. and Ba, J. L. (2015). "Adam: A Method for Stochastic Optimization." In Proceedings of the 3rd International Conference on Learning Representations, pp. 1-15.

Krashen, S. D. (1985). "The Input Hypothesis: Issues and Implications." London: Longman.

Li, J., Galley, M., Brockett, C., Spithourakis, G. P., Gao, J., and Dolan, B. (2016). "A PersonaBased Neural Conversation Model." In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics, pp. 994-1003.

Maddela, M. and Xu, W. (2018). "A Word-Complexity Lexicon and A Neural Readability Ranking Model for Lexical Simplification." In Proceedings of the 2018 Conference on Empirical

Methods in Natural Language Processing, pp. 3749-3760.

Mallinson, J. and Lapata, M. (2019). "Controllable Sentence Simplification: Employing Syntactic and Lexical Constraints." arXiv:1910.04387.

Kajiwara, T. and Komachi, M. (2016). "Building a Monolingual Parallel Corpus for Text Simplification Using Sentence Similarity Based on Alignment between Word Embeddings." In Proceedings of the 26th International Conference on Computational Linguistics, pp. 1147-1158.

Nishihara, D., Kajiwara, T., and Arase, Y. (2019). "Controllable Text Simplification with Lexical Constraint Loss." In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics: Student Research Workshop, pp. 260-266.

西原大貴, 梶原智之, 荒瀬由紀 (2019). ソフトな語彙制約によるテキスト難易度制御の検討. 情報処理学会第 240 回自然言語処理研究会, 2019-NL-24 (8), pp. 1-6.

Nisioi, S., Štajner, S., Ponzetto, S. P., and Dinu, L. P. (2017). "Exploring Neural Text Simplification Models." In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics, pp. 85-91.

Niu, X., Rao, S., and Carpuat, M. (2018). "Multi-Task Neural Models for Translating Between Styles Within and Across Languages." In Proceedings of the 27th International Conference on Computational Linguistics, pp. 1008-1021.

Papineni, K., Roukos, S., Ward, T., and Zhu, W.-J. (2002). "BLEU: A Method for Automatic Evaluation of Machine Translation." In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318.

Pavlick, E. and Callison-Burch, C. (2016). "Simple PPDB: A Paraphrase Database for Simplification." In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics, pp. 143-148.

Pennington, J., Socher, R., and Manning, C. D. (2014). "GloVe: Global Vectors for Word Representation." In Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing, pp. 1532-1543.

Petersen, S. E. and Ostendorf, M. (2007). "Text Simplification for Language Learners: A Corpus Analysis." In Proceedings of Workshop on Speech and Language Technology in Education, pp. 69-72.

Scarton, C. and Specia, L. (2018). "Learning Simplifications for Specific Target Audiences." In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics, pp. 712-718.

Shardlow, M. (2014). "A Survey of Automated Text Simplification." International Journal of Advanced Computer Science and Applications, Special Issue on Natural Language Processing

2014, pp. 58-70.

Specia, L. (2010). "Translating from Complex to Simplified Sentences." In Proceedings of the 9th International Conference on Computational Processing of the Portuguese Language, pp. 30-39.

Sun, H. and Zhou, M. (2012). "Joint Learning of a Dual SMT System for Paraphrase Generation." In Proceedings of the 50th Annual Meeting of the Association for Computational Linguistics, pp. 38-42.

Vu, T., Hu, B., Munkhdalai, T., and Yu, H. (2018). "Sentence Simplification with MemoryAugmented Neural Networks." In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 79-85.

Wubben, S., van den Bosch, A., and Krahmer, E. (2012). "Sentence Simplification by Monolingual Machine Translation." In Proceedings of the 50th Annual Meeting of the Association for Computational Linguistics, pp. 1015-1024.

Xu, W., Callison-Burch, C., and Napoles, C. (2015). "Problems in Current Text Simplification Research: New Data Can Help." Transactions of the Association for Computational Linguistics, 3, pp. 283-297.

Xu, W., Napoles, C., Pavlick, E., Chen, Q., and Callison-Burch, C. (2016). "Optimizing Statistical Machine Translation for Text Simplification." Transactions of the Association for Computational Linguistics, 4, pp. 401-415.

Zhang, X. and Lapata, M. (2017). "Sentence Simplification with Deep Reinforcement Learning." In Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing, pp. 584-594.

Zhao, S., Meng, R., He, D., Andi, S., and Bambang, P. (2018). "Integrating Transformer and Paraphrase Rules for Sentence Simplification." In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pp. 3164-3173.

Zhu, Z., Bernhard, D., and Gurevych, I. (2010). "A Monolingual Tree-based Translation Model for Sentence Simplification." In Proceedings of the 23rd International Conference on Computational Linguistics, pp. 1353-1361.

## 略歴

西原大貴：2019 年大阪大学工学部電子情報工学科卒業, 同年大阪大学大学院

情報科学研究科マルチメディア工学専攻に進学. 現在に至る. 自然言語処理の研究に従事.
梶原智之：2013 年長岡技術科学大学工学部電気電子情報工学課程卒業. 2015 年同大学大学院工学研究科修士課程電気電子情報工学専攻修了. 2018 年首都大学東京大学院システムデザイン研究科博士後期課程情報通信システム学域修了。博士 (工学). 同年より大阪大学データビリティフロンティア機構特任助教. 自然言語処理の研究に従事. 情報処理学会, 人工知能学会, 言語処理学会各会員.

荒瀬由紀：2006 年大阪大学工学部電子情報エネルギー工学科卒業. 2007 年同大学院情報科学研究科博士前期課程, 2010 年同博士後期課程修了. 博士（情報科学)。同年, 北京の Microsoft Research Asia に入社, 自然言語処理に関する研究開発に従事. 2014 年より大阪大学大学院情報科学研究科マルチメディア工学専攻准教授, 現在に至る。言い換え表現認識と生成，機械翻訳技術，対話システムに興味を持つ。