# 平易なコーパスを用いないテキスト平易化

梶原 智之咕 ・小町守 $\dagger$
}

難解なテキストと平易なテキストからなる大規模な単言語パラレルコーパスを用い て, テキスト平易化が活発に研究されている. しかし, 英語以外の多くの言語では平易に書かれた大規模なコーパスを利用できないため，テキスト平易化のためのパラレ ルコーパスを構築するコストが高い. そこで本研究では，テキスト平易化のための 大規模な疑似パラレルコーパスを自動構築する教師なし手法を提案する. 我々の提案するフレームワークでは，リーダビリティ推定と文アライメントを組み合わせる ことによって, 生コーパスのみからテキスト平易化のための単言語パラレルコーパ スを自動構築する。統計的機械翻訳を用いた実験の結果，生コーパスのみを用いて 学習した我々のテキスト平易化モデルは, 平易に書かれた大規模なコーパスを用い て学習した従来のテキスト平易化モデルと同等の性能で平易な同義文を生成できた. キーワード：テキスト平易化, 疑似パラレルコーパス, リーダビリティ推定, 文アライメント
## Text Simplification without Simplified Corpora

## Tomoyuki Kajiwara $^{\dagger$ and Mamoru Komachi ${ }^{\dagger}$}

Several studies on automated text simplification are based on a large-scale monolingual parallel corpus constructed from a comparable corpus comprising complex text and simple text. However, constructing a parallel corpus for text simplification is expensive as large-scale simplified corpora are not available in many languages other than English. Therefore, we propose an unsupervised method that automatically builds a pseudo-parallel corpus to train a text simplification model. Our framework combines readability assessment and sentence alignment and automatically constructs a text simplification corpus from only a raw corpus. Experimental results show that a statistical machine translation model trained using our corpus can generate simpler synonymous sentences performing comparably to models trained using a large-scale simplified corpus.

Key Words: Text Simplification, Pseudo-parallel Corpus, Readability Assessment, Sentence Alignment


## 1 はじめに

難解なテキストの意味を保持したまま平易に書き換えるテキスト平易化は, 言語学習者や子どもをはじめとする多くの読者の文章読解を支援する．近年，テキスト平易化を同一言語内の翻訳問題と考え，統計的機械翻訳を用いて入力文から平易な同義文を生成する研究 (Specia 2010; Zhu, Bernhard, and Gurevych 2010; Coster and Kauchak 2011a, 2011b; Wubben, van den Bosch, and Krahmer 2012; Štajner, Bechara, and Saggion 2015a; Štajner, Calixto, and Saggion 2015b; Goto, Tanaka, and Kumano 2015) が盛んである. しかし, 異言語間の機械翻訳モデルの学習に必要な異言語パラレルコーパスとは異なり，テキスト平易化モデルの学習に必要な単言語パラレルコーパスの構築はコストが高い. これは, 日々の生活の中で対訳（異言語パラレル）データが大量に生産および蓄積されるのとは異なり，難解なテキストを平易に書き換えることは自然には行われないためである。そのため, 公開されておりテキスト平易化のために自由に利用できるのは, English Wikipedia と Simple English Wikipedia ${ }^{2}$ から構築された英語のパラレルコー パス (Zhu et al. 2010; Coster and Kauchak 2011b; Hwang, Hajishirzi, Ostendorf, and Wu 2015) のみであるが, Simple English Wikipediaのように平易に書かれた大規模なコーパスは英語以外の多くの言語では利用できない.

そこで本研究では, 任意の言語でのテキスト平易化を実現することを目指し, 生コーパスから難解な文と平易な文の同義な対（テキスト平易化のための疑似パラレルコーパス）を抽出する教師なし手法を提案し，獲得した疑似パラレルコーパスと統計的機械翻訳モデルを用いて英語および日本語でのテキスト平易化を行う，図 1 に示すように，我々が提案するフレームワー クでは, リーダビリティ推定と文アライメントの 2 つのステップによって生コーパスからテキスト平易化のための疑似パラレルコーパスを構築する。 大規模な生コーパスには, 同一の（あるいは類似した）イベントや事物に対する複数の言及や説明が含まれると期待でき，それらからは同義や類義の関係にある文対を得ることができるだろう。さらに我々はリーダビリティ推定によって難解な文と平易な文を分類するので，生コーパスから難解な文と平易な文の同義な対を抽出することができる.

我々は 2 つの設定で提案手法の効果を検証した。まず先行研究と同様に，難解なテキストと平易なテキストのコンパラブルコーパスからテキスト平易化のためのパラレルコーパスを構築した. 我々の提案する文アライメント手法は難解な文と平易な文のアライメント性能を改善し,高品質にテキスト平易化コーパスを構築できた. さらに, 我々のコーパスで学習したモデルは従来のコーパスで学習したモデルよりもテキスト平易化の性能も改善できた. 次に，コンパラブルコーパスを利用しない設定で, 生コーパスのみからテキスト平易化のための疑似パラレル


図 1 疑似パラレルコーパスと統計的機械翻訳モデルを用いたテキスト平易化

コーパスを構築し，フレーズベースの統計的機械翻訳モデルを用いてテキスト平易化を行った。平易に書かれた大規模コーパスを使用しないにも関わらず，疑似パラレルコーパスで学習したモデルは従来のコーパスで学習したモデルと同等の性能で平易な同義文を生成することができた.

本研究の貢献は次の 2 つである.
- 単語分散表現のアライメントに基づく文間類似度を用いて, 難解な文と平易な文の文アライメントを改善した。
- 生コーパスのみから教師なしで擬似パラレルコーパスを自動構築し, これがコンパラブルコーパスから得られる従来のパラレルコーパスと同等に有用であることを確認した.

これまでは, 人手で構築された難解な文と平易な文のパラレルコーパス3 ${ }^{3}(\mathrm{Xu}$, Callison-Burch, and Napoles 2015), 平易に書かれた大規模なコーパス (Simple English Wikipedia), 文間類似度のラべル付きデータ4 (Agirre, Cer, Diab, and Gonzalez-Agirre 2012; Agirre, Cer, Diab, Gonzalez-Agirre, and Guo 2013; Agirre, Banea, Cardie, Cer, Diab, Gonzalez-Agirre, Guo, Mihalcea, Rigau, and Wiebe 2014; Agirre, Banea, Cardie, Cer, Diab, Gonzalez-Agirre, Guo, Lopez-Gazpio, Maritxalar, Mihalcea, Rigau, Uria, and Wiebe 2015), 言い換え知識 5 (Ganitkevitch, Van Durme, and CallisonBurch 2013; Pavlick, Rastogi, Ganitkevitch, Van Durme, and Callison-Burch 2015; Pavlick and Callison-Burch 2016) などの言語資源が豊富に存在する英語を中心にテキスト平易化の研究が進
^{4}$ http://ixa2.si.ehu.es/stswiki/index.php/Main_Page

5 https://www.seas.upenn.edu/〜 epavlick/data.html
}

められてきたが，本研究ではこれらの外部知識を利用することなく生コーパスのみからテキスト平易化のための疑似パラレルコーパスを自動構築し，統計的機械翻訳を用いたテキスト平易化における有用性を確認した，生コーパスは多くの言語で大規模に利用できるので，今後は本研究の成果をもとに多くの言語でテキスト平易化を実現できるだろう.

本稿の構成を示す。2 節では, 関連研究を紹介する。 3 節では, 生コーパスから擬似パラレルコーパスを構築する提案手法を概説する．4節では，テキスト平易化のための文アライメントとして，単語分散表現のアライメントに基づく文間類似度推定手法を提案する。続いて, 5 節から 7 節で実験を行う。まず 5 節では， 4 節の提案手法を評価し，テキスト平易化のための最良の文アライメント手法を決定する， 6 節では， 3 節から 5 節に基づき, 英語の疑似パラレルコー パスを構築し，テキスト平易化を行う， 7 節では，同様に日本語の疑似パラレルコーパスを構築し，テキスト平易化を行う。最後に 8 節で，本研究のまとめを述べる.

## 2 関連研究

## 2.1 統計的機械翻訳を用いたテキスト平易化

2010 年以降, 統計的機械翻訳を用いたテキスト平易化の研究が盛んである. 特に英語では, English Wikipedia と Simple English Wikipediaをコンパラブルコーパスと考え，ここから抽出された単言語パラレルコーパス (Zhu et al. 2010; Coster and Kauchak 2011b; Hwang et al. 2015) とフレーズベースの統計的機械翻訳モデルを用いたテキスト平易化 (Zhu et al. 2010; Coster and Kauchak 2011a, 2011b; Wubben et al. 2012; Štajner et al. 2015a) が盛んに研究されている. Coster and Kauchak (2011b) は，標準的なフレーズベースの統計的機械翻訳ツール Moses (Koehn, Hoang, Birch, Callison-Burch, Federico, Bertoldi, Cowan, Shen, Moran, Zens, Dyer, Bojar, Constantin, and Herbst 2007) を用いて英語のテキスト平易化を行った.

本研究でも, 同じくMoses を用いてテキスト平易化を行うが, 我々は任意の言語でのテキスト平易化を実現することを目的に, Simple English Wikipediaに頼ることなく English Wikipedia のみから構築する疑似パラレルコーパスでモデルを学習する。

## 2.2 テキスト平易化のための単言語パラレルコーパス

これまでに 3 種類の英語のテキスト平易化のための単言語パラレルコーパスが, English Wikipedia と Simple English Wikipediaの文アライメントによって構築されている. Zhu et al. (2010)は, 文を TF-IDF ゙クトルとして表現し, そのベクトル間のコサイン類似度を用いて初めてテキスト平易化のための単言語パラレルコーパス6を構築した. Coster and Kauchak (2011b)
^{6}$ https://www.ukp.tu-darmstadt.de/data/sentence-simplification/simple-complex-sentence-pairs/
}

は，TF-IDFベクトル間のコサイン類似度に加えて文の出現順序を考慮することで，より高精度にテキスト平易化コーパス7を構築した. しかし, Zhu et al. や Coster and Kauchakの手法では,異なる単語間の類似度を考慮していない．難解な表現から平易な表現への書き換えが頻繁に行われるテキスト平易化タスクにおいては，異なる単語間の類似度も適切に測定したい. Hwang et al. (2015)は，国語辞典の見出し語と定義文中の単語の共起を用いて，異なる単語間の類似度も考慮してテキスト平易化コーパス8を構築した。

本研究では，単語分散表現を用いることで辞書などの外部知識に頼らず異なる単語間の類似度を考慮する文アライメントを行う。

## 2.3 文間類似度推定

文間の意味的類似度を計算する Semantic Textual Similarity (STS) タスク (Agirre et al. 2012, 2013, 2014, 2015)では，単語分散表現の成功を受け，異なる単語間の類似度を考慮する手法が提案されている。 SemEval-2015のSTS タスク (Agirre et al. 2015) では, word2vec (Mikolov, Chen, Corrado, and Dean 2013a) の単語分散表現や PPDB: paraphrase database (Ganitkevitch et al. 2013) の言い換えを用いた単語アライメントに基づく教師あり学習の手法 (Sultan, Bethard, and Sumner 2015; Hänig, Remus, and de la Puente 2015; Han, Martineau, Cheng, and Thomas 2015) が上位を独占している，同じく word2vecの単語分散表現のアライメントに基づく教師なしの文間類似度計算手法 (Song and Roth 2015; Kusner, Sun, Kolkin, and Weinberger 2015) も提案されている.

文間類似度のラベル付きデータを必要としないこれらの教師なし手法は，テキスト平易化のための単言語パラレルコーパスの自動構築にも応用できる.

## 2.4 リーダビリティ推定

テキストの可読性を評価するリーダビリティ尺度としては, Flesch Reading Ease Formula (Flesch 1948) や Flesch-Kincaid Grade Level (Kincaid, Fishburne Jr., Rogers, and Chissom 1975) がよく知られている。これらはいずれも，単語数と音節数を用いてリーダビリティを計算する. また, 単語数に加えて難解な表現が出現する割合を考慮する Dale-Chall Readability Formula (Chall and Dale 1995) や言語モデルに基づく手法 (Collins-Thompson and Callan 2004) も提案されている。これらの研究は英語を対象としているが, リーダビリティ尺度は言語ごとに開発されており, 例えば日本語では柴崎, 玉岡 (2010), 佐藤 (2011), 藤田, 小林, 南, 杉山 (2015) の研究がある.

本研究ではシンプルなリーダビリティ尺度を採用するが, 我々の提案するフレームワークに
$

8 http://ssli.ee.washington.edu/tial/projects/simplification/
}
基づいて, リーダビリティ推定のステップには任意のリーダビリティ尺度を適用できる.

## 2.5 テキスト平易化の評価

統計的機械翻訳を用いたテキスト平易化 (Specia 2010; Zhu et al. 2010; Coster and Kauchak 2011a, 2011b; Wubben et al. 2012; Štajner et al. 2015a, 2015b; Goto et al. 2015) では, 機械翻訳のための評価尺度である BLEU (Papineni, Roukos, Ward, and Zhu 2002)による自動評価が一般的である. BLEUではリファレンスとの比較によって出力文の意味や文法の正しさを評価するが，テキスト平易化では入力文よりも平易な文を出力したいため, 入力文と出力文の比較も行いたい.

本研究では，テキスト平易化のために新たに提案された SARI (Xu, Napoles, Pavlick, Chen, and Callison-Burch 2016)による自動評価も行う，SARIは入力文と出力文とリファレンスの 3 つを用いる自動評価尺度であり, 特に平易さの観点で BLEUよりも人手評価との相関が高いことが知られている.

## 3 生コーパスから疑似パラレルコーパスを構築するためのフレームワーク

本研究では, 生コーパスからテキスト平易化のための疑似パラレルコーパスを自動構築するフレームワークを提案する。これは，より一般的には図 2 のように説明できる。生コーパスから無作為に抽出した 2 つの文に対して，タスクに応じた品質推定を行い，一定以上の尤度を持つ文対を擬似パラレルコーパスとして抽出する。品質推定 (Štajner, Popović, Saggion, Specia, and Fishel 2016) とは入力文と出力文の比較によってリファレンスなしで出力文を評価する技術の総称であり，テキストからのテキスト生成タスク，特に機械翻訳 (Callison-Burch, Koehn, Monz, Post, Soricut, and Specia 2012; Bojar, Buck, Callison-Burch, Federmann, Haddow, Koehn,

図 2 品質推定を用いた生コーパスからの疑似パラレルコーパス構築

Monz, Post, Soricut, and Specia 2013; Bojar, Buck, Federmann, Haddow, Koehn, Leveling, Monz, Pecina, Post, Saint-Amand, Soricut, Specia, and Tamchyna 2014; Bojar, Chatterjee, Federmann, Haddow, Huck, Hokamp, Koehn, Logacheva, Monz, Negri, Post, Scarton, Specia, and Turchi 2015; Bojar, Chatterjee, Federmann, Graham, Haddow, Huck, Jimeno Yepes, Koehn, Logacheva, Monz, Negri, Neveol, Neves, Popel, Post, Rubino, Scarton, Specia, Turchi, Verspoor, and Zampieri 2016) を中心に研究されている. 図 2 に戻ると, 品質推定のステップでは言い換え生成であれば 2 文間の同義性を評価し, 文圧縮であれば 2 文間の同義性および文 $\mathrm{A}$ に対する文 B の圧縮率を評価し，応答文生成であれば文 $\mathrm{A}$ を質問文として文 B の応答文らしさを評価する.このように，タスクごとの品質推定を高精度に実現できれば，このフレームワークを用いてタスクに応じた疑似パラレルコーパスを生コーパスから抽出できる.

本研究では，テキスト平易化のための疑似パラレルコーパスを構築したい。テキスト平易化は意味を保持したまま平易に書き換えるタスクなので, 図 2 における品質推定のステップでは,各文の難易度および 2 文間の同義性を評価する。我々は文の難易度を評価するために，各言語で開発されているリーダビリティ尺度を用いる，各文に対してリーダビリティ推定を行い，絶対的あるいは相対的なリーダビリティの高低がわかれば，続いてリーダビリティの低い難解な文とリーダビリティの高い平易な文の同義性を評価する。一般に長い文よりも短い文の方が読みやすいので，テキスト平易化では難解な表現から平易な表現への言い換えの他に，重要ではない表現の省略も頻繁に行われる (Xu et al. 2015).そのため, テキスト平易化における同義性は，言い換えタスクのような相互に置換可能な「同義性」には限定されない。そこで我々は，4 節で説明する意味的文間類似度を用いて 2 文間の同義性を評価する。最終的に，難解な文と平易な文の対であり，かつ類似度が高い文対のみをテキスト平易化のための擬似パラレルコーパスとして採用する。

## 4 単語分散表現のアライメントに基づく文間類似度を用いた文アライメント

難解な文と平易な文の同義性を評価するために, 我々は単語分散表現のアライメントに基づく4 種類の文間類似度の計算手法を提案する．4.1 節から 4.3 節で説明する手法は, Song and Roth (2015)によって提案された単語分散表現のアライメントに基づく文間類似度の計算手法を本タスクに応用するものである. 4.4 節の Word Mover's Distance (Kusner et al. 2015) も, 単語分散表現のアライメントに基づく文間類似度の計算に用いることができる.

## 4.1 Average Alignment

文 $x$ と文 $y$ の間の全ての単語の組み合わせについて単語間類似度を計算し, それらの $|x||y|$ 個の単語間類似度を平均して文間類似度 $S_{\text {ave }}(x, y)$ を求める.

$
S_{\text {ave }}(x, y)=\frac{1}{|x||y|} \sum_{i=1}^{|x|} \sum_{j=1}^{|y|} \phi\left(x_{i}, y_{j}\right)
$

ここで， $x_{i}$ およ゙ $y_{j}$ は，それぞれ文 $x$ および文 $y$ に含まれる単語を表す.また， $\phi\left(x_{i}, y_{j}\right)$ は単語 $x_{i}$ と単語 $y_{j}$ の間の単語間類似度を表し, 本研究ではコサイン類似度を用いる.

## 4.2 Maximum Alignment

Average Alignment は単語分散表現に基づく文間類似度として直感的であるが，同義の文対を考えても全ての単語の組み合わせについて単語間類似度が高くなるとは考えにくく, 多くの単語間類似度は 0 に近い値を取るノイズになると考えられる。そこで文 $x$ に含まれる各単語 $x_{i}$ に対して最も類似度が高い文 $y$ 中の単語 $y_{j}$ を選択し, それらの $|x|$ 個の単語の組み合わせについてのみ計算した単語間類似度 $\phi\left(x_{i}, y_{j}\right)$ を平均して $S_{\text {asym }}(x, y)$ を求める. $S_{\text {asym }}(x, y)$ は非対称なスコアであるため, $S_{\text {asym }}(x, y)$ と $S_{a s y m}(y, x)$ の平均値を用いて対称な文間類似度 $S_{\max }(x, y)$ を計算する。

$
\begin{aligned}
S_{\text {asym }}(x, y) & =\frac{1}{|x|} \sum_{i=1}^{|x|} \max _{j} \phi\left(x_{i}, y_{j}\right) \\
S_{\text {max }}(x, y) & =\frac{1}{2}\left(S_{\text {asym }}(x, y)+S_{\text {asym }}(y, x)\right)
\end{aligned}
$

## 4.3 Hungarian Alignment

Average Alignment および Maximum Alignment は，それぞれ多対多および多対一の単語アライメントに基づく文間類似度である。本節では $x$ および $y$ の 2 文を単語をノードとする 2 部グラフとして考え, 一対一の単語アライメントに基づく文間類似度を定義する。この 2 部グラフは, 単語間類似度 $\phi\left(x_{i}, y_{j}\right)$ を重みとする重み付きの辺を持つ重み付き完全 2 部グラフである. この完全 2 部グラフの最大マッチングを求めることで, 単語間類似度の総和を最大化する一対一の単語アライメントを得ることができる． 2 部グラフの最大マッチング問題は, Hungarian 法 (Kuhn 1955) を用いて解くことができる。そこで文 $x$ に含まれる各単語 $x_{i}$ に対して Hungarian 法によって文 $y$ 中の単語 $h\left(x_{i}\right)$ を選択し, それらの $|x|$ 個の単語の組み合わせについて計算した単語間類似度を平均して文間類似度 $S_{h u n}(x, y)$ を求める。

$
S_{h u n}(x, y)=\frac{1}{\min (|x|,|y|)} \sum_{i=1}^{|x|} \phi\left(x_{i}, h\left(x_{i}\right)\right)
$

## 4.4 Word Mover's Distance

Word Mover's Distance (Kusner et al. 2015) も，単語の分散表現を用いた多対多の単語アライメントに基づく文間類似度の計算に用いることができる. Word Mover's Distance は, 文 $x$ から文 $y$ へと単語を輸送する輸送問題を解くEarth Mover's Distance (Rubner, Tomasi, and Guibas 1998)の特殊な場合に相当する.

$
\begin{aligned}
S_{w m d}(x, y) & =1-\operatorname{WMD}(x, y) \\
\operatorname{WMD}(x, y) & =\min \sum_{u=1}^{n} \sum_{v=1}^{n} \mathcal{A}_{u v} \psi\left(x_{u}, y_{v}\right) \\
\text { subject to }: \sum_{v=1}^{n} \mathcal{A}_{u v} & =\frac{1}{|x|} \operatorname{freq}\left(x_{u}\right) \\
\sum_{u=1}^{n} \mathcal{A}_{u v} & =\frac{1}{|y|} \operatorname{freq}\left(y_{v}\right)
\end{aligned}
$

ここで, $\psi\left(x_{u}, y_{v}\right)$ は単語 $x_{u}$ と単語 $y_{v}$ の間の単語間非類似度（距離）を表し, 本研究ではユー クリッド距離を用いる。また, $\mathcal{A}_{u v}$ は文 $x$ 中の単語 $x_{u}$ から文 $y$ 中の単語 $y_{v}$ へ輸送量を表す行列であり, $n$ は語彙数, $f r e q\left(x_{u}\right)$ は文 $x$ 中での単語 $x_{u}$ の出現頻度である.

## 5 実験 1：難解な文と平易な文のアライメント

本節では，難解な文と平易な文の組に対してパラレルおよびノンパラレルの 2 值分類を行い,単語分散表現のアライメントに基づく文間類似度の有効性を評価する。

## 5.1 実験設定

Hwang et al. (2015) は, English Wikipedia と Simple English Wikipedia から抽出した 67,853 文対に対して以下の 4 つのラベルを人手で付与したデータを公開している.
- Good : 2 文間の意味が等しい（277 文対）
- Good Partial : 一方の文が他方を含意する（281 文対）
- Partial：部分的に関連する（117 文対）
- Bad：無関係 $(67,178$ 文対)

我々はこの評価用データセットを用いて, 以下の 2 つの設定で, 文間類似度によって各文対をパラレルデータとノンパラレルデータに 2 值分類する.
- Gvs.O：Goodのラベル付きデータのみをパラレルデータとする
- G+GP vs. $O$ : Good と Good Partialの 2 つのラベル付きデータをパラレルデータとする評価には, Hwang et al. と同じく以下の 2 つの尺度を用いる.
- MaxF1：F1 スコアの最大値
- AUC-PR : Precision-Recall 曲線（PR 曲線）上の Area Under the Curve

比較手法には, English Wikipedia と Simple English Wikipedia からテキスト平易化のためのパラレルコーパスを構築する Zhu et al. (2010), Coster and Kauchak (2011b) および Hwang et al.の 3 つの先行研究に加えて, Additive Embeddings (Mikolov, Sutskever, Chen, Corrado, and Dean 2013b) を用いる. Additive Embeddings は, 単語アライメントを使用しない比較手法であり，単語の分散表現を足し合わせることによって文の分散表現を構成し，コサイン類似度によって文間類似度を計算する。

単語分散表現に基づく文間類似度計算のために, 我々は公開されている学習済みの単語分散表現9を用いる。これは, Google News dataset 上でword2vec (Mikolov et al. 2013a)の CBOW モデルによって学習された 300 次元の単語分散表現である.

提案手法のうち, Average Alignment, Maximum Alignment および Hungarian Alignment については, Song and Roth (2015)にならって単語アライメントのノイズ除去を行った. 4.2 節でも述べたが，同義の文対 $(x, y)$ を考えても全ての単語対について単語間類似度が高くなるとは考えにくく, どの単語アライメントの手法を用いても単語間類似度が低いにも関わらず対応付けられてしまう単語対が存在する。このようなノイズとなる単語対の影響を抑えるため, 我々は $\phi\left(x_{i}, y_{j}\right)>\theta$ の単語間類似度を持つ単語対 $\left(x_{i}, y_{j}\right)$ のみを用いて単語アライメントを行った。 この閥値 $\theta$ は MaxF1を最大化するように選択し, Average Alignment については $G$ vs. Oの分類時に $0.89, G+G P$ vs. $O$ の分類時に 0.95, Maximum Alignment については $G$ vs. $O$ の分類時に 0.28, $G+G P$ vs. $O$ の分類時に 0.49, Hungarian Alignment については $G$ vs. $O$ の分類時に $0.98, G+G P$ vs. $O$ の分類時に 0.98 を採用した.

## 5.2 実験結果

パラレルデータとノンパラレルデータの 2 值分類の結果を表 1 に示す. Good とその他の 2 值分類においては多対多の単語アライメントに基づく Word Mover's Distanceが最も高い性能を示した。また, Good+Good Partialとその他の 2 值分類においては多対一の単語アライメントに基づく Maximum Alignment が最も高い性能を示した。なお， Maximum Alignment は Good とその他の 2 值分類においても 3 つの先行研究よりも高い性能を示した.

図 3 および図 4 に, パラレルデータとノンパラレルデータの 2 值分類における Precision-Recall 曲線を示す. 図 4 の Good +Good Partial とその他の 2 値分類において，太実線の Maximum Alignment が他の単語分散表現に基づく文間類似度計算手法よりも高い性能を示した.

3 節で述べたように，テキスト平易化タスクでは省略も頻繁に行われる。そこで，テキスト

表 1 パラレルデータとノンパラレルデータの 2 值分類精度

図 3 Gvs.Oの 2 值分類における $\mathrm{PR}$ 曲線

図 $4 G+G P$ vs. Oの 2 値分類における $\mathrm{PR}$ 曲線

平易化のための単言語パラレルコーパスには，対応する難解な文と平易な文が同義である Good の文対だけでなく，難解な文が平易な文の意味を含意する Good Partial の文対も含めることが重要である。そのため，Good+Good Partialとその他の 2 値分類において最も高い性能を示す Maximum Alignment が，テキスト平易化のための単言語パラレルコーパス構築に最も適した文間類似度の計算手法であると言える。

図 5 および図 6 から, Maximum Alignment では (genus, genus) と (species, genus)のような多対一の単語アライメントが可能であるが, Hungarian Alignment には (as, genus) や (tree, is)のような誤った単語アライメントが見られる。機能語は色々な単語とある程度の単語間類似度を持つため, Hungarian Alignment における一対一の制約は厳しすぎる。また, Maximum Alignment は多対一の単語アライメントを許すので，フレーズと単語の言い換えも上手く捉えられる.

図 5 Maximum Alignment による単語アライメント図 6 Hungarian Alignment による単語アライメント

## 6 実験 2: 英語のテキスト平易化

Simple English Wikipediaのような平易に書かれた大規模コーパスは英語以外の多くの言語では利用できないため, 本研究では生コーパス (English Wikipedia) からテキスト平易化のための疑似パラレルコーパスを構築し，それを用いてフレーズベースの統計的機械翻訳モデルを訓練することによってテキスト平易化を実現する.

本節では，平易に書かれた大規模コーパスが利用できる英語での実験によって，文アライメント手法の改善によるテキスト平易化の性能の変化を確認する。 また，平易なコーパスに頼らない疑似パラレルコーパスから訓練されたモデルが，既存のパラレルコーパスから訓練されたモデルに匹敵する性能を発揮できることを示す.

## 6.1 疑似パラレルコーパスの構築

3 節で述べたように，我々はリーダビリティ推定と文アライメントによって各文対に対してテキスト平易化のための品質推定を行い，コーパスに含める文対を選抜する。

## 6.1.1 生コーパス

まず, 生コーパスを用意する。本研究では, English Wikipedia ${ }^{10}$ の各記事に対して WikiExtractor $^{11}$ を用いた本文抽出と NLTK 3.2.112を用いたトークナイズを行い， 10 単語以上の $6,283,703$文を対象とした。


## 6.1.2 リーダビリティ推定

次に，英文のリーダビリティ推定のために，我々は英語のテキスト平易化 (Zhu et al. 2010; Bingel and Søgaard 2016) でよく利用される Flesch Reading Ease Formula (Flesch 1948)を用いる. Flesch Reading Ease Formula では, $\alpha$ を単語数, $\beta$ を 1 単語あたりの平均音節数として, 文のリーダビリティを次のように定義する。

$
\text { FleschReadingEase }=206.835-1.015 \alpha-84.6 \beta
$

Flesch Reading Ease Formula で計算されたリーダビリティスコアは, おおよそ 0 以上 100 以下の値を取り, $[60,70)$ を標準レべルとして，高いほど読みやすい平易な文であることを意味する. そこで我々は, English Wikipedia から抽出した $6,283,703$ 文を以下のように分割した.

・ 難解なサブコーパス : $[0,60)$ のリーダビリティスコアを持つ $3,689,227$ 文

・平易なサブコーパス : $[60,100]$ のリーダビリティスコアを持つ $2,358,921$ 文

・リーダビリティを測定不能として棄却：数百単語の長文や箇条書きなど， 0 未満または 100 を超えるリーダビリティスコアを持つ 235,555 文

## 6.1.3 文アライメント

我々は 5 節で最も高い性能を示した Maximum Alignment を用いて全ての難解な文と平易な文の組み合わせに対して文間類似度を計算した。単語分散表現には，5 節と同じく公開されている学習済みの CBOW モデル ${ }^{13}$ 使用した. ノイズを軽減するために単語間類似度が 0.5 以上の単語対のみを単語アライメントに使用し, 文間類似度が 0.5 以上である $2,072,572$ 文対を抽出して英語のテキスト平易化のための疑似パラレルコーパスを構築した.

## 6.2 疑似パラレルコーパスの妥当性

図 7 に, English Wikipedia と Simple English Wikipediaの文のリーダビリティの分布を示す.縦軸は各リーダビリティスコアの文数を正規化したものであり, 各ヒストグラムの面積が 1 となる. Flesch Reading Ease Formula に基づくリーダビリティスコアの 60 未満の範囲では, 難解なコーパスである English Wikipediaの文が出現する割合が高い. 同じく, 60 以上の範囲では平易なコーパスである Simple English Wikipediaの文が出現する割合が高い. よって, 本研究で難解な文と平易な文を分割した閾値 60 の基準も妥当であると言える。また，English Wikipediaには難解な文が多いとは言え，全ての文が難解なわけではないこともわかる．そのため, English Wikipedia から平易な文を抽出することで, 平易な文書に頼ることなく平易なサブコーパスを得ることができる.

図 8 に, 我々が構築した疑似パラレルコーパスの文間類似度ごとの同義性の品質を示す. Good, Good Partial，Partial および Badの各ラベルは，5 節の実験設定と対応しており，Hwang et al. (2015) に準ずるものである. 文間類似度の範囲ごとに 100 文対を無作為抽出し, 合計 500 文対を 2 人のアノテータが評価した. 各文対に 4 つのラベルのうちの 1 つを割り当てたところ，アノテータ間の一致率はピアソンの相関係数で 0.629 と十分に高かった。この同義性に関する人手評価から，文間類似度が高くなるにつれて無関係な Badの文対が減少し，同義な Goodの文対が増加していることがわかる。また，一方の文が他方を含意する Good Partialの文対は文間類似度 $[0.9,1.0)$ の範囲でのみ減少しているが，これは難解な文と平易な文の文長に関係している。文間類似度 $[0.8,0.9)$ の範囲では，難解な文の平均文長は平易な文の平均文長よりも約 3 語長い.しかし, 文間類似度 $[0.9,1.0)$ の範囲では, その差は 1 語未満である. 文長の近い文対では意味的な包含関係が成立しにくく, 文間類似度の高い文対は同義になりやすいと考えられる。

表 2 に，我々が構築したテキスト平易化のための疑似パラレルコーパスの例を示す. Goodの

図 7 リーダビリティの分布

図 8 疑似パラレルコーパスの品質

表 2 English Wikipedia から構築したテキスト平易化のための疑似パラレルコーパスの例

文対には，難解な語句から平易な語句への言い換え (precipitation $\rightarrow$ rainfall) の例が見られる. Good Partialの文対には省略の例が見られる，Partialの文対は，同義関係や含意関係ではないが，共通する語句や関連する語句を含み，関連する内容について書かれている。

English Wikipediaを分割した難解なサブコーパスと平易なサブコーパスの組は, English Wikipedia と Simple English Wikipediaの組とは異なりコンパラブルコーパスではない. そのため, 図 8 に示したように，同義や含意の関係にある文対の割合は多くはない. しかし, 本研究ではフレーズベースの統計的機械翻訳を用いてテキスト平易化を行うため，以下の 3 つの理由でこの問題の影響は少なく，雑音の多い文対からでも重要な知識を獲得できる.
- テキスト平易化は同一言語内の翻訳問題であるため, 入力文に含まれる多くの単語をそのまま出力できる（変換しないことが正解である）。そのため，異言語間の翻訳問題とは異なり，適切な変換対が少量しか得られないことが致命的な問題にはならない.
- フレーズベースの統計的機械翻訳では，フレーズ単位の変換対を学習する。難解なフレー ズとその言い換えである平易なフレーズの組は，同義や含意の関係にある文対からだけではなく，類義の関係にある文対からも得ることができる。

・フレーズベースの統計的機械翻訳では, 最終的に言語モデルによるリランキングを行うため，雑音の多いフレーズペアを獲得していても，平易な言い換えとして適切なフレー ズペアをその中に含むことができれば適切な平易文が得られる.

## 6.3 実験設定

我々は生コーパスのみから構築したテキスト平易化のための疑似パラレルコーパスの有効性を調査するために，フレーズベースの統計的機械翻訳を用いてテキスト平易化モデルを学習し， Simple English Wikipedia を使って構築された既存のテキスト平易化のためのパラレルコーパスを用いて学習したモデルとの比較を行う。本研究では，テキスト平易化を難解な文から平易な文への翻訳問題と考え，対数線形モデルを用いてモデル化する.

$
\begin{aligned}
\hat{s} & =\underset{\text { simple }}{\operatorname{argmax}} P(\text { simple } \mid \text { complex }) \\
& =\underset{\text { simple }}{\operatorname{argmax}} P(\text { complex } \mid \text { simple }) P(\text { simple }) \\
& =\underset{\text { simple }}{\operatorname{argmax}} \sum_{m=1}^{M} \lambda_{m} h_{m}(\text { simple }, \text { complex })
\end{aligned}
$

対数線形モデルでは $M$ 個の素性関数 $h_{m}($ simple, complex $)$ および各素性の重み $\lambda_{m}$ を考え，翻訳確率 $P$ (simple complex) をモデル化する。テキスト平易化の場合は，入力の難解な文に対して素性関数の重み付き線形和を最大化する平易な文 $\hat{s}$ を探索する問題を考える。素性関数としては，フレーズの平易化モデル $\log P($ complex $\mid$ simple $)$ や言語モデル $\log P($ simple $)$ などを用いる.
我々はフレーズベースの統計的機械翻訳ツールである Moses 2.1 (Koehn et al. 2007) を使用し，パラレルコーパスからの単語アライメントの獲得には GIZA++ (Och 2003)を用いた。また, KenLM (Heafield 2011) を用いて各パラレルコーパスの平易側の文から 5-gram 言語モデルを構築した。 テストデータには, Xu et al. (2016)によって公開されているマルチリファレンスのパラレルコーパス14を使用した。これは, English Wikipedia から抽出された難解な 350 文に対して，それぞれ 8 人が平易な同義文を付与したものである。本研究では，このマルチリファレンスのパラレルコーパスを用いて Flesch Reading Ease (FRE), BLEU (Papineni et al. 2002) および SARI (Xu et al. 2016)による自動評価を行った。なお，トレーニングデータからはテストデータに含まれる English Wikipediaの文を除外した。

## 6.4 実験結果

表 3 および表 4 にフレーズベースの統計的機械翻訳を用いたテキスト平易化の実験結果を示す. Baseline は，書き換えを行わず入力文をそのまま出力する弱いべースラインである．Zhu

定と同じくフレーズベースの統計的機械翻訳ツール Moses によってテキスト平易化を行うが,

表 3 英語のテキスト平易化の実験結果

 &  &  &  & 平易化規則数 & \multirow{2}{*}{ FRE } & BLEU & SARI \\

Zhu et al. corpus & 108,016 & 181,459 & 149,643 & 21.2 & 17.4 & $7,441,535$ & 59.7 & 84.7 & 34.7 \\
Coster and Kauchak corpus & 137,362 & 132,567 & 120,620 & 23.6 & 21.1 & $11,871,929$ & 59.8 & 86.4 & 34.1 \\
Hwang et al. corpus & 284,738 & 212,138 & 164,979 & 26.0 & 19.8 & $25,482,261$ & 61.0 & 81.3 & 34.5 \\
Our parallel corpus & 492,993 & 274,775 & 198,043 & 25.3 & 17.9 & $34,370,284$ & 61.7 & 78.4 & 34.9 \\
Our pseudo-parallel corpus & $2,072,572$ & 174,310 & 156,271 & 43.5 & 32.7 & $146,522,360$ & 58.9 & 78.0 & 34.0 \\

表 4 疑似パラレルコーパスの文対数と性能の変化

 & 文対数 &  &  &  &  & 平易化規則数 & FRE & BLEU & SARI \\


難解なコーパス (English Wikipedia) と平易なコーパス (Simple English Wikipedia) の両方を用いて構築されたパラレルコーパスをトレーニングに使用する. Our parallel corpus ${ }^{18}$ は, 同じく English Wikipedia と Simple English Wikipedia のコンパラブルコーパスを用いるが, 4.2 節の Maximum Alignment によって構築したテキスト平易化のためのパラレルコーパスをトレーニングに使用する強いべースラインである. Our pseudo-parallel corpus は我々の提案手法であり，生コーパスのみを用いて構築したテキスト平易化のための疑似パラレルコーパスを使用する.

## 6.4.1 語彙数

我々のパラレルコーパスや既存の他のパラレルコーパスでは，難解なコーパスの方が平易なコーパスよりも語彙数が多い. これは, Simple English Wikipedia が 850 語の基本語彙を用いるというガイドラインに従って書かれているためである. 850 語の制約が厳密に守られているわけではないとはいえ, Simple English Wikipediaの語彙の方が少なくなっている. しかし, 我々の疑似パラレルコーパスでは，文間類似度の高い 100 万文対までは難解なコーパスの語彙数の方が少ない。これは, 文間類似度を用いて貪欲に文アライメントを取るため, 同じ文が繰り返し使用される場合があるからである。例えば 10 万文の疑似パラレルコーパスでは，平易なコー パスの異なり文数が 25,817 であるのに対して，難解なコーパスの異なり文数は 3,674 である.

## 6.4.2 平均文長

我々のパラレルコーパスは既存の他のパラレルコーパスよりも難解なコーパスと平易なコーパスの文長の差が大きく, English Wikipedia と Simple English Wikipediaの全体の平均文長 (25.1 および16.9）に近い。これは，Maximum Alignment が文長に関わらず適切に文間類似度を計算できていることを意味する.

## 6.4.3平易化規則数（フレーズテーブルのエントリ数）

10 万文や 50 万文の部分に注目すると, 我々の疑似パラレルコーパスは得られる規則が少ない。これは類似度の低い文対ほど多くの平易化が実施されるためである。例えば， Zhu et al. corpus や我々のパラレルコーパスには， 0.5 以上の類似度の文対が含まれている，一方，疑似パラレルコーパスには, 10 万文で 0.94 以上, 50 万文で 0.79 以上の類似度の文対しか含まれていない. 同じ 10 万文や 50 万文で比較したときには我々の疑似パラレルコーパスでは類似度の高い文対が多くなり, 平易化のバリエーションは少ない。しかし, 疑似パラレルコーパスは大量に用意できるため, 最終的には十分な量の規則を獲得することができる.


## 6.4.4 FRE: Flesch Reading Ease (リーダビリティ)

疑似パラレルコーパスを用いて学習したモデルでも，入力文よりもリーダビリティの高い文を出力できた。平易な大規模コーパスを使用していないにも関わらず，文間類似度の上位 200 万文を用いて学習した場合には, Simple English Wikipediaを使って学習した場合と同等の 59 を超えるリーダビリティを持つ文を出力することができた.

## 6.4.5 BLEU およびSARI

FRE が出力文のみを用いてリーダビリティのみを評価するのに対して, BLEU は出力文とリファレンスの両方を, SARI は入力文と出力文とリファレンスの全てを用いて文法や意味も評価する. Xu et al. (2016)は, BLEU が Grammar や Meaning の観点で人手評価との相関が高く, SARI が Simplicity の観点で人手評価との相関が高いことを報告しており，テキスト平易化のために提案された SARI は Grammar/Meaning/Simplicity の全てのバランスが取れた自動評価尺度であると結論付けている。表 3 によると, BLEU は Baselineが最も高い. これは, 入力文を何も変換しない場合には意味も文法も損なわれないためである．完全に意味を保持することはできないため, 平易化の操作を加えることによってリーダビリティが向上する一方で BLEU は低下してしまう．BLEUを高く保ちつつリーダビリティのより高い文を出力することが良い平易化である。

我々のパラレルコーパスを用いて学習したモデルは, SARI で最高性能を達成した. 他の先行研究との違いは文アライメントの手法であり, 5 節の内的評価の結果と同様に Maximum Alignment の有効性が確認できた。

疑似パラレルコーパスを用いて学習したモデルでは, 文間類似度の上位 150 万文を使った場合にSARIが最大となった. 平易な大規模コーパスを利用しないにも関わらず, 先行研究のパラレルコーパスを用いて学習したモデルと同等の性能を発揮することができた. また，このときの BLEU も先行研究と同等であり, 入力文の文法や意味を保持した文を出力することができた.

## 6.4.6 テキスト平易化の例

表 5 に，フレーズベースの統計的機械翻訳を用いたテキスト平易化の例を示す。疑似パラレルコーパスを用いて学習したモデルは, Reference 1 と同様に不要な表現 “both”を省略し, Reference 2 や 3 と同様に難解な表現 “numerous”を平易な表現 “many”に言い換えた. 比較手法の中には，難解な表現 “extremely” から平易な表現 “very”への言い換えも見られた一方で， “world”など必要以上の省略も見られた.
表 5 英語のテキスト平易化の例

 \\

## 7 実験 3: 日本語のテキスト平易化

提案手法が言語やコーパス (English Wikipedia) に依存しないことを確認するために，本節では日本語の均衡コーパスを用いた実験を行う.

## 7.1 疑似パラレルコーパスの構築

6.1 節と同じく, リーダビリティ推定と文アライメントによって生コーパスからテキスト平易化のための疑似パラレルコーパスを構築する。生コーパスには現代日本語書き言葉均衡コーパス (BCCWJ) (Maekawa, Yamazaki, Maruyama, Yamaguchi, Ogura, Kashino, Ogiso, Koiso, and Den 2010)を, リーダビリティ推定には文中の各単語の単語難易度 ${ }^{19}$ (梶原, 小町 2017)の平均値をそれぞれ使用した。この単語難易度は, 571,023 語の日本語の単語に 3 段階 $(1:$ 初級, 2 : 中級， 3 : 上級）の難易度が自動的に付与されたものである. Maximum Alignment の文アライメントに使用する単語分散表現は, word2vec (Mikolov et al. 2013a)の CBOW モデルを BCCWJ 上で学習した。ノイズを軽減するために単語間類似度が 0.5 以上の単語対のみを単語アライメントに使用し, 文間類似度が 0.6 以上である 470,885 文対を抽出して日本語のテキスト平易化のための疑似パラレルコーパスを構築した。

## 7.2 実験設定

6.3 節の英語の実験と同じ設定で，フレーズベースの統計的機械翻訳モデルを用いてテキスト平易化を行った。テストデータには， $\mathrm{Web}^{20}$ から収集した 2,000 文対を使用した，収集したデータは難解なテキストと平易なテキストからなるコンパラブルコーパスである. Maximum Alignment の文間類似度が $[0.75,1.0)$ の範囲の各文対について, 2 人のアノテータが Hwang et al. (2015)に準ずる 4つのラベル (Good, Good Partial, Partial，Bad)のうちの1つを割り当てたところ，アノテータ間の一致率はピアソンの相関係数で 0.769 と十分に高かった. テストデー 夕として使用するのは，2 人のアノテータがいずれも Goodまたは Good Partialのラベルを付与した 2,000 文対である.

## 7.3 実験結果

表 6 に，フレーズベースの統計的機械翻訳を用いた日本語のテキスト平易化の実験結果を示す. 日本語ではテキスト平易化のためのパラレルコーパスが公開されていないため，書き換えを行わず入力文をそのまま出力する弱いべースラインのみと比較する．疑似パラレルコーパスを用いて学習したモデルは，いずれも SARIにおいて Baseline（入力文）よりも高い性能を示した. 英日の実験結果から，我々は提案手法が言語やコーパスに依存せず有効であることを確認できた. なお, 表 3 の英語の実験結果に比べて全体に BLEUが低いのは, シングルリファレンスのテストデータで評価を行っているためである.

表 7 に，日本語のテキスト平易化の例を示す。疑似パラレルコーパスで訓練したテキスト平易化モデルは，難解な表現“定休日” から平易な表現“休みの日”などの言い換えを漏らしてい

表 6 日本語のテキスト平易化の実験結果

 &  &  &  & 平易化規則数 &  & BLEU & SARI \\

$S_{m a x} \geq 0.80$ & 867 & 697 & 677 & 17.3 & 16.8 & 14,356 & 2.53 & 52.9 & 30.9 \\
$S_{\text {max }} \geq 0.75$ & 2,299 & 2,118 & 1,980 & 16.2 & 15.8 & 49,688 & 2.54 & 46.5 & 32.1 \\
$S_{\text {max }} \geq 0.70$ & 11,941 & 8,732 & 7,470 & 15.9 & 15.8 & 307,275 & 2.51 & 40.1 & 34.4 \\
$S_{\text {max }} \geq 0.65$ & 90,542 & 33,535 & 28,573 & 16.4 & 16.6 & $2,609,793$ & 2.49 & 28.6 & 31.7 \\
$S_{\text {max }} \geq 0.60$ & 470,885 & 78,651 & 66,177 & 17.4 & 17.7 & $15,128,855$ & 2.51 & 19.9 & 28.3 \\

表 7 日本語のテキスト平易化の例

 &  \\

るものの，難解な表現 “電話で聞く”から平易な表現 “電話をする”などの言い換えや，ガ格と二格の並び替えに成功した。

## 8 おわりに

本稿では，フレーズベースの統計的機械翻訳モデルを用いる生コーパスのみからのテキスト平易化について述べた，提案手法では，平易に書かれた大規模なコーパスや言い換え知識などの外部知識に頼らず，生コーパスのみを用いてリーダビリティと文間類似度によってテキスト平易化のための疑似パラレルコーパスを構築する。我々が提案した単語分散表現のアライメントに基づく文間類似度は，外部知識に頼ることなく難解な単語と平易な単語の単語間類似度を考慮することができ，従来の文間類似度よりも文長に頑健なため，テキスト平易化コーパスを構築するための文アライメントに適した手法である.フレーズベースの統計的機械翻訳を用いたテキスト平易化の実験結果は，疑似パラレルコーパスを用いて学習したモデルが，平易な大規模コーパスを用いて学習する先行研究のモデルと同等の性能で入力文を平易な同義文に変換できることを示した。

これまでは，豊富な言語資源が存在する英語を中心にテキスト平易化の研究が進められてき

たが，生コーパスは英語以外の多くの言語でも大規模に利用できるので，今後は多くの言語でテキスト平易化が実現できるだろう.

また，パラレルコーパスは文圧縮や応答文生成などの他のテキストからのテキスト生成タスクにおいても有用な言語資源である。日本語など，英語以外の言語の単言語パラレルコーパスが不足している現状を考えると, 本研究で提案した疑似パラレルコーパスの自動構築手法は, これらのタスクにおいても有望である.

## 謝 辞

本研究は首都大学東京傾斜的研究費 (全学分) 学長裁量枠戦略的研究プロジェクト戦略的研究支援枠「ソーシャルビッグデータの分析・応用のための学術基盤の研究」から部分的な支援を受けた。

## 参考文献

Agirre, E., Banea, C., Cardie, C., Cer, D., Diab, M., Gonzalez-Agirre, A., Guo, W., LopezGazpio, I., Maritxalar, M., Mihalcea, R., Rigau, G., Uria, L., and Wiebe, J. (2015). "SemEval-2015 Task 2: Semantic Textual Similarity, English, Spanish and Pilot on Interpretability." In Proceedings of the 9th International Workshop on Semantic Evaluation, pp. 252-263.

Agirre, E., Banea, C., Cardie, C., Cer, D., Diab, M., Gonzalez-Agirre, A., Guo, W., Mihalcea, R., Rigau, G., and Wiebe, J. (2014). "SemEval-2014 Task 10: Multilingual Semantic Textual Similarity." In Proceedings of the 8th International Workshop on Semantic Evaluation, pp. 81-91.

Agirre, E., Cer, D., Diab, M., and Gonzalez-Agirre, A. (2012). "SemEval-2012 Task 6: A Pilot on Semantic Textual Similarity." In *SEM 2012: The 1st Joint Conference on Lexical and Computational Semantics - Volume 1: Proceedings of the Main Conference and the Shared Task, and Volume 2: Proceedings of the 6th International Workshop on Semantic Evaluation, pp. 385-393.

Agirre, E., Cer, D., Diab, M., Gonzalez-Agirre, A., and Guo, W. (2013). "*SEM 2013 shared task: Semantic Textual Similarity." In 2nd Joint Conference on Lexical and Computational Semantics, Volume 1: Proceedings of the Main Conference and the Shared Task: Semantic Textual Similarity, pp. 32-43.

Bingel, J. and Søgaard, A. (2016). "Text Simplification as Tree Labeling." In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics, pp. 337-343.

Bojar, O., Buck, C., Callison-Burch, C., Federmann, C., Haddow, B., Koehn, P., Monz, C., Post, M., Soricut, R., and Specia, L. (2013). "Findings of the 2013 Workshop on Statistical Machine Translation." In Proceedings of the 8th Workshop on Statistical Machine Translation, pp. $1-44$.

Bojar, O., Buck, C., Federmann, C., Haddow, B., Koehn, P., Leveling, J., Monz, C., Pecina, P., Post, M., Saint-Amand, H., Soricut, R., Specia, L., and Tamchyna, A. (2014). "Findings of the 2014 Workshop on Statistical Machine Translation." In Proceedings of the 9th Workshop on Statistical Machine Translation, pp. 12-58.

Bojar, O., Chatterjee, R., Federmann, C., Graham, Y., Haddow, B., Huck, M., Jimeno Yepes, A., Koehn, P., Logacheva, V., Monz, C., Negri, M., Neveol, A., Neves, M., Popel, M., Post, M., Rubino, R., Scarton, C., Specia, L., Turchi, M., Verspoor, K., and Zampieri, M. (2016). "Findings of the 2016 Conference on Machine Translation." In Proceedings of the 1st Conference on Machine Translation, pp. 131-198.

Bojar, O., Chatterjee, R., Federmann, C., Haddow, B., Huck, M., Hokamp, C., Koehn, P., Logacheva, V., Monz, C., Negri, M., Post, M., Scarton, C., Specia, L., and Turchi, M. (2015). "Findings of the 2015 Workshop on Statistical Machine Translation." In Proceedings of the 10th Workshop on Statistical Machine Translation, pp. 1-46.

Callison-Burch, C., Koehn, P., Monz, C., Post, M., Soricut, R., and Specia, L. (2012). "Findings of the 2012 Workshop on Statistical Machine Translation." In Proceedings of the 7th Workshop on Statistical Machine Translation, pp. 10-51.

Chall, J. and Dale, E. (1995). Readability Revisited: The New Dale-Chall Readability Formula. Cambridge, MA: Brookline Books.

Collins-Thompson, K. and Callan, J. P. (2004). "A Language Modeling Approach to Predicting Reading Difficulty." In Proceedings of the Human Language Technology Conference of the North American Chapter of the Association for Computational Linguistics, pp. 193-200.

Coster, W. and Kauchak, D. (2011a). "Learning to Simplify Sentences Using Wikipedia." In Proceedings of the Workshop on Monolingual Text-To-Text Generation, pp. 1-9.

Coster, W. and Kauchak, D. (2011b). "Simple English Wikipedia: A New Text Simplification Task." In Proceedings of the 49th Annual Meeting of the Association for Computational Linguistics: Human Language Technologies, pp. 665-669.

Flesch, R. (1948). "A New Readability Yardstick." Journal of Applied Psychology, 32, pp. 221-233.
藤田早苗, 小林哲生, 南泰浩, 杉山弘晃 (2015). 幼児を対象としたテキストの対象年齢推定方法. 認知科学, 22 (4), pp. 604-620.

Ganitkevitch, J., Van Durme, B., and Callison-Burch, C. (2013). "PPDB: The Paraphrase Database." In Proceedings of the 2013 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 758-764.

Goto, I., Tanaka, H., and Kumano, T. (2015). "Japanese News Simplification: Task Design, Data Set Construction, and Analysis of Simplified Text." In Proceedings of MT Summit XV, pp. 17-31.

Han, L., Martineau, J., Cheng, D., and Thomas, C. (2015). "Samsung: Align-and-Differentiate Approach to Semantic Textual Similarity." In Proceedings of the 9th International Workshop on Semantic Evaluation, pp. 172-177.

Hänig, C., Remus, R., and de la Puente, X. (2015). "ExB Themis: Extensive Feature Extraction from Word Alignments for Semantic Textual Similarity." In Proceedings of the 9th International Workshop on Semantic Evaluation, pp. 264-268.

Heafield, K. (2011). "KenLM: Faster and Smaller Language Model Queries." In Proceedings of the 6th Workshop on Statistical Machine Translation, pp. 187-197.

Hwang, W., Hajishirzi, H., Ostendorf, M., and Wu, W. (2015). "Aligning Sentences from Standard Wikipedia to Simple Wikipedia." In Proceedings of the 2015 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 211-217.

梶原智之, 小町守 (2017). “Simple PPDB: Japanese.” 言語処理学会第 23 回年次大会発表論文集, pp. 529-532.

Kincaid, J. P., Fishburne Jr., R. P., Rogers, R. L., and Chissom, B. S. (1975). "Derivation of New Readability Formulas (Automated Readability Index, Fog Count and Flesch Reading Ease Formula) for Navy Enlisted Personnel." In Technical Report, Defence Technical Information Center Document, pp. 8-75.

Koehn, P., Hoang, H., Birch, A., Callison-Burch, C., Federico, M., Bertoldi, N., Cowan, B., Shen, W., Moran, C., Zens, R., Dyer, C., Bojar, O., Constantin, A., and Herbst, E. (2007). "Moses: Open Source Toolkit for Statistical Machine Translation." In Proceedings of the 45th Annual Meeting of the Association for Computational Linguistics Companion Volume Proceedings of the Demo and Poster Sessions, pp. 177-180.

Kuhn, H. W. (1955). "The Hungarian Method for the Assignment Problem." Naval Research Logistics Quarterly, 2, pp. 83-97.

Kusner, M., Sun, Y., Kolkin, N., and Weinberger, K. (2015). "From Word Embeddings to

Document Distances." In Proceedings of The 32nd International Conference on Machine Learning, pp. 957-966.

Maekawa, K., Yamazaki, M., Maruyama, T., Yamaguchi, M., Ogura, H., Kashino, W., Ogiso, T., Koiso, H., and Den, Y. (2010). "Design, Compilation, and Preliminary Analyses of Balanced Corpus of Contemporary Written Japanese." In Proceedings of the 7th International Conference on Language Resources and Evaluation, pp. 1483-1486.

Mikolov, T., Chen, K., Corrado, G. S., and Dean, J. (2013a). "Efficient Estimation of Word Representations in Vector Space." In Proceedings of Workshop at the International Conference on Learning Representations.

Mikolov, T., Sutskever, I., Chen, K., Corrado, G. S., and Dean, J. (2013b). "Distributed Representations of Words and Phrases and Their Compositionality." In Advances in Neural Information Processing Systems, pp. 3111-3119.

Och, F. J. (2003). "Minimum Error Rate Training in Statistical Machine Translation." In Proceedings of the 41st Annual Meeting of the Association for Computational Linguistics, pp. 160-167.

Papineni, K., Roukos, S., Ward, T., and Zhu, W.-J. (2002). "BLEU: A Method for Automatic Evaluation of Machine Translation." In Proceedings of 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318.

Pavlick, E. and Callison-Burch, C. (2016). "Simple PPDB: A Paraphrase Database for Simplification." In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics, pp. 143-148.

Pavlick, E., Rastogi, P., Ganitkevitch, J., Van Durme, B., and Callison-Burch, C. (2015). "PPDB 2.0: Better Paraphrase Ranking, Fine-grained Entailment Relations, Word Embeddings, and Style Classification." In Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing, pp. 425-430.

Rubner, Y., Tomasi, C., and Guibas, L. J. (1998). "A Metric for Distributions with Applications to Image Databases." In Proceedings of the 6th International Conference on Computer Vision, pp. 59-66.

佐藤理史 (2011). 均衡コーパスを規範とするテキスト難易度判定. 情報処理学会論文誌, 52 (4), pp. 1777-1789.

柴崎秀子, 玉岡賀津雄 (2010). 国語科教科書を基にした小・中学校の文章難易度学年判定式の構築. 日本教育工学会論文誌, 33 (4), pp. 449-458.

Song, Y. and Roth, D. (2015). "Unsupervised Sparse Vector Densification for Short Text Similar-
ity." In Proceedings of the 2015 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 1275-1280.

Specia, L. (2010). "Translating from Complex to Simplified Sentences." In Proceedings of the 9th International Conference on Computational Processing of the Portuguese Language, pp. 30-39.

Štajner, S., Bechara, H., and Saggion, H. (2015a). "A Deeper Exploration of the Standard PB-SMT Approach to Text Simplification and its Evaluation." In Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing, pp. 823-828.

Štajner, S., Calixto, I., and Saggion, H. (2015b). "Automatic Text Simplification for Spanish: Comparative Evaluation of Various Simplification Strategies." In Proceedings of the International Conference Recent Advances in Natural Language Processing, pp. 618-626.

Štajner, S., Popović, M., Saggion, H., Specia, L., and Fishel, M. (2016). "Shared Task on Quality Assessment for Text Simplification." In LREC 2016 Workshop 83 Shared Task on Quality Assessment for Text Simplification, pp. 22-31.

Sultan, M. A., Bethard, S., and Sumner, T. (2015). "DLS@CU: Sentence Similarity from Word Alignment and Semantic Vector Composition." In Proceedings of the 9th International Workshop on Semantic Evaluation, pp. 148-153.

Wubben, S., van den Bosch, A., and Krahmer, E. (2012). "Sentence Simplification by Monolingual Machine Translation." In Proceedings of the 50th Annual Meeting of the Association for Computational Linguistics, pp. 1015-1024.

Xu, W., Callison-Burch, C., and Napoles, C. (2015). "Problems in Current Text Simplification Research: New Data Can Help." Transactions of the Association for Computational Linguistics, 3, pp. 283-297.

Xu, W., Napoles, C., Pavlick, E., Chen, Q., and Callison-Burch, C. (2016). "Optimizing Statistical Machine Translation for Text Simplification." Transactions of the Association for Computational Linguistics, 4, pp. 401-415.

Zhu, Z., Bernhard, D., and Gurevych, I. (2010). "A Monolingual Tree-based Translation Model for Sentence Simplification." In Proceedings of the 23rd International Conference on Computational Linguistics, pp. 1353-1361.

## 略歴

梶原智之：2013 年長岡技術科学大学工学部電気電子情報工学課程卒業. 2015 年同大学大学院工学研究科修士課程電気電子情報工学専攻修了. 同年, 首都
大学東京大学院システムデザイン研究科博士後期課程情報通信システム学域に進学, 現在に至る. 自然言語処理の研究に従事. 情報処理学会, 人工知能学会, 言語処理学会各学生会員.

小町守：2005 年東京大学教養学部基礎科学科科学史・科学哲学分科卒業. 2007 年奈良先端科学技術大学院大学情報科学研究科博士前期課程修了. 2008 年より日本学術振興会特別研究員 (DC2) を経て, 2010 年博士後期課程修了.博士 (工学)。同年より同研究科助教を経て, 2013 年より首都大学東京システムデザイン学部准教授. 大規模なコーパスを用いた意味解析および統計的自然言語処理に関心がある. 情報処理学会, 人工知能学会, 言語処理学会, ACL 各会員.

(2017 年 9 月 21 日受付)

(2017 年 11 月 30 日採録)