\section{はじめに}
\label{sec:introduction}難解なテキストの意味を保持したまま平易に書き換えるテキスト平易化は，言語学習者や子どもをはじめとする多くの読者の文章読解を支援する．近年，テキスト平易化を同一言語内の翻訳問題と考え，統計的機械翻訳を用いて入力文から平易な同義文を生成する研究\cite{specia-2010,zhu-2010,coster-2011b,coster-2011a,wubben-2012,stajner-2015a,stajner-2015b,goto-2015}が盛んである．しかし，異言語間の機械翻訳モデルの学習に必要な異言語パラレルコーパスとは異なり，テキスト平易化モデルの学習に必要な単言語パラレルコーパスの構築はコストが高い．これは，日々の生活の中で対訳（異言語パラレル）データが大量に生産および蓄積されるのとは異なり，難解なテキストを平易に書き換えることは自然には行われないためである．そのため，公開されておりテキスト平易化のために自由に利用できるのは，EnglishWikipedia\footnote{http://en.wikipedia.org}とSimpleEnglishWikipedia\footnote{http://simple.wikipedia.org}から構築された英語のパラレルコーパス\cite{zhu-2010,coster-2011a,hwang-2015}のみであるが，SimpleEnglishWikipediaのように平易に書かれた大規模なコーパスは英語以外の多くの言語では利用できない．そこで本研究では，任意の言語でのテキスト平易化を実現することを目指し，生コーパスから難解な文と平易な文の同義な対（テキスト平易化のための疑似パラレルコーパス）を抽出する教師なし手法を提案し，獲得した疑似パラレルコーパスと統計的機械翻訳モデルを用いて英語および日本語でのテキスト平易化を行う．図~\ref{fig:abstract}に示すように，我々が提案するフレームワークでは，リーダビリティ推定と文アライメントの2つのステップによって生コーパスからテキスト平易化のための疑似パラレルコーパスを構築する．大規模な生コーパスには，同一の（あるいは類似した）イベントや事物に対する複数の言及や説明が含まれると期待でき，それらからは同義や類義の関係にある文対を得ることができるだろう．さらに我々はリーダビリティ推定によって難解な文と平易な文を分類するので，生コーパスから難解な文と平易な文の同義な対を抽出することができる．\begin{figure}[t]\begin{center}\includegraphics{25-2ia3f1.eps}\end{center}\caption{疑似パラレルコーパスと統計的機械翻訳モデルを用いたテキスト平易化}\label{fig:abstract}\end{figure}我々は2つの設定で提案手法の効果を検証した．まず先行研究と同様に，難解なテキストと平易なテキストのコンパラブルコーパスからテキスト平易化のためのパラレルコーパスを構築した．我々の提案する文アライメント手法は難解な文と平易な文のアライメント性能を改善し，高品質にテキスト平易化コーパスを構築できた．さらに，我々のコーパスで学習したモデルは従来のコーパスで学習したモデルよりもテキスト平易化の性能も改善できた．次に，コンパラブルコーパスを利用しない設定で，生コーパスのみからテキスト平易化のための疑似パラレルコーパスを構築し，フレーズベースの統計的機械翻訳モデルを用いてテキスト平易化を行った．平易に書かれた大規模コーパスを使用しないにも関わらず，疑似パラレルコーパスで学習したモデルは従来のコーパスで学習したモデルと同等の性能で平易な同義文を生成することができた．本研究の貢献は次の2つである．\begin{itemize}\item単語分散表現のアライメントに基づく文間類似度を用いて，難解な文と平易な文の文アライメントを改善した．\item生コーパスのみから教師なしで擬似パラレルコーパスを自動構築し，これがコンパラブルコーパスから得られる従来のパラレルコーパスと同等に有用であることを確認した．\end{itemize}これまでは，人手で構築された難解な文と平易な文のパラレルコーパス\footnote{https://newsela.com/data/}\cite{xu-2015}，平易に書かれた大規模なコーパス(SimpleEnglishWikipedia)，文間類似度のラベル付きデータ\footnote{http://ixa2.si.ehu.es/stswiki/index.php/Main\_Page}\cite{agirre-2012,agirre-2013,agirre-2014,agirre-2015}，言い換え知識\footnote{https://www.seas.upenn.edu/{\textasciitilde}epavlick/data.html}\cite{ganitkevitch-2013,pavlick-2015,pavlick-2016}などの言語資源が豊富に存在する英語を中心にテキスト平易化の研究が進められてきたが，本研究ではこれらの外部知識を利用することなく生コーパスのみからテキスト平易化のための疑似パラレルコーパスを自動構築し，統計的機械翻訳を用いたテキスト平易化における有用性を確認した．生コーパスは多くの言語で大規模に利用できるので，今後は本研究の成果をもとに多くの言語でテキスト平易化を実現できるだろう．本稿の構成を示す．2節では，関連研究を紹介する．3節では，生コーパスから擬似パラレルコーパスを構築する提案手法を概説する．4節では，テキスト平易化のための文アライメントとして，単語分散表現のアライメントに基づく文間類似度推定手法を提案する．続いて，5節から7節で実験を行う．まず5節では，4節の提案手法を評価し，テキスト平易化のための最良の文アライメント手法を決定する．6節では，3節から5節に基づき，英語の疑似パラレルコーパスを構築し，テキスト平易化を行う．7節では，同様に日本語の疑似パラレルコーパスを構築し，テキスト平易化を行う．最後に8節で，本研究のまとめを述べる．
\section{関連研究}
\label{sec:related_work}\subsection{統計的機械翻訳を用いたテキスト平易化}2010年以降，統計的機械翻訳を用いたテキスト平易化の研究が盛んである．特に英語では，EnglishWikipediaとSimpleEnglishWikipediaをコンパラブルコーパスと考え，ここから抽出された単言語パラレルコーパス\cite{zhu-2010,coster-2011a,hwang-2015}とフレーズベースの統計的機械翻訳モデルを用いたテキスト平易化\cite{zhu-2010,coster-2011b,coster-2011a,wubben-2012,stajner-2015a}が盛んに研究されている．\citeA{coster-2011a}は，標準的なフレーズベースの統計的機械翻訳ツールMoses\cite{koehn-2007}を用いて英語のテキスト平易化を行った．本研究でも，同じくMosesを用いてテキスト平易化を行うが，我々は任意の言語でのテキスト平易化を実現することを目的に，SimpleEnglishWikipediaに頼ることなくEnglishWikipediaのみから構築する疑似パラレルコーパスでモデルを学習する．\subsection{テキスト平易化のための単言語パラレルコーパス}これまでに3種類の英語のテキスト平易化のための単言語パラレルコーパスが，EnglishWikipediaとSimpleEnglishWikipediaの文アライメントによって構築されている．\citeA{zhu-2010}は，文をTF-IDFベクトルとして表現し，そのベクトル間のコサイン類似度を用いて初めてテキスト平易化のための単言語パラレルコーパス\footnote{https://www.ukp.tu-darmstadt.de/data/sentence-simplification/simple-complex-sentence-pairs/}を構築した．\citeA{coster-2011a}は，TF-IDFベクトル間のコサイン類似度に加えて文の出現順序を考慮することで，より高精度にテキスト平易化コーパス\footnote{http://www.cs.pomona.edu/{\textasciitilde}dkauchak/simplification/}を構築した．しかし，Zhuetal.やCosterandKauchakの手法では，異なる単語間の類似度を考慮していない．難解な表現から平易な表現への書き換えが頻繁に行われるテキスト平易化タスクにおいては，異なる単語間の類似度も適切に測定したい．\citeA{hwang-2015}は，国語辞典の見出し語と定義文中の単語の共起を用いて，異なる単語間の類似度も考慮してテキスト平易化コーパス\footnote{http://ssli.ee.washington.edu/tial/projects/simplification/}を構築した．本研究では，単語分散表現を用いることで辞書などの外部知識に頼らず異なる単語間の類似度を考慮する文アライメントを行う．\subsection{文間類似度推定}文間の意味的類似度を計算するSemanticTextualSimilarity(STS)タスク\cite{agirre-2012,agirre-2013,agirre-2014,agirre-2015}では，単語分散表現の成功を受け，異なる単語間の類似度を考慮する手法が提案されている．SemEval-2015のSTSタスク\cite{agirre-2015}では，word2vec\cite{mikolov-2013a}の単語分散表現やPPDB:paraphrasedatabase\cite{ganitkevitch-2013}の言い換えを用いた単語アライメントに基づく教師あり学習の手法\cite{sultan-2015,hanig-2015,han-2015}が上位を独占している．同じくword2vecの単語分散表現のアライメントに基づく教師なしの文間類似度計算手法\cite{song-2015,kusner-2015}も提案されている．文間類似度のラベル付きデータを必要としないこれらの教師なし手法は，テキスト平易化のための単言語パラレルコーパスの自動構築にも応用できる．\subsection{リーダビリティ推定}テキストの可読性を評価するリーダビリティ尺度としては，FleschReadingEaseFormula\cite{flesch-1948}やFlesch-KincaidGradeLevel\cite{kincaid-1975}がよく知られている．これらはいずれも，単語数と音節数を用いてリーダビリティを計算する．また，単語数に加えて難解な表現が出現する割合を考慮するDale-ChallReadabilityFormula\cite{chall-1995}や言語モデルに基づく手法\cite{collins-2004}も提案されている．これらの研究は英語を対象としているが，リーダビリティ尺度は言語ごとに開発されており，例えば日本語では\citeA{shibasaki-2010}，\citeA{sato-2011}，\citeA{fujita-2015b}の研究がある．本研究ではシンプルなリーダビリティ尺度を採用するが，我々の提案するフレームワークに基づいて，リーダビリティ推定のステップには任意のリーダビリティ尺度を適用できる．\subsection{テキスト平易化の評価}統計的機械翻訳を用いたテキスト平易化\cite{specia-2010,zhu-2010,coster-2011b,coster-2011a,wubben-2012,stajner-2015a,stajner-2015b,goto-2015}では，機械翻訳のための評価尺度であるBLEU\cite{papineni-2002}による自動評価が一般的である．BLEUではリファレンスとの比較によって出力文の意味や文法の正しさを評価するが，テキスト平易化では入力文よりも平易な文を出力したいため，入力文と出力文の比較も行いたい．本研究では，テキスト平易化のために新たに提案されたSARI\cite{xu-2016}による自動評価も行う．SARIは入力文と出力文とリファレンスの3つを用いる自動評価尺度であり，特に平易さの観点でBLEUよりも人手評価との相関が高いことが知られている．\begin{figure}[b]\begin{center}\includegraphics{25-2ia3f2.eps}\end{center}\caption{品質推定を用いた生コーパスからの疑似パラレルコーパス構築}\label{fig:framework}\end{figure}
\section{生コーパスから疑似パラレルコーパスを構築するためのフレームワーク}
\label{sec:raw2parallel}本研究では，生コーパスからテキスト平易化のための疑似パラレルコーパスを自動構築するフレームワークを提案する．これは，より一般的には図\ref{fig:framework}のように説明できる．生コーパスから無作為に抽出した2つの文に対して，タスクに応じた品質推定を行い，一定以上の尤度を持つ文対を擬似パラレルコーパスとして抽出する．品質推定\cite{stajner-2016}とは入力文と出力文の比較によってリファレンスなしで出力文を評価する技術の総称であり，テキストからのテキスト生成タスク，特に機械翻訳\cite{callisonburch-2012,bojar-2013,bojar-2014,bojar-2015,bojar-2016}を中心に研究されている．図\ref{fig:framework}に戻ると，品質推定のステップでは言い換え生成であれば2文間の同義性を評価し，文圧縮であれば2文間の同義性および文Aに対する文Bの圧縮率を評価し，応答文生成であれば文Aを質問文として文Bの応答文らしさを評価する．このように，タスクごとの品質推定を高精度に実現できれば，このフレームワークを用いてタスクに応じた疑似パラレルコーパスを生コーパスから抽出できる．本研究では，テキスト平易化のための疑似パラレルコーパスを構築したい．テキスト平易化は意味を保持したまま平易に書き換えるタスクなので，図\ref{fig:framework}における品質推定のステップでは，各文の難易度および2文間の同義性を評価する．我々は文の難易度を評価するために，各言語で開発されているリーダビリティ尺度を用いる．各文に対してリーダビリティ推定を行い，絶対的あるいは相対的なリーダビリティの高低がわかれば，続いてリーダビリティの低い難解な文とリーダビリティの高い平易な文の同義性を評価する．一般に長い文よりも短い文の方が読みやすいので，テキスト平易化では難解な表現から平易な表現への言い換えの他に，重要ではない表現の省略も頻繁に行われる\cite{xu-2015}．そのため，テキスト平易化における同義性は，言い換えタスクのような相互に置換可能な「同義性」には限定されない．そこで我々は，\ref{sec:sentence_alignment}節で説明する意味的文間類似度を用いて2文間の同義性を評価する．最終的に，難解な文と平易な文の対であり，かつ類似度が高い文対のみをテキスト平易化のための擬似パラレルコーパスとして採用する．
\section{単語分散表現のアライメントに基づく文間類似度を用いた文アライメント}
\label{sec:sentence_alignment}難解な文と平易な文の同義性を評価するために，我々は単語分散表現のアライメントに基づく4種類の文間類似度の計算手法を提案する．\ref{subsec:ave_alignment}節から\ref{subsec:hun_alignment}節で説明する手法は，\citeA{song-2015}によって提案された単語分散表現のアライメントに基づく文間類似度の計算手法を本タスクに応用するものである．\ref{subsec:wmd_alignment}節のWordMover'sDistance\cite{kusner-2015}も，単語分散表現のアライメントに基づく文間類似度の計算に用いることができる．\subsection{AverageAlignment}\label{subsec:ave_alignment}文$x$と文$y$の間の全ての単語の組み合わせについて単語間類似度を計算し，それらの$|x||y|$個の単語間類似度を平均して文間類似度$S_{ave}(x,y)$を求める．\pagebreak\begin{equation}S_{ave}(x,y)=\frac{1}{|x||y|}\sum_{i=1}^{|x|}\sum_{j=1}^{|y|}\phi(x_i,y_j)\end{equation}ここで，$x_i$および$y_j$は，それぞれ文$x$および文$y$に含まれる単語を表す．また，$\phi(x_i,y_j)$は単語$x_i$と単語$y_j$の間の単語間類似度を表し，本研究ではコサイン類似度を用いる．\subsection{MaximumAlignment}\label{subsec:max_alignment}AverageAlignmentは単語分散表現に基づく文間類似度として直感的であるが，同義の文対を考えても全ての単語の組み合わせについて単語間類似度が高くなるとは考えにくく，多くの単語間類似度は$0$に近い値を取るノイズになると考えられる．そこで文$x$に含まれる各単語$x_i$に対して最も類似度が高い文$y$中の単語$y_j$を選択し，それらの$|x|$個の単語の組み合わせについてのみ計算した単語間類似度$\phi(x_i,y_j)$を平均して$S_{asym}(x,y)$を求める．$S_{asym}(x,y)$は非対称なスコアであるため，$S_{asym}(x,y)$と$S_{asym}(y,x)$の平均値を用いて対称な文間類似度$S_{max}(x,y)$を計算する．\begin{align}S_{asym}(x,y)&=\frac{1}{|x|}\sum_{i=1}^{|x|}\max_j\phi(x_i,y_j)\\S_{max}(x,y)&=\frac{1}{2}(S_{asym}(x,y)+S_{asym}(y,x))\end{align}\subsection{HungarianAlignment}\label{subsec:hun_alignment}AverageAlignmentおよびMaximumAlignmentは，それぞれ多対多および多対一の単語アライメントに基づく文間類似度である．本節では$x$および$y$の2文を単語をノードとする2部グラフとして考え，一対一の単語アライメントに基づく文間類似度を定義する．この2部グラフは，単語間類似度$\phi(x_i,y_j)$を重みとする重み付きの辺を持つ重み付き完全2部グラフである．この完全2部グラフの最大マッチングを求めることで，単語間類似度の総和を最大化する一対一の単語アライメントを得ることができる．2部グラフの最大マッチング問題は，Hungarian法\cite{kuhn-1955}を用いて解くことができる．そこで文$x$に含まれる各単語$x_i$に対してHungarian法によって文$y$中の単語$h(x_i)$を選択し，それらの$|x|$個の単語の組み合わせについて計算した単語間類似度を平均して文間類似度$S_{hun}(x,y)$を求める．\begin{equation}S_{hun}(x,y)=\frac{1}{\min(|x|,|y|)}\sum_{i=1}^{|x|}\phi(x_i,h(x_i))\end{equation}\subsection{WordMover'sDistance}\label{subsec:wmd_alignment}WordMover'sDistance\cite{kusner-2015}も，単語の分散表現を用いた多対多の単語アライメントに基づく文間類似度の計算に用いることができる．WordMover'sDistanceは，文$x$から文$y$へと単語を輸送する輸送問題を解くEarthMover'sDistance\cite{rubner-1998}の特殊な場合に相当する．\begin{align}S_{wmd}(x,y)&=1-\mathrm{WMD}(x,y)\\\mathrm{WMD}(x,y)&=\min\sum_{u=1}^{n}\sum_{v=1}^{n}\mathcal{A}_{uv}\psi(x_u,y_v)\\\begin{split}\mathrm{subject\;to:\;}\sum_{v=1}^n\mathcal{A}_{uv}&=\frac{1}{|x|}freq(x_u)\\\sum_{u=1}^n\mathcal{A}_{uv}&=\frac{1}{|y|}freq(y_v)\end{split}\nonumber\end{align}ここで，$\psi(x_u,y_v)$は単語$x_u$と単語$y_v$の間の単語間非類似度（距離）を表し，本研究ではユークリッド距離を用いる．また，$\mathcal{A}_{uv}$は文$x$中の単語$x_u$から文$y$中の単語$y_v$への輸送量を表す行列であり，$n$は語彙数，$freq(x_u)$は文$x$中での単語$x_u$の出現頻度である．
\section{実験1:難解な文と平易な文のアライメント}
\label{sec:intrinsic_evaluation}本節では，難解な文と平易な文の組に対してパラレルおよびノンパラレルの2値分類を行い，単語分散表現のアライメントに基づく文間類似度の有効性を評価する．\subsection{実験設定}\citeA{hwang-2015}は，EnglishWikipediaとSimpleEnglishWikipediaから抽出した67,853文対に対して以下の4つのラベルを人手で付与したデータを公開している．\begin{itemize}\item{\itGood}：2文間の意味が等しい（277文対）\item{\itGoodPartial}：一方の文が他方を含意する（281文対）\item{\itPartial}：部分的に関連する（117文対）\item{\itBad}：無関係（67,178文対）\end{itemize}我々はこの評価用データセットを用いて，以下の2つの設定で，文間類似度によって各文対をパラレルデータとノンパラレルデータに2値分類する．\begin{itemize}\item{\itGvs.O}：{\itGood}のラベル付きデータのみをパラレルデータとする\item{\itG+GPvs.O}：{\itGood}と{\itGoodPartial}の2つのラベル付きデータをパラレルデータとする\end{itemize}評価には，Hwangetal.と同じく以下の2つの尺度を用いる．\begin{itemize}\itemMaxF1：F1スコアの最大値\itemAUC-PR：Precision-Recall曲線（PR曲線）上のAreaUndertheCurve\end{itemize}比較手法には，EnglishWikipediaとSimpleEnglishWikipediaからテキスト平易化のためのパラレルコーパスを構築する\citeA{zhu-2010}，\citeA{coster-2011a}およびHwangetal.の3つの先行研究に加えて，AdditiveEmbeddings\cite{mikolov-2013b}を用いる．AdditiveEmbeddingsは，単語アライメントを使用しない比較手法であり，単語の分散表現を足し合わせることによって文の分散表現を構成し，コサイン類似度によって文間類似度を計算する．単語分散表現に基づく文間類似度計算のために，我々は公開されている学習済みの単語分散表現\footnote{https://code.google.com/archive/p/word2vec/}を用いる．これは，GoogleNewsdataset上でword2vec\cite{mikolov-2013a}のCBOWモデルによって学習された300次元の単語分散表現である．提案手法のうち，AverageAlignment，MaximumAlignmentおよびHungarianAlignmentについては，\citeA{song-2015}にならって単語アライメントのノイズ除去を行った．\ref{subsec:max_alignment}節でも述べたが，同義の文対$(x,y)$を考えても全ての単語対について単語間類似度が高くなるとは考えにくく，どの単語アライメントの手法を用いても単語間類似度が低いにも関わらず対応付けられてしまう単語対が存在する．このようなノイズとなる単語対の影響を抑えるため，我々は$\phi(x_i,y_j)>\theta$の単語間類似度を持つ単語対$(x_i,y_j)$のみを用いて単語アライメントを行った．この閾値$\theta$はMaxF1を最大化するように選択し，AverageAlignmentについては{\itGvs.O}の分類時に$0.89$，{\itG+GPvs.O}の分類時に$0.95$，MaximumAlignmentについては{\itGvs.O}の分類時に$0.28$，{\itG+GPvs.O}の分類時に$0.49$，HungarianAlignmentについては{\itGvs.O}の分類時に$0.98$，{\itG+GPvs.O}の分類時に$0.98$を採用した．\subsection{実験結果}パラレルデータとノンパラレルデータの2値分類の結果を表~\ref{tab:binary_classification}に示す．{\itGood}とその他の2値分類においては多対多の単語アライメントに基づくWordMover'sDistanceが最も高い性能を示した．また，{\itGood+GoodPartial}とその他の2値分類においては多対一の単語アライメントに基づくMaximumAlignmentが最も高い性能を示した．なお，MaximumAlignmentは{\itGood}とその他の2値分類においても3つの先行研究よりも高い性能を示した．図~\ref{fig:good_vs_others}および図~\ref{fig:partial_vs_others}に，パラレルデータとノンパラレルデータの2値分類におけるPrecision-Recall曲線を示す．図~\ref{fig:partial_vs_others}の{\itGood+GoodPartial}とその他の2値分類において，太実線のMaximumAlignmentが他の単語分散表現に基づく文間類似度計算手法よりも高い性能を示した．\begin{table}[t]\caption{パラレルデータとノンパラレルデータの2値分類精度}\label{tab:binary_classification}\input{03table01.tex}\end{table}\begin{figure}[t]\noindent\begin{minipage}[b]{.5\textwidth}\begin{center}\includegraphics{25-2ia3f3.eps}\end{center}\caption{{\itGvs.O}の2値分類におけるPR曲線}\label{fig:good_vs_others}\end{minipage}\begin{minipage}[b]{.5\textwidth}\begin{center}\includegraphics[width=180pt]{25-2ia3f4.eps}\end{center}\caption{{\itG+GPvs.O}の2値分類におけるPR曲線}\label{fig:partial_vs_others}\end{minipage}\end{figure}\ref{sec:raw2parallel}節で述べたように，テキスト平易化タスクでは省略も頻繁に行われる．そこで，テキスト平易化のための単言語パラレルコーパスには，対応する難解な文と平易な文が同義である{\itGood}の文対だけでなく，難解な文が平易な文の意味を含意する{\itGoodPartial}の文対も含めることが重要である．そのため，{\itGood+GoodPartial}とその他の2値分類において最も高い性能を示すMaximumAlignmentが，テキスト平易化のための単言語パラレルコーパス構築に最も適した文間類似度の計算手法であると言える．図~\ref{fig:max_alignment}および図~\ref{fig:hun_alignment}から，MaximumAlignmentでは(genus,genus)と(species,genus)のような多対一の単語アライメントが可能であるが，HungarianAlignmentには(as,genus)や(tree,is)のような誤った単語アライメントが見られる．機能語は色々な単語とある程度の単語間類似度を持つため，HungarianAlignmentにおける一対一の制約は厳しすぎる．また，MaximumAlignmentは多対一の単語アライメントを許すので，フレーズと単語の言い換えも上手く捉えられる．\begin{figure}[t]\noindent\begin{minipage}[b]{.5\textwidth}\begin{center}\includegraphics{25-2ia3f5.eps}\end{center}\caption{MaximumAlignmentによる単語アライメント}\label{fig:max_alignment}\end{minipage}\begin{minipage}[b]{.5\textwidth}\begin{center}\includegraphics{25-2ia3f6.eps}\end{center}\caption{HungarianAlignmentによる単語アライメント}\label{fig:hun_alignment}\end{minipage}\end{figure}
\section{実験2:英語のテキスト平易化}
\label{sec:english_experiment}SimpleEnglishWikipediaのような平易に書かれた大規模コーパスは英語以外の多くの言語では利用できないため，本研究では生コーパス(EnglishWikipedia)からテキスト平易化のための疑似パラレルコーパスを構築し，それを用いてフレーズベースの統計的機械翻訳モデルを訓練することによってテキスト平易化を実現する．本節では，平易に書かれた大規模コーパスが利用できる英語での実験によって，文アライメント手法の改善によるテキスト平易化の性能の変化を確認する．また，平易なコーパスに頼らない疑似パラレルコーパスから訓練されたモデルが，既存のパラレルコーパスから訓練されたモデルに匹敵する性能を発揮できることを示す．\subsection{疑似パラレルコーパスの構築}\label{subsec:pseudo_parallel_corpus}\ref{sec:raw2parallel}節で述べたように，我々はリーダビリティ推定と文アライメントによって各文対に対してテキスト平易化のための品質推定を行い，コーパスに含める文対を選抜する．\subsubsection{生コーパス}まず，生コーパスを用意する．本研究では，EnglishWikipedia\footnote{https://dumps.wikimedia.org/enwiki/20160501/}の各記事に対してWikiExtractor\footnote{https://github.com/attardi/wikiextractor/}を用いた本文抽出とNLTK3.2.1\footnote{http://www.nltk.org/}を用いたトークナイズを行い，10単語以上の6,283,703文を対象とした．\subsubsection{リーダビリティ推定}次に，英文のリーダビリティ推定のために，我々は英語のテキスト平易化\cite{zhu-2010,bingel-2016}でよく利用されるFleschReadingEaseFormula\cite{flesch-1948}を用いる．FleschReadingEaseFormulaでは，$\alpha$を単語数，$\beta$を1単語あたりの平均音節数として，文のリーダビリティを次のように定義する．\begin{equation}FleschReadingEase=206.835-1.015\alpha-84.6\beta\end{equation}FleschReadingEaseFormulaで計算されたリーダビリティスコアは，おおよそ0以上100以下の値を取り，$[60,70)$を標準レベルとして，高いほど読みやすい平易な文であることを意味する．そこで我々は，EnglishWikipediaから抽出した6,283,703文を以下のように分割した．\begin{itemize}\item難解なサブコーパス：$[0,60)$のリーダビリティスコアを持つ3,689,227文\item平易なサブコーパス：$[60,100]$のリーダビリティスコアを持つ2,358,921文\itemリーダビリティを測定不能として棄却：数百単語の長文や箇条書きなど，0未満または100を超えるリーダビリティスコアを持つ235,555文\end{itemize}\subsubsection{文アライメント}我々は\ref{sec:intrinsic_evaluation}節で最も高い性能を示したMaximumAlignmentを用いて全ての難解な文と平易な文の組み合わせに対して文間類似度を計算した．単語分散表現には，\ref{sec:intrinsic_evaluation}節と同じく公開されている学習済みのCBOWモデル\footnote{https://code.google.com/archive/p/word2vec/}を使用した．ノイズを軽減するために単語間類似度が0.5以上の単語対のみを単語アライメントに使用し，文間類似度が0.5以上である2,072,572文対を抽出して英語のテキスト平易化のための疑似パラレルコーパスを構築した．\subsection{疑似パラレルコーパスの妥当性}図~\ref{fig:readability}に，EnglishWikipediaとSimpleEnglishWikipediaの文のリーダビリティの分布を示す．縦軸は各リーダビリティスコアの文数を正規化したものであり，各ヒストグラムの面積が1となる．FleschReadingEaseFormulaに基づくリーダビリティスコアの60未満の範囲では，難解なコーパスであるEnglishWikipediaの文が出現する割合が高い．同じく，60以上の範囲では平易なコーパスであるSimpleEnglishWikipediaの文が出現する割合が高い．よって，本研究で難解な文と平易な文を分割した閾値60の基準も妥当であると言える．また，EnglishWikipediaには難解な文が多いとは言え，全ての文が難解なわけではないこともわかる．そのため，EnglishWikipediaから平易な文を抽出することで，平易な文書に頼ることなく平易なサブコーパスを得ることができる．\begin{figure}[b]\noindent\begin{minipage}[b]{.5\textwidth}\begin{center}\includegraphics{25-2ia3f7.eps}\end{center}\caption{リーダビリティの分布}\label{fig:readability}\end{minipage}\begin{minipage}[b]{.5\textwidth}\begin{center}\includegraphics{25-2ia3f8.eps}\end{center}\caption{疑似パラレルコーパスの品質}\label{fig:analysis}\end{minipage}\end{figure}図~\ref{fig:analysis}に，我々が構築した疑似パラレルコーパスの文間類似度ごとの同義性の品質を示す．{\itGood}，{\itGoodPartial}，{\itPartial}および{\itBad}の各ラベルは，\ref{sec:intrinsic_evaluation}節の実験設定と対応しており，\citeA{hwang-2015}に準ずるものである．文間類似度の範囲ごとに100文対を無作為抽出し，合計500文対を2人のアノテータが評価した．各文対に4つのラベルのうちの1つを割り当てたところ，アノテータ間の一致率はピアソンの相関係数で0.629と十分に高かった．この同義性に関する人手評価から，文間類似度が高くなるにつれて無関係な{\itBad}の文対が減少し，同義な{\itGood}の文対が増加していることがわかる．また，一方の文が他方を含意する{\itGoodPartial}の文対は文間類似度$[0.9,1.0)$の範囲でのみ減少しているが，これは難解な文と平易な文の文長に関係している．文間類似度$[0.8,0.9)$の範囲では，難解な文の平均文長は平易な文の平均文長よりも約3語長い．しかし，文間類似度$[0.9,1.0)$の範囲では，その差は1語未満である．文長の近い文対では意味的な包含関係が成立しにくく，文間類似度の高い文対は同義になりやすいと考えられる．\begin{table}[b]\caption{EnglishWikipediaから構築したテキスト平易化のための疑似パラレルコーパスの例}\label{tab:corpus_example}\input{03table02.tex}\end{table}表~\ref{tab:corpus_example}に，我々が構築したテキスト平易化のための疑似パラレルコーパスの例を示す．{\itGood}の文対には，難解な語句から平易な語句への言い換え(precipitation→rainfall)の例が見られる．{\itGoodPartial}の文対には省略の例が見られる．{\itPartial}の文対は，同義関係や含意関係ではないが，共通する語句や関連する語句を含み，関連する内容について書かれている．EnglishWikipediaを分割した難解なサブコーパスと平易なサブコーパスの組は，EnglishWikipediaとSimpleEnglishWikipediaの組とは異なりコンパラブルコーパスではない．そのため，図~\ref{fig:analysis}に示したように，同義や含意の関係にある文対の割合は多くはない．しかし，本研究ではフレーズベースの統計的機械翻訳を用いてテキスト平易化を行うため，以下の3つの理由でこの問題の影響は少なく，雑音の多い文対からでも重要な知識を獲得できる．\begin{itemize}\itemテキスト平易化は同一言語内の翻訳問題であるため，入力文に含まれる多くの単語をそのまま出力できる（変換しないことが正解である）．そのため，異言語間の翻訳問題とは異なり，適切な変換対が少量しか得られないことが致命的な問題にはならない．\itemフレーズベースの統計的機械翻訳では，フレーズ単位の変換対を学習する．難解なフレーズとその言い換えである平易なフレーズの組は，同義や含意の関係にある文対からだけではなく，類義の関係にある文対からも得ることができる．\itemフレーズベースの統計的機械翻訳では，最終的に言語モデルによるリランキングを行うため，雑音の多いフレーズペアを獲得していても，平易な言い換えとして適切なフレーズペアをその中に含むことができれば適切な平易文が得られる．\end{itemize}\subsection{実験設定}\label{subsec:experimental_setup}我々は生コーパスのみから構築したテキスト平易化のための疑似パラレルコーパスの有効性を調査するために，フレーズベースの統計的機械翻訳を用いてテキスト平易化モデルを学習し，SimpleEnglishWikipediaを使って構築された既存のテキスト平易化のためのパラレルコーパスを用いて学習したモデルとの比較を行う．本研究では，テキスト平易化を難解な文から平易な文への翻訳問題と考え，対数線形モデルを用いてモデル化する．\begin{equation}\begin{split}\hat{s}&=\argmax_{simple}P(simple|complex)\\&=\argmax_{simple}P(complex|simple)P(simple)\\&=\argmax_{simple}\sum_{m=1}^{M}\lambda_mh_m(simple,complex)\end{split}\end{equation}対数線形モデルでは$M$個の素性関数$h_m(simple,complex)$および各素性の重み$\lambda_m$を考え，翻訳確率$P(simple|complex)$をモデル化する．テキスト平易化の場合は，入力の難解な文に対して素性関数の重み付き線形和を最大化する平易な文$\hat{s}$を探索する問題を考える．素性関数としては，フレーズの平易化モデル$\logP(complex|simple)$や言語モデル$\logP(simple)$などを用いる．我々はフレーズベースの統計的機械翻訳ツールであるMoses2.1\cite{koehn-2007}を使用し，パラレルコーパスからの単語アライメントの獲得にはGIZA++\cite{och-2003}を用いた．また，KenLM\cite{heafield-2011}を用いて各パラレルコーパスの平易側の文から5-gram言語モデルを構築した．テストデータには，\citeA{xu-2016}によって公開されているマルチリファレンスのパラレルコーパス\footnote{https://github.com/cocoxu/simplification}を使用した．これは，EnglishWikipediaから抽出された難解な350文に対して，それぞれ8人が平易な同義文を付与したものである．本研究では，このマルチリファレンスのパラレルコーパスを用いてFleschReadingEase(FRE)，BLEU\cite{papineni-2002}およびSARI\cite{xu-2016}による自動評価を行った．なお，トレーニングデータからはテストデータに含まれるEnglishWikipediaの文を除外した．\begin{table}[b]\caption{英語のテキスト平易化の実験結果}\label{tab:experimental_result}\input{03table03.tex}\end{table}\begin{table}[b]\caption{疑似パラレルコーパスの文対数と性能の変化}\label{tab:threshold_result}\input{03table04.tex}\end{table}\subsection{実験結果}\label{subsec:experimental_result}表~\ref{tab:experimental_result}および表~\ref{tab:threshold_result}にフレーズベースの統計的機械翻訳を用いたテキスト平易化の実験結果を示す．Baselineは，書き換えを行わず入力文をそのまま出力する弱いベースラインである．Zhuetal.corpus\footnote{https://www.ukp.tu-darmstadt.de/data/sentence-simplification/simple-complex-sentence-pairs/}，CosterandKauchakcorpus\footnote{http://www.cs.pomona.edu/{\textasciitilde}dkauchak/simplification/}およびHwangetal.corpus\footnote{http://ssli.ee.washington.edu/tial/projects/simplification/}は，我々の実験設定と同じくフレーズベースの統計的機械翻訳ツールMosesによってテキスト平易化を行うが，難解なコーパス(EnglishWikipedia)と平易なコーパス(SimpleEnglishWikipedia)の両方を用いて構築されたパラレルコーパスをトレーニングに使用する．Ourparallelcorpus\footnote{https://github.com/tmu-nlp/sscorpus}は，同じくEnglishWikipediaとSimpleEnglishWikipediaのコンパラブルコーパスを用いるが，\ref{subsec:max_alignment}節のMaximumAlignmentによって構築したテキスト平易化のためのパラレルコーパスをトレーニングに使用する強いベースラインである．Ourpseudo-parallelcorpusは我々の提案手法であり，生コーパスのみを用いて構築したテキスト平易化のための疑似パラレルコーパスを使用する．\subsubsection{語彙数}我々のパラレルコーパスや既存の他のパラレルコーパスでは，難解なコーパスの方が平易なコーパスよりも語彙数が多い．これは，SimpleEnglishWikipediaが850語の基本語彙を用いるというガイドラインに従って書かれているためである．850語の制約が厳密に守られているわけではないとはいえ，SimpleEnglishWikipediaの語彙の方が少なくなっている．しかし，我々の疑似パラレルコーパスでは，文間類似度の高い100万文対までは難解なコーパスの語彙数の方が少ない．これは，文間類似度を用いて貪欲に文アライメントを取るため，同じ文が繰り返し使用される場合があるからである．例えば10万文の疑似パラレルコーパスでは，平易なコーパスの異なり文数が25,817であるのに対して，難解なコーパスの異なり文数は3,674である．\subsubsection{平均文長}我々のパラレルコーパスは既存の他のパラレルコーパスよりも難解なコーパスと平易なコーパスの文長の差が大きく，EnglishWikipediaとSimpleEnglishWikipediaの全体の平均文長（25.1および16.9）に近い．これは，MaximumAlignmentが文長に関わらず適切に文間類似度を計算できていることを意味する．\subsubsection{平易化規則数（フレーズテーブルのエントリ数）}10万文や50万文の部分に注目すると，我々の疑似パラレルコーパスは得られる規則が少ない．これは類似度の低い文対ほど多くの平易化が実施されるためである．例えば，Zhuetal.corpusや我々のパラレルコーパスには，0.5以上の類似度の文対が含まれている．一方，疑似パラレルコーパスには，10万文で0.94以上，50万文で0.79以上の類似度の文対しか含まれていない．同じ10万文や50万文で比較したときには我々の疑似パラレルコーパスでは類似度の高い文対が多くなり，平易化のバリエーションは少ない．しかし，疑似パラレルコーパスは大量に用意できるため，最終的には十分な量の規則を獲得することができる．\subsubsection{FRE:FleschReadingEase（リーダビリティ）}疑似パラレルコーパスを用いて学習したモデルでも，入力文よりもリーダビリティの高い文を出力できた．平易な大規模コーパスを使用していないにも関わらず，文間類似度の上位200万文を用いて学習した場合には，SimpleEnglishWikipediaを使って学習した場合と同等の59を超えるリーダビリティを持つ文を出力することができた．\subsubsection{BLEUおよびSARI}FREが出力文のみを用いてリーダビリティのみを評価するのに対して，BLEUは出力文とリファレンスの両方を，SARIは入力文と出力文とリファレンスの全てを用いて文法や意味も評価する．\citeA{xu-2016}は，BLEUがGrammarやMeaningの観点で人手評価との相関が高く，SARIがSimplicityの観点で人手評価との相関が高いことを報告しており，テキスト平易化のために提案されたSARIはGrammar/Meaning/Simplicityの全てのバランスが取れた自動評価尺度であると結論付けている．表~\ref{tab:experimental_result}によると，BLEUはBaselineが最も高い．これは，入力文を何も変換しない場合には意味も文法も損なわれないためである．完全に意味を保持することはできないため，平易化の操作を加えることによってリーダビリティが向上する一方でBLEUは低下してしまう．BLEUを高く保ちつつリーダビリティのより高い文を出力することが良い平易化である．我々のパラレルコーパスを用いて学習したモデルは，SARIで最高性能を達成した．他の先行研究との違いは文アライメントの手法であり，\ref{sec:intrinsic_evaluation}節の内的評価の結果と同様にMaximumAlignmentの有効性が確認できた．疑似パラレルコーパスを用いて学習したモデルでは，文間類似度の上位150万文を使った場合にSARIが最大となった．平易な大規模コーパスを利用しないにも関わらず，先行研究のパラレルコーパスを用いて学習したモデルと同等の性能を発揮することができた．また，このときのBLEUも先行研究と同等であり，入力文の文法や意味を保持した文を出力することができた．\subsubsection{テキスト平易化の例}表~\ref{tab:simplification_example}に，フレーズベースの統計的機械翻訳を用いたテキスト平易化の例を示す．疑似パラレルコーパスを用いて学習したモデルは，Reference1と同様に不要な表現``both''を省略し，Reference2や3と同様に難解な表現``numerous''を平易な表現``many''に言い換えた．比較手法の中には，難解な表現``extremely''から平易な表現``very''への言い換えも見られた一方で，``world''など必要以上の省略も見られた．\begin{table}[t]\caption{英語のテキスト平易化の例}\label{tab:simplification_example}\input{03table05.tex}\end{table}
\section{実験3:日本語のテキスト平易化}
\label{sec:japanese_experiment}提案手法が言語やコーパス(EnglishWikipedia)に依存しないことを確認するために，本節では日本語の均衡コーパスを用いた実験を行う．\subsection{疑似パラレルコーパスの構築}\label{subsec:japanese_pseudo_parallel_corpus}\ref{subsec:pseudo_parallel_corpus}節と同じく，リーダビリティ推定と文アライメントによって生コーパスからテキスト平易化のための疑似パラレルコーパスを構築する．生コーパスには現代日本語書き言葉均衡コーパス(BCCWJ)\cite{maekawa-2010}を，リーダビリティ推定には文中の各単語の単語難易度\footnote{https://github.com/tmu-nlp/simple-jppdb}\cite{kajiwara-2017}の平均値をそれぞれ使用した．この単語難易度は，571,023語の日本語の単語に3段階（1：初級，2：中級，3：上級）の難易度が自動的に付与されたものである．MaximumAlignmentの文アライメントに使用する単語分散表現は，word2vec\cite{mikolov-2013a}のCBOWモデルをBCCWJ上で学習した．ノイズを軽減するために単語間類似度が0.5以上の単語対のみを単語アライメントに使用し，文間類似度が0.6以上である470,885文対を抽出して日本語のテキスト平易化のための疑似パラレルコーパスを構築した．\subsection{実験設定}\label{subsec:japanese_experimental_setup}\ref{subsec:experimental_setup}節の英語の実験と同じ設定で，フレーズベースの統計的機械翻訳モデルを用いてテキスト平易化を行った．テストデータには，Web\footnote{https://matcha-jp.com/}から収集した2,000文対を使用した．収集したデータは難解なテキストと平易なテキストからなるコンパラブルコーパスである．MaximumAlignmentの文間類似度が$[0.75,1.0)$の範囲の各文対について，2人のアノテータが\citeA{hwang-2015}に準ずる4つのラベル({\itGood}，{\itGoodPartial}，{\itPartial}，{\itBad})のうちの1つを割り当てたところ，アノテータ間の一致率はピアソンの相関係数で0.769と十分に高かった．テストデータとして使用するのは，2人のアノテータがいずれも{\itGood}または{\itGoodPartial}のラベルを付与した2,000文対である．\subsection{実験結果}\label{subsec:japanese_experimental_result}表~\ref{tab:japanese_experimental_result}に，フレーズベースの統計的機械翻訳を用いた日本語のテキスト平易化の実験結果を示す．日本語ではテキスト平易化のためのパラレルコーパスが公開されていないため，書き換えを行わず入力文をそのまま出力する弱いベースラインのみと比較する．疑似パラレルコーパスを用いて学習したモデルは，いずれもSARIにおいてBaseline（入力文）よりも高い性能を示した．英日の実験結果から，我々は提案手法が言語やコーパスに依存せず有効であることを確認できた．なお，表~\ref{tab:experimental_result}の英語の実験結果に比べて全体にBLEUが低いのは，シングルリファレンスのテストデータで評価を行っているためである．\begin{table}[t]\caption{日本語のテキスト平易化の実験結果}\label{tab:japanese_experimental_result}\input{03table06.tex}\end{table}\begin{table}[t]\caption{日本語のテキスト平易化の例}\label{tab:japanese_example}\input{03table07.tex}\end{table}表~\ref{tab:japanese_example}に，日本語のテキスト平易化の例を示す．疑似パラレルコーパスで訓練したテキスト平易化モデルは，難解な表現``定休日''から平易な表現``休みの日''などの言い換えを漏らしているものの，難解な表現``電話で聞く''から平易な表現``電話をする''などの言い換えや，ガ格とニ格の並び替えに成功した．
\section{おわりに}
\label{sec:conclusion}本稿では，フレーズベースの統計的機械翻訳モデルを用いる生コーパスのみからのテキスト平易化について述べた．提案手法では，平易に書かれた大規模なコーパスや言い換え知識などの外部知識に頼らず，生コーパスのみを用いてリーダビリティと文間類似度によってテキスト平易化のための疑似パラレルコーパスを構築する．我々が提案した単語分散表現のアライメントに基づく文間類似度は，外部知識に頼ることなく難解な単語と平易な単語の単語間類似度を考慮することができ，従来の文間類似度よりも文長に頑健なため，テキスト平易化コーパスを構築するための文アライメントに適した手法である．フレーズベースの統計的機械翻訳を用いたテキスト平易化の実験結果は，疑似パラレルコーパスを用いて学習したモデルが，平易な大規模コーパスを用いて学習する先行研究のモデルと同等の性能で入力文を平易な同義文に変換できることを示した．これまでは，豊富な言語資源が存在する英語を中心にテキスト平易化の研究が進められてきたが，生コーパスは英語以外の多くの言語でも大規模に利用できるので，今後は多くの言語でテキスト平易化が実現できるだろう．また，パラレルコーパスは文圧縮や応答文生成などの他のテキストからのテキスト生成タスクにおいても有用な言語資源である．日本語など，英語以外の言語の単言語パラレルコーパスが不足している現状を考えると，本研究で提案した疑似パラレルコーパスの自動構築手法は，これらのタスクにおいても有望である．\acknowledgment本研究は首都大学東京傾斜的研究費（全学分）学長裁量枠戦略的研究プロジェクト戦略的研究支援枠「ソーシャルビッグデータの分析・応用のための学術基盤の研究」から部分的な支援を受けた．\\\bibliographystyle{jnlpbbl_1.5}\begin{thebibliography}{}\bibitem[\protect\BCAY{Agirre,Banea,Cardie,Cer,Diab,Gonzalez-Agirre,Guo,Lopez-Gazpio,Maritxalar,Mihalcea,Rigau,Uria,\BBA\Wiebe}{Agirreet~al.}{2015}]{agirre-2015}Agirre,E.,Banea,C.,Cardie,C.,Cer,D.,Diab,M.,Gonzalez-Agirre,A.,Guo,W.,Lopez-Gazpio,I.,Maritxalar,M.,Mihalcea,R.,Rigau,G.,Uria,L.,\BBA\Wiebe,J.\BBOP2015\BBCP.\newblock\BBOQSemEval-2015Task2:SemanticTextualSimilarity,English,SpanishandPilotonInterpretability.\BBCQ\\newblockIn{\BemProceedingsofthe9thInternationalWorkshoponSemanticEvaluation},\mbox{\BPGS\252--263}.\bibitem[\protect\BCAY{Agirre,Banea,Cardie,Cer,Diab,Gonzalez-Agirre,Guo,Mihalcea,Rigau,\BBA\Wiebe}{Agirreet~al.}{2014}]{agirre-2014}Agirre,E.,Banea,C.,Cardie,C.,Cer,D.,Diab,M.,Gonzalez-Agirre,A.,Guo,W.,Mihalcea,R.,Rigau,G.,\BBA\Wiebe,J.\BBOP2014\BBCP.\newblock\BBOQSemEval-2014Task10:MultilingualSemanticTextualSimilarity.\BBCQ\\newblockIn{\BemProceedingsofthe8thInternationalWorkshoponSemanticEvaluation},\mbox{\BPGS\81--91}.\bibitem[\protect\BCAY{Agirre,Cer,Diab,\BBA\Gonzalez-Agirre}{Agirreet~al.}{2012}]{agirre-2012}Agirre,E.,Cer,D.,Diab,M.,\BBA\Gonzalez-Agirre,A.\BBOP2012\BBCP.\newblock\BBOQSemEval-2012Task6:APilotonSemanticTextualSimilarity.\BBCQ\\newblockIn{\Bem*SEM2012:The1stJointConferenceonLexicalandComputationalSemantics--Volume1:ProceedingsoftheMainConferenceandtheSharedTask,andVolume2:Proceedingsofthe6thInternationalWorkshoponSemanticEvaluation},\mbox{\BPGS\385--393}.\bibitem[\protect\BCAY{Agirre,Cer,Diab,Gonzalez-Agirre,\BBA\Guo}{Agirreet~al.}{2013}]{agirre-2013}Agirre,E.,Cer,D.,Diab,M.,Gonzalez-Agirre,A.,\BBA\Guo,W.\BBOP2013\BBCP.\newblock\BBOQ*SEM2013sharedtask:SemanticTextualSimilarity.\BBCQ\\newblockIn{\Bem2ndJointConferenceonLexicalandComputationalSemantics,Volume1:ProceedingsoftheMainConferenceandtheSharedTask:SemanticTextualSimilarity},\mbox{\BPGS\32--43}.\bibitem[\protect\BCAY{Bingel\BBA\S{\o}gaard}{Bingel\BBA\S{\o}gaard}{2016}]{bingel-2016}Bingel,J.\BBACOMMA\\BBA\S{\o}gaard,A.\BBOP2016\BBCP.\newblock\BBOQTextSimplificationasTreeLabeling.\BBCQ\\newblockIn{\BemProceedingsofthe54thAnnualMeetingoftheAssociationforComputationalLinguistics},\mbox{\BPGS\337--343}.\bibitem[\protect\BCAY{Bojar,Buck,Callison-Burch,Federmann,Haddow,Koehn,Monz,Post,\mbox{Soricut},\BBA\Specia}{Bojaret~al.}{2013}]{bojar-2013}Bojar,O.,Buck,C.,Callison-Burch,C.,Federmann,C.,Haddow,B.,Koehn,P.,Monz,C.,Post,M.,\mbox{Soricut},R.,\BBA\Specia,L.\BBOP2013\BBCP.\newblock\BBOQFindingsofthe2013WorkshoponStatisticalMachineTranslation.\BBCQ\\newblockIn{\BemProceedingsofthe8thWorkshoponStatisticalMachineTranslation},\mbox{\BPGS\1--44}.\bibitem[\protect\BCAY{Bojar,Buck,Federmann,Haddow,Koehn,\mbox{Leveling},Monz,Pecina,Post,Saint-Amand,Soricut,Specia,\BBA\Tamchyna}{Bojaret~al.}{2014}]{bojar-2014}Bojar,O.,Buck,C.,Federmann,C.,Haddow,B.,Koehn,P.,\mbox{Leveling},J.,Monz,C.,Pecina,P.,Post,M.,Saint-Amand,H.,Soricut,R.,Specia,L.,\BBA\Tamchyna,A.\BBOP2014\BBCP.\newblock\BBOQFindingsofthe2014WorkshoponStatisticalMachineTranslation.\BBCQ\\newblockIn{\BemProceedingsofthe9thWorkshoponStatisticalMachineTranslation},\mbox{\BPGS\12--58}.\bibitem[\protect\BCAY{Bojar,\mbox{Chatterjee},Federmann,Graham,Haddow,Huck,Jimeno~Yepes,Koehn,Logacheva,Monz,Negri,Neveol,Neves,Popel,Post,Rubino,Scarton,Specia,Turchi,Verspoor,\BBA\Zampieri}{Bojaret~al.}{2016}]{bojar-2016}Bojar,O.,\mbox{Chatterjee},R.,Federmann,C.,Graham,Y.,Haddow,B.,Huck,M.,Jimeno~Yepes,A.,Koehn,P.,Logacheva,V.,Monz,C.,Negri,M.,Neveol,A.,Neves,M.,Popel,M.,Post,M.,Rubino,R.,Scarton,C.,Specia,L.,Turchi,M.,Verspoor,K.,\BBA\Zampieri,M.\BBOP2016\BBCP.\newblock\BBOQFindingsofthe2016ConferenceonMachineTranslation.\BBCQ\\newblockIn{\BemProceedingsofthe1stConferenceonMachineTranslation},\mbox{\BPGS\131--198}.\bibitem[\protect\BCAY{Bojar,\mbox{Chatterjee},\mbox{Federmann},\mbox{Haddow},Huck,Hokamp,Koehn,Logacheva,Monz,Negri,Post,Scarton,Specia,\BBA\Turchi}{Bojaret~al.}{2015}]{bojar-2015}Bojar,O.,\mbox{Chatterjee},R.,\mbox{Federmann},C.,\mbox{Haddow},B.,Huck,M.,Hokamp,C.,Koehn,P.,Logacheva,V.,Monz,C.,Negri,M.,Post,M.,Scarton,C.,Specia,L.,\BBA\Turchi,M.\BBOP2015\BBCP.\newblock\BBOQFindingsofthe2015WorkshoponStatisticalMachineTranslation.\BBCQ\\newblockIn{\BemProceedingsofthe10thWorkshoponStatisticalMachineTranslation},\mbox{\BPGS\1--46}.\bibitem[\protect\BCAY{Callison-Burch,Koehn,Monz,Post,\mbox{Soricut},\BBA\Specia}{Callison-Burchet~al.}{2012}]{callisonburch-2012}Callison-Burch,C.,Koehn,P.,Monz,C.,Post,M.,\mbox{Soricut},R.,\BBA\Specia,L.\BBOP2012\BBCP.\newblock\BBOQFindingsofthe2012WorkshoponStatisticalMachineTranslation.\BBCQ\\newblockIn{\BemProceedingsofthe7thWorkshoponStatisticalMachineTranslation},\mbox{\BPGS\10--51}.\bibitem[\protect\BCAY{Chall\BBA\Dale}{Chall\BBA\Dale}{1995}]{chall-1995}Chall,J.\BBACOMMA\\BBA\Dale,E.\BBOP1995\BBCP.\newblock{\BemReadabilityRevisited:TheNewDale-ChallReadabilityFormula}.\newblockCambridge,MA:BrooklineBooks.\bibitem[\protect\BCAY{Collins-Thompson\BBA\Callan}{Collins-Thompson\BBA\Callan}{2004}]{collins-2004}Collins-Thompson,K.\BBACOMMA\\BBA\Callan,J.~P.\BBOP2004\BBCP.\newblock\BBOQALanguageModelingApproachtoPredictingReadingDifficulty.\BBCQ\\newblockIn{\BemProceedingsoftheHumanLanguageTechnologyConferenceoftheNorthAmericanChapteroftheAssociationforComputationalLinguistics},\mbox{\BPGS\193--200}.\bibitem[\protect\BCAY{Coster\BBA\Kauchak}{Coster\BBA\Kauchak}{2011a}]{coster-2011b}Coster,W.\BBACOMMA\\BBA\Kauchak,D.\BBOP2011a\BBCP.\newblock\BBOQLearningtoSimplifySentencesUsingWikipedia.\BBCQ\\newblockIn{\BemProceedingsoftheWorkshoponMonolingualText-To-TextGeneration},\mbox{\BPGS\1--9}.\bibitem[\protect\BCAY{Coster\BBA\Kauchak}{Coster\BBA\Kauchak}{2011b}]{coster-2011a}Coster,W.\BBACOMMA\\BBA\Kauchak,D.\BBOP2011b\BBCP.\newblock\BBOQSimpleEnglishWikipedia:ANewTextSimplificationTask.\BBCQ\\newblockIn{\BemProceedingsofthe49thAnnualMeetingoftheAssociationforComputationalLinguistics:HumanLanguageTechnologies},\mbox{\BPGS\665--669}.\bibitem[\protect\BCAY{Flesch}{Flesch}{1948}]{flesch-1948}Flesch,R.\BBOP1948\BBCP.\newblock\BBOQANewReadabilityYardstick.\BBCQ\\newblock{\BemJournalofAppliedPsychology},{\Bbf32},\mbox{\BPGS\221--233}.\bibitem[\protect\BCAY{藤田\JBA小林\JBA南\JBA杉山}{藤田\Jetal}{2015}]{fujita-2015b}藤田早苗\JBA小林哲生\JBA南泰浩\JBA杉山弘晃\BBOP2015\BBCP.\newblock幼児を対象としたテキストの対象年齢推定方法.\\newblock\Jem{認知科学},{\Bbf22}(4),\mbox{\BPGS\604--620}.\bibitem[\protect\BCAY{Ganitkevitch,Van~Durme,\BBA\Callison-Burch}{Ganitkevitchet~al.}{2013}]{ganitkevitch-2013}Ganitkevitch,J.,Van~Durme,B.,\BBA\Callison-Burch,C.\BBOP2013\BBCP.\newblock\BBOQPPDB:TheParaphraseDatabase.\BBCQ\\newblockIn{\BemProceedingsofthe2013ConferenceoftheNorthAmericanChapteroftheAssociationforComputationalLinguistics:HumanLanguageTechnologies},\mbox{\BPGS\758--764}.\bibitem[\protect\BCAY{Goto,Tanaka,\BBA\Kumano}{Gotoet~al.}{2015}]{goto-2015}Goto,I.,Tanaka,H.,\BBA\Kumano,T.\BBOP2015\BBCP.\newblock\BBOQJapaneseNewsSimplification:TaskDesign,DataSetConstruction,andAnalysisofSimplifiedText.\BBCQ\\newblockIn{\BemProceedingsofMTSummitXV},\mbox{\BPGS\17--31}.\bibitem[\protect\BCAY{Han,Martineau,Cheng,\BBA\Thomas}{Hanet~al.}{2015}]{han-2015}Han,L.,Martineau,J.,Cheng,D.,\BBA\Thomas,C.\BBOP2015\BBCP.\newblock\BBOQSamsung:Align-and-DifferentiateApproachtoSemanticTextualSimilarity.\BBCQ\\newblockIn{\BemProceedingsofthe9thInternationalWorkshoponSemanticEvaluation},\mbox{\BPGS\172--177}.\bibitem[\protect\BCAY{H{\"{a}}nig,Remus,\BBA\de~laPuente}{H{\"{a}}niget~al.}{2015}]{hanig-2015}H{\"{a}}nig,C.,Remus,R.,\BBA\de~laPuente,X.\BBOP2015\BBCP.\newblock\BBOQExBThemis:ExtensiveFeatureExtractionfromWordAlignmentsforSemanticTextualSimilarity.\BBCQ\\newblockIn{\BemProceedingsofthe9thInternationalWorkshoponSemanticEvaluation},\mbox{\BPGS\264--268}.\bibitem[\protect\BCAY{Heafield}{Heafield}{2011}]{heafield-2011}Heafield,K.\BBOP2011\BBCP.\newblock\BBOQKenLM:FasterandSmallerLanguageModelQueries.\BBCQ\\newblockIn{\BemProceedingsofthe6thWorkshoponStatisticalMachineTranslation},\mbox{\BPGS\187--197}.\bibitem[\protect\BCAY{Hwang,Hajishirzi,Ostendorf,\BBA\Wu}{Hwanget~al.}{2015}]{hwang-2015}Hwang,W.,Hajishirzi,H.,Ostendorf,M.,\BBA\Wu,W.\BBOP2015\BBCP.\newblock\BBOQAligningSentencesfromStandardWikipediatoSimpleWikipedia.\BBCQ\\newblockIn{\BemProceedingsofthe2015ConferenceoftheNorthAmericanChapteroftheAssociationforComputationalLinguistics:HumanLanguageTechnologies},\mbox{\BPGS\211--217}.\bibitem[\protect\BCAY{梶原\JBA小町}{梶原\JBA小町}{2017}]{kajiwara-2017}梶原智之\JBA小町守\BBOP2017\BBCP.\newblock\BBOQSimplePPDB:Japanese.\BBCQ\\newblock\Jem{言語処理学会第23回年次大会発表論文集},\mbox{\BPGS\529--532}.\bibitem[\protect\BCAY{Kincaid,Fishburne~Jr.,Rogers,\BBA\Chissom}{Kincaidet~al.}{1975}]{kincaid-1975}Kincaid,J.~P.,Fishburne~Jr.,R.~P.,Rogers,R.~L.,\BBA\Chissom,B.~S.\BBOP1975\BBCP.\newblock\BBOQDerivationofNewReadabilityFormulas(AutomatedReadabilityIndex,FogCountandFleschReadingEaseFormula)forNavyEnlistedPersonnel.\BBCQ\\newblockIn{\BemTechnicalReport,DefenceTechnicalInformationCenterDocument},\mbox{\BPGS\8--75}.\bibitem[\protect\BCAY{Koehn,Hoang,Birch,Callison-Burch,Federico,Bertoldi,Cowan,Shen,Moran,Zens,Dyer,Bojar,Constantin,\BBA\Herbst}{Koehnet~al.}{2007}]{koehn-2007}Koehn,P.,Hoang,H.,Birch,A.,Callison-Burch,C.,Federico,M.,Bertoldi,N.,Cowan,B.,Shen,W.,Moran,C.,Zens,R.,Dyer,C.,Bojar,O.,Constantin,A.,\BBA\Herbst,E.\BBOP2007\BBCP.\newblock\BBOQMoses:OpenSourceToolkitforStatisticalMachineTranslation.\BBCQ\\newblockIn{\BemProceedingsofthe45thAnnualMeetingoftheAssociationforComputationalLinguisticsCompanionVolumeProceedingsoftheDemoandPosterSessions},\mbox{\BPGS\177--180}.\bibitem[\protect\BCAY{Kuhn}{Kuhn}{1955}]{kuhn-1955}Kuhn,H.~W.\BBOP1955\BBCP.\newblock\BBOQTheHungarianMethodfortheAssignmentProblem.\BBCQ\\newblock{\BemNavalResearchLogisticsQuarterly},{\Bbf2},\mbox{\BPGS\83--97}.\bibitem[\protect\BCAY{Kusner,Sun,Kolkin,\BBA\Weinberger}{Kusneret~al.}{2015}]{kusner-2015}Kusner,M.,Sun,Y.,Kolkin,N.,\BBA\Weinberger,K.\BBOP2015\BBCP.\newblock\BBOQFromWordEmbeddingstoDocumentDistances.\BBCQ\\newblockIn{\BemProceedingsofThe32ndInternationalConferenceonMachineLearning},\mbox{\BPGS\957--966}.\bibitem[\protect\BCAY{Maekawa,Yamazaki,Maruyama,Yamaguchi,Ogura,Kashino,Ogiso,Koiso,\BBA\Den}{Maekawaet~al.}{2010}]{maekawa-2010}Maekawa,K.,Yamazaki,M.,Maruyama,T.,Yamaguchi,M.,Ogura,H.,Kashino,W.,Ogiso,T.,Koiso,H.,\BBA\Den,Y.\BBOP2010\BBCP.\newblock\BBOQDesign,Compilation,andPreliminaryAnalysesofBalancedCorpusofContemporaryWrittenJapanese.\BBCQ\\newblockIn{\BemProceedingsofthe7thInternationalConferenceonLanguageResourcesandEvaluation},\mbox{\BPGS\1483--1486}.\bibitem[\protect\BCAY{Mikolov,Chen,Corrado,\BBA\Dean}{Mikolovet~al.}{2013a}]{mikolov-2013a}Mikolov,T.,Chen,K.,Corrado,G.~S.,\BBA\Dean,J.\BBOP2013a\BBCP.\newblock\BBOQEfficientEstimationofWordRepresentationsinVectorSpace.\BBCQ\\newblockIn{\BemProceedingsofWorkshopattheInternationalConferenceonLearningRepresentations}.\bibitem[\protect\BCAY{Mikolov,Sutskever,Chen,Corrado,\BBA\Dean}{Mikolovet~al.}{2013b}]{mikolov-2013b}Mikolov,T.,Sutskever,I.,Chen,K.,Corrado,G.~S.,\BBA\Dean,J.\BBOP2013b\BBCP.\newblock\BBOQDistributedRepresentationsofWordsandPhrasesandTheirCompositionality.\BBCQ\\newblockIn{\BemAdvancesinNeuralInformationProcessingSystems},\mbox{\BPGS\3111--3119}.\bibitem[\protect\BCAY{Och}{Och}{2003}]{och-2003}Och,F.~J.\BBOP2003\BBCP.\newblock\BBOQMinimumErrorRateTraininginStatisticalMachineTranslation.\BBCQ\\newblockIn{\BemProceedingsofthe41stAnnualMeetingoftheAssociationforComputationalLinguistics},\mbox{\BPGS\160--167}.\bibitem[\protect\BCAY{Papineni,Roukos,Ward,\BBA\Zhu}{Papineniet~al.}{2002}]{papineni-2002}Papineni,K.,Roukos,S.,Ward,T.,\BBA\Zhu,W.-J.\BBOP2002\BBCP.\newblock\BBOQBLEU:AMethodforAutomaticEvaluationofMachineTranslation.\BBCQ\\newblockIn{\BemProceedingsof40thAnnualMeetingoftheAssociationforComputationalLinguistics},\mbox{\BPGS\311--318}.\bibitem[\protect\BCAY{Pavlick\BBA\Callison-Burch}{Pavlick\BBA\Callison-Burch}{2016}]{pavlick-2016}Pavlick,E.\BBACOMMA\\BBA\Callison-Burch,C.\BBOP2016\BBCP.\newblock\BBOQSimplePPDB:AParaphraseDatabaseforSimplification.\BBCQ\\newblockIn{\BemProceedingsofthe54thAnnualMeetingoftheAssociationforComputationalLinguistics},\mbox{\BPGS\143--148}.\bibitem[\protect\BCAY{Pavlick,Rastogi,Ganitkevitch,Van~Durme,\BBA\Callison-Burch}{Pavlicket~al.}{2015}]{pavlick-2015}Pavlick,E.,Rastogi,P.,Ganitkevitch,J.,Van~Durme,B.,\BBA\Callison-Burch,C.\BBOP2015\BBCP.\newblock\BBOQPPDB2.0:BetterParaphraseRanking,Fine-grainedEntailmentRelations,WordEmbeddings,andStyleClassification.\BBCQ\\newblockIn{\BemProceedingsofthe53rdAnnualMeetingoftheAssociationforComputationalLinguisticsandthe7thInternationalJointConferenceonNaturalLanguageProcessing},\mbox{\BPGS\425--430}.\bibitem[\protect\BCAY{Rubner,Tomasi,\BBA\Guibas}{Rubneret~al.}{1998}]{rubner-1998}Rubner,Y.,Tomasi,C.,\BBA\Guibas,L.~J.\BBOP1998\BBCP.\newblock\BBOQAMetricforDistributionswithApplicationstoImageDatabases.\BBCQ\\newblockIn{\BemProceedingsofthe6thInternationalConferenceonComputerVision},\mbox{\BPGS\59--66}.\bibitem[\protect\BCAY{佐藤}{佐藤}{2011}]{sato-2011}佐藤理史\BBOP2011\BBCP.\newblock均衡コーパスを規範とするテキスト難易度判定.\\newblock\Jem{情報処理学会論文誌},{\Bbf52}(4),\mbox{\BPGS\1777--1789}.\bibitem[\protect\BCAY{柴崎\JBA玉岡}{柴崎\JBA玉岡}{2010}]{shibasaki-2010}柴崎秀子\JBA玉岡賀津雄\BBOP2010\BBCP.\newblock国語科教科書を基にした小・中学校の文章難易度学年判定式の構築.\\newblock\Jem{日本教育工学会論文誌},{\Bbf33}(4),\mbox{\BPGS\449--458}.\bibitem[\protect\BCAY{Song\BBA\Roth}{Song\BBA\Roth}{2015}]{song-2015}Song,Y.\BBACOMMA\\BBA\Roth,D.\BBOP2015\BBCP.\newblock\BBOQUnsupervisedSparseVectorDensificationforShortTextSimilarity.\BBCQ\\newblockIn{\BemProceedingsofthe2015ConferenceoftheNorthAmericanChapteroftheAssociationforComputationalLinguistics:HumanLanguageTechnologies},\mbox{\BPGS\1275--1280}.\bibitem[\protect\BCAY{Specia}{Specia}{2010}]{specia-2010}Specia,L.\BBOP2010\BBCP.\newblock\BBOQTranslatingfromComplextoSimplifiedSentences.\BBCQ\\newblockIn{\BemProceedingsofthe9thInternationalConferenceonComputationalProcessingofthePortugueseLanguage},\mbox{\BPGS\30--39}.\bibitem[\protect\BCAY{{\v{S}}tajner,Bechara,\BBA\Saggion}{{\v{S}}tajneret~al.}{2015a}]{stajner-2015a}{\v{S}}tajner,S.,Bechara,H.,\BBA\Saggion,H.\BBOP2015a\BBCP.\newblock\BBOQADeeperExplorationoftheStandardPB-SMTApproachtoTextSimplificationanditsEvaluation.\BBCQ\\newblockIn{\BemProceedingsofthe53rdAnnualMeetingoftheAssociationforComputationalLinguisticsandthe7thInternationalJointConferenceonNaturalLanguageProcessing},\mbox{\BPGS\823--828}.\bibitem[\protect\BCAY{{\v{S}}tajner,Calixto,\BBA\Saggion}{{\v{S}}tajneret~al.}{2015b}]{stajner-2015b}{\v{S}}tajner,S.,Calixto,I.,\BBA\Saggion,H.\BBOP2015b\BBCP.\newblock\BBOQAutomaticTextSimplificationforSpanish:ComparativeEvaluationofVariousSimplificationStrategies.\BBCQ\\newblockIn{\BemProceedingsoftheInternationalConferenceRecentAdvancesinNaturalLanguageProcessing},\mbox{\BPGS\618--626}.\bibitem[\protect\BCAY{{\v{S}}tajner,Popovi{\'{c}},Saggion,Specia,\BBA\Fishel}{{\v{S}}tajneret~al.}{2016}]{stajner-2016}{\v{S}}tajner,S.,Popovi{\'{c}},M.,Saggion,H.,Specia,L.,\BBA\Fishel,M.\BBOP2016\BBCP.\newblock\BBOQSharedTaskonQualityAssessmentforTextSimplification.\BBCQ\\newblockIn{\BemLREC2016Workshop\&SharedTaskonQualityAssessmentforTextSimplification},\mbox{\BPGS\22--31}.\bibitem[\protect\BCAY{Sultan,Bethard,\BBA\Sumner}{Sultanet~al.}{2015}]{sultan-2015}Sultan,M.~A.,Bethard,S.,\BBA\Sumner,T.\BBOP2015\BBCP.\newblock\BBOQDLS$@$CU:SentenceSimilarityfromWordAlignmentandSemanticVectorComposition.\BBCQ\\newblockIn{\BemProceedingsofthe9thInternationalWorkshoponSemanticEvaluation},\mbox{\BPGS\148--153}.\bibitem[\protect\BCAY{Wubben,van~denBosch,\BBA\Krahmer}{Wubbenet~al.}{2012}]{wubben-2012}Wubben,S.,van~denBosch,A.,\BBA\Krahmer,E.\BBOP2012\BBCP.\newblock\BBOQSentenceSimplificationbyMonolingualMachineTranslation.\BBCQ\\newblockIn{\BemProceedingsofthe50thAnnualMeetingoftheAssociationforComputationalLinguistics},\mbox{\BPGS\1015--1024}.\bibitem[\protect\BCAY{Xu,Callison-Burch,\BBA\Napoles}{Xuet~al.}{2015}]{xu-2015}Xu,W.,Callison-Burch,C.,\BBA\Napoles,C.\BBOP2015\BBCP.\newblock\BBOQProblemsinCurrentTextSimplificationResearch:NewDataCanHelp.\BBCQ\\newblock{\BemTransactionsoftheAssociationforComputationalLinguistics},{\Bbf3},\mbox{\BPGS\283--297}.\bibitem[\protect\BCAY{Xu,Napoles,Pavlick,Chen,\BBA\Callison-Burch}{Xuet~al.}{2016}]{xu-2016}Xu,W.,Napoles,C.,Pavlick,E.,Chen,Q.,\BBA\Callison-Burch,C.\BBOP2016\BBCP.\newblock\BBOQOptimizingStatisticalMachineTranslationforTextSimplification.\BBCQ\\newblock{\BemTransactionsoftheAssociationforComputationalLinguistics},{\Bbf4},\mbox{\BPGS\401--415}.\bibitem[\protect\BCAY{Zhu,Bernhard,\BBA\Gurevych}{Zhuet~al.}{2010}]{zhu-2010}Zhu,Z.,Bernhard,D.,\BBA\Gurevych,I.\BBOP2010\BBCP.\newblock\BBOQAMonolingualTree-basedTranslationModelforSentenceSimplification.\BBCQ\\newblockIn{\BemProceedingsofthe23rdInternationalConferenceonComputationalLinguistics},\mbox{\BPGS\1353--1361}.\end{thebibliography}\begin{biography}\bioauthor{梶原智之}{2013年長岡技術科学大学工学部電気電子情報工学課程卒業．2015年同大学大学院工学研究科修士課程電気電子情報工学専攻修了．同年，首都大学東京大学院システムデザイン研究科博士後期課程情報通信システム学域に進学，現在に至る．自然言語処理の研究に従事．情報処理学会，人工知能学会，言語処理学会各学生会員．}\bioauthor{小町守}{2005年東京大学教養学部基礎科学科科学史・科学哲学分科卒業．2007年奈良先端科学技術大学院大学情報科学研究科博士前期課程修了．2008年より日本学術振興会特別研究員(DC2)を経て，2010年博士後期課程修了．博士（工学）．同年より同研究科助教を経て，2013年より首都大学東京システムデザイン学部准教授．大規模なコーパスを用いた意味解析および統計的自然言語処理に関心がある．情報処理学会，人工知能学会，言語処理学会，ACL各会員．}\end{biography}\biodate\end{document}