\section{はじめに}
テキスト平易化\cite{Shardlow2014}は，ユーザの文章読解支援を目的として，難解なテキストから平易なテキストへ意味を保持しつつ書き換えるタスクである．各ユーザの語学レベルや読解力，認知力，知識などによって求められるテキストの難易度が異なるため，それぞれのユーザに対応した難易度制御が求められている．特に言語学習に関する教育現場では，教師が多くの時間をかけて各学習者向けに手動で平易なテキストを生成している．インプット仮説\cite{Krashen1985}によると，学習者の能力よりわずかに高い難易度の教材を用いることで高い学習効果が得られる．一方，過度に高い難易度の教材では学習効果が低くなり，学習意欲の低下を招く要因にもなる．そのため，教師の負担軽減のために自動的なテキストの難易度制御が求められている\cite{Petersen2007}．テキスト平易化の処理は，主に「省略」と「言い換え」によって実現される．\tabref{tab:simplification-example}の例では，米国の$12$年生（高校$3$年生）向けのテキストでの\texttt{whileserving$\sim$}が$5$年生（小学$5$年生）向けのテキストでは省略されている．また，$12$年生向けのテキストにおける\texttt{Accordingto}が$7$年生（中学$1$年生）向けのテキストでは\texttt{says}に，\texttt{Pentagon}が$5$年生向けのテキストでは\texttt{military}へ言い換えられている．個々のユーザに対応した難易度制御へ向けた第一歩として，本研究では「学年」を対象とし，目的の学年に適した難易度へ文を自動で変換する課題に取り組む．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%table1\begin{table}[t]\caption{学年に合わせたテキスト平易化の例}\label{tab:simplification-example}\input{02table01.tex}\end{table}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%テキスト平易化における多くの先行研究\cite{Specia2010,Coster2011,Wubben2012,Xu2016,kajiwara2016,Nisioi2017,Zhang2017,Vu2018,Guo2018,Zhao2018}では，難解な英文と平易な英文からなるパラレルコーパスに基づく同一言語内の機械翻訳によって単純に「難解」から「平易」への難易度変換を行っており，難易度を細かく制御できない．\citeA{Scarton2018}は，$11$段階の難易度付きパラレルコーパス\cite{Xu2015}を用いて細かな難易度制御に初めて取り組んだ．この手法では，出力文の目標難易度を入力文にラベルとして付与することにより，同じ入力文であっても目標難易度に応じて書き換え分けるが，単語の難易度については考慮されていない．本研究では，文全体の大域的な難易度に加えて，個々の単語の局所的な難易度も適切に制御するために，文の難易度とともに単語の難易度も考慮する手法を$3$種類提案する．それぞれ，単語分散表現を拡張する手法，難解な単語の出力を制限するハードな語彙制約手法，平易な単語の出力を促すソフトな語彙制約手法である．いずれの手法も，既存手法では言い換えられなかった難解な単語を積極的に平易化することが期待できる．上述の難易度付きパラレルコーパスを用いて，提案手法の有効性を検証する．テキスト平易化ではBLEU\cite{Papineni2002}およびSARI\cite{Xu2016}が標準的な評価指標として用いられる．BLEUが出力文と正解文の語句の一致率を評価するのに対して，SARIは入力文・出力文・正解文の$3$つを比較することで言い換えるべき語句を正しく言い換えたかを評価する．評価実験の結果，ソフトな語彙制約手法は既存手法と比較してBLEUを$1.04$ポイント，SARIを$0.15$ポイント改善した．さらに詳細な分析の結果，提案手法は文全体の難易度だけでなく単語の難易度も上手く制御でき，積極的な書き換えを促進することが明らかとなった．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{関連研究}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{テキスト平易化}テキスト平易化は難解な文から平易な文への同一言語内の翻訳問題と考えられる．これまでの研究ではEnglishWikipediaとSimpleEnglishWikipediaのパラレルコーパス~(W-SW)\cite{Zhu2010,Coster2011}上で，$2$段階の難易度変換モデルを訓練してきた．初期の研究では統計的機械翻訳に基づく手法\cite{Specia2010,Wubben2012,Xu2016,kajiwara2016}が盛んであったが，近年ではニューラル機械翻訳の成功を受け，注意機構に基づく系列変換モデルを用いる手法\cite{Nisioi2017,Zhang2017,Vu2018,Guo2018,Zhao2018}が主流である．しかし，いずれもテキストの難易度を「難解」および「平易」の$2$段階で変換しており，難易度の細かな制御を行っていない．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{テキストの難易度制御}\label{ssec:controllable-text-simplification}テキスト平易化においてW-SWと並ぶ代表的なデータセットとしてNewsela\footnote{https://newsela.com/data/}\cite{Xu2015}がある．Newselaは$11$段階の難易度付きパラレルコーパスであるが，Newselaを用いた先行研究の多く\cite{Zhang2017,Vu2018,Guo2018,Zhao2018}は，細かな難易度の違いを考慮せず$2$段階の難易度変換を行っていた．\citeA{Scarton2018}はNewselaを用いて，初めてテキスト平易化における難易度制御に取り組んだ．この手法では，出力したい目標の難易度を入力文に付与する．具体的には，文の難易度を示すラベル「\texttt{\textbf{\textless難易度\textgreater}}」を入力文の文頭に付加した上で，Nisioietal.~\citeyear{Nisioi2017}と同様の標準的な注意機構に基づく系列変換モデルを訓練した．入力文にラベルを付加して出力文を制御する手法は，多言語翻訳\cite{Johnson2017}やスタイル変換\cite{Niu2018}などの他のText-to-TextGenerationタスクでも成功している有望なアプローチである．\citeA{Scarton2018}の手法は目標の難易度を考慮しないベースライン\cite{Nisioi2017}と比べてBLEU\cite{Papineni2002}およびSARI\cite{Xu2016}の自動評価を改善し，難易度に応じた平易化を実現できることを示した．しかし，この手法では文全体の難易度のみを考慮しているため，省略の操作には優れる一方で，ターゲットユーザにとって難易度の高い単語が言い換えられずに出力文に残る場合が少なくない．そのため本研究では，\citeA{Scarton2018}の手法において，文の難易度に加えて単語の難易度も考慮することで，より正確なテキストの難易度制御を行う．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{単語の難易度を考慮したテキストの難易度制御}
\label{sec:weight-ppmi}本研究では，\citeA{Scarton2018}の手法において，目標の難易度に適した単語の出力を促すために，単語の難易度を考慮する$3$種類の手法を提案する．\ssecref{ssec:feature}では，各単語の分散表現を拡張することで，素性として単語の難易度を考慮する手法を提案する．\ssecref{ssec:hard}では，目標の難易度に応じて出力可能な単語を制限するハードな語彙制約を提案する．\ssecref{ssec:soft}では，目標の難易度に応じて各単語を重み付けするソフトな語彙制約を提案する．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{素性としての単語難易度の考慮}\label{ssec:feature}単語の難易度を考慮するために，埋め込み層を拡張する．本手法では，難解な単語は難解な文中で出現しやすく平易な単語は平易な文中で出現しやすいと仮定して，文の難易度ごとの各単語の出現確率の分布を用いて埋め込み層を拡張する．まず，大規模な生コーパス上で事前訓練された$k$次元の単語分散表現を用意する．この単語分散表現は，単語の意味を表現するベクトルであり，難易度の情報は持たないと仮定する．これに単語の難易度を表現する$n$次元ベクトル$\bm{a}=(a_1,\a_2,\\cdots,\a_n)$を結合することで拡張した$k+n$次元のベクトルを，符号化器および復号器の埋め込み層として使用する．ここで$n$は，訓練データにおける文の難易度の種類数であり，本研究では$11$である．拡張するベクトル$\bm{a}$の各要素$a_i\(i=1,\2,\\cdots,\n)$は$n$段階の各難易度に対応しており，次式で定められる．\begin{equation}a_i=\frac{P(w\midu_i)}{\displaystyle\sum_{j=1}^nP(w\midu_j)},\hspace{1em}(i=1,\2,\\cdots,\n).\end{equation}ここで，$P(w\midu_i)$は訓練データの各難易度$u_i$における単語$w$の出現確率を表している．すなわち，ベクトル$\bm{a}$は，単語の出現確率の分布として単語の難易度を表現する素性である．意味ベクトルおよび難易度ベクトルの情報を保持するために，テキスト平易化モデルの訓練時には，これらの埋め込み層は固定する．類似した手法として，対話応答生成タスクでは，復号器の埋め込み層において話者の分散表現を付加するスタイル変換の手法\cite{Li2016}が提案されている．この手法はスタイルごとに$1$つの固定された情報を復号器の入力として付加するが，提案手法では符号化器および復号器の入力として単語ごとに固有の情報を付加する．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{ハードな語彙制約による単語難易度の考慮}\label{ssec:hard}目標の難易度に合致した単語を出力するために，出力語彙を制限する．本手法では，訓練データにおいて各単語が出現する文の難易度のうち，最も平易な難易度をその単語の難易度であると仮定する．例えば，ある単語が$3$年生向けテキストおよび$4$年生向けテキストに出現する場合，その単語の難易度は$3$とし，$3$年生から$12$年生までの文で出現可能として扱う．つまり，目標の難易度が$3$未満の場合にはこの単語を出力しないという制約を復号器に加える．テキスト平易化の推論では，各タイムステップの復号器出力を$\bm{o}=[o_1,\cdots,o_N]\in\mathbb{R}^N$（$N$は語彙サイズ）として，最大要素のインデックス$\arg\max_io_i$に対応する単語をモデルが出力する．出力する単語を目標の難易度$T$に適した単語のみに制限するために，まず語彙制約マスク\begin{equation}\bm{m}=[m_1,\cdots,m_N],\hspace{1em}m_i=\begin{cases}1&\text{if\hspace{.5em}$b_i\leT$}\\0&\text{otherwise}\label{eq:Wdiff}\end{cases}\end{equation}を用意する．ここで，$b_i$はインデックス$i$に対応する単語の難易度を表す．これを用いて，\figref{fig:hard}に示すようにモデルの出力を\begin{equation}\bm{o'}=\bm{o}\odot\bm{m}\end{equation}と改めることで出力語彙を制限する．$\odot$はベクトルの要素ごとの積を計算する演算子である．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%fig.1\begin{figure}[t]\begin{center}\includegraphics{27-2ia2f1.eps}\end{center}\caption{ハードな語彙制約により単語難易度を考慮する提案手法}\label{fig:hard}\end{figure}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%訓練データから単語の難易度を推定する他に，既存の単語難易度辞書（EnglishVocabularyProfile\footnote{http://www.englishprofile.org/wordlists}や\citeA{Maddela2018}の辞書\footnote{https://github.com/mounicam/lexical\_simplification}など）を語彙制約のために利用することも考えられる．しかし，Newselaコーパスにおける語彙の網羅率がEnglishVocabularyProfileでは$8.87\%$，\citeA{Maddela2018}の辞書では$26.18\%$と低く，ほとんどの単語に難易度を割り当てられなかったため，本研究では使用しなかった．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{ソフトな語彙制約による単語難易度の考慮}\label{ssec:soft}目標の難易度に適した単語の出力を促すために，\figref{fig:weight}のように損失の計算時に各単語を難易度に応じて重み付けする．この重み$f(w,\l)$は，文の難易度$l$に対する単語$w$の出現しやすさを表す．本手法では，難解な単語は難解な文中で出現しやすく，平易な単語は平易な文中で出現しやすいと仮定し，各文の難易度における単語の出現頻度を手がかりに難易度に適した単語を推定する．ある単語の損失が大きくなると，その単語の出力を漏らさないように学習が促されるため，損失の重み付けによって目標難易度に適した単語が出力されやすくなると期待できる．一般に，系列変換モデルの損失はクロスエントロピーを用いて求められる．%\pagebreak各タイムステップのモデルの出力を$\bm{o}=[o_1,\cdots,o_N]\in\mathbb{R}^N$とすると，損失$L(\bm{o},\\bm{y})$は，\begin{equation}L(\bm{o},\\bm{y})=-\bm{y}\log\bm{o}^\top=-\logo_c\label{eq:loss}\end{equation}で得られる．ただし，$\bm{y}=[y_1,\cdots,y_N]\in\mathbb{R}^N$は正解単語を指す$c$番目の要素が$1$で他の要素が全て$0$であるone-hotベクトルである．提案手法では，\eqref{eq:loss}を\begin{equation}L(\bm{o},\\bm{y},\w_c,\l)=-f(w_c,\l)\logo_c\end{equation}と改めることで，目標難易度に応じて損失を重み付けする．ここで，語彙を$V$とすると$w_c\inV$は正解単語を表す．重み$f(w,\l)$には，TFIDF(TermFrequencyInverseDocumentFrequency)またはPPMI(PositivePointwiseMutualInformation)を利用する．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%fig.2\begin{figure}[t]\begin{center}\includegraphics{27-2ia2f2.eps}\end{center}\caption{単語$w$と目標難易度$l$を用いて損失を重み付けするソフトな語彙制約}\label{fig:weight}\vspace{-0.5\Cvs}\end{figure}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\begin{description}\item[TFIDF]難易度ごとの単語の重要度を推定するために，各難易度の文の集合を文書とみなして次式のTFIDFを考える．\begin{equation}\textrm{TFIDF}(w,\l)=P(w\midl)\log\frac{n}{\textrm{DF}(w)}.\label{eq:tfidf}\end{equation}ただし，$P(w\midl)$は特定の難易度$l$における単語$w$の出現確率，$n$は難易度の総数\footnote{本実験では$2$から$12$までの難易度を扱うため$n=11$．}，$\textrm{DF}(w)$は単語$w$が出現する難易度の種類数を表す．そのためTFIDFは，特定の難易度において特徴的な単語により大きな重みを与える．\item[PPMI]各文の難易度と単語の共起の強さを推定するために，次式の自己相互情報量(PMI,PointwiseMutualInformation)を考える．\begin{equation}{\rmPMI}(w,\l)=\log\frac{P(w,\l)}{P(w)P(l)}=\log\frac{P(w\midl)}{P(w)}.\label{eq:pmi}\end{equation}ただし，$P(w)$はコーパス全体における単語の$w$の出現確率，$P(w\midl)$は\eqref{eq:tfidf}と同じく特定の難易度$l$における単語$w$の出現確率を表す．ここで，PMIが負数を取る場合，$l$と$w$の関連が低いと言える．すなわち，${\rmPMI}(w,\l)$の値が小さくなる単語$w$は，難易度に依存せず広く使用される単語であると考えられる．特定の文の難易度において頻出する単語の出力を促すことが目的であるため，PMIが負となる単語は重み付けの考慮から除外する．そのため，PMIの正のみを利用した次式のPPMI(PositivePMI)を用いる．\begin{equation}\textrm{PPMI}(w,\l)=\max(\textrm{PMI}(w,\l),\0).\end{equation}\end{description}TFIDFおよびPPMIは，いずれも値域が$[0,\\infty)$である．難易度に対して偏りのない単語の損失の重みを$1$倍にするために，$f(w,\l)$はバイアスとして$1$を加えて\pagebreak\begin{equation}f(w,\l)=\textrm{Func}(w,\l)+1,\hspace{1em}\textrm{Func}\in\{\textrm{TFIDF},\\textrm{PPMI}\}\end{equation}とする．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{実験}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{実験設定}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsubsection{データセット}本研究では多段階の難易度制御を行うためのデータセットとして，\citeA{Scarton2018}と同じくNewsela\cite{Xu2015}を用いる．Newselaの各文書は$1$つのニュース記事に対応し，専門家によって文書単位で平易化されている．各文書には，米国学校制度における学年に対応する難易度が付与されており，$2$〜$12$の$11$段階の難易度を利用できる．本研究で使用したNewselaは，\citeA{Xu2015}によって文アライメントが取られ，\citeA{Zhang2017}によって訓練用$1,070$文書（$94,208$文対），検証用$30$文書（$1,129$文対），評価用$30$文書（$1,077$文対）に分割されたデータセットである．本実験では，\citeA{Scarton2018}と同じく，各文の難易度をその文が含まれる文書の難易度とする．なお，\citeA{Scarton2018}は一般に公開されているNewsela\cite{Xu2015}よりも大規模な非公開のコーパスを利用しているため，この論文で報告されている性能と本研究で実施する実験結果は直接比較できない．そこで本研究では\citeA{Scarton2018}の手法を再現した上で比較を行う．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsubsection{評価指標}本実験の評価では，テキスト平易化の先行研究\cite{Xu2016,Nisioi2017,Zhang2017,Scarton2018}と同じく，BLEU\cite{Papineni2002}および次式のSARI\cite{Xu2016}を用いる．\begin{equation}\textrm{SARI}=\frac13(F_\textrm{add}+F_\textrm{keep}+P_\textrm{del}).\end{equation}ここで，$F_\textrm{add}$，$F_\textrm{keep}$，$P_\textrm{del}$は，入力文・出力文・正解文の$3$つを比較して計算される．それぞれ，モデルが入力文に対して正しく追加した$n$-gram\footnote{$1$-gramから$4$-gramまで考慮する．}のF値，入力文から正しく保持した$n$-gramのF値，入力文から正しく削除した$n$-gramの適合率である．BLEUは主に意味と文法の観点で人手評価との相関を持ち，SARIは意味と文法に加えて難易度の観点でも人手評価との相関を持つ\cite{Xu2016}．評価指標の特性を理解するために，sourceおよびreference-shuffleの$2$つのベースラインを考える．sourceは入力文を編集せずにそのまま出力するものである．reference-shuffleは，正解文の語順を無作為に入れ替えるものである．\secref{ssec:result}に示すように，入力を書き換えないsourceは高いBLEUを得られるが，SARIは低い．一方，reference-shuffleは高いSARIを得られるが，BLEUは低い．つまり，BLEUまたはSARIの一方のみが高いモデルは容易に得られてしまうため，両方のスコアを同時に改善したモデルが優れていると考えられる．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsubsection{比較手法}実験項目は以下の通りである．項目(1)から(4)が比較手法，(5)から(8)が提案手法である．\begin{enumerate}\item\textbf{s2s}は，注意機構に基づく単純な系列変換モデルである．\item\textbf{s2s+grade}は，入力文頭に目標難易度のラベル\footnote{本研究で用いるラベルは具体的に，\textless$\mathbf{2}$\textgreater,\textless$\mathbf{3}$\textgreater,$\cdots$,\textless$\mathbf{12}$\textgreaterの$11$種類である．}を付与して出力文の難易度を制御する既存手法\cite{Scarton2018}に基づくモデルである．\item\textbf{s2s~(GloVe)}は注意機構に基づく系列変換モデルにおいて，埋め込み層としてGloVe\cite{Pennington2014}の訓練済み単語分散表現を用いるモデルである．\item\textbf{s2s~(GloVe)+grade}はs2s(GloVe)において\cite{Scarton2018}の手法を適用したモデルである．\item\textbf{s2s~(GloVe+単語難易度ベクトル)+grade}は，\citeA{Scarton2018}の手法において，埋め込み層に提案手法（\ref{ssec:feature}節）を適用したモデルである．本実験では，GloVeの$512$次元の訓練済み単語分散表現に$11$次元の単語難易度ベクトルを追加した$523$次元を埋め込み層として用いた．\item\textbf{s2s+grade+hard}は，s2s+gradeにおいてハードな語彙制約を行う提案手法（\secref{ssec:hard}）である．\item\textbf{s2s+grade+TFIDF}は，s2s+gradeのベースラインモデルにTFIDFに基づく損失の重み付けを適用した提案手法（\secref{ssec:soft}）である．各単語のTFIDF値は訓練データを用いて計算した．\item\textbf{s2s+grade+PPMI}は，s2s+gradeのベースラインモデルにPPMIに基づく損失の重み付けを適用した提案手法（\secref{ssec:soft}）である．各単語のPPMI値は訓練データを用いて計算した．\end{enumerate}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsubsection{手法の実装}手法(3)〜(5)で使用する単語分散表現GloVeは，次元数$512$，窓幅$15$としてEnglishWikipedia\footnote{https://dumps.wikimedia.org/enwiki/20191201/enwiki-20191201-pages-articles-multistream.xml.bz2}およびNewselaを用いて訓練した．なお，文の難易度ラベルに対応する分散表現を得るため，Newselaの全ての文頭に各文の難易度を示すラベルを付与してGloVeの訓練を行った．本実験では，Marian\footnote{https://github.com/marian-nmt/marian/commit/02f4af4}\cite{Junczys-Dowmunt2018}を使用してテキスト平易化モデルを構築した．符号化器および復号器には$2$層のBi-LSTMを用い，隠れ層は$1,024$次元でdropout率$0.2$，埋め込み層は$512$次元でdropout率$0.1$とした．埋め込み層は符号化器と復号器および出力層で共有した．最適化にはAdam\cite{Kingma2015}を利用し，検証データにおけるperplexityが$8$エポック改善しなくなったところで訓練を終了した．ニューラルネットワークの初期値依存性を考慮し，いずれの実験も初期値を無作為に変更しつつ$3$回ずつ試行し，得られた評価値の平均を報告する．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%table2\begin{table}[t]\caption{実験結果（太字はs2s+gradeと比較して評価値が優れているもの）}\label{tab:results}\input{02table02.tex}\end{table}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%table3\begin{table}[t]\caption{素性として単語難易度を考慮する提案手法の失敗例}\label{tab:feature-failure-example}\input{02table03.tex}\end{table}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{実験結果}\label{ssec:result}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsubsection{素性としての単語難易度を考慮する提案手法（\ref{ssec:feature}節）の実験結果}実験結果を\tabref{tab:results}に示す．提案手法(5)s2s(GloVe+単語難易度ベクトル)+gradeは，比較手法(3)s2s(GloVe)および(4)s2s(GloVe)+gradeよりもBLEUおよびSARIが優れており，素性としての単語難易度を考慮する提案手法の有効性が確認された．しかし，訓練済みの単語分散表現を用いた手法(3)，(4)，(5)は，それを用いない手法(1)s2sおよび(2)s2s+gradeに比べてSARIが低く，入力から正しい書き換えを行っていない．モデル出力の失敗例を示した\tabref{tab:feature-failure-example}によると，失敗例$1$では\texttt{enhances}を\texttt{builds}に言い換えできていない．失敗例$2$では，\texttt{crew}を\texttt{worker}に言い換えできていない．このように，期待とは異なり難解な単語を残したまま出力する例が見られた．そこで手法(6)〜(8)では，訓練済みの単語分散表現を用いるのではなく，分散表現も同時に学習するアプローチを用いた．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%table4\begin{table}[t]\caption{ハードな語彙制約により単語難易度を考慮する提案手法の失敗例}\label{tab:hard-failure-example}\input{02table04.tex}\end{table}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%fig.3\begin{figure}[t]\begin{center}\includegraphics{27-2ia2f3.eps}\end{center}\caption{ハードな語彙制約において各難易度で使用可能な語彙サイズ}\label{fig:newsela-type-rate}\end{figure}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsubsection{ハードな語彙制約により単語難易度を考慮する提案手法（\ref{ssec:hard}節）の実験結果}\tabref{tab:results}によると，提案手法(6)s2s+grade+hardは既存手法(2)s2s+gradeと比較してSARIを$2.21$ポイント改善しているが，BLEUが著しく低く正しい単語を出力できていない．\tabref{tab:hard-failure-example}の失敗例$1$では，期待通り難解な単語\texttt{wounds}の出力を避けることができたが，誤って異なる意味の単語\texttt{seas}を出力してしまった．\figref{fig:newsela-type-rate}に示すように，各難易度で使用可能な語彙サイズを見ると，難易度$2$では$1,059$語彙($2.82\%$)の単語に制限されている．このような厳しすぎる制約によって，自然な文を構成する上で必要な単語を利用できず，\tabref{tab:hard-failure-example}の失敗例$2$に示すように入力文とは意味が全く異なる文を出力してしまったと考えられる．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsubsection{ソフトな語彙制約により単語難易度を考慮する提案手法（\ref{ssec:soft}節）の実験結果}\tabref{tab:results}によると，提案手法(7)s2s+grade+TFIDFおよび(8)s2s+grade+PPMIは，BLEUとSARIの両方において既存手法である(2)s2s+gradeを上回った．特に(8)s2s+grade+PPMIのBLEUとSARIは(2)s2s+gradeと比較してそれぞれ$1.04$ポイント（p値0.024），$0.15$ポイント改善した．ソフトな語彙制約によって単語難易度を考慮することで，出力文を崩壊させずにより目標難易度に適した単語を出力できたと考えられる．\tabref{tab:output-example}にモデルの出力例を示す．(8)s2s+grade+PPMIは\texttt{incarnation}を$7$年生向けに\texttt{people}へ，\texttt{motivate}を$4$年生向けに\texttt{inspire}へ書き換えている．いずれのモデルも\texttt{and,on$\sim$}の並列構造を省略できているが，(8)s2s+grade+PPMIは$4$年生向けの文をより短い文へ省略できている．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%table5\begin{table}[t]\caption{ソフトな語彙制約により単語難易度を考慮する提案手法の出力例}\label{tab:output-example}\input{02table05.tex}\end{table}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%次節では，BLEUとSARIの両方を改善した提案手法(8)s2s+grade+PPMIに焦点を当てて考察と分析を行う．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{考察と分析}
BLEUおよびSARIによる自動評価において最高性能を達成した(8)s2s+grade+PPMI（提案手法）について，本節では(2)s2s+grade（既存手法）と比較しながら$3$つの追加の自動評価指標および人手による分析により詳細な検証を行う．既存のテキスト平易化モデルは，入力文をあまり書き換えず，難解な表現を出力文に残してしまいやすい\cite{Zhang2017}．そこで\ref{ssec:BLEUst}節では，モデルが入力文を積極的に書き換えているかを評価する．また，テキスト平易化の処理は主に省略と言い換えによって実現される．そのため，\ref{ssec:sent-len-MAE}節では省略による難易度制御の評価を，\ref{ssec:MPMI}節では言い換えによる難易度制御の評価を行う．\ref{ssec:analysis-each-level}節では，難易度の制御に関する詳細な分析のために，目標難易度ごとに文および単語の難易度による評価を行う．最後に\ref{ssec:error-analysis}節では，人手による出力文のエラー分析から今後の改善策を議論する．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{書き換えの積極性の評価}\label{ssec:BLEUst}書き換えの積極性を評価するために，self-BLEU\cite{Sun2012}を用いる．出力文と正解文の一致度を評価する通常のBLEUとは異なり，self-BLEUは入力文と出力文の一致度を評価する．つまり，self-BLEUの値が低いほど，入力文を積極的に書き換えるモデルであると言える．\tabref{tab:detail-results}に示した結果のうち，sourceは入力文を編集せずにそのまま出力文とし，referenceは正解文を出力文とみなしたときの評価である．\tabref{tab:detail-results}によると，self-BLEUにおいてもs2s+grade+PPMIが最も優れており，目標難易度に適した単語を重視することで入力文に含まれない単語を積極的に出力できていることがわかる．s2sは目標の難易度を考慮しないため，あまり書き換えを行わない（self-BLEUが高い）保守的なモデルになったと考えられる．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%table6\begin{table}[t]\caption{詳細な分析結果}\label{tab:detail-results}\input{02table06.tex}\end{table}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{省略による難易度制御の評価}\label{ssec:sent-len-MAE}省略による難易度制御の品質を評価するために，文長の平均絶対誤差を用いる．文長の平均絶対誤差は，出力文の単語数に基づいて次式で得られる．\pagebreak\begin{equation}(文長の平均絶対誤差)=\frac1S\sum_{i}\left|\textrm{Len}(r_i)-\textrm{Len}({t_i})\right|.\end{equation}ここで，$S$は評価用データセットの文数，$r_i\(i=1,\\cdots,\S)$は正解文，$t_i$は$r_i$に対応する出力\\文，$\textrm{Len}(s)$は文$s$の単語数を表す．文長の平均絶対誤差が低いほど，適切な長さの文を生成するモデルであると言える．\tabref{tab:detail-results}を見ると，s2s+gradeはs2sから文長の平均絶対誤差が$0.61$ポイント改善され，s2s+grade+PPMIはs2s+gradeと同程度である．すなわち，文の難易度を考慮することによって出力文の文長が正解文と近くなり，省略による難易度制御が改善されている．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{言い換えによる難易度制御の評価}\label{ssec:MPMI}言い換えによる難易度制御の品質を評価するために，平均PMIを用いる．平均PMIは，次式に示す通り出力文に含まれる各単語と目標難易度の一致度に基づいて得られる．\begin{equation}\textrm{(平均PMI)}=\frac1W\sum_{s\in\textrm{Target}}\sum_{w\ins}\textrm{PMI}(w,\l_s).\end{equation}ここで，$W$は出力文の集合$\textrm{Target}$に含まれる単語数，$l_s$は文$s$の目標難易度，$w$は文$s$に含まれる単語である．PMIは訓練データを用いて\eqref{eq:pmi}によって求めた．平均PMIが高いほど，適切な難易度の単語を出力するモデルであると言える．\tabref{tab:detail-results}を見ると，平均PMIはs2s+grade+PPMIが最も高い．したがってs2s+grade+PPMIは，s2s+gradeの省略による難易度制御の品質を保ちつつ，より目標難易度に適した単語を出力できることが明らかになった．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{目標難易度ごとの出力文における文と単語の難易度}\label{ssec:analysis-each-level}難易度の制御についてより詳細な分析を行うために，評価用データセットの各入力文に対して，入力文よりも平易な全ての難易度\footnote{正解文は各入力文に対して一部の難易度についてのみ付与されているため，ここでは正解文を用いる評価は実施できない．}に向けての平易化を行った．\tabref{tab:each-grade}に，s2s+gradeとs2s+grade+PPMIに対する目標難易度ごとのFKGL\cite{Kincaid1975}および平均PMIを示す．FKGLは，テキストの可読性を評価する自動評価尺度であり，次式で得られる．\begin{equation}\textrm{FKGL}=0.39\frac{\#\textrm{words}}{\#\textrm{sentence}}+11.8\frac{\#\textrm{syllables}}{\#\textrm{words}}-15.59.\end{equation}ここで，\#wordsは単語数，\#sentenceは文数，\#syllablesは音節数である．FKGLの評価値は米国学校制度における学年に対応しており，本実験ではこれを目標難易度と比較することにより各手法の難易度制御の品質を分析する．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%table7\begin{savenotes}\begin{table}[t]\caption{各難易度におけるs2s+grade（既存手法）とs2s+grade+PPMI（提案手法）のFKGLと平均PMI}\label{tab:each-grade}\input{02table07.tex}\end{table}\end{savenotes}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%FKGLの分析によると，いずれのモデルも過度に平易な文に書き換えてしまっているが，目標学年に対する平均絶対誤差(MAE)を比較するとs2s+grade+PPMIの方が優れている．\tabref{tab:each-grade}中，FKGLの差分は学年ごとにs2s+gradeとs2s+grade+PPMIのFKGLの差を示している．これによると，s2s+grade+PPMIは目標学年が小さい場合はより平易な文を出力し，目標学年が大きい場合はより難解な文を出力しているため，s2s+gradeと比較してより明確に難易度を区別した制御ができている．この結果から，単語の難易度を考慮することで，テキスト平易化の難易度制御に寄与することが分かる．平均PMIの評価によると，s2s+grade+PPMIは全ての学年でs2s+gradeより優れている．したがって，単語の難易度に基づく損失の重み付けを行う提案手法が，我々の期待通りに目標の学年に適した単語を出力することが確認できた．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{エラー分析と人手評価}\label{ssec:error-analysis}今後の課題を明らかにするために，評価用データセットから無作為抽出した$50$文について，s2s+grade（既存手法）およびs2s+grade+PPMI（提案手法）のエラー分析（\sssecref{sssec:error-analysis}）と人手評価（\sssecref{sssec:human-evaluation}）を行った．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsubsection{エラー分析}\label{sssec:error-analysis}テキスト平易化における代表的な操作である省略および言い換え（置換）について，それぞれの細分類ごとにエラー数を著者の一人が人手で調べた．まず省略に関するエラー分析のために，入力文・出力文・正解文の三つ組を比較して，入力文中の省略すべき箇所，正しく省略した箇所（省略成功），省略すべきだが省略しなかった箇所（省略不足），出力すべきだが過剰に省略している箇所（省略過多）を数えた．次に置換に関するエラー分析のために，入力文中の置換すべき箇所，正しく置換した箇所（置換成功），誤った表現に置換した箇所（置換失敗），置換すべきだが置換しなかった箇所（置換不足），置換すべきでないが置換した箇所（置換過多）を数えた\footnote{本研究では単一の正解文を用いたが，本来正解文は複数存在するため，正解文とは異なるが正解とすべき出力文が存在する．しかし，ここでは単一正解文の表現のみを正解とする厳しい評価を行うため，本来の性能よりも低く評価される．}．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%table8\begin{table}[t]\caption{エラー分析の例（出力失敗例）}\label{tab:error-analysis-example}\input{02table08.tex}\end{table}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\tabref{tab:error-analysis-example}はエラー分析の例であり，下線は置換すべき箇所および各手法においてそれらに対応する箇所を，太字は省略すべき箇所を示している．例えば，\tabref{tab:error-analysis-example}の上の例では入力文における単語\texttt{stressful}は\texttt{tough}に置換すべきだが，いずれのモデルも\texttt{hard}へ置換しており，置換失敗としてカウントされる．また，入力文中の句\texttt{immigrantstudents}はいずれのモデル出力にもそのまま残っており，置換不足としてカウントされる．そして，s2s+grade+PPMIは入力文と正解文に共通して出現する単語\texttt{especially}を\texttt{very}へ置換しており，置換過多としてカウントされる．また，下の例では\texttt{infiveTurkishcities}を省略すべきだが，s2s+gradeでは省略できていない．\tabref{tab:error-analysis-omission}の分析結果から，省略の$\textrm{成功率}\left(=\frac{\textrm{省略成功}}{\textrm{省略すべき箇所}}\right)$はs2s+gradeが$45$箇所中$13$箇所($28.9\%$)，s2s+grade+PPMIが$45$箇所中$19$箇所($42.2\%$)であり，またs2s+grade+PPMIはs2s+gradeに比べて省略過多は多いが省略不足は少なく，より積極的に省略を行っていることがわかる．\tabref{tab:error-analysis-replacement}に置換操作に関するエラー分析結果を示す．本分析では各手法の出力について，省略不足や省略過多ではなかった（省略が成功した）部分のみについて置換すべき箇所をカウントしている．そのため置換すべき箇所の個数が手法によって異なっている．置換の$\textrm{再現率}\left(=\frac{\textrm{置換成功}}{\textrm{置換すべき箇所}}\right)$はs2s+grade+PPMIが$82$箇所中$4$箇所($4.9\%$)，s2s+gradeが$86$箇所中$5$箇所($5.8\%$)でありいずれも低い．また，置換の$\textrm{適合率}\left(=\frac{\textrm{置換成功}}{\textrm{置換成功}+\textrm{置換失敗}+\textrm{置換過多}}\right)$を見ると，s2s+grade+PPMIが$72$箇所中$4$箇所($5.6\%$)，s2s+gradeが$74$箇所中$5$箇所($6.8\%$)と低く，書き換えの誤りが多い．置換の$\textrm{網羅率}\left(=\frac{\textrm{置換成功}+\textrm{置換失敗}}{\textrm{置換すべき箇所}}\right)$はs2s+grade+PPMIが$82$箇所中$38$箇所($46.3\%$)，s2s+gradeが$86$箇所中$39$箇所($45.4\%$)であり，いずれも書き換えようとした箇所自体が半数以下である．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%table9\begin{table}[t]\caption{評価用データセットから無作為抽出された$50$文に対する省略のエラー分析}\label{tab:error-analysis-omission}\input{02table09.tex}\end{table}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%table10\begin{table}[t]\caption{評価用データセットから無作為抽出された$50$文に対する置換のエラー分析}\label{tab:error-analysis-replacement}\input{02table10.tex}\end{table}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsubsection{人手評価}\label{sssec:human-evaluation}先行研究\cite{Zhang2017}に倣い，流暢性(Fluency)，意味の等価性(Adequacy)および平易性(Simplicity)の$3$項目について人手評価を行った．\citeA{Zhang2017}と同様に，各項目について流暢性は「Istheoutputgrammaticalandwellformed?」，意味の等価性は「Towhatextentisthemeaningexpressedintheoriginalsentencepreservedintheoutput?」，平易性は「Istheoutputsimplerthantheoriginalsentence?」と説明し，$1$から$5$の$5$段階（$1$が最低性能，$5$が最高性能を表す）の評価\footnote{入力文を全く書き換えていない文は平易性が$1$として評価される．}を依頼した．評価者は英語話者$1$名である．\tabref{tab:human-evaluation}に各項目の平均値を示す．さらに我々は，\citeA{Mallinson2019}と同様に最小値も評価した．最小値は，文ごとに流暢性，意味の等価性および平易性の各評価値の最小値を取り，平均したものである．最小値を用いる理由は，モデルが$3$項目のうちいずれかの項目を無視すれば残りの項目において容易に高いスコアが得られるためである．例えば，入力文をそのまま出力すれば流暢性と意味の等価性は最高スコア$5$が得られるが平易性は$1$となる．また意味の等価性を無視すれば平易かつ流暢な文が容易に得られてしまう．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%table11\begin{table}[t]\caption{評価用データセットから無作為抽出された$50$文に対する人手評価}\label{tab:human-evaluation}\input{02table11.tex}\end{table}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\tabref{tab:human-evaluation}の最小の列を見ると，s2s+grade+PPMIは，s2s+gradeを$0.04$ポイント上回り，s2s+gradeと同等以上の性能が確認できた．流暢性および意味の等価性はs2s+gradeの方が，平易性はs2s+grade+PPMIの方が優れた．入力から積極的な書き換えを行わない（保守的な）モデルは流暢性および意味の等価性が高く，平易性が低くなると考えられるため，s2s+grade+PPMIはs2s+gradeと比較してより積極的な書き換えを行っていることがわかる．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsubsection{今後の課題}\label{sssec:future-work}エラー分析（\sssecref{sssec:error-analysis}）の結果，既存手法s2s+gradeと提案手法s2s+grade+PPMIの両手法とも積極的な省略を行い，置換がほとんど行われないことがわかった．その中でも，人手評価（\sssecref{sssec:human-evaluation}）の結果，単語の難易度も考慮したs2s+grade+PPMIはs2s+gradeと比較してより積極的な平易化を行うことを確認した．テキスト平易化では書き換え前後の文で共通した単語が使用される割合が高く，また入力の語句の省略も頻繁に行われる．一方，テキスト平易化と同様に系列変換タスクである機械翻訳では入力と出力の言語が異なることから，入力文の語句のほぼ全てが置換され，かつ入力に現れる語句が大幅に省略されることは稀と考えられる．このようなタスクの特性により，テキスト平易化では複製や省略の操作の学習は容易であるが，置換操作は学習が難しく，モデルにとってリスクが高いため積極的な書き換えを行わない．したがって複製や省略という簡単な操作に甘んじやすいと考えられる．そのため今後は，入力文中に出現しない正解単語の出力に大きな報酬を与える工夫が必要であると考えられる．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{おわりに}
本研究では，単語の難易度に注目することで高品質な難易度制御を行うテキスト平易化手法を提案した．素性として単語分散表現に単語の難易度を埋め込む手法，ハードな語彙制約手法，ソフトな語彙制約手法の$3$種類のアプローチを試みた結果，ソフトな語彙制約手法が有効であった．ソフトな語彙制約では，文の難易度と単語の共起の強さによって損失を重み付けすることで，BLEUおよびSARIによる自動評価が既存手法を上回り，積極的かつ正確な難易度制御に貢献することを確認した．また難易度ごとの分析からも，提案手法が省略および置換の操作に対して有効であることを示した．本研究では，\citeA{Scarton2018}と同様に，文書の難易度を各文の難易度とみなした．しかし，難解な文書中にも平易な文が含まれる場合があるため，実際には文ごとに難易度を推定する必要がある．テキストの可読性や難易度については，これまで文書\cite{Kincaid1975}や語句\cite{Pavlick2016,Maddela2018}の単位では研究されてきたが，文単位での難易度推定は今後の課題である．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\acknowledgment本研究は，MicrosoftResearchAsia,MicrosoftJapanCo.,Ltd.,JSTACT-IGrantNumberJPMJPR18UB,JSPSKAKENHIGrantNumberJP18K11435の支援を受けたものである．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\bibliographystyle{jnlpbbl_1.5}\bibliography{02refs}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\begin{biography}\bioauthor{西原大貴}{%2019年大阪大学工学部電子情報工学科卒業，同年大阪大学大学院情報科学研究科マルチメディア工学専攻に進学．現在に至る．自然言語処理の研究に従事．}\bioauthor{梶原智之}{%2013年長岡技術科学大学工学部電気電子情報工学課程卒業．2015年同大学大学院工学研究科修士課程電気電子情報工学専攻修了．2018年首都大学東京大学院システムデザイン研究科博士後期課程情報通信システム学域修了．博士（工学）．同年より大阪大学データビリティフロンティア機構特任助教．自然言語処理の研究に従事．情報処理学会，人工知能学会，言語処理学会各会員．}\bioauthor{荒瀬由紀}{%2006年大阪大学工学部電子情報エネルギー工学科卒業．2007年同大学院情報科学研究科博士前期課程，2010年同博士後期課程修了．博士（情報科学）．同年，北京のMicrosoftResearchAsiaに入社，自然言語処理に関する研究開発に従事．2014年より大阪大学大学院情報科学研究科マルチメディア工学専攻准教授，現在に至る．言い換え表現認識と生成，機械翻訳技術，対話システムに興味を持つ．}\end{biography}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\biodate\end{document}