\section{はじめに}
\label{sec:intro}ニューラルネットワークを利用したSequence-to-sequenceモデルの発展により，生成型自動要約の性能は飛躍的に向上した．Sequence-to-sequence要約モデルの学習においては，新聞記事\cite{nallapati-etal-2016-abstractive}であれば見出し，ソーシャルメディア\cite{kim-etal-2019-abstractive}やレビュー\cite{DBLP:conf/aaai/LiLZ19}であればタイトル，メール\cite{zhang-tetreault-2019-email}であれば件名を要約とみなして使用する．これらの要約は本文に書かれた内容の重要な箇所を適切かつ簡潔に記述していることが望ましい．しかしながら，過去の多くの研究が要約モデルの学習データセットには不適切な本文−要約ペアが多く含まれることを報告している\cite{zhang-tetreault-2019-email,DBLP:conf/aaai/LiLZ19,kryscinski-etal-2019-neural,matsumaru-etal-2020-improving}．具体例を表\ref{tab:inappropriate_example}に示す．例はRedditTitleデータ\cite{kim-etal-2019-abstractive}，EnronSubjectデータ\cite{zhang-tetreault-2019-email}から引用したものである．表の上段の例では本文にはタイトルの続きが書かれており，タイトルは本文に書かれている内容を反映していない．下段の例では，件名は簡潔すぎて情報不足であり，要約としての体裁を成していない．こうしたノイズを含むデータセットに対処する方法が求められている．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%table1\begin{table}[h]\input{06table01.tex}\caption{タイトル，件名が本文の要約として不適切な例}\label{tab:inappropriate_example}\end{table}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\newpageノイズを含むデータから効率的にモデルを学習させる方法の1つとしてカリキュラムラーニング\cite{10.1145/1553374.1553380}が用いられている．カリキュラムラーニングは元来，学習データの順序を変えることで，収束速度やモデルの性能を上げる手法であるが，ノイズを含むデータでモデルを学習させる際にも有効性が示されている\cite{wang-etal-2018-denoising,wang-etal-2019-dynamically,kumar-etal-2019-reinforcement}．しかしながら，これまでカリキュラムラーニングは要約タスクに応用されてこなかった．本研究の目的の1つはカリキュラムラーニングの要約タスクへの有効性を検証することである．カリキュラムラーニングにおける学習データの順序の変更には，ノイズの量や難易度を表す指標が通常用いられる．学習はノイズの多いデータ群あるいは難易度の低いデータ群から始まり，徐々にノイズの少ないものあるいは難易度の高いものに移行する．ソートの際に使用する指標として，文生成タスク\cite{Cirik2016VisualizingAU}や翻訳タスク\cite{kocmi-bojar-2017-curriculum,platanios-etal-2019-competence,zhou-etal-2020-uncertainty}においては，出力文の長さが難易度の指標として用いられている．ノイズを表す指標として，翻訳タスクにおいて2つの生成モデルの尤度差を用いて，カリキュラムラーニングに適用した研究がある\cite{wang-etal-2018-denoising,wang-etal-2019-dynamically,kumar-etal-2019-reinforcement}．2つの生成モデルはノイズの少ないコーパスとノイズの多いコーパスでそれぞれ学習したSequence-to-sequenceモデルである．ここではノイズは翻訳元の文章と翻訳先の文章で対応の取れない情報を指している．要約分野においては，新聞記事などのデータセットはソーシャルメディアやメールのデータセットに比べてノイズが少ないと考えられる．しかし，要約データは要約の長さ，Density（要約箇所が本文の全体か，一部分かを示す指標），圧縮率，抽出率（要約の単語が本文に含まれる割合）などの性質がデータセットによって大きく異なる\cite{zhong-etal-2019-closer}．異なるデータセットで学習したモデルは，ノイズのみでなく，こうした性質を考慮したモデルになってしまう問題がある．そのため，先行研究\cite{wang-etal-2018-denoising,wang-etal-2019-dynamically,kumar-etal-2019-reinforcement}を要約モデルに適用する場合，同じドメインでノイズの多寡のみが異なるデータセットが必要になるが，こうしたデータセットは存在しない．そこで本研究のもう1つの目的として，ノイズを含む単一コーパスからノイズを定量化してカリキュラムラーニングに適用する手法を提案する．本研究では，ノイズを含む単一コーパスからノイズを定量化できるモデルAppropriatenessEstimatorを提案する．本モデルは本文−要約の正しいペアと，ランダムに組み合わせたペアを分類する．ランダムに組み合わせたペアの要約は本文の内容を反映していない不適切なものである．不適切なペアと実際のペアを分類するように学習することで，AppropriatenessEstimatorは本文−要約ペアの“適切性”が判別可能になる．この適切性をカリキュラムラーニングに適用する．すなわち，適切性をデータのソートに使用し，要約モデルの学習時，学習データを不適切なペアから適切なペアへと徐々に変化させる．本研究ではノイズを多く含む要約のデータセットとして，2つのデータセットで実験を行った．EnronSubjectデータセット\cite{zhang-tetreault-2019-email}とRedditTitleデータセット\cite{kim-etal-2019-abstractive}である．両者とも学習データにはノイズが多く含まれるが，EnronSubjectデータセットの開発データセットと評価データセットは，人手により整理されたものである．一方RedditTitleデータセットの開発データセット，評価データセットはノイズを含む生のデータセットである．本研究では，要約タスクに対するカリキュラムラーニングの有効性と，提案手法の効果を検証するため，3つの要約モデルと3つのカリキュラムで実験を行う．要約モデルには，事前学習要約モデルと非事前学習要約モデルを用いる．事前学習モデルとしてBART\cite{lewis-etal-2020-bart}，非事前学習モデルとしてTransformer\cite{NIPS2017_7181}とSeq2seqWithAttention\cite{DBLP:journals/corr/BahdanauCB14}を採用する．実験において，カリキュラムラーニングおよび提案手法であるAppropriatenessEstimatorは事前学習モデル，および非事前学習モデル両方の性能を改善した．カリキュラムラーニングに用いられるカリキュラムにはいくつかの種類が存在する．学習データを徐々に変更するもの，学習データを徐々に増やしていくもの，学習データを徐々に減らしていくものなどがある．実験結果から，事前学習モデルに有効なカリキュラムと非事前学習モデルに有効なカリキュラムが異なることが判明した．事前学習モデルにとっては，終盤に少数のデータでFine-tuningを行うカリキュラムが有効であり，非事前学習モデルにとっては序盤に多数のデータで汎化を行うことが有効であった．また，人手による評価を行い，提案手法であるAppropriatenessEstimatorをカリキュラムラーニングに適用した方法が要約モデルの性能を向上させることを示した．要約のデータの性質の評価に，抽出率（要約の単語が本文に含まれる割合）\cite{kim-etal-2019-abstractive}や，含意判定確率\cite{matsumaru-etal-2020-improving}がこれまで用いられてきた．本研究で提案した適切性をこれらの性質や入力長，出力長などの統計量と比較し，適切性の性質を議論する．加えてこれまでカリキュラムラーニングに用いられてこなかった上記抽出率や含意判定確率が要約タスクにおけるカリキュラムラーニングに対して有効であることを示す．本論文の貢献は以下である．\begin{itemize}\item3つの要約モデルでカリキュラムラーニングの実験を行い，カリキュラムラーニングの要約タスクに対する有効性を示した．\item単一のノイズを含む学習データから学習可能な，入力文と出力文の適切性を計算するモデル\textit{AppropriatenessEstimator}を提案し，実験により要約モデルの性能を向上させることを確認した．\item異なるカリキュラムが事前学習モデル，非事前学習モデルの性能にどのような影響を与えるかを分析した．\end{itemize}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{関連研究}
\label{sec:related}カリキュラムラーニングは学習データの順序を変更することで収束速度やモデル性能を上げる手法である\cite{10.1145/1553374.1553380}．過去の研究\cite{Cirik2016VisualizingAU}はこれを文生成タスクに応用し，2種類のカリキュラムを提唱した．BabystepカリキュラムとOne-Passカリキュラムである．後続の研究がカリキュラムラーニングを翻訳タスクに応用したが\cite{kocmi-bojar-2017-curriculum,platanios-etal-2019-competence,wang-etal-2019-dynamically,zhou-etal-2020-uncertainty}，要約タスクに応用した研究はこれまで存在しなかった．カリキュラムラーニングは元来，難易度で学習データをソートする手法であった．しかし，近年ではノイズの多さでソートを行う手法が提唱されている．Wangetal.\citeyear{wang-etal-2018-denoising}は，2つのモデルを使って学習データのノイズを定量化する手法を提案した．同様のノイズ定量化手法を使い，Kumaretal.\citeyear{kumar-etal-2019-reinforcement}は強化学習を用いて学習に適している学習データのセグメントを適宜選択していく手法を提案した．%\cite{wang-etal-2019-dynamically}はノイズ定量化に加えて，ドメインらしさを定量化し，EMアルゴリズムを用いてそれらを組み合わせるカリキュラムラーニングの手法を提案した．要約分野においては，同じドメインでノイズの多寡が異なるコーパスは存在しないため，これらの手法を要約モデルに適用することはできない．そのため，本稿ではノイズを含む単一コーパスからノイズを定量化する手法を提案する．Sequence-to-sequence要約モデルの学習においては一般に，見出し，タイトル，件名などを要約とみなして学習する．しかしながら，これらのデータの内，メールやソーシャルメディアの件名およびタイトルは，非公式な場や，匿名性の高い場で書かれたものであるため，品質が担保されていない．Zhangetal.\citeyear{zhang-tetreault-2019-email}はメールの件名を生成するタスクを提唱したが，元のEnronコーパスに含まれている件名がノイズを多く含んでいたため，新たにノイズの少ない評価データセットを構築している．Lietal.\citeyear{DBLP:conf/aaai/LiLZ19}は，ルールや分類モデルを使ってレビューデータのノイズをフィルタリングした．新聞記事の見出しは，新聞社が不特定多数の読者に公開するものであるため，比較的要約として適切なものが多いものの，本文から推測が不可能な情報が含まれることが指摘されており，含意判定モデルによってそうしたデータをフィルターする手法が提案されている\cite{matsumaru-etal-2020-improving}．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{手法}
\label{sec:method}本節ではまずカリキュラムラーニングの説明を行い，その後，提案手法であるAppropriatenessEstimatorの説明を行う．カリキュラムラーニングは，学習データをある指標に基づいてソートして学習する手法であるが，その指標には難易度を表す指標やノイズ量を表す指標が使われる．提案手法であるAppropriatenessEstimatorは後者のノイズ量計算のために使われる．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%fig.1\begin{figure}[t]\begin{center}\includegraphics{29-1ia6f1.pdf}\end{center}\caption{カリキュラムラーニングの概要．}\label{fig:curriculum}\end{figure}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\paragraph{カリキュラムラーニング}カリキュラムラーニングの概要を図\ref{fig:curriculum}に示す．カリキュラムラーニングではまず，ある指標（e.g.ノイズの少なさ，出力長など）に基づいて学習データを昇順にソートする．次に，学習データをセグメントごとに分割する．分割したセグメントを使ってどのように学習を進めるかに応じて複数のカリキュラムが提案されている．One-Passカリキュラム\cite{Cirik2016VisualizingAU}は最も簡単な，あるいは最もノイズが多いセグメントから学習を開始し，モデルが収束すると，学習データとして次のセグメントのデータを使用する．Babystepカリキュラム\cite{Cirik2016VisualizingAU}は最も簡単な，あるいは最もノイズが多いセグメントから学習を開始し，徐々に学習データを増やしていく．これら2つのカリキュラムは少量のデータから学習を開始する．そのため，過学習を引き起こすリスクが存在する．過学習への対処のため，最初に全てのデータで学習を行い，徐々にデータを減らしていくカリキュラムでも実験を行う．これをNoise-Annealingカリキュラムと呼称する．いずれのカリキュラムにおいても，セグメント単位での学習を終える度，モデルのパラメータを保存し，開発データでの評価値が下がった場合には，最後に保存したパラメータに戻した後，次のセグメントでの学習を開始する．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%fig.2\begin{figure}[t]\begin{center}\includegraphics{29-1ia6f2.pdf}\end{center}\caption{AppropriatenessEstimatorの概要図と要約モデル学習への適用．}\label{fig:model}\vspace{-1\Cvs}\end{figure}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\paragraph{AppropriatenessEstimator}本稿ではAppropriatenessEstimatorを提案する．本モデルはノイズを含む単一コーパスから学習可能な，ノイズを定量化するモデルである．図\ref{fig:model}にモデルの概要図を載せる．\ref{sec:intro}節で述べたように，要約モデルの学習データには要約として不適切なものが含まれる．ここで言う不適切とは，本文から推測が難しい情報や本文と無関係な情報が含まれているものや，記述が漠然としていて情報量に欠けているものを指す．提案モデルは本文と要約が実際の対であるかを学習することによって，本文と要約の適切性を定量化する．要約モデルの学習データに存在する本文$s_i$と要約$t_k$のペアを正例とし，ランダムにサンプリングされた本文$s_i$と要約$t_k$のペアを負例とする．ラベルを$c$とし，ラベルが正の時$c=1$であり，負の時$c=0$とする．本モデルの学習タスクは本文−要約ペアのラベル$c$の正負を予測することである．要約モデルの学習データに含まれるペアは全て正例とみなすが，\ref{sec:intro}節で説明したように，それらは不適切なペアを含む．EarlyStoppingは一般に過学習を防ぐ目的で使われている手法であるが，ノイズデータに対する過学習を防ぐことにも有効であることが示されている\cite{pmlr-v108-li20j}．本研究でも，同様にEarlyStoppingを利用することでモデルがノイズデータに過学習することを防ぐ．モデルの出力確率を$p(c|s_i,t_k)$とし，損失関数$L$は以下のようにクロスエントロピーを用いて計算する．\begin{equation}\mathcal{L}_{rep}=-c\log{p(c|s_i,t_k)}-(1-c)\log{(1-p(c|s_i,t_k))}\end{equation}学習後のモデルの出力確率$p(c=1|s_i,t_k)$をペアの適切性と呼称する．ここで，$p(c=1|s_i,t_k)$が高いペアは低ノイズであり$p(c=1|s_i,t_k)$が低いペアは高ノイズであることを仮定している．要約の学習データ全てをAppropriatenessEstimatorに入力し，適切性を計算する．ここで$c=0$のデータ，すなわちネガティブサンプリングにより得られたペアは含めず，元々の要約データに存在するペアのみを利用する．適切性に基づき学習データをソートし，カリキュラムラーニングを適用する．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{実験}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{データセット}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\paragraph{EnronSubjectデータセット}Enronデータセット\cite{10.1007/978-3-540-30115-8_22}はEnronCorporationの従業員のメールを集めたデータセットである．Zhangetal.\citeyear{zhang-tetreault-2019-email}はこれらのデータを件名生成タスク用に整理した．元のデータセットは評価に使用するにはノイズが多かったため，彼らは適切な件名を人手で再度アノテーションし，開発データセットと評価データセットを構築した．学習データとして14,436の件名とメールの本文を使用する．開発データセットとして1,906件，評価データセットとして1,960件のデータを使用する．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\paragraph{RedditTitleデータセット}RedditTitleデータセット\cite{kim-etal-2019-abstractive}はソーシャルメディアであるRedditのデータセットである．データは，RedditのTIFUと呼ばれる掲示板(Subreddit)から収集されたものである．TIFUは``todayif***up"の略であり，投稿される文書は投稿者の失敗経験についてのものである．各投稿のタイトルを要約とみなし，要約の学習データとして使用する．学習データとして71,113件，開発データおよび評価データセットとして，各3,951件のデータを使用する．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{モデル}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\paragraph{AppropriatenessEstimator}本稿ではAppropriatenessEstimatorとしてDecomposableAttention\cite{parikh-etal-2016-decomposable}を利用する．単語Embeddingの初期値としてGloVe\footnote{\url{https://nlp.stanford.edu/projects/glove/}}を使用する．Embeddingと隠れ層の次元はそれぞれ300と200とする．学習に使うエポック数は20とする．\ref{sec:intro}節と\ref{sec:method}節で説明したように，ランダムに割り当てた本文と出力文のペアを負例とし，元々の要約データセットに含まれるペアを正例とした．負例の数は正例の数と同数である．すなわち，AppropriatenessEstimatorの学習データ，開発データの数は要約モデルのそれぞれのデータ数の2倍となる．開発データセットにおいて最もF1-Scoreが高くなるエポックのモデルを要約モデルのカリキュラムラーニングに使用した．開発データセットにおける，最も高いF1-ScoreはEnronデータセットで0.94，Redditデータセットで0.92であった．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\paragraph{要約モデル}本稿では3つの要約モデルで実験を行った．その内1つは事前学習モデルであるBART\cite{lewis-etal-2020-bart}である．残りの2つは，非事前学習モデルであるTransformer\cite{NIPS2017_7181}とSeq2seqwithAttention\cite{rush-etal-2015-neural}である．Seq2seqwithAttentionおよび，Transformerの隠れ層の次元は共に256とする．単語Embeddingの次元はSeq2seqwithAttentionが300，Transformerが256である．Seq2seqwithAttentionの単語Embeddingの初期値にはAppropriatenessEstimatorと同様にGloVeを使用する．ミニバッチ数は3つの要約モデルで共に64とする．BeamSearchのサイズは8とする．Seq2seqwithAttentionとTransformerの最適化にAdamを使用した．学習率は0.0007とした．BARTの最適化にはAdamW\cite{DBLP:conf/iclr/LoshchilovH19}を使用した．学習率は3e-5，$\beta_1$は0.9，$\beta_2$は0.999，epsは1e-8とした．ランダムシードを変えつつ，同じ実験を5回繰り返し，平均値を結果に使用する．評価にはROUGEのF1値\cite{lin-2004-rouge}を使用する．各セグメントのエポック毎にValidationを行い，Validationの評価指標にはROUGE-1のF1値を使用する．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{カリキュラムラーニング}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\paragraph{カリキュラム}本稿では4つの条件下で実験を行う．\ref{sec:method}節で説明した3つのカリキュラムラーニングを使ったものと，カリキュラムラーニングを使わないものである．セグメント数として，5と10で実験を行った．学習データの各セグメント内のデータはシャッフルする．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\paragraph{データのソートに使用する指標}学習データをソートする指標として以下の2つを使用する．提案指標である適切性と，出力長である．出力長は難易度を表す指標として，カリキュラムラーニングで一般的に使われる指標である\cite{Cirik2016VisualizingAU,platanios-etal-2019-competence,wang-etal-2019-dynamically,zhou-etal-2020-uncertainty}．本研究では，出力長は生成対象の要約文の単語数を指す．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{結果}
本節では，\ref{sec:intro}節で述べた本研究の目的であるカリキュラムラーニングの要約タスクへの有効性と，提案手法であるAppropriatenessEstimatorの有効性の検証結果について述べる．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{カリキュラムラーニングの要約タスクへの有効性}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\paragraph{自動評価}表\ref{tab:result_curriculum}に，3種のカリキュラムラーニングを要約モデルの学習に用いた場合と，用いなかった場合の実験結果を載せる．評価は自動評価指標であるROUGEを用いて行った．各モデル各データの最も高い性能（モデル1）は太字で記されている．$\dagger$は同モデル同データ内で2番目に性能が高いもの（モデル2）との有意差を示している(p$<$0.05)．有意差検定には，BootstrapResampling\cite{koehn-2004-statistical}を使用した．テスト時のモデルの出力の件数の半分に当たる回数，ランダムに結果を重複ありでサンプリングし，モデル1とモデル2の結果を比較する．これを1000回繰り返し，950回以上モデル1がモデル2の性能を上回った場合，有意とみなす．いずれのモデル，データにおいても，カリキュラムラーニングを使ったモデルが最も高い性能を示しており，要約タスクにもカリキュラムラーニングが有効であることが確認された．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%table2\begin{table}[t]\input{06table02.tex}\hangcaption{カリキュラムラーニングを使った要約モデルの実験結果.適切性はAppropriatenessEstimatorの出力確率を表す．R-1-F,R-2-F,R-L-FはそれぞれROUGE-1,ROUGE-2,andROUGE-LのF1値である．各モデル各データの最も高い性能は太字で記されており，$\dagger$は同モデル同データ内で2番目に性能が高いものとの有意差を示している($p<0.05$)．有意差検定には，BootstrapResampling\protect\cite{koehn-2004-statistical}を使用した．}\label{tab:result_curriculum}\end{table}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\paragraph{人手評価}本稿では2つのBARTモデルで人手評価を行った．1つはNoise-Annealingカリキュラムおよび適切性で学習されたものであり，もう1つはカリキュラムラーニングなしで学習されたものである．両モデルで生成された要約が同じである場合，それを除去し，計90の生成要約をEnronデータセット，Redditデータセットそれぞれに対して得た．アノテーターはどちらの要約が良いかを情報量，流暢性の観点から評価する．情報量は生成要約が本文の重要な情報をどの程度含んでいるかを表しており，流暢性は文法の観点から生成された文が正しいかを判断する．表\ref{tab:result_human}に結果を示す．表は，Noise-Annealingと適切性で学習されたモデルは情報量，流暢性両方の観点でより高い評価を得たことを示している．統計的な有意性を評価するため，“良い”と“どちらかといえば良い”の票数を統合し$\chi$二乗検定を行った．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%table3\begin{table}[t]\input{06table03.tex}\hangcaption{人手評価の結果．CLありはNoise-Annealingカリキュラム使用時の結果を指し，CLなしはカリキュラムラーニング無しの結果を指す．$\dagger$and$\ddagger$は，BART（CLあり）が“良い”と“どちらかといえば良い”の票を多く得る確率を$\chi$二乗検定で検定したものである($\dagger\p<0.01$,$\ddagger\p<0.05$)．}\label{tab:result_human}\end{table}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{AppropriatenessEstimatorの有効性}AppropriatenessEstimatorの適切性を利用したカリキュラムラーニングは，3つのモデル全てで，カリキュラムラーニングなしのモデルと比べ，性能を向上させた．出力長を利用したカリキュラムラーニングと比較した場合，適切性を利用した場合はEnronSubjectデータにおいてより上げ幅が大きかった．これは，RedditTitleデータセットでは，テストデータが学習データ同様未整備であるのに対し，EnronSubjectデータのテストデータが，人手で整備されたノイズの少ないデータであることに関係していると考えられる．適切性を用いたカリキュラムラーニングは，Noise-AnnealingカリキュラムとOne-Passカリキュラムの場合，学習の終盤においてノイズの少ないデータで学習を行う．これにより，学習モデルが低ノイズの高品質なデータにFine-tuningされているため，より低ノイズのテストデータセットにおいて性能を発揮すると考えられる．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{考察}
本節では，本実験で用いた3つのカリキュラムが与える性能への影響，翻訳タスクとの相違点，適切性の性質について議論する．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{カリキュラムごとの相違点}今回本研究では，3種類のカリキュラムで実験を行った．One-PassカリキュラムおよびNoise-Annealingカリキュラムは学習の終盤で少数のデータでFine-tuningを行い，Noise-Annealingカリキュラムは学習の初期に多様なデータでの汎化を行うという特徴がある．こうしたカリキュラムの特徴と，カリキュラムラーニングなしと比べた際の要約モデルの性能に与える影響のまとめを表\ref{tab:result_summary}に載せる．One-PassおよびNoise-AnnealingカリキュラムはBARTモデルの性能を向上させたが，Babystepカリキュラムは性能を悪化させた．考えられることは，BARTは事前学習モデルであるため，改めて汎化を行う必要はなく，Fine-tuningが重要であるという点である．非事前学習モデルにおいてはNoise-Annealingカリキュラムのみが要約モデルの性能を向上させた．これは，事前学習モデルとは対照的に，非事前学習モデルにとっては汎化が重要であることを示唆している．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%table4\begin{table}[t]\input{06table04.tex}\caption{3つのカリキュラムの特徴とカリキュラムラーニングなしと比べた場合の性能差．}\label{tab:result_summary}\end{table}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{翻訳タスクとの相違点}\label{sec:translation}Babystepカリキュラムは，徐々に学習データを増やしていくカリキュラムである．過去の翻訳タスクにおける研究では出力長を同様のカリキュラムに使用し，翻訳モデルの性能を向上させた\cite{kocmi-bojar-2017-curriculum,platanios-etal-2019-competence,zhou-etal-2020-uncertainty}が，本稿の実験設定では要約モデルの性能は低下した．要約タスクと翻訳タスクの出力文の違いとして，翻訳タスクでは，出力文の質と出力文の文長に相関はないが，要約タスクではその限りではないということである．翻訳タスクにおいては，出力文は入力文の長さに比例するため，入力文が短い場合は必然的に出力文も短くなり，翻訳の正確性には関係がない．しかしながら，要約タスクにおいては，出力文と入力文は比例せず，短すぎる要約は十分な情報を含んでいないと考えられる．そのため，少数のデータで学習をはじめるBabystepカリキュラムおよびOne-Passカリキュラムを非事前学習モデルに適用した場合，低品質データに対する過学習を引き起こし，性能が低下すると考えられる．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{適切性が高い／低い本文−要約ペアの具体例}表\ref{tab:example_enron}，\ref{tab:example_reddit}に適切性が高い，あるいは低い入力文（本文）と出力文（要約）のペアの例を載せる．表にある適切性の低い例の出力文は本文にない情報を含んでいることがわかる．表\ref{tab:example_reddit}の下段の例では，適切性が低いペアにおいて，出力文の続きが入力文に書かれており，出力文の情報が入力文に書かれていない．対照的に，適切性が高いペアでは出力文は本文の内容を反映している．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%table5\begin{table}[p]\input{06table05.tex}\caption{適切性が高い／低い本文−要約(Subject)ペアの例（EnronSubjectデータセット）．}\label{tab:example_enron}\end{table}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%table6\begin{table}[p]\input{06table06.tex}\caption{適切性が高い／低い本文−要約(Title)ペアの例（RedditTitleデータセット）．}\label{tab:example_reddit}\end{table}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{適切性の表す性質}本節では，適切性が表す性質について議論する．\ref{sec:translation}節で述べたように，要約タスクにおける出力長はノイズの量と相関すると考えられるが，ノイズの量そのものではない．表\ref{tab:example_enron}や表\ref{tab:example_reddit}で示した例のように，出力長が長くてもノイズとみなせる要約も存在する．本節では適切性を，他にノイズと相関すると考えられる4つの性質と比較して議論する．その内の2つは，入力長と出力長である．3つ目は一致する単語の割合である．AppropriatenessEstimatorは，本文−要約ペアの適切さを一致する単語によって判定している可能性が高い．要約に含まれる単語が本文に含まれる割合を抽出率と定義し，抽出率と適切性との関係性について議論する．4つ目は含意関係である．松丸ら\cite{matsumaru-etal-2020-improving}は，含意判定器を用いて要約データのフィルタリングを行った．含意判定器の確率値と適切性の違いについて議論する．上記4つの性質と適切性とのピアソンの相関係数を表\ref{tab:corrcoef}に載せる．また，上記4つの内，入力長，抽出率，含意確率を用いてカリキュラムラーニングを行った際の結果を表\ref{tab:result_curriculum_nli}に載せる．この時，カリキュラムとして用いたのは，表\ref{tab:result_curriculum}の実験で有効であったOne-PassカリキュラムとNoise-Annealingカリキュラムである．要約モデルには最も性能の高いBARTを使用した．表\ref{tab:result_curriculum}の実験と同様に，実験はランダムシードを変えて5回行った際の平均値を載せる．有意差検定は，表\ref{tab:result_curriculum}の実験と同様BootstrapResampling\cite{koehn-2004-statistical}を用いて行う($p<0.05$)．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\paragraph{適切性と入力長および出力長との関係}表\ref{tab:corrcoef}より，適切性と，入力長及び出力長との相関係数は0.2未満であった．これは，適切性が入力長や出力長とは異なるテキストの性質を表していることを示している．表\ref{tab:example_enron}および表\ref{tab:example_reddit}に示したように，要約のデータセットには，本文や要約が短くない場合にも要約として不適切なものが含まれる．また，表\ref{tab:result_curriculum_nli}より，入力長をカリキュラムラーニングの指標として用いた場合の性能は，他の指標と比べて悪くなった．これは入力長と要約データとしての適切さが比例しないことを示唆している．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%table7\begin{table}[b]\input{06table07.tex}\caption{適切性と各統計量との相関係数（ピアソン）}\label{tab:corrcoef}\end{table}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%table8\begin{table}[t]\input{06table08.tex}\hangcaption[result]{入力長，抽出率，含意確率をカリキュラムラーニングを適用した要約モデルの実験結果．各モデル各データの最も高い性能は太字で記されており，$\dagger$は同モデル同データ内で適切性以外で最も性能が高いものとの有意差を示している($p<0.05$)．有意差検定には，BootstrapResampling\cite{koehn-2004-statistical}を使用した．}\label{tab:result_curriculum_nli}\end{table}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\paragraph{適切性と抽出率との関係}AppropriatenessEstimatorは，本文と要約のペアの正しさを学習している．そのため，要約に含まれる単語が本文に含まれるかを元に判定している可能性が高い．そこで，要約に含まれる単語が本文に含まれる割合（これを抽出率と呼称する）と適切性の関係性を議論する．抽出率と適切性のピアソン相関係数は，表\ref{tab:corrcoef}にあるように高い．これは，適切性が単語の一致率を反映していることを示す．ただし，適切性が抽出率に比べ有利な点は単語の一致だけではなく，関連する単語に着目できる点と，一般的すぎる単語の重要度を相対的に下げられる点である．AppropriatenessEstimatorは他の異なる要約を負例として判別するよう学習するため，要約の内容が一般的で情報量が少ない場合，他の本文にも含まれる可能性が高くなり，正しい要約と誤った要約の区別がつきにくくなる．そのため，こうした本文−要約ペアには相対的に低い適切性が与えられる．表\ref{tab:example_icchi}にある例の抽出率は高いが，書かれている内容が一般的で情報量を欠いているため，適切性が相対的に低くなっている．適切性は全体的に高い数値であるため，この数値は全体の下位23.2\%に該当する．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%table9\begin{table}[t]\input{06table09.tex}\caption{抽出率が高いが，適切性が相対的に低い本文−要約ペアの例（RedditTitleデータセット）．}\label{tab:example_icchi}\end{table}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%抽出率をカリキュラムラーニングに適用した場合の結果を表\ref{tab:result_curriculum_nli}に載せる．抽出率はNoise-Annealingカリキュラムにおいては，適切性と同等の性能であったが，One-Passカリキュラムにおいては適切性が有意に上回った．これは前述した点で適切性が抽出率に比べ有利であるからと考えられる．また，抽出率を使った結果は，カリキュラムラーニングを使わない場合の性能を上回っており，この実験結果はこれまでカリキュラムラーニングに用いられて来なかった抽出率が要約タスクにおいて有効であることを示している．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\paragraph{適切性と含意確率との関係}松丸ら\cite{matsumaru-etal-2020-improving}は，含意判定器を用いて要約学習データセットから不適切な本文と要約のペアを除去した．含意確率と適切性の関係性についても本節で議論する．含意判定器には，松丸ら\cite{matsumaru-etal-2020-improving}と同様に，RoBERTa\cite{liu2019roberta}をMulti-GenreNaturalLanguageInference(MultiNLI)データセット\cite{williams-etal-2018-broad}で学習させたものを使用し，本文が要約を含意する確率を計算する．なお，松丸らは，MultiNLIで学習させたモデルを，要約データセットごとに独自にアノテーションしたデータセットで更にFine-tuningしたモデルを用いているが，本研究では対象要約データセットが異なるため，MultiNLIで学習させたモデルを用い，Fine-tuningは行わない．適切な要約の要件には，要約の内容が本文にも書かれているという含意性の他に，本文の重要な箇所が要約に反映されているべきだという情報量の観点がある．AppropriatenessEstimatorは一般的すぎて情報量が少ない要約には相対的に低い適切性を与える．これは要約の記述内容に情報量が少ない場合，本文に対する正しい要約であるか，他の本文に対する要約であるかを判定するのが難しくなるからである．一方含意判定器は含意性のみを判定するため，こうした例を除去することはできない．表\ref{tab:example_nli}の上段の例では，含意確率は高くなってしまうが，要約として適切な情報が含まれているとは言い難い．一方AppropriatenessEstimatorは，主語と目的語の逆転や否定肯定の反転などを区別することはできないため含意性に関しては含意判定器が高性能に行うことができる．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%table10\begin{table}[t]\input{06table10.tex}\caption{含意確率が低い，あるいは高い本文−要約ペアの例（RedditTitleデータセット）．}\label{tab:example_nli}\end{table}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%また，既存の含意判定器は要約データセット向けに作られたものでは無いため，要約データセットに対しては適切な含意判定ができないという問題も存在する．一般的に含意判定器は同程度の長さの文同士を比較するが，要約の場合は複数の文にまたがる情報を含意することがある．既存の含意判定学習データセットMultiNLIを用いて学習された含意判定器で含意確率が高いと判定された本文−要約のペアは，表\ref{tab:example_nli}の中段の例にあるように，同程度の長さで要約の内容が本文に存在していることが多い．これに対し，下段の例のように複数文にまたがる内容の要約は含意判定器では含意確率が低いと判定される．含意判定器の確率値と本文の単語数（入力長）とのピアソン相関係数は，EnronSubjectデータセットにおいて-0.30，RedditTitleデータセットにおいて$-0.42$であり，いずれも負の相関性を示していた．この相関関係は本文が長すぎる時には，既存の含意判定器が上手く機能しないという仮説を支持している．先行研究\cite{matsumaru-etal-2020-improving}では，含意判定器を要約データセットのフィルタリングに使用したが，この時含意判定器は要約データセット向けに新たにアノテーションされたものを用いてFine-tuningされており，正確に要約データの含意性を判定するためには要約データセットに対する含意関係のアノテーションが必要となる．提案手法であるAppropriatenessEstimatorは，このような要約データセットのアノテーションを必要とせず，含意判定器やその学習データセットが無い言語に対しても有効である．表\ref{tab:result_curriculum_nli}の結果は，含意確率をカリキュラムラーニングに用いた場合の性能が，EnronSubjectデータセット，RedditTitleデータセット両方において，適切性とOne-Passカリキュラムを用いた場合の性能を有意に下回っていることを示している．これは，前述したように含意確率が情報量を考慮できない点と，既存の含意確率モデルが要約データセットに対して必ずしも有効でないことによると考えられる．一方カリキュラムラーニングを用いない場合に比べ性能は向上しており，これまでカリキュラムラーニングに用いられて来なかった含意確率という指標が，要約データセットに対して有効であることを示している．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{どのセグメントで最も高性能となるか？}\label{app:best_epoch}One-Passカリキュラム，およびNoise-Annealingカリキュラムは両方とも少量のデータでFine-tuningを行う．どのセグメントで最も要約モデルの開発データの評価性能がよくなるかを調査することで，どのセグメントが最もFine-tuningに適しているかを明らかにする．表\ref{tab:best_epoch}に開発データセットの評価性能(ROUGE-1-F)が最も高くなるセグメントの番号を記す．モデルにはBARTを使用する．表には5回行った実験の平均値と標準偏差を記してある．セグメント数は10であり，10番目のセグメントが最も出力長が長い，あるいは最も適切性が高いセグメントである．出力長を用いてカリキュラムラーニングを行った際，要約モデルはより早いセグメントで最も開発データセットにおける評価性能が高くなっているが，提案した適切性を用いた時には，より後段のセグメントで最も評価性能が高くなっている．これは出力が長すぎるデータは要約モデルのFine-tuningに適切でないことを示唆している．長過ぎる要約は，情報の取捨選択が適切に行われていないからである．一方，本稿で提案した適切性は，高いものがよりFine-tuningに適した，要約モデルの学習に適したデータになっていると考えられる．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%table11\begin{table}[t]\input{06table11.tex}\hangcaption{開発データセットにおける評価指標(ROUGE-1-F)が最大になるセグメントを表示している.ランダムシードを変えた時の5回の実験の平均値と標準偏差を記してある．セグメントの数は10である.}\label{tab:best_epoch}\end{table}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{結論}
本稿では，これまで要約タスクにおいて取り組まれてこなかったカリキュラムラーニングを要約タスクに適用し，その有効性を検証した．本稿では，実験設定として，3つのカリキュラム(One-Pass，Babystep，Noise-Annealing)とカリキュラムを使わない場合で実験を行った．また，実験対象の要約モデルとして1種類の事前学習モデルBARTと2種類の非事前学習モデルTransformerとSeq2seqWithAttentionを用いた．結果，非事前学習モデルにおいてはNoise-Annealingカリキュラムのみが要約モデルの性能を向上させた．また，事前学習モデルにおいてはOne-PassカリキュラムとNoise-Annealingが性能を向上させた．これらの実験結果から，少量のデータでFine-tuningを行うことが事前学習要約モデルに重要であり，汎化が非事前学習要約モデルにとって重要であることを結論付けた．より効率的にFine-tuning対象のデータを探る手法を考案することが今後の課題である．また本稿では既存の翻訳タスクで取り組まれてきたノイズを指標にしたカリキュラムラーニングを要約タスクに適用することを試みた．その際，要約の学習データには翻訳タスクにあるようなノイズの少ないあるいは多いコーパスが存在しないため，単一のノイズを含む学習データから学習可能なノイズ定量化モデルAppropriatenessEstimatorを提案し，カリキュラムラーニングの実験を行った．実験においては，テストデータが人手で整備されたEnronSubjectデータセットにおいてより効力を発揮することを明らかにした．本稿で提案した疑似負例により学習したモデルをカリキュラムラーニングに応用する手法は，翻訳タスクや対話タスクにも応用可能だと考えられる．また，要約タスクにカリキュラムラーニングを応用する際，適切性と出力長の他に，抽出率や含意判定確率も有効であることを示した．今後の課題はこれらの指標を効果的に組み合わせる手法を開発することである．今回，ノイズの多い要約データセットに対するカリキュラムラーニングの有効性を調査したが，新聞記事などのノイズの比較的少ない要約データセットに対する調査は今後の課題となる．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\acknowledgment東京工業大学奥村・船越研の奥村先生，船越先生，上垣外先生，学生の皆様及び，産業技術総合研究所の高村先生には研究の方針に関して様々なアドバイスを頂きました．ここに感謝の意を表します．本研究は，The16thConferenceoftheEuropeanChapteroftheAssociationforComputationalLinguistics(EACL2021)の発表``QuantifyingAppropriatenessofSummarizationDataforCurriculumLearning''で報告した研究に，適切性の性質についての追加実験の結果や考察を加筆し，修正したものです．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\bibliographystyle{jnlpbbl_1.6}\bibliography{06refs}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\begin{biography}\bioauthor{狩野竜示}{%2013年東京大学大学院情報理工学系研究科修了．同年富士ゼロックス株式会社入社．2019年より東京工業大学工学院博士課程に在籍．現在，富士フイルム株式会社において，自動要約の研究に従事．言語処理学会会員．}\bioauthor{谷口友紀}{%2004年神戸大学大学院自然科学研究科修士課程修了．同年，富士ゼロックス株式会社入社．現在，富士フイルム株式会社において，医療言語処理，情報抽出の研究に従事．言語処理学会会員．}\bioauthor{大熊智子}{%1996年慶應義塾大学政策・メディア研究科修士課程修了．同年，富士ゼロックス株式会社入社．現在，富士フイルム株式会社において，医療言語処理，情報抽出の研究に従事．言語処理学会理事．人工知能学会理事．博士（学術）．}\end{biography}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\biodate\end{document}