\section{はじめに}
近年，全世界のインターネット上の情報量は指数関数的に増加しており\cite{Worldwide}，2010年から2024年まで年平均29\%で成長し，2024年には143ZBに達すると予想されている．また，テキストデータに関しても，2018年の全世界のWebサイト数は16億程度であったのに対して2021年現在においては18億程度\cite{Websites}と，3年で2億程度増えていることからこれからもどんどん増えていくことが予想される．このような状況のなかで，インターネットの情報を取捨選択する必要性は高まっており，自動要約の技術が必須となってくる．しかし，実用段階に至っている自動要約システムの多くが，元の文章から要約文を抽出するだけに終わっている．これは抽出型要約といわれており，問題点として，指示語の指す情報の不明確さ，不必要な接続詞の存在，文同士の不自然なつながりなどがあげられる．しかし，抽出型要約システムによっては，要約をする元の文章だけで学習できる場合があり，必ずしも要約の文章が必要とならないことがある．その場合，抽出型要約は，データ整備のコストはあまりかからない．一方で，抽出型要約に対して生成型要約というものがある．生成型要約の多くは，Encoder-Decoderモデルを基本として作られている．この方法でシステムを作る際，学習には，要約をする元の文章と要約の文章のペアが多く必要となる．さらに，例えば，日本語の論文の要約システムを作るとすれば，日本語の論文とその要約文のデータセットが必要となる．このシステムの学習に，ニュース記事の要約データセットを用いることはできない．なぜなら，文章の体裁が全く違うからである．このように，特定のドメイン・言語で大規模データセットを作るのは困難である．本研究では，様々な長さの文章に対して複数の要約文を生成する要約システムに焦点を当て，学習のためのデータセットに対してデータ拡張の効果を検証した．まず，Encoderで，入力文章を固定長のベクトルに変換し，Decoderでその固定長のベクトルから，一単語ずつ生成していく．生成する際には，一単語ずつ，学習に使った語彙の中から選んで要約を作る．初期のころは，Decoder側で使われる語彙集合から，単語を選んでいたが，のちに，CopyMechanism\cite{Gu_2016}が提案され，Encoder側の単語をコピーして生成する機構が提案された．これによって，特定の文章にしかでてこない単語（固有名詞など）を生成することを可能にした．また，生成された要約文に同じフレーズが繰り返される問題を解決するためにCoverageMechanism\cite{Tu_2016}が提案された．本研究では，データ拡張の検証としてこのCopyMechanismとCoverageMechanismを組み合わせたPointer-Generatorモデル\cite{See_2017}を使用した．学習のためのデータセットとして，日本語では，LivedoorNewsを用いた三行要約がある\cite{Kodaira_2018}が，本研究では，様々な長さの文章に対して複数の要約文を生成する要約システムでのデータ拡張の検証を目指しており，採用しなかった．また，出力長制御を考慮した見出し生成モデルのための大規模コーパス(JNC,JAMUL)\cite{Hitomi_2019}では，見出し生成を目的としており，これも採用しなかった．英語では，CNN/DailyMailDataset\cite{Hermann_2015}や，CornellNewsroom\cite{Grusky_2018}，Gigaword\cite{Napoles_2012}などのデータセットが整備されている．このデータセットは，人手の要約が付いており，様々な長さの要約をする文章があり，複数文要約にもなっている．そこで，本研究では，データセットとしてCNN/DailyMailDatasetを用い，少ないデータでもデータ拡張することで効果的に自動要約システムを作ることができないかということに着目した．既存の自然言語処理におけるデータ拡張手法を以下に示す．1.同義語・類義語で置き換える2.類似度を計算して置き換える3.反意語で置き換える4.文章内の語と語を入れ替える5.ランダムに削除する6.BackTranslationを用いて文章を水増しする本研究においてデータ拡張の比較対象として用いたEDA(EasyDataAugmentationTechniques)\cite{Wei_2019}は，1と4と5に該当する.2の類似度を計算するには，教師なしクラスタリングや単語埋め込み行列などを使う．単語埋め込み行列には，word2vec\cite{Mikolov_2013}，GloVe\cite{Pennington_2014}，fastText\cite{Bojanowski_2017}などがある．6のBackTranslation\cite{Edunov_2018}は，機械翻訳におけるデータ拡張手法である．しかし，いずれの手法も文書分類システムや機械翻訳システムで効果が確かめられているだけであり，自動要約システムでは効果を検証されていない．一方，画像処理分野では，少ないデータでも効果的に画像処理ができるデータ拡張の方法がある．具体的には，以下の9つがある．1.水平・垂直方向に画像をシフトする2.水平方向・垂直方向に画像を反転させる3.回転させる（回転角度はランダムの場合あり）4.明度を変える5.ズームインする・ズームアウトする6.画像の一部をくり抜く，削除する7.背景色を変える8.背景を置き換える9.Mixup・CutMixここで説明するMixupとCutMixでは，カテゴリを表すラベルを1（あり）か0（なし）ではなく，連続量で表す．例えば，犬であるかないか（1か0）ではなく，犬である可能性が高い（例えば，0.8）という風に表す．Mixupは，二枚の画像とラベルを組み合わせて一つのデータに合成する\cite{Zhang_2018}．例えば，犬0.4猫0.6といったラベルの画像は各画素値を犬0.4猫0.6の比率で合成した画像になる．CutMixは，複数の画像の一部を切り取ってつなぎ合わせて1枚の入力画像にするデータ拡張である\cite{Yun_2019}．ラベルの表し方は，合成した画像中のそれぞれのラベルの付いた画像の面積比となる．例えば，犬と猫の面積比が1:3であるならば，犬0.25猫0.75というラベルとなる．MixupやCutMix以外の手法では，元画像だけでデータ拡張が行える．我々は，これらの手法の内，背景を置き換えるという拡張手法に着目し，データ拡張手法を提案する.具体的には，要約する文章において，不要文を取り除き，文章の大意を損なわない拡張文章を作ることでデータ拡張を行う．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{関連研究}
自動要約システムに関連する研究は，大別して抽出型要約と生成型要約の二つの種類がある．以下の三つの節でそれぞれの要約とデータ拡張の関連研究について説明する．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{抽出型要約}一つ目は，抽出型要約である．これは，要約元の文章から重要な部分を抽出して行う要約で，文単位のものから，フレーズ，単語単位まである．複数文書要約においては，同じような内容の部分を抽出しないように，冗長性を考慮した要約にする必要がある．抽出型要約でよく使われる手法としては，GraphBase手法とFeatureBase手法，TopicBase手法などがある．GraphBase手法でよく用いられるアルゴリズムとしてTextRank\cite{Mihalcea_2004}が挙げられる．これは，Google検索で用いられているPageRank手法\cite{Page_1998}をもとに，自然言語に適用したものである．PageRankでは，あるページが人気の高いページから多くリンクされていればいるほどそのページは重要度が高いとしている．TextRankは相互に関連度の高い語句は重要度が高いという仮定に基づき語句を選択する手法である．このTextRankの派生にLexRank\cite{Erkan_2004}がある．本研究において提案手法に対する比較手法としてLexRankを用いたデータ拡張を行う．以降，この比較手法をDA-LexRankと呼ぶ（このDAはDataAugmentationからとった）．FeatureBase手法は，文の特徴を定義して，その特徴による重みづけを行うことで文選択を行うものである．本研究では，単語の位置と頻度の情報を元に文の重要度を測る手法\cite{Luhn_1958}を用いてデータ拡張を行い提案手法に対する比較手法とする．以降，この比較手法をDA-Luhnと呼ぶ．TopicBase手法は，トピックモデル\cite{Blei_2003}を用いて，各文においてトピックの出現確率が高いものから文を選択するという手法である．文におけるトピック分布は，文においてTF-IDF値を求め，それから，トピック分布の事前分布であるディリクレ分布を推定することで得られる．本研究では，重松らの研究\cite{Shigematsu_2012}をもとにトピックモデルを用いて文の重要度を決めた．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{生成型要約}二つ目は，生成型要約である．これは，要約元の文章と要約の対応関係を学習させ，未知の文章が入力されたときに，要約を生成するというものである．ここで，生成するというのは，入力文章から文，フレーズ，単語を抽出するのではなく，一から要約を生成するというものである．生成の仕方は，生成確率の高い単語をひとつずつ選んでいき，文章の終わりを示すトークンが選ばれたときに，生成を終了するというものである．抽出型要約に比べて自然な文が生成される可能性が高いが，二つの課題がある．一つ目の課題は，要約元の文章と要約のペアになったデータ作成の困難さである．要約元の文章だけなら用意できるが，要約は，人による介入が必要となりコストがかかってしまう．人によっても要約の仕方は変わり，また，どれくらいの長さにするかも変わってくる．そのため，厳密にデータを作ろうとすると，要約の基準を定めなければならない．また，機械翻訳では，翻訳元の文数と翻訳先の文数は等しくなるが，自動要約では，要約の文数に対して，要約元の文数はその数倍の量になることが多い．したがって，できるかぎり少ないデータで効率よく自動要約システムを作ることが求められる．二つ目の課題は，自動要約タスクの定義の曖昧性である．機械翻訳においては，入力された文の内容を過不足なく翻訳することがタスクの定義の正解として設定できるが，自動要約に関しては，どの程度要約するのがタスクの定義の正解なのかはタスクの目的による．実用段階となると，そのタスクで求められている程度の要約ができればいいということになる．このように，タスクによって求められる正解が変わってくるという意味で，データ作成の困難さがある．その難しさから，生成型要約の研究が始まった当初は，ニュース記事の1文目を入力してタイトルを生成するというタスクに限定して研究が行われた．このタスクは通称見出し生成タスクと呼ばれる．また，Encoder-Decoderモデルを初めて導入した論文にABS(AttentionBasedSummarization)がある\cite{Rush_2015}．これを皮切りに，深層学習を用いた自動要約システムの研究が盛んになった．そして，2017年には，CNN/DailyMailDatasetを用いたPointer-Generatorモデル(See,Liu,andManning2017)が開発された．今までは，Encoder-DecoderモデルにAttentionモデルを加えたものが主流であったが，記事特有の固有名詞などがうまく生成できないという問題があった．そこで，Encoder側の単語をコピーするか，Decoder側の語彙から選ぶかを確率で決めるというCopyMechanismが開発された\cite{Gu_2016}．しかし，このメカニズムで生成された要約は，同じフレーズを繰り返してしまうという問題があった．これを解決するために，以前選ばれた単語を選ばれにくくするCoverageMechanism\cite{Tu_2016}というものが開発された．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{既存のデータ拡張手法}自然言語処理におけるデータ拡張に関する研究はいくつかある．多くは，文書分類に適用したもので，そのうちの一つがEDA\cite{Wei_2019}である．また，機械翻訳におけるデータ拡張手法として，BackTranslation\cite{Edunov_2018}がある．BackTranslationとは，まず，入力ソースと出力ソースのデータから，翻訳モデルと逆翻訳モデルを作る．次に，入力ソースが存在しない出力ソースから，逆翻訳モデルで，入力ソース（疑似データ）を作るというものである．したがって，本来のデータに加えて，逆翻訳した入力ソースと出力ソースができ，データ拡張を行うものである．Edunovらの研究\cite{Edunov_2018}によって機械翻訳のベンチマークを大幅に更新したことが確認された．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{データ拡張}
この章では，本研究において用いたデータ拡張について説明する．3.1節では，本研究で提案した手法を，3.2節では，それに対して比較する対象の手法を説明する．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{提案手法}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsubsection{トピックモデル}潜在的意味解析は文書のもつ話題や分野など「潜在的な意味カテゴリ」を解析する手法\cite{Blei_2003}である．この「潜在的な意味カテゴリ」を潜在的なトピック，または単にトピックと呼び，文書内の複数の単語の共起性によって創発されると考える．トピックモデルは，文書に隠れた潜在的なトピックを推定するモデルである．特にLDA(LatentDirichletAllocation)は，一つの文書に複数の潜在的なトピックが存在すると仮定し，そのトピック分布をディリクレ分布としてモデル化する．単語などを表層的と表現するならば，トピックは，単語と違って表面には現れないので潜在的と表現できる．潜在的なトピック分布にディリクレ分布を仮定することから，潜在的ディリクレ配分法と呼ばれる．例えば，「貴景勝実戦稽古再開カド番で臨む７月場所自分の攻めを意識」という文があったとする．人はこの文を見て相撲に関する文書であることを理解できる．文書中に相撲という言葉は出てこないにもかかわらずである．よって，単語は単に存在しているのではなく，潜在的なトピックから生成され，それぞれの文書はその文書がもつ複数のトピックに応じて出現しやすい単語集合で構成されていると考える．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsubsection{文の重要度の決め方}トピックモデルを用いた文の重要度の決め方は，重松らの研究\cite{Shigematsu_2012}を参考にした．今回用いたトピックモデルには，LDA手法を用いた．また，本研究で用いたモジュールはgensimのバージョン3.7.3を利用した．トピックモデルは，一つの文書が複数のトピックからなることを仮定した言語モデルの一つである．また，それぞれのトピックは出現単語分布を持つ．文$s$の重要度$i_s$の決め方は次のようになる．1.文を構成している単語$w$のトピック$t$における出現確率$p(w|t)$と文$s$におけるトピックtの出現確率$q(t|s)$の積を算出2.文を構成している全ての単語$W$で総和3.文長の平方根$\sqrt{|s|}$で割る4.全てのトピック$T$において総和する式で表すと以下の通りとなる．\begin{equation}i_s=\sum_{t\inT}\sum_{w\inW}{\frac{p(w|t)q(t|s)}{\sqrt{|s|}}}\end{equation}この手法は，文を構成している主要なトピックにおいて出現確率の高い単語が多く含まれているときにスコアが高くなる．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsubsection{処理の手順}我々は，画像処理におけるデータ拡張の考え方をもとに，文章から不要文を削除するデータ拡張の方法を用いてデータ拡張の効果を検証した．画像処理におけるデータ拡張の一種である「背景の差し替え」における背景を，自動要約システムにおける入力文章の不要な部分に置き換え，入力文章から不要な部分を取り除いたものを新たな入力文章とした．入力文章から不要文を取り除くことは，画像処理における背景の除去（無背景に置き換えること）に対応する．他の背景に置き換える，つまり不要文を他の文に置き換えることは，今後の課題として検討するべきである．また，この方法で生成される拡張データは，不要文を除くだけなので意味的に破綻した文章が生み出される可能性は少ないといえる．本研究の提案手法は，具体的に，以下の手順をとる．\begin{itemize}\item[1.]英語のWikipediaのデータからトピックモデルを作る．Wikipediaのデータを選んだ理由は多くの項目を解説しており，内容に偏りが少ないためである．今回の実験では，トピック数を100と設定し，20文書以上かつ全記事（287,226記事）の1割以下の文書で使われた語に限定した．トピック数を決める際にChangらの研究\cite{Chang_2009}を参考にした．この研究では，Wikipediaにおいてトピック数を50，100，150とおきLDA手法を含む三つの手法で実験している．LDA手法においてはトピック数が150のときが最もパフォーマンスが高かった．しかし，150で実験すると各文が持つトピックの重なりが少なくなり，各文の重要度がうまく計算できないと思われたため本研究ではトピック数を100に減らした．\item[2.]1.で作成したトピックモデルを用いて，各文章Sにおける各文sの重要度$i_s$をスコアとして算出する\item[3.]重要度$i_s$の最も低い文を取り除き，拡張データEとする\end{itemize}アルゴリズムを図示すると，図1のようになる．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%fig.1\begin{figure}[t]\input{02fig01.tex}\caption{提案手法の疑似コード}\end{figure}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{比較手法}本研究では，提案手法の比較対象として，EDA\cite{Wei_2019}と，FeatureBase手法である，単語の位置と頻度の情報を元に文の重要度を測る手法\cite{Luhn_1958}を用いたデータ拡張手法(DA-Luhn)と，GraphBase手法であるLexRankを用いたデータ拡張手法(DA-LexRank)を用いた．以下では，EDAと，DA-Luhn，DA-LexRankについて説明する．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsubsection{EDA}EDAは極性分類やレビュー推定などの文書分類におけるタスクにおいて，データ拡張を行った方法である．中間ベクトルにノイズを加えるなどのデータ拡張ではなく，記事自体を変えるデータ拡張として，EDAを比較手法として選んだ．拡張手法の概要は以下となる．\begin{itemize}\item[(1)]SynonymReplacement(SR)\\ある単語を同義語に置き換える\item[(2)]RandomInsertion(RI)\\ある単語の同義語を記事のランダムな位置に挿入する\item[(3)]RandomSwap(RS)\\ランダムな二つの単語を入れ替える\item[(4)]RandomDeletion(RD)\\ランダムな単語を削除する\end{itemize}EDAでは，上記の四つの手法を行う頻度を記事に使われている延べの単語数にハイパーパラメータ$\alpha$を掛けて求めている．この研究では，訓練記事数が5,000以上だと$\alpha$の値は0.1に設定しているので本研究でもそれに倣った．また，EDAの論文\cite{Wei_2019}によると，一つの記事に対する拡張する記事の数を4にしたときが最も良い結果が出たということで，本研究でもそれに倣った．EDAをPointer-Generatorモデル\cite{See_2017}に適用して，提案手法との比較検討を行った．本研究では，EDAの各手法(SR,RI,RS,RD)と，文章ごとに各手法をランダムに選択した手法（以降，この手法をEDAと呼ぶ）を比較手法とした．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsubsection{DA-Luhn}単語の位置と頻度の情報を元に文の重要度を測る手法\cite{Luhn_1958}では，まず，対象とする文章のうち，ストップワードでない頻出単語のトップ100単語を重要単語とし，重要単語の文章中の位置を調べる．次に，重要単語同士の距離が4以下のものを一つのクラスタとしてクラスタリングする．そして，クラスタ内の重要単語数の二乗の値を，クラスタの最初の単語と最後の単語の距離で割った値を，そのクラスタのスコアとする．最終的に各クラスタのスコアの最大値がその文のスコアになる．そのスコアを用いて，不要文（最小スコアの文）を除去するデータ拡張手法がDA-Luhnとなる．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsubsection{DA-LexRank}LexRankは，多くの文と類似する文や重要な文と類似する文は重要な文と考え，文章同士のTF-IDFベクトルのコサイン類似度から遷移確率行列を求め，遷移確率行列に滞在確率ベクトルをかけたものが滞在確率ベクトルになるような滞在確率ベクトルを求める．このときの滞在確率ベクトルが文の重要度となる．そして，文の重要度を用いて，不要文（最小スコアの文）を除去するデータ拡張手法がDA-LexRankとなる．今回の実験では，コサイン類似度が0.1以上のものは全て1とし，更新前の滞在確率ベクトルと更新後の滞在確率ベクトルの差のノルムが0.1以下になったときを収束条件とした．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{Pointer-Generatorモデル}
この章では，本研究において使用した自動要約システムであるPointer-Generatorモデル\cite{See_2017}について説明する．そのために必要な知識として，Encoder-Decoderモデル，Attentionモデルについても説明する．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{Encoder-Decoder+Attentionモデル}図2がLSTMEncoder-Decoder+Attentionモデルの概要図になる．LSTM(LongShortTermMemory)は\cite{Hochreiter_1997}を参照されたい．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%fig.2\begin{figure}[b]\begin{center}\includegraphics{28-2ia2f2.pdf}\end{center}\caption{LSTMEncoder-Decoder+Attentionモデルの概要図}\end{figure}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%${\mbox{\boldmath$x$}}(\tau)$は$\tau$番目の単語を指す．Encoderは，$T$個の単語から成り立っており，Decoder側でt番目の単語の隠れベクトル${\mbox{\boldmath$h_{dec}$}}(t)$を算出する場合を表している．${\mbox{\boldmath$h_{dec}$}}(t)$の算出の仕方は，以下の式による．\begin{equation}{\mbox{\boldmath$h_{dec}$}}(t)=f({\mbox{\boldmath$h_{dec}$}}(t-1),{\mbox{\boldmath$y$}}(t-1),{\mbox{\boldmath$c$}}(t))\end{equation}${\mbox{\boldmath$c$}}(t)$は以下の式によって求められる．\begin{equation}{\mbox{\boldmath$c$}}(t)=\sum_{\tau=1}^T{\mbox{\boldmath$\alpha$}}_\tau(t){\mbox{\boldmath$h_{dec}$}}(\tau)\end{equation}つまり，この${\mbox{\boldmath$\alpha$}}_{\tau}(t)$が，Encoder側のそれぞれの単語をどれくらいデコーダー側に伝えるかの割合を表している．\begin{equation}{\mbox{$w$}}_\tau(t)=f({\mbox{\boldmath$h_{dec}$}}(t-1),{\mbox{\boldmath$h_{enc}$}}(\tau))\end{equation}なる${\mbox{$w$}}_\tau(t)$を用いて，\begin{equation}{\mbox{$\alpha$}}_{\tau}(t)=\frac{exp({\mbox{$w$}}_\tau(t))}{\sum_{\rho=1}^Texp({\mbox{$w$}}_\rho(t))}=softmax({\mbox{$w$}}_\tau(t))\end{equation}と表される．この${\mbox{$w$}}_\tau(t)$が最適化されるべきパラメータである．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{Pointer-Generatorモデル}Pointer-Generatorモデルについて説明する．Pointer-GeneratorモデルはEncoder-Decoder+Attentionモデルに，CopyMechanismとCoverageMechanismを追加したモデルである．概要図は図3の通りとなる．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%fig.3\begin{figure}[b]\begin{center}\includegraphics{28-2ia2f3.pdf}\end{center}\caption{Pointer-Generatorモデルの概略図\protect\cite{See_2017}}\end{figure}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%このモデルは以下の手順で処理を行う．\begin{itemize}\item[1.]入力テキスト(SourceText)を，双方向LSTMでエンコードする．可変長の長さのデータを固定長のベクトルになおす．（赤色箇所）\item[2.]EncorderLSTMでAttentionMechanism（青色箇所）を用いて，単語生成確率（黒色箇所）を求める．\item[3.]デコード部分(PartialSummary)における単語の生成確率分布(VocabularyDistribution)に，エンコード部分におけるAttentionの値(AttentionDistribution)を加算する(CopyMechanism)(FinalDistribution)．CopyMechanismによって，モデルの出力語彙には含まれない単語を生成することが可能となる．\item[4.]FinalDistributionから最終的に生成する単語を選択\item[5.]2.〜4.を繰り返して，逐次的に単語を生成．文章の終わりを表すトークンが選ばれたら，そこで，デコード（要約）は終了する\end{itemize}CoverageMechanismを使うときは，2.の時点において以下の処理を行う．\begin{itemize}\item[]以前Attentionの値が大きかったところは，Attention値を減衰させる．これには，現在注目しているEncoderの単語以前のAttentionを総和したCoverageVectorを導入する．また，それをAttentionDistribution（Encoderに入力された全語彙のAttention分布）の式に加える．そして，最終的な損失に，現在のAttentionかCoverageVectorの低い方を加える．そうすることで，Attentionの方が低いときは，現在の単語のAttentionが減衰するように学習され，CoverageVectorの方が低いときは，現在の単語が重要ということなので，それまでのAttentionが減衰するように学習する．\end{itemize}この処理を行うことで，できるだけ入力文章全体の情報を用いて要約を生成するようにする．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{実験条件}
この章では，本研究における実験条件について述べる．5.1節では，パラメータ設定と，デコードする（要約を生成する）ときに使うビームサーチについて説明する．5.2節ではEarlyStoppingについて説明する．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{パラメータ設定}本研究では，データセットにCNN/DailyMailDataset(DeepMindQ\&ADataset)を用いた．このデータセットは，訓練データが287,226記事，検証データが13,368記事，テストデータが11,490記事存在する．データ拡張の効果を見るために，287,226記事の他に，約1/5の記事数である57,000記事と，約1/10の記事数である28,000記事で実験を行った．隠れ層のベクトルサイズは256に設定し，埋め込みベクトルサイズは128に設定した．ドロップアウトは使っていない．バッチサイズは8に設定した．Pointer-Generatorモデル(See,Liu,andManning2017)（以降この論文を原論文と呼ぶ）では，バッチサイズが16となっているため，同じ記事数学習するためには，二倍の学習回数が必要となる．要約を生成する部分には，ビームサーチを使用した．貪欲法では，単語を生成するときに，最も生成確率の高い単語をひとつ選ぶのに対し，ビームサーチでは，上位K個までの生成単語を保持しながら処理を進めていく．そして最終的にできた複数の要約に対して，それぞれの単語の生成確率を掛け，最も高いものを最終的な生成要約とした．今回の実験では，Kの値は4に設定している．語彙数は50,000に，学習率は0.15に設定した．原論文では，エンコードする際に，入力記事の最初から400単語のみを用いて，学習していたが，提案手法の場合，取り除かれる不要文が最初から400単語以内にない場合，文を取り除いた効果が無くなってしまうので，入力記事全ての単語を用いて学習した．具体的には，入力単語数に，入力記事の中の最大単語数である2,380を用いた．また，最適化アルゴリズムはAdaGradを用いた．これらのパラメータを表1に示した．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%table1\begin{table}[t]\input{02table01.tex}\caption{パラメータ設定}\end{table}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{EarlyStopping}EarlyStoppingというのは，通常，各エポックの検証誤差（学習したモデルを使って，学習データ以外の検証データを入力して得られた要約と参照要約との生成確率の誤差）をモニタリングし，ある一定のエポック数が進んでも，検証誤差が下がらなかったところで学習を終了するというものである．Ouchiらの研究\cite{Ouchi_2019}では90,000記事，45,000記事，において提案手法と拡張なし手法の比較を行っているが，異なる記事数における学習回数の決定法について考察をしていなかった．具体的には，90,000記事，45,000記事が全記事に対して約1/3，1/6の記事数になるということから，学習回数も287,226記事のときの1/3，1/6回にしていた．それに対し本研究では，モデルや訓練記事数に応じた学習回数を決定する方法としてEarlyStoppingを採用した．訓練データ数287,226記事，57,000記事，28,000記事それぞれで，各手法において検証誤差をモニタリングし，どれだけのエポック数をモニタリングすればよいかを決定した．モニタリングするエポック数については，最小の検証誤差を出したエポック数の2倍までモニタリングする（例えば，5エポックで検証誤差が最小なら10エポックまでモニタリングしてそれでも最小値が更新されなければ，5エポックのモデルを採用する）．デコード（要約）に使うモデルは，誤差が最小となったときのモデルを使うことにする．我々は，CoverageMechanismにおいては，CoverageLossを用いて，各ステップにおいてモニタリングした．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{実験}
6.1節では，評価に用いた尺度を，6.2節，6.3節では拡張なし手法，提案手法，SR，RI，RS，RDについて，EarlyStoppingの条件を変えた比較実験を述べ，6.4節，6.5節では6.3節の実験2に対して，記事数を変えて比較実験をした結果を載せた．6.6節では，さらに比較対象として，DA-Luhn，DA-LexRank，EDAを加えて実験をした結果を載せた．6.7節では，生成した要約例を載せた．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{評価尺度}本研究では，評価尺度にROUGEを用いた\cite{Lin_2004}．ROUGEは，参照要約と生成要約の単語の一致率を見るものである．本研究における参照要約は，CNN/DailyMailDataset(DeepMindQ\&ADataset)において人が作った要約である．本研究では，ROUGE-1，ROUGE-2，ROUGE-Lを用いた．ROUGE-1，ROUGE-2は，それぞれユニグラム，バイグラムの一致率，ROUGE-Lは，最長共通部分列の文長に対する割合で測る．参照要約をABCDとし，生成要約をABCXYとすると，例えば，ROUGE-1の再現率は，3/5で，適合率は，3/4である．ROUGE-2では，要約をバイグラムに直さなければならないので，参照要約は，(AB)，(BC)，(CD)，生成要約は，(AB)，(BC)，(CX)，(XY)となるので，再現率は，2/4で，適合率は，2/3となる．また，それぞれのROUGEの測り方として，再現率と適合率とF値を用いる．再現率は，参照要約がどれだけ生成要約に含まれているか，つまり，参照要約の単語をどれだけ生成できたかをみるもので，適合率は，生成要約がどれだけ参照要約に含まれているかを考えるものである．F値は再現率と適合率を両方考慮したもので，式(6)で表される．\begin{equation}F値=\frac{2\timesRecall\timesPrecision}{Recall+Precision}\end{equation}ただし，$Recall$は再現率，$Precision$は適合率を表す．$Recall$，$Precision$の計算式はそれぞれ式(7)，式(8)となる．\begin{gather}Recall=\frac{参照要約と生成要約の一致単語数もしくは一致単語長}{生成要約の単語数}\\[1ex]Precision=\frac{参照要約と生成要約の一致単語数もしくは一致単語長}{参照要約の単語数}\end{gather}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{原論文とCoverageMechanismの条件を揃えた比較実験（実験1）}本実験では，学習記事数を最大記事数である287,226記事にして実験を行った．CopyMechanismに関しては，EarlyStoppingで，検証誤差が最小となるようなエポックを見つけた．CoverageMechanismについては，原論文に倣って，6,000回とした．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsubsection{結果}表2に結果を示す．原論文とCoverageMechanismの条件を揃えた条件では，提案手法が最も良くなり，EDAのRD(RandomDeletion)手法が最も悪い結果となった．続いて，RI(RandomInsertion)，SR(SynonymReplacement)，拡張なし手法，RS(RandomSwap)，そして提案手法の順番に良くなっていった．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%table2\begin{table}[t]\input{02table02.tex}\caption{学習記事数287,226のF値(CopyMechanism:EarlyStopping,CoverageMechanism:6,000)}\end{table}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsubsection{考察}CoverageMechanismは6,000回と固定したが，あくまで拡張なし手法において最適な回数である可能性もあるので，実験2では，CoverageMechanismに関して，EarlyStoppingを用いることで，手法に限らず，自動的に決定する手法をとった．実験1の条件下では，提案手法が最も良い結果となり，拡張なし手法に比べて，スコアが0.055良くなっている．本実験の拡張なし手法と原論文との違いは大きく二つある．まず入力単語数を原論文では400単語と限定していたのに対し，本研究では限定をなくした．二つ目は，EarlyStoppingを用いたところである．これは，他の記事数で実験したり，他の手法で比べる際に学習回数をヒューリスティックに決めるのを避けるために必要なことであった．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{学習回数を全てEarlyStoppingで決定した比較実験（実験2）}本実験では，実験1と同じく学習記事数を最大記事数である287,226記事にして実験を行った．CopyMechanismに関しては，EarlyStoppingで行い，CoverageMechanismについてもEarlyStoppingで行った．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsubsection{結果}表3に結果を示す．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%table3\begin{table}[t]\input{02table03.tex}\hangcaption{学習記事数287,226のF値(CopyMechanism:EarlyStopping,CoverageMechanism:EarlyStopping)}\end{table}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%提案手法が最も良い結果となり，EDAのRS(RandomSwap)が最も悪い結果となり，続いて，RD(RandomDeletion)，SR(SynonymReplacement)，RI(RandomInsertion)，拡張なし手法，そして提案手法の順に良くなっていった．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsubsection{考察}本実験ではCoverageMechanismにおいてもCopymechanismと同様にEarlyStoppingを用いた．結果からみると，提案手法が最も良い結果となった．提案手法は拡張なし手法に比べて，スコアが0.016程度良くなっている．実験1と実験2を比べてみると，拡張なし手法は若干であるが良くなっている．提案手法をみると，少し悪くなっている．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{57,000記事におけるデータ拡張効果の検証実験（実験3）}本実験では，学習記事数を最大の約1/5の57,000記事にして，実験2と同様，CopyMechanism，CoverageMechanismの両方でEarlyStoppingを用いた．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsubsection{結果}表4に結果を示す．提案手法が最も良い結果となりRS(RandomSwap)が最も悪い結果となった．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%table4\begin{table}[b]\input{02table04.tex}\hangcaption{学習記事数57,000のF値(CopyMechanism:EarlyStopping,CoverageMechanism:EarlyStopping)}\end{table}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsubsection{考察}RS(RandomSwap)，拡張なし手法，RD(RandomDeletion)，RI(RandomInsertion)，SR(SynonymReplacement)，そして提案手法の順番に値が良くなっている．提案手法は拡張なし手法に比べて，スコアが0.0251良くなっている．RI(RandomInsertion)とSR(SynonymReplacement)は拡張なし手法よりも良くなった．このことから，提案手法に関して287,226記事のときよりもデータ拡張の効果が大きくなったということが言える．また，EDAのうちRS以外は全て拡張なし手法よりも良い結果となった．少ない記事の方がデータ拡張の効果が出ることは，EDAの論文(WeiandZou2019)でも報告されている．これは，多くの記事を学習した方が偏りが少なくなり，データ拡張の効果が出にくいことによると思われる．今回の例だと，57,000記事は学習の偏りが多くなり，データ拡張によってデータの複雑性を増すことにより汎化性能が高まったものと思われる．さらに，本実験で言うと，提案手法がEDAの各手法よりも汎化性能を上げるのに有用であったと言える．拡張なし手法に比べて提案手法の方が拡張した分，データは増えているが，学習データを増やせることがデータ拡張手法のメリットであり，学習回数が増える可能性についてはEarlyStoppingで自動化されているのでデータ拡張手法の効果を検証する上で問題ではないと考える．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{28,000記事におけるデータ拡張効果の検証実験（実験4）}本実験では，学習記事数を最大記事数の約1/10である28,000記事にして，実験を行った．CopyMechanism，CoverageMechanismの学習回数の決め方は実験2と同じとした．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsubsection{結果}表5に結果を示す．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%table5\begin{table}[b]\input{02table05.tex}\hangcaption{学習記事数28,000のF値(CopyMechanism:EarlyStopping,CoverageMechanism:EarlyStopping)}\end{table}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%本実験でも提案手法が最もよい結果となり，SR(SynonymReplacement)で最も悪い結果となった．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsubsection{考察}RS(RandomSwap)，拡張なし手法，RI(RandomInsertion)，RD(RandomDeletion)，提案手法，SR(SynonymReplacement)の順番に良くなった．提案手法は，拡張なし手法に比べて，スコアが0.0115良くなった．EDAの手法は，拡張なし手法よりも良くなることもあれば，悪くなることもあった．しかし，提案手法は常に拡張なし手法よりも良い結果を出していた．今回の実験では，SR手法が最も良い結果となっている．実験2から実験4までをみると，どれもRS手法が一番悪い結果となっている．一方で，実験1に関しては，提案手法を除いて最も良い結果となっている．RS手法は，ランダムに二つの単語を入れ替えてデータ拡張する手法で，EDAの他の3手法より最も意味的に破綻した文章を作ってしまう可能性がある．そのため，実験2から実験4ではRS手法が最も悪い結果になったものと思われる．実験1に関しては，CoverageMechanismの学習回数を6,000回として固定して学習しており，他の実験よりも多い回数になっている．そのため，他の実験に比べ全体の文脈をより考慮した形となり，多少文が破綻しても影響が少なかったのではないかと思われる．逆に，SR手法は，全体的にEDA手法の中で最も良い結果を出している．その理由として，SR手法は，同義語に入れ替えるものなので，意味的に最も影響の少ない手法となっているためであると考えられる．残りのRI手法とRD手法は，前者の二つの手法の中間に位置する．RI手法は，ある単語の同義語をランダムな位置に挿入する方法で，RD手法は，ランダムな単語を削除する方法で，いずれも同じ単語数だけ文章全体に影響を与えるという意味で同程度の効果が表れたものと思われる．提案手法よりもEDA手法全体が悪くなった原因としては，EDAの場合は，特に意味のない単語を挿入したりや単語が入れ替わってしまい意味が取れなくなったり，重要な単語が消されてしまう可能性があることにより汎化性能を上げる効果よりも正しく学習できなかった影響のほうが大きかったと思われる．その点で，提案手法は，不要文を削除するだけなので文章全体の意味が取れなくなることもなく，さらに重要なところが削除されることもないのでデータ拡張による悪い影響は少なく効果がEDAより表れていたものと考えられる．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{提案手法，DA-Luhn，DA-LexRank，EDAの比較実験（実験5）}本実験では，記事数287,226，CopyMechanism，CoverageMechanismの学習回数の決め方は実験2と同じとした．そして，本実験ではさらに，DA-Luhn，DA-LexRank，EDAの方法でデータ拡張して学習させた結果も載せた．また，DA-Luhn，DA-LexRank手法と提案手法における不要文抽出の評価実験も行った．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%table6\begin{table}[b]\input{02table06.tex}\hangcaption{学習記事数287,226のF値(CopyMechanism:EarlyStopping,CoverageMechanism:EarlyStopping).全手法で比較．}\end{table}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%table7\begin{table}[b]\input{02table07.tex}\caption{各手法とROUGEを用いた手法で一致した文の数}\end{table}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsubsection{結果}表6,7に結果を示す．新たに加えた三手法(DA-Luhn,DA-LexRank,EDA)のどの手法も拡張なし手法，提案手法，EDAの各手法(SR,RI,RS,RD)に及ばなかった．表8においては，ROUGEを用いて，要約と最もROUGE-1のF値の高かった文を最重要文とし，要約とのROUGE-1のF値の最も低かった文もしくは，ROUGE-1のF値が0になった文集合を不要文または不要文群とした．そして，提案手法に用いたトピックモデルとDA-LexRankで用いたLexRankとDA-Luhnで用いたLuhnを使って最重要文と不要文を抽出し，一致した文の数を調べた．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsubsection{考察}DA-Luhnが最も悪い結果となり，続いて，DA-LexRank，EDA,RS(RandomSwap)，RD(RandomDeletion)，SR(SynonymReplacement)，RI(RandomInsertion)，拡張なし手法，そして提案手法の順に良くなっていった．この結果から，データ拡張をするために行う文の重要度決めに用いるのは，DA-LuhnやDA-LexRankよりもトピックモデルを用いた提案手法の方が効果があることを確認した．実際，表8を見てもわかるとおり，提案手法を用いた場合の方が，不要文，最重要文とも一致度は高い．ROUGEを使って不要文削除を行えばいいのではないかということも考えられるが，ROUGEはあくまで単語の一致率を見ているので単語がひとつも一致しない文はスコアが0になる．したがって，スコアが0の文同士の重要度の差は生まれない．本研究では，不要文として一文を削除することにしているが，ROUGEだとスコアがどちらも0で差が生まれない場合に一文を選ぶことができないため本研究では扱わなかった．また，EDAは，組み合わせて使うよりもそれぞれの手法を用いた方がデータ拡張の効果が表れやすいことが確認できた．DA-Luhnがトピックモデルを用いたときよりも拡張の効果が表れなかった原因として，DA-Luhnでは，単語の位置と頻度だけを考慮しており，一方で，トピックモデルはTF-IDF行列からトピック分布の事前分布であるディリクレ分布を推定するため，各文章のトピック分布を評価することができる点にあると思われる．次にDA-LexRankがトピックモデルを用いたときよりも拡張の効果が表れなかった原因として考えられるのは，トピックモデルでは，TF-IDF行列から推定したトピックを用いているので，carとautomobileといった同じ意味でも異なる単語を捉えられる．そのようなトピックの観点がDA-LexRankにはなかったことが文の重要度を決めるときに影響を及ぼし，トピックモデルより悪い結果になったものと思われる．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%fig.4\begin{figure}[t]\input{02fig04.tex}\caption{ROUGE-1のF値が最大になる場合（要約のみ）}\end{figure}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%fig.5\begin{figure}[t]\input{02fig05.tex}\caption{ROUGE-1のF値が最小になる場合（要約のみ）}\vspace{-0.5\Cvs}\end{figure}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{生成した要約例}本文と生成した要約例を付録に載せる．要約例は，拡張なし手法で生成した要約と提案手法で生成した要約とを比較するため，参照要約とのROUGE-1のF値をもとに，実験1において提案手法で生成した要約と参照要約とのROUGE-1のF値が最大になる場合（付録1），最小になる場合（付録2），中央値になる場合（付録3）の三つの場合の要約元文，参照要約，拡張なし手法での要約，提案手法での要約を示した．また，図4〜6は，そのうち要約例だけ示す．ROUGE-1のF値が最大になる場合（図4）は，参照要約が4文あるが，拡張なし手法モデルはそのうち最初の2文だけ正解している．提案手法は4文とも正解している．ROUGE-1のF値が最小になる場合（図5）は，どちらの手法も正解には程遠いが，``jamalbryant''というこの文章にしか出てこない固有名詞に対して，うまく生成できているのがわかる．提案手法の方は，文が繰り返されており，CoverageMechanismがうまく働いていないことがわかる．ROUGE-1のF値が中央値をとる場合（図6）は，どちらの手法も最初の一文だけうまく生成できているのがわかる．総合すると，若干ではあるが提案手法の方が全体として良い要約になっているものと思われる．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%fig.6\begin{figure}[t]\input{02fig06.tex}\caption{ROUGE-1のF値が中央値をとる場合（要約のみ）}\end{figure}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{おわりに}
本研究では，自然言語処理におけるデータ拡張の手法を提案し，自動要約システムPointer-Generatorモデル\cite{See_2017}の場合で，データ拡張の効果があることを示した．また，比較実験により，自動要約システムにおいて汎化性能を出すためには，EDAの各手法およびそれらを組み合わせた手法よりも提案手法の方が効果があることが確認できた．さらに，本研究では，重要度の低い文を取り出す方法として，抽出型要約の3手法（トピックモデル，DA-Luhn，DA-LexRank）で比較実験したが，実験5の結果からトピックモデルの場合が最も不要文抽出の一致度は高かった．したがって，データ拡張の効果もトピックモデルの場合が最も良かった．より少ない学習記事においてデータ拡張の効果が大きく現れるのではないかと考えていたが，実験結果からは，57,000記事のときに一番効果が表れていた．しかし，少なすぎるとデータ拡張の効果が少なくなることがわかった．今回は，一番重要度の低い文を取り除いた文章を拡張記事データとして水増しすることでデータ拡張を行った．しかし，元の文章の長短に関わらず，一文しか取り除いていないので，今後の課題として，文章の長さに応じて取り除く文の数を変えるといった拡張が考えられる．また，重要度の低い文を取り除くのではなく，重要度の高い文を残すというやり方も考えられる．最近の研究では，BERTを使った自動要約システムも考えられている\cite{Liu_2019}．このように，Pointer-Generatorモデルだけでなく最先端のモデルにも提案手法が有効であるか試していく必要性がある．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\bibliographystyle{jnlpbbl_1.6}\bibliography{02refs}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\vspace{1.3\Cvs}\noindent{\large\bf付録1}\noindentROUGE-1のF値が最大になる場合\vspace{-0.5\Cvs}%%%%\fbox{\parbox{14cm}{\noindent\begin{picture}(420,0)\put(0,0){\line(1,0){420}}\put(0,0){\line(0,-1){170}}\put(420,0){\line(0,-1){170}}\end{picture}\begingroup\setlength{\leftskip}{0.5zw}\setlength{\rightskip}{0.5zw}\setlength{\parindent}{0pt}要約元の文章``april8,2015.afterareportonheadlinesconcerningtheu.s.andcuba,cnnstudentnewsgivessomeperspectiveoncalifornia'shistoricdrought:itseffectsarebecomingmorelikelytorippleacrossthenation.there'sbeenafluoutbreakinchicago--butnotonethataffectshumans.andaproposedtunnelwouldconnectdenmarkandgermanyviaanundersearoadandrailline.onthispageyouwillfindtoday'sshowtranscriptandaplaceforyoutorequesttobeonthecnnstudentnewsrollcall.transcript.clickheretoaccessthetranscriptoftoday'scnnstudentnewsprogram.pleasenotethattheremaybeadelaybetweenthetimewhenthevideoisavailableandwhenthetranscriptispublished.cnnstudentnewsiscreatedbyateamofjournalistswhoconsiderthecommoncorestatestandards,nationalstandardsindifferentsubjectareas,andstatestandardswhenproducingtheshow.rollcall.forachancetobementionedonthenextcnnstudentnews,commentonthebottomofthispagewithyourschoolname,mascot,cityandstate.wewillbeselectingschoolsfromthecommentsofthepreviousshow.youmustbeateacherorastudentage13oroldertorequestamentiononthecnnstudentnewsrollcall!thankyouforusingcnnstudentnews!''参照要約thispageincludestheshowtranscript.usethetranscripttohelpstudentswithreadingcomprehensionandvocabulary.atthebottomofthepage,commentforachancetobementionedoncnnstudentnews.youmustbeateacherorastudentage13oroldertorequestamentiononthecnnstudentnewsrollcall.生成要約（拡張なし手法coverage6000回）thispageincludestheshowtranscript.usethetranscripttohelpstudentswithreadingcomprehensionandvocabulary.usetheweeklynewsquiztotestyourknowledgeofstoriesyousawoncnnstudentnews.生成要約（提案手法coverage6000回）thispageincludestheshowtranscript.usethetranscripttohelpstudentswithreadingcomprehensionandvocabulary.atthebottomofthepage,commentforachancetobementionedoncnnstudentnews.youmustbeateacherorastudentage13oroldertorequestamentiononthecnnstudentnewsrollcall.%%%%}}\endgroup\vspace{-0.5\Cvs}\noindent\begin{picture}(420,0)\put(0,0){\line(1,0){420}}\put(0,0){\line(0,1){357}}\put(420,0){\line(0,1){357}}\end{picture}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\vspace{1.3\Cvs}\noindent{\large\bf付録2}\noindentROUGE-1のF値が最小になる場合\vspace{-0.5\Cvs}%%%%\fbox{\parbox{14cm}{\noindent\begin{picture}(420,0)\put(0,0){\line(1,0){420}}\put(0,0){\line(0,-1){136}}\put(420,0){\line(0,-1){136}}\end{picture}\begingroup\setlength{\leftskip}{0.5zw}\setlength{\rightskip}{0.5zw}\setlength{\parindent}{0pt}要約元の文章``please,notevenademonstration.freddiegray'sfamilyhadaskedtherebequietonbaltimore'sstreetsthedaytheylaidhimtorest.andaboveall,noviolence.raginghordesturnedadeafeartothatonmonday.butahandfulofpeoplerepeatedthefamily'smessage.theybecamecriersinthedesertagainstcountlessyoungpeopleflingingrocksatpolice,breakingwindows,lootingandsettingfires.thepeacemakers--clergy,gray'sfamilyandbraveresidents--placedthemselvesintherioters'way.theirmessagewasthesame.``iwantthemalltogobackhome,''saidrev.jamalbryant.``it'sdisrespecttothefamily.thefamilywasveryclear--\linebreak\begin{picture}(0,0)\put(-4.5,9){\line(0,-1){571}}\put(415.5,9){\line(0,-1){571}}\end{picture}%we'vebeensayingitallalong--todaytherewasabsolutelynoprotest,nodemonstration,''hesaid.butthemessengerswereafingerinadamthatquicklycrumbled,asrowdygroupsswelledintoafullurbanriot.itovershadowedthemessagepeacefulprotestersdeliveredonpriordays--justiceforgray.the25-year-oldafrican-americanmandiedfromspinalinjuriesafterbeingarrestedearlierthismonth.theearlyfitsofviolencecameintheafternoon,aboutthetimemournersleftgray'smemorialservicesblocksaway,rev.bryantsaid.theybumpedrightintoit.``forustocomeoutoftheburialandwalkintothisisabsolutelyinexcusable,''hesaid.hedidnotwanttoseeitspreadtodowntownbaltimore,wheresomerioterssaiditwould,andorganizedpeopletostandintheway.``wehavealineofgentlemenfromthenationofislamtobuildahumanwall,aswellasmenfromthechristianchurchmakingthathumanwall,''hesaid.butascrowdsturnedintomultitudes,theinterventionbecameadropinthebucketbycompare,andpolicelineswerealsonomatch.asofficersinriotgearreceded,flamesengulfedcarsandstoresandroaredoutofapartmentbuildingsintothenightsky.aseniorlivingfacilityunderconstructionbyabaptistchurchburnedtotheground.theblazesstretchedthefiredepartments'resources,asatleast30trucksdeployed.lootersstreamedintoacvs,bodegasandliquorstoresandwalkedoutwithwhattheycouldcarry.ayoungmaninabluesweatshirttriedtotalkpeopledownbyhimself.hewalkeduptocnncorrespondentmiguelmartinez,asastorenearbywasbeinglooted.itlaterwentupinflames.theman,whodidn'tsayhisname,wasdisgustedatwhatwashappeninginhisneighborhoodanddisappointedinthepoliceresponsetorioting.therewasalineofpolicedownthestreet,notfaraway.``theycouldhavemoveddownheretostopit,''hetoldmartinez.thegrayfamily'slawyers,again,putthefamily'swishouttothepublicthattherebenoproteststhatday,letaloneviolence.it'smarringthecauseandhopeforchangethatmayhavecomeoutoftheinvestigationintofreddiegray'sdeath,saidfamilyattorneymarykoch.``that'sjustdisintegratedintojustlookingatbaltimorecityandthinkingthatthecityisthecityofviolence,''shesaid.againstallodds,ahandfulofindividualskepttryingtostopit.atall,adultmanwalkeduptoayoungmanwhowasconfrontingriotpolice.heslunganarmoverhisshoulder,turnedhimbackaroundintheotherdirectionandmarchedhimawayfrompolicelines.butastheystrolledpastacrowd,ayoungmanbehindthemhurledastoneatpolice,puttinghiswholebodyintothethrow.atleastoneyoungmanpaidthepriceforhisparticipation,whenhismotherturneduptospankhimhome.beforerunningcameras,sheslappedhimintheheadagainandagain,drivinghimawayfromthecrowd,asshecursed.policecommissioneranthonybattslaterthankedher.``iwishihadmoreparentsthattookchargeoftheirkidsouttheretonight,''hesaid.afternightfell,givingwaytoa\linebreak\begin{picture}(0,0)\put(-4.5,9){\line(0,-1){571}}\put(415.5,9){\line(0,-1){571}}\end{picture}%10p.m.curfewforjuveniles,robertvalentinestoodalonewithhisbacktoalineofpoliceinriotgear.heshooedawayyoungpeopletemptedtoapproachthem.``go!stepyour--ssaway!''``i'mjustasoldier,''saidvalentine.hetoldcnn'sjoejohnsthathewasaveteranofthevietnamwar.youngpeoplehadnobusinessonthestreets,hesaid.``theyneedtobeintheirhomeunitsstudyinganddoingsomethingwiththeirlives.''evenbaltimoremembersofthecripsandbloods,twostreetgangsrenownedfordrugdealingandextensiveviolentcrime--andforkillingeachother--cametogetherwithotherswhocondemnedtheragethatsweptthroughtheirneighborhoods.``theguyswhopulledmeasideareself-identifyingascripsandsaytheydon'tapproveofwhatshappening.`thisisourcommunity,'''wrotebaltimoresunreporterjustinfentononhisconfirmedtwitteraccount.gangsmembersjoinedcommunityleadersandgray'sfamilyforapressconferencemondaynightonthestageatnewshilohbaptistchurch,whichhadheldgray'sfuneral.anannouncerthankedthemforcomingtothechurch.thegangshavesignedapeacedealandareunitingtopushagainstpolicelinesinprotests,accordingtoareportbythedailybeast.rev.bryantalsomentionedtheirpeacetreaty.butpolicesaythegangs'purposegoesmuchfurther--thattheyandanothergangcalledtheblackguerillafamilyplanto`takeout'lawenforcementofficers,policesaid.``thisisacrediblethreat.''thegangsareconsistentlypursuedbythefbi.attheendoftheday,gray'sfamilyhadthelastwordontheviolenceatthepressconference.itwasn'tgood.``toseethatitturnedintoallthisviolenceanddestruction,iamappalled,''saidrichardshipley,gray'sstepfather.``iwanty'alltogetjusticeformyson,butdon'tdoitlikethishere,''saidgray'smothergloriadarden,whoworeat-shirtwithherson'sphoto.``idon'tthinkthat'sforfreddie,''histwinsisterfrederickagraysaid.``ithinktheviolenceiswrong.''afterhadbeenbitterlymarredbytherioting.murphyaskedforashowofhandsinthechurchaudienceofpeoplewhohadexperiencedpolicebrutalityorpersonallyknewsomeonewhodid.allbutafewhandswentup.''参照要約gray'sfamilyaskedtherebenoprotests;theycondemnedviolence.communityleadersandbraveresidentsgotinbetweenriotersandpolice.生成要約（拡張なし手法coverage6000回）``iwantthemalltogobackhome,''rev.jamalbryanttellscnn'srev.jamalbryant.thegangshavesignedapeacedealandareunitingtopushagainstpolicelines.thegangsareconsistentlypursuedbythefbi.生成要約（提案手法coverage6000回）``iwantthemalltogobackhome,''rev.jamalbryantsays.``iwanty'alltogetjusticeformyson,''``i'mjustasoldier,''stepfathersays.``iwanty'alltogetjusticeformyson,butdon'tdoitlikethisisforfreddie,''stepfathersays.%%%%}}\endgroup\vspace{-0.5\Cvs}\noindent\begin{picture}(420,0)\put(0,0){\line(1,0){420}}\put(0,0){\line(0,1){51}}\put(420,0){\line(0,1){51}}\end{picture}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\vspace{1.3\Cvs}\noindent{\large\bf付録3}\noindentROUGE-1のF値が中央値をとる場合\vspace{-0.5\Cvs}%%%%\fbox{\parbox{14cm}{\noindent\begin{picture}(420,0)\put(0,0){\line(1,0){420}}\put(0,0){\line(0,-1){442}}\put(420,0){\line(0,-1){442}}\end{picture}\begingroup\setlength{\leftskip}{0.5zw}\setlength{\rightskip}{0.5zw}\setlength{\parindent}{0pt}要約元の文章``britainbuckedthetrendofwesternnationsbyincreasingspendingonforeignaidlastyearwhileothersimposedsavagecuts.morethanhalfthemembersofagroupof28industrialisednationsreducedtheiraidbudgetbetween2013and2014,areportfound.britain'sfailuretofollowsuit--thankstoatargetimposedbydavidcameron--meansthatitsoverseasaidspendingof0.7percentofnationalincomeisdoubletheaverageleveloftheothernationsinthegroupknownasthedevelopmentassistancecommittee.atargetsetbydavidcameron-lrb-picturedatarallythisweek-rrb-hasleftbritainunabletofollowothercountriesinreducingtheiraidbudgetbetween2013and2014.outofevery\#100spentbythesewesternnationsonoverseasaid,nolessthan\#14nowcomesfromtheuk.overallacrossthese28countriesaidbudgetsfellby0.5percentinrealterms,accordingtothereportbytheorganisationforeconomicco-operationanddevelopment.despitethis,theukincreaseditsspendby1.2percentto\#11.7billionin2014.itcomesontopofevenlargerincreasesinpreviousyears.franceslasheditsaidbudgetby9.2percentto\#6.2billion,thefourthsuccessivedecrease.japan'swascutby15.3percentto\#5.5billion.australiacutitsforeignaidby7.2percentto\#2.5billion,whilecash-strappedspaincutitsfundingby20.3percentto\#1.1billion.theuk'saidbudgetisnownearlydoublefrance'sandtentimesthelevelinspain.intotal,15membersofthedaccutforeignaid,includingbelgium,italy,norway,polandandportugal.britainwasoneof13countrieswhichincreaseditsbudgetdespitethestraitenedtimes.theseincludedgermany,theusandnewzealand.trade,notaid:conservativemppeterbone.surprisingly,greece,whichisdependentonbailoutsfromtheeuandtheimf,putupitsaidbudgetby6.8percent.lastnighttorypeterbone,whoisstandingforre-electionasmpforwellingborough,said:`whenwehaveseencutsathome,peoplefinditverystrangethatwecangiveawaysomanybillionsofpoundsayear,halfofwhichwedon'tevencontrolwhoitgoesto.`peoplearetellingmeonthedoorstepduringthiscampaignthatweshouldcuttheamountwespendonoverseasaid,andincreaseopportunitiesforpoorercountriestotradewiththeeu--trade,notaid,iswhatweneed.whatthisreportshowsisthatothergovernmentsrecognisethefactthatwehavegottolookafterourowncountryfirst,andensureaidisbettertargeted.'britain'saidbudgetmayneedtorisebyatleast\#500millioninfutureyears,becausechangesineuaccountingrulesmakeithardertomeetthe0.7percenttarget.thedevelopmentassistancecommitteewassetupbytheoecdwhichrepresentsrichercountries.theoecdreport,2014globaloutlookonaid,showsthatbritainisoneofonlyfivemembersofthedactomeetthetargetofspending0.7percentofnationalincomeonaidalongwithsweden,luxembourg,norwayanddenmark.theaverageoecdmemberspendsjust0.39percent.inmonetaryterms,theuknowhasthesecondhighestaidbudgetintheworldbehindtheuswhichspends\#19.6billion.butthatisjust0.19percentofitsnationalincome.francespends0.36percent,andgermany0.41percent.the28dacmembersspentatotalof\#81billiononaidlastyear--arecordfigure,butdowninrealterms.itmeanstheuk'sbudgetof\#11.7billionisaseventhoftheentiretotalforthewesternworld.maxlawson,ofoxfam,praisedbritainandcriticisedcountrieswhichhavecuttheiraidbudgets.`aidsaveslives,'hesaid.`whatwe'reseeingisshamefulindifferenceonthepartofmanyoftheworld'srichestnations.`theirleadersarebreakingwithimpunitythesolemnpromisetheymadetohelpmakepovertyhistory.'\,''参照要約morethanhalfofmembersofgroupofindustrialnationsreducedaid.butbritainfailedtofollowsuit-thankstotargetimposedbymrcameron.itsoverseasspendingisdoubletheaveragelevelofothernationsingroup.生成要約（拡張なし手法coverage6000回）morethanhalfthemembersofagroupof28industrialisednationsreducedtheiraidbudgetbetween2013and2014,areportfound.britain'sfailuretofollowsuitmeansthatitsoverseasaidspendingof0.7percentofnationalincomeisdoubletheaverageleveloftheothernations.overallacrossthese28countriesaidbudgetsfellby0.5percentinrealterms.生成要約（提案手法coverage6000回）morethanhalfthemembersofagroupof28industrialisednationsreducedtheiraidbudgetbetween2013and2014.outofevery\#100spentbythesewesternnationsonoverseasaid,nolessthan\#14nowcomesfromtheuk.despitethis,theukincreaseditsspendby1.2percentto\#11.7billionin2014.%%%%}}\endgroup\vspace{-0.5\Cvs}\noindent\begin{picture}(420,0)\put(0,0){\line(1,0){420}}\put(0,0){\line(0,1){563}}\put(420,0){\line(0,1){563}}\end{picture}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\begin{biography}\bioauthor{大内智仁}{%2017年京都府立大学生命環境学部環境・情報科学科卒業．2019年同大学大学院生命環境科学研究科環境科学専攻修了．同年同大学大学院生命環境科学研究科環境科学専攻博士後期課程に進学．}\bioauthor{田伏正佳}{%1983年神戸大学理学部物理学科卒業．1985年同大学大学院理学研究科修士課程修了．1988年同大学大学院自然科学研究科博士課程修了．学術博士．1992年宮崎大学工学部助手．1999年同大学助教授．2003年京都府立大学人間環境学部助教授．2019年同大学教授．機械学習，コンピュータビジョン，自然言語処理に興味を持つ．}\end{biography}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\biodate\end{document}