近年，全世界のインターネット上の情報量は指数関数的に増加しており\cite{Worldwide}，2010年から2024年まで年平均29\%で成長し，2024年には143ZBに達すると予想されている．また，テキストデータに関しても，2018年の全世界のWebサイト数は16億程度であったのに対して2021年現在においては18億程度\cite{Websites}と，3年で2億程度増えていることからこれからもどんどん増えていくことが予想される．このような状況のなかで，インターネットの情報を取捨選択する必要性は高まっており，自動要約の技術が必須となってくる．しかし，実用段階に至っている自動要約システムの多くが，元の文章から要約文を抽出するだけに終わっている．これは抽出型要約といわれており，問題点として，指示語の指す情報の不明確さ，不必要な接続詞の存在，文同士の不自然なつながりなどがあげられる．しかし，抽出型要約システムによっては，要約をする元の文章だけで学習できる場合があり，必ずしも要約の文章が必要とならないことがある．その場合，抽出型要約は，データ整備のコストはあまりかからない．一方で，抽出型要約に対して生成型要約というものがある．生成型要約の多くは，Encoder-Decoderモデルを基本として作られている．この方法でシステムを作る際，学習には，要約をする元の文章と要約の文章のペアが多く必要となる．さらに，例えば，日本語の論文の要約システムを作るとすれば，日本語の論文とその要約文のデータセットが必要となる．このシステムの学習に，ニュース記事の要約データセットを用いることはできない．なぜなら，文章の体裁が全く違うからである．このように，特定のドメイン・言語で大規模データセットを作るのは困難である．本研究では，様々な長さの文章に対して複数の要約文を生成する要約システムに焦点を当て，学習のためのデータセットに対してデータ拡張の効果を検証した．まず，Encoderで，入力文章を固定長のベクトルに変換し，Decoderでその固定長のベクトルから，一単語ずつ生成していく．生成する際には，一単語ずつ，学習に使った語彙の中から選んで要約を作る．初期のころは，Decoder側で使われる語彙集合から，単語を選んでいたが，のちに，CopyMechanism\cite{Gu_2016}が提案され，Encoder側の単語をコピーして生成する機構が提案された．これによって，特定の文章にしかでてこない単語（固有名詞など）を生成することを可能にした．また，生成された要約文に同じフレーズが繰り返される問題を解決するためにCoverageMechanism\cite{Tu_2016}が提案された．本研究では，データ拡張の検証としてこのCopyMechanismとCoverageMechanismを組み合わせたPointer-Generatorモデル\cite{See_2017}を使用した．学習のためのデータセットとして，日本語では，LivedoorNewsを用いた三行要約がある\cite{Kodaira_2018}が，本研究では，様々な長さの文章に対して複数の要約文を生成する要約システムでのデータ拡張の検証を目指しており，採用しなかった．また，出力長制御を考慮した見出し生成モデルのための大規模コーパス(JNC,JAMUL)\cite{Hitomi_2019}では，見出し生成を目的としており，これも採用しなかった．英語では，CNN/DailyMailDataset\cite{Hermann_2015}や，CornellNewsroom\cite{Grusky_2018}，Gigaword\cite{Napoles_2012}などのデータセットが整備されている．このデータセットは，人手の要約が付いており，様々な長さの要約をする文章があり，複数文要約にもなっている．そこで，本研究では，データセットとしてCNN/DailyMailDatasetを用い，少ないデータでもデータ拡張することで効果的に自動要約システムを作ることができないかということに着目した．既存の自然言語処理におけるデータ拡張手法を以下に示す．1.同義語・類義語で置き換える2.類似度を計算して置き換える3.反意語で置き換える4.文章内の語と語を入れ替える5.ランダムに削除する6.BackTranslationを用いて文章を水増しする本研究においてデータ拡張の比較対象として用いたEDA(EasyDataAugmentationTechniques)\cite{Wei_2019}は，1と4と5に該当する.2の類似度を計算するには，教師なしクラスタリングや単語埋め込み行列などを使う．単語埋め込み行列には，word2vec\cite{Mikolov_2013}，GloVe\cite{Pennington_2014}，fastText\cite{Bojanowski_2017}などがある．6のBackTranslation\cite{Edunov_2018}は，機械翻訳におけるデータ拡張手法である．しかし，いずれの手法も文書分類システムや機械翻訳システムで効果が確かめられているだけであり，自動要約システムでは効果を検証されていない．一方，画像処理分野では，少ないデータでも効果的に画像処理ができるデータ拡張の方法がある．具体的には，以下の9つがある．1.水平・垂直方向に画像をシフトする2.水平方向・垂直方向に画像を反転させる3.回転させる（回転角度はランダムの場合あり）4.明度を変える5.ズームインする・ズームアウトする6.画像の一部をくり抜く，削除する7.背景色を変える8.背景を置き換える9.Mixup・CutMixここで説明するMixupとCutMixでは，カテゴリを表すラベルを1（あり）か0（なし）ではなく，連続量で表す．例えば，犬であるかないか（1か0）ではなく，犬である可能性が高い（例えば，0.8）という風に表す．Mixupは，二枚の画像とラベルを組み合わせて一つのデータに合成する\cite{Zhang_2018}．例えば，犬0.4猫0.6といったラベルの画像は各画素値を犬0.4猫0.6の比率で合成した画像になる．CutMixは，複数の画像の一部を切り取ってつなぎ合わせて1枚の入力画像にするデータ拡張である\cite{Yun_2019}．ラベルの表し方は，合成した画像中のそれぞれのラベルの付いた画像の面積比となる．例えば，犬と猫の面積比が1:3であるならば，犬0.25猫0.75というラベルとなる．MixupやCutMix以外の手法では，元画像だけでデータ拡張が行える．我々は，これらの手法の内，背景を置き換えるという拡張手法に着目し，データ拡張手法を提案する.具体的には，要約する文章において，不要文を取り除き，文章の大意を損なわない拡張文章を作ることでデータ拡張を行う．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%