入出力文の関係を考慮した複数文要約でのデータ拡張

データ拡張（DataAugmentation）は主に画像処理の領域で多用されており[1]，近年言語処理においてもデータ拡張する方法が研究されている．Weiら[2]は文中の特定単語を同じカテゴリの別単語へ置換することで，異なる意味の文を作成する方法を提案した．Sennrichら[3]は文章を機械翻訳で別言語に変換した後に逆翻訳で元の言語に戻すことで，同じ意味で元の表現とは異なる表現の文を作成する方法を提案した．複数の文から成り立つ文章の要約を行う際には，個々の文を理解することに加えて，文章全体のトピックの構成や推移などを考慮する必要がある．従来のデータ拡張手法では単一の文を別の表現に書き換えることが主に想定されているため，文章が複数の小さなトピックで構成されているとみなした際に，それらのトピックの順番や数は変化させられない．そこで，このようなトピックの構成を変化させた学習データを追加することで，トピック構成の変化に柔軟なモデルを目指す．文章内の小さなトピックは，少なくとも単一の文もしくは複数の文によって構成されていることが想定される．そのため，このような一部の文を文章全体から削除するなどの操作を行うことで，トピック構成の異なる新たなサンプルを生成する方法が考えられる．しかし，文書要約などのタスクでは入力文章と出力文章のトピック構成の一部または全てには対応関係がある．このような場合に，特別な条件付けをせずに一部の文を操作してしまうと，一部トピックの対応関係が取れない入出力文章がペアとなったサンプルが生成されてしまう．そこで，入出力文章のトピックの関係性を明確にし，関係性が強い入出力文章のトピックはその対応関係が崩れないように操作する．これにより，入力文章と出力文章で対応するトピックの関係は壊さずに，元のサンプルとはトピック構成が異なる新たなサンプルを作成することが可能となる．本研究では複数文要約を対象として，要約文章の1文ごとに単一のトピックを形成しているとみなした処理方法を提案する．実験では3つの複数文要約タスクのデータセットを用い，学習データをダウンサンプリングした条件でデータ拡張を行った結果を評価する．longformerベースのBART[4]に対して，トピック構成を変化させたデータ拡張を行うことで，データ拡張を行わない場合よりも性能が改善することが分かった．さらに，対応関係を考慮することで条件付けせずに文を抽出するよりも性能が高くなることが分かった．