文書分類のための要約に基づくデータ拡張

事前学習済みモデル[1,2,3]の導入により，さまざまな自然言語理解タスクの精度が改善したものの，文書のような長いテキストを入力したり[4]や粒度の細かい出力ラベル[5]を扱う複雑なタスクでは，その効果は限定的である．例えば，文書分類のようなタスクでは，多様な入力と出力の間の関係を捉えることが必要であり，データの過疎性の問題が深刻となる．データの過疎性の問題に対処するには，データ拡張が有効であり，文書分類タスクにも過去に適用されている．これらは基本的に，入力に摂動を加えることで，元の学習事例から擬似学習事例を生成するものである．具体的な摂動としては，逆翻訳[6]に加えて，テキスト[7,8]および埋め込み空間[9,10,11]内での編集などが試みられている．これらの摂動で生成された擬似学習事例は，元の学習事例と本質的に同じ意味的内容しか含んでおらず，モデルが長い入力テキストを理解する能力を学習するのに役立つとは言い難い．1）実装:https://github.com/etsurin/summaug手順２：分類モデルの学習カリキュラムファインチューニング事前学習モデル文書要約モデル要約出力𝑀学習拡張データ𝑓ラベルの縮退(必要に応じ)擬似ラベルラベル学習学習データ手順１：拡張データの生成分類モデル本研究では，文書分類タスクを対象として，長い入力テキストを理解する能力をモデルが獲得し易くするため，単純で効果的な自動要約に基づく学習データ拡張手法SUMMaugを提案する．提案手法では，まず，元の学習事例の入力を自動要約で要約する．このとき，必要に応じてラベルを縮退し，要約された入力に適合するようにする．このようにして得られた疑似訓練事例を用いて，人間が短いテキストから徐々に文書の読解能力を身につけることを考慮して，カリキュラム学習[12]（微調整）を行う．実験では，ラベル粒度の異なる2つの文書分類データセット[13,14]において，ベースラインのデータ拡張手法[8]と提案手法SUMMaugを比較した．その結果，SUMMaugに基づくカリキュラム微調整により，精度と頑健性の両方でベースライン手法を上回るモデルが得られることを確認した．