言語処理学会 第30回年次大会 発表論文集（2024年3月）

文書分類のための要約に基づくデータ拡張
王 悦綸

吉永 直樹

東京大学大学院 情報理工学系研究科
etsurin@tkl.iis.u-tokyo.ac.jp

東京大学 生産技術研究所
ynaga@iis.u-tokyo.ac.jp
手順２：分類モデルの学習概要

カリキュラムファインチューニング

文書などの長文を対象とした自然言語理解タスク
は，事前学習済みモデルを用いたとしてもデータの過疎性の問題から解くことが依然難しい．そこで，
本稿では人間が文書読解能力を身につける過程に着想を得て，文書分類のための要約に基づくデータ拡
張手法 SUMMaug1）を提案する．提案手法では，元の学習データの入力を要約し，必要に応じ要約された入力に合わせるように元のラベルを縮退することで，学習容易な事例を生成し，中間学習に用いる．
2 つの文書分類データセットでの実験結果により，提案手法が分類精度及び学習の安定性の観点で既存手法より優れていることを確認した．

1

はじめに

事前学習済みモデル [1, 2, 3] の導入により，さまざまな自然言語理解タスクの精度が改善したものの，文書のような長いテキストを入力したり [4] や粒度の細かい出力ラベル [5] を扱う複雑なタスクでは，その効果は限定的である．例えば，文書分類のようなタスクでは，多様な入力と出力の間の関係を捉えることが必要であり，データの過疎性の問題が深刻となる．
データの過疎性の問題に対処するには，データ拡張が有効であり，文書分類タスクにも過去に適用されている．これらは基本的に，入力に摂動を加えることで，元の学習事例から擬似学習事例を生成するものである．具体的な摂動としては，逆翻訳 [6] に加えて，テキスト [7, 8] および埋め込み空間 [9, 10, 11] 内での編集などが試みられている．これらの摂動で生成された擬似学習事例は，元の学習
事例と本質的に同じ意味的内容しか含んでおらず，モデルが長い入力テキストを理解する能力を学習す
るのに役立つとは言い難い．
1） 実装: https://github.com/etsurin/summaug

文書

要約モデル

事前学習
モデル

要約出力

𝑀
拡張データ

学習

ラベルの縮退 𝑓(必要に応じ)擬似ラベル

ラベル

手順１：拡張データの生成

学習データ

学習

分類モデル

図1

提案手法 SUMMaug を用いた学習の流れ．

本研究では，文書分類タスクを対象として，長い
入力テキストを理解する能力をモデルが獲得し易くするため，単純で効果的な自動要約に基づく学習
データ拡張手法 SUMMaug を提案する．提案手法では，まず，元の学習事例の入力を自動要約で要約する．このとき，必要に応じてラベルを縮退し，要約された入力に適合するようにする．このようにして得られた疑似訓練事例を用いて，人間が短いテキス
トから徐々に文書の読解能力を身につけることを考慮して，カリキュラム学習 [12]（微調整）を行う．
実験では，ラベル粒度の異なる 2 つの文書分類
データセット [13, 14] において，ベースラインのデータ拡張手法 [8] と提案手法 SUMMaug を比較した．その結果，SUMMaug に基づくカリキュラム微調整により，精度と頑健性の両方でベースライン手法を上回るモデルが得られることを確認した．

2

関連研究

本節では，まず文書分類のための既存の深層学
習モデルを説明し，次にテキスト分類のための既存のデータ拡張手法を紹介する．その後，テキスト分
類で自動要約を活用した研究について触れる．
文書分類 文書分類において、複数の文から構成される長いテキストの内容を理解するために，より優れたモデル構造を探求する試みが広く行われて― 2449 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

表 1 IMDb データセットにおける元のテキストと生成された要約の例である．1 行目は元のテキストで，2 行目は生成された要約である．赤のテキストは元のテキストにおける要約の対応部分である．
I am Anthony Park, Glenn Park is my father. First oﬀ I want to say that the story behind this movie and the creation of the Amber
Alert system is a good one. However the movie itself was poorly made and the acting was terrible. The major problem I had with themovie involved the second half with Nichole Timmons and father Glenn Park. The events surrounding that part of the story were notentirely correct. My father was suﬀering from psychological disorders at the time and picked up Nichole without any intent to harm
her at all. He loved her like a daughter and was under the mindset that he was rescuing her from some sort of harm or neglect that helikely believed was coming from her mother who paid little attention to her over the 3 plus years that my father took care of her andsummarily raised her so her mother could frolic about. The movie depicted my father in a manner that he was going to harm her insome way shape or form. The funny thing is that Nichole had spent many nights sometimes consecutively at my fathers place while
Sharon would be working or doing whatever she was doing. The reason that my father was originally thought to be violent was because
he had items that could be conceived to be weapons on his truck. My father was a landscaper. The items they deemed to be weapons
were landscaping tools that he kept in his truck all the time for work. My recommendation is take this movie with a grain of salt, it is agood story and based on true events however the details of the movie (at least the Nichole Timmons - Glenn Park portion) are largely
inaccurate and depict the failure of the director to discover the truth in telling the story. The funny thing is, that if the director would
have interviewed any of Sharon’s friends who knew the situation they would have stated exactly what I have posted here.
The movie itself was poorly made and the acting was terrible. The events surrounding that part of the story were not entirely correct.
My recommendation is take this movie with a grain of salt, it is a good story and based on true events.

いる．具体的には，グラフニューラルネットワー
ク [15, 16] や畳み込みアテンションネットワーク [5]などがある．しかしながら，近年，Transformer [17]法はモデルの学習のために要約を用いる．

提案手法

3

ベースのモデルの有効性が再検証され [18]，これ

文書分類では，数十以上の文が含まれる長いテキらの文書分類に特化したモデル構造を上回る性能がストを理解する必要がある．人間は，成長するにつ報告されている．本研究で提案するデータ拡張は，れ，長いテキストでも正しく理解できるようになる

特定のモデル構造に依存しないが，この現状を踏が，そのような読解能力をどのように身につけたの

まえて，Transformer に基づく事前学習済みモデル

だろうか．学校での学習を振り返ると，短くて簡潔

RoBERTa [2] を使用する．

なテキストから読み始めて，徐々に長いテキストをテキスト分類のためのデータ拡張 テキスト分類
タスクにおいて，データの過疎性の問題に対処する

読むことで読解能力を磨いたことに気づくだろう．
本研究では，この点に着想を得て，文書分類のたため，元の学習事例から擬似学習事例を生成する

めの要約に基づくデータ拡張手法 SUMMaug を提案

データ拡張が広く試みられている．Shleifer [6] は，する．提案手法では，自動要約で抽象的な訓練例を

機械翻訳を用いて学習事例を別の言語に翻訳し，そ生成し，拡張データ，元のデータの順でカリキュラの出力を逆翻訳して元の言語に戻すことで，入力とム学習（微調整）を行う．

同じ意味で表現が異なる学習事例を生成している．
Wei ら [7] は，単語を削除，挿入，または同義語で

3.1

要約に基づくデータ拡張

置き換えることによって入力に摂動を加えている．

SUMMaug ではまず，後述する要約モデル 𝑀 を用

Karimi ら [8] は，ランダムに句読点を挿入するとい

いて，文書分類のための擬似学習事例を生成する．

う，より単純ながら効果的な摂動を提案している．

具体的に，各学習事例 {𝑥, 𝑦} の入力 𝑥 に要約モデル

これら以外にも，学習事例のテキストに直接摂動を𝑀 を適用し，𝑥 の要約 𝑥ˆ = 𝑀 (𝑥) を得る．

加える代わりに，その埋め込み空間にノイズを加え

ここで問題となるのは，生成された簡潔な要約 𝑥ˆ

ることで擬似学習事例を生成する研究 [9, 10, 11] もに対するラベルの与え方である．要約は本質的な情ある．しかしながら，これらの手法で得られる擬似学習事例は元の学習事例の言い換えに過ぎず，長い報しか保持しないため，ラベルが細かいと，元のラベル 𝑦 は不適切となる可能性がある．そこで，ラベ

テキストの理解に直接役立つとは言い難い．

ルを粗いカテゴリに縮退する関数 𝑓 を定義し，擬似

テキスト分類における自動要約の活用

Li ら [19]と Hartl ら [20] は，フェイクニュース検出のため，学習事例 {𝑥,ˆ 𝑓 (𝑦)} を得る（図 1）．
表 1 は IMDb データセットに含まれる事例と後述

要約を介して対象記事から事実を抽出している．この要約モデルによる要約である．元の入力は中立でれらの手法が推論時に要約を行うのに対し，提案手

少しネガティブの傾向があるレビューであるが，要― 2450 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

約ではこの傾向が強まっている．この例からも，擬似学習事例のラベルをより粗い粒度に縮退する必要

表 2 IMDb データセット．𝐶，𝐿, 𝐿 𝑀 はそれぞれ，ラベ
ル数，入力の平均長，要約の平均長である．

性が示唆される．

データセット 学習・検証・評価データ 𝐶

要約モデル 𝑀 について手法の適用範囲を広げ る た め に は，要 約 モ デ ル 𝑀 は多 様 な ド メ イ ンの 文 書 を 要 約 で き る こ と が 望 ま し い．そ こ で 本
稿 で は，CNN-Dailymail デ ー タ セ ッ ト [21] で微 調
整した BART [22] を要約モデル 𝑀 として用いた．
CNN-Dailymail は ニ ュ ー ス 記 事に 関 す る 要 約デ ー
タ セ ッ ト で あ り2），広 範 な ト ピ ッ ク を 含 む た め
幅広いドメインの文書に適応可能である．また，
CNN-Dailymail に含まれる要約の多くは抽出型要約であり，XSum [23] など抽象型要約データセットから学習したモデルで深刻な幻覚 [24] が生じる可能性も低いと期待できる．

3.2

22500/2500/25000
108670/13432/13567

𝐿𝑀

2 279.5 51.3
10 394.2 50.2

リキュラム微調整が提案手法の有効性を発揮する上で重要な役割を果たすことを確認する．

4.1

データセット

提案手法の評価には，大規模映画レビューデー
タセット IMDb-2[13] と IMDb-10 を用いた．IMDb-2には肯定・否定の 2 値ラベルが付与されており，
IMDb-10 には 1 から 10 までの 10 種の極性ラベルが付与されている．IMDb-2 データセットには開発データが含まれないため，学習データをランダムに 9:1 に分割し，学習データと検証データとした．

分類器のカリキュラム微調整

データ拡張に関する既存研究では，擬似学習デー
タと生成元の学習データのラベル集合は同一であり，混合して区別せず学習に用いている．しかしながら，提案手法で生成する擬似学習データ，すなわ
ち，拡張データでは，要約に適合するようラベルを縮退する場合がある．そこで，学習戦略として以下の 2 つを考える．
混合微調整

IMDb-2
IMDb-10

𝐿

IMDb-10 データセットについては， Adhikari ら [14]の実験と同じ分割を用いた．2 つのデータセットの詳細を，表 2 に示す．

4.2

実験設定

評価には以下の 3 つのモデルを用いた．全てのモデルは，ベースラインの RoBERTa [2] を微調整したものである．

元の学習データと疑似学習データを混合し，事前学習済みモデルを微調整する．この戦略では，ラベルを潰さず， 𝑓 (𝑦) = 𝑦 とする．
カリキュラム微調整 まず，擬似学習データで事前学習済みモデルを微調整し，得られたモデル
を，元の学習データで微調整する．この提案手法はカリキュラム学習 [25] に着想を得たものでRoBERTa

事前学習済み RoBERTa3）を元の学習データで微調整したベースライン．
RoBERTa + AEDA

元の学習事例の入力に既存のデータ拡張手法 AEDA4）を適用し，得られた擬似学習データと元の学習データを混合して前述のRoBERTa を微調整したベースライン．
RoBERTa + SUMMaug

CNN-Dailymail で微 調 整ある．この戦略では，必要に応じてラベルを縮した BART を要約モデルに用いた提案手法．得られ退するが，その場合は，元の学習データで微調た擬似学習データと元の学習データを用いて前述の整する前に，出力層のパラメタを破棄する．

RoBERTa を微調整する．

以下の実験では，ラベルの粒度が異なる文書分類

学習データが少ない設定下での有効性を評価する

データセットに対して提案手法を適用し，2 つの戦ために，学習データからそれぞれ 200 および 1500
事例をランダムに選択し，これらの部分データセッ

略を比較する．

4

トを用いた学習も行った．ただし，IMDb-10 データ

実験

セットでは，学習データが 200 事例の場合は，全て提案手法をラベル粒度の異なる 2 つの文書分類のモデルの学習が発散したため，評価しなかった．

データセット [13, 14] に適用し，i) 提案手法が，ベーカリキュラム微調整の効果を明らかにするためスライン手法と比べて分類精度と学習の安定性の観点で優れていること，また ii) ラベル縮退を伴うカに，SUMMaug の擬似学習データだけでなく AEDA2） https://huggingface.co/facebook/bart-large-cnnの擬似学習データを用いた学習でもカリキュラム微
3） https://huggingface.co/roberta-large4） https://github.com/akkarimi/aeda nlp― 2451 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

表 3 IMDb-2 での平均精度と標準偏差．混合とカリキュ
ラムはそれぞれ混合微調整とカリキュラム微調整を指す．
学習データの件数
200
1500
all

モデル
RoBERTa+ AEDA (混合)表 5 SUMMaug（カリキュラム）手法で異なるラベル縮退関数を用いた場合の平均精度と標準偏差の変化．𝑁 は縮退後のラベル数， 𝑓 (𝑥) は 0-9 のラベルに対する具体的な縮退関数である．

92.191.21 94.210.62 94.630.56
90.911.44 94.430.49 94.750.66+ AEDA (カリキュラム)
93.591.16 94.260.74 95.560.12+ SUMMaug (混合)92.940.99 94.610.64 94.850.62+ SUMMaug (カリキュラム) 93.360.97 94.770.28 95.450.17
表 4 IMDb-10 での平均精度と標準偏差．表記は表 3 に
従う．

𝑁

𝑓 (𝑥)

精度

2
3
4
5
10

[0,0,0,0,0,1,1,1,1,1][0,0,0,1,1,1,1,2,2,2][0,0,0,1,1,2,2,3,3,3][0,0,1,1,2,2,3,3,4,4][0,1,2,3,4,5,6,7,8,9]57.550.29
57.470.20
57.660.31
57.320.60
57.200.56

精度が下がり，IMDb-10 では不安定な結果をもたらモデル

学習データの件数1500allしてしまう．

RoBERTa+ AEDA (混合)39.998.46
36.5810.64

56.580.34
51.2314.39

た擬似学習データを用いてカリキュラム微調整の代+ AEDA (カリキュラム)+ SUMMaug (混合)+ SUMMaug (カリキュラム)

41.773.01
40.652.71
42.141.48

56.631.65
55.812.00
57.550.29

善幅は小さくなり，IMDb-10 ではベースラインも下

カリキュラム微調整の効果

SUMMaug で得られわりに混合微調整を行った場合，提案手法による改回る結果となった．このことから，SUMMaug で得られた擬似学習データを用いる場合はカリキュラム

調整を試した．なお，IMDb-10 データセットでは，

微調整を行うことが必須であることが分かる．
ラベルの縮退関数の影響§ 3.1 で述べたように，拡張データのラベルを縮退し

表 5 は、異なるラベルた．具体的には，0-4 のラベルを 0（否定的）に，5-9縮退関数 𝑓 の下での SUMMaug（カリキュラム）ののラベルを 1（肯定的）に写像し，2 値分類問題と結果を示している．𝑁 ≤ 4 の場合，精度は同等であした．異なるラベル縮退を行なった場合の結果についても，本実験の結果の後で報告する．

るが，𝑁 = 5, 10 では恐らくではラベルの縮退が不十

4.3

分なため、精度と学習の安定性に低下が見られる。
しかしながら，ラベルの縮退を行わない場合でも，学習の詳細

元の学習データでの微調整に伴い拡張データに含ま学習のハイパーパラメタは以下のように設定しれるノイズの影響が弱まり，表 4 で報告した混合微

た．IMDb-2 での実験では，バッチサイズを 64，学調整の結果よりは精度・学習安定性ともに良い結果

習率を 1e-5 とした．IMDb-10 データセットでの実験となっている．

では，Adhikari ら [14] に従い，バッチサイズを 16，
学習率を 2e-5 にした．学習エポック数は付録を参照されたい．学習は NVIDIA Quadro P6000 GPU 4 枚

おわりに

6

本研究では，文書分類のための単純で効果的な要約に基づくデータ拡張手法 SUMMaug を提案した．

を用いて行った．
評価用のモデルは，開発データでの分類精度に基提案手法では，人間が文書読解能力を習得する過程

づき選択した．5 回の試行での平均値を報告する．

を踏まえ，短いテキストの分類問題から長いテキス

5

トの分類問題の順で学習する．2 つの文書分類デー

実験結果

タセットでの実験結果により，SUMMaug がベース

表 3 と表 4 に，ベースラインと我々の提案手法のラインのデータ拡張手法と比較して，精度と学習の結果を示す．提案手法は，全ての実験設定において安定性の観点で性能を向上させることを確認した．

ベースラインを上回った．さらに，低資源設定でまた，低資源設定でも提案手法が効果的であること

も，提案手法が有効であることを確認した．

も確認した．

SUMMaug に基づくデータ拡張による学習安定性

今後の課題としては，ラベル縮退関数 𝑓 を自動で

SUMMaug は，データセット全体で高い精度を達成

最適化する手法の検討や，異なる要約モデルを用いするだけでなく，結果の分散の小さい安定した学

た場合の効果を検証することが挙げられる．

習に寄与している．一方で，既存手法である AEDA（混合）では，IMDb-2 で学習データが 200 件の場合

― 2452 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

謝辞
本研究は東京大学生産技術研究所特別研究経費
および JSPS 科研費 JP21H03494 の助成を受けてい
ます．

参考文献
[1] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina
Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019
Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171–4186,

Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.
[2] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi,
Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, andVeselin Stoyanov. RoBERTa: A robustly optimized bert pretraining approach. arXiv preprint arXiv:1907.11692, 2019.
[3] Pengcheng He, Xiaodong Liu, Jianfeng Gao, and Weizhu Chen.
Deberta: Decoding-enhanced BERT with disentangled attention.
2020.
[4] Yu-Chen Lin, Si-An Chen, Jie-Jyun Liu, and Chih-Jen Lin. Linear
classiﬁer: An often-forgotten baseline for text classiﬁcation. In
Proceedings of the 61st Annual Meeting of the Association
for Computational Linguistics (Volume 2: Short Papers), pp.

1876–1888, Toronto, Canada, July 2023. Association for Computational Linguistics.
[5] Yang Liu, Hua Cheng, Russell Klopfer, Matthew R. Gormley,
and Thomas Schaaf. Eﬀective convolutional attention network for
multi-label clinical document classiﬁcation. In Proceedings ofthe 2021 Conference on Empirical Methods in Natural Language Processing, pp. 5941–5953, Online and Punta Cana, Do-

minican Republic, November 2021. Association for Computational
Linguistics.
[6] Sam Shleifer. Low resource text classiﬁcation with ULMFit andbacktranslation. arXiv preprint arXiv:1903.09244, 2019.
[7] Jason Wei and Kai Zou. EDA: Easy data augmentation techniques for boosting performance on text classiﬁcation tasks. In
Proceedings of the 2019 Conference on Empirical Methods
in Natural Language Processing and the 9th International
Joint Conference on Natural Language Processing (EMNLPIJCNLP), pp. 6382–6388, Hong Kong, China, November 2019.

Association for Computational Linguistics.
[8] Akbar Karimi, Leonardo Rossi, and Andrea Prati. AEDA: An easier data augmentation technique for text classiﬁcation. In Findingsof the Association for Computational Linguistics: EMNLP
2021, pp. 2748–2754, Punta Cana, Dominican Republic, Novem-

ber 2021. Association for Computational Linguistics.
[9] Jiaao Chen, Zichao Yang, and Diyi Yang. MixText: Linguisticallyinformed interpolation of hidden space for semi-supervised textclassiﬁcation. In Proceedings of the 58th Annual Meetingof the Association for Computational Linguistics, pp. 2147–
2157, Online, July 2020. Association for Computational Linguistics.
[10] Hui Chen, Wei Han, Diyi Yang, and Soujanya Poria. DoubleMix:
Simple interpolation-based data augmentation for text classiﬁcation. In Proceedings of the 29th International Conference on
Computational Linguistics, pp. 4622–4632, Gyeongju, Republic of Korea, October 2022. International Committee on Computational Linguistics.
[11] Xing Wu, Chaochen Gao, Meng Lin, Liangjun Zang, and Songlin
Hu. Text smoothing: Enhance various data augmentation methods
on text classiﬁcation tasks. In Proceedings of the 60th Annual
Meeting of the Association for Computational Linguistics(Volume 2: Short Papers), pp. 871–875, Dublin, Ireland, May

2022. Association for Computational Linguistics.
[12] Petru Soviany, Radu Tudor Ionescu, Paolo Rota, and Nicu Sebe.

Curriculum learning: A survey. International Journal of Computer Vision, Vol. 130, No. 6, pp. 1526–1565, 2022.
[13] Andrew L. Maas, Raymond E. Daly, Peter T. Pham, Dan Huang,
Andrew Y. Ng, and Christopher Potts. Learning word vectors for
sentiment analysis. In Proceedings of the 49th Annual Meetingof the Association for Computational Linguistics: Human
Language Technologies, pp. 142–150, Portland, Oregon, USA,

June 2011. Association for Computational Linguistics.
[14] Ashutosh Adhikari, Achyudh Ram, Raphael Tang, and Jimmy Lin.
DocBERT: BERT for document classiﬁcation. arXiv preprint
arXiv:1904.08398, 2019.
[15] Haopeng Zhang and Jiawei Zhang. Text graph transformer for
document classiﬁcation. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing(EMNLP), pp. 8322–8327, Online, November 2020. Association

for Computational Linguistics.
[16] Chong Zhang, He Zhu, Xingyu Peng, Junran Wu, and Ke Xu. Hierarchical information matters: Text classiﬁcation via tree basedgraph neural network. In Proceedings of the 29th International Conference on Computational Linguistics, pp. 950–
959, Gyeongju, Republic of Korea, October 2022. International
Committee on Computational Linguistics.
[17] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit,
Llion Jones, Aidan N Gomez, L ukasz Kaiser, and Illia Polosukhin.
Attention is all you need. In I. Guyon, U. Von Luxburg, S. Bengio,
H. Wallach, R. Fergus, S. Vishwanathan, and R. Garnett, editors, Advances in Neural Information Processing Systems,
Vol. 30. Curran Associates, Inc., 2017.
[18] Xiang Dai, Ilias Chalkidis, Sune Darkner, and Desmond Elliott.
Revisiting transformer-based models for long document classiﬁcation. In Findings of the Association for Computational Linguistics: EMNLP 2022, pp. 7212–7230, Abu Dhabi, United ArabEmirates, December 2022. Association for Computational Linguistics.
[19] Qifei Li and Wangchunshu Zhou. Connecting the dots between fact
veriﬁcation and fake news detection. In Proceedings of the 28th
International Conference on Computational Linguistics, pp.
1820–1825, Barcelona, Spain (Online), December 2020. International Committee on Computational Linguistics.
[20] Philipp Hartl and Udo Kruschwitz. Applying automatic text summarization for fake news detection. In Proceedings of the Thirteenth Language Resources and Evaluation Conference, pp.
2702–2713, Marseille, France, June 2022. European Language Resources Association.
[21] Karl Moritz Hermann, Tomas Kocisky, Edward Grefenstette, Lasse
Espeholt, Will Kay, Mustafa Suleyman, and Phil Blunsom. Teaching machines to read and comprehend. Advances in neural information processing systems, Vol. 28, , 2015.
[22] Mike Lewis, Yinhan Liu, Naman Goyal, Marjan Ghazvininejad,
Abdelrahman Mohamed, Omer Levy, Veselin Stoyanov, and Luke
Zettlemoyer. BART: Denoising sequence-to-sequence pre-training
for natural language generation, translation, and comprehension. In
Proceedings of the 58th Annual Meeting of the Association
for Computational Linguistics, pp. 7871–7880, Online, July

2020. Association for Computational Linguistics.
[23] Shashi Narayan, Shay B. Cohen, and Mirella Lapata. Don’t giveme the details, just the summary! topic-aware convolutional neural networks for extreme summarization. In Proceedings ofthe 2018 Conference on Empirical Methods in Natural Language Processing, pp. 1797–1807, Brussels, Belgium, October-

November 2018. Association for Computational Linguistics.
[24] Joshua Maynez, Shashi Narayan, Bernd Bohnet, and Ryan McDonald. On faithfulness and factuality in abstractive summarization.
In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 1906–1919, Online,
July 2020. Association for Computational Linguistics.
[25] Yoshua Bengio, Jérôme Louradour, Ronan Collobert, and Jason
Weston. Curriculum learning. In Proceedings of the 26th Annual International Conference on Machine Learning, ICML
’09, p. 41–48, New York, NY, USA, 2009. Association for Computing Machinery.

― 2453 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

A

付録

A.1

学習エポック数
データセット (学習手法)
IMDb-2 (データ拡張なし)
IMDb-2 (ミックス)
IMDb-2 (カリキュラム)
IMDb-10 (データ拡張なし)
IMDb-10 (ミックス)
IMDb-10 (カリキュラム)

学習データの件数
200
1500 all
70
18
2
70
18
2
70/70 18/18 2/2
20
4
20
4
5/20 2/6

表 6 実験で学習エポック数の詳細．カリキュラムファイ
ンチューニングの手法では、𝑥/𝑦 は「拡張データで 𝑥 エ
ポック学習し，元の学習データで 𝑦 エポック学習する」と意味する．

表 6 では、実験での学習エポック数をまとめた．
エポック数は検証データでの精度により設定したものである．

― 2454 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).