概要

1　はじめに
深層学習モデルは，大規模なニューラルネットワークを大量の訓練データを用いて学習することにより，驚異的な性能を達成している．しかし，そのような大規模なモデルの学習には膨大な時間と計算資源を要するため，新しいモデルの開発はおろか，追学習さえ困難となっている.このような背景から，訓練データセット中の知識を蒸留することで，学習効果を保持しつつ訓練データセットを圧縮するデータセット蒸留[1]が近年注目されている．データセット蒸留は，モデルを効率的に学習可能な少量の人工的なデータを作成することで，モデルの学習コストの大幅な削減を実現する.データセット蒸留は，画像分野を中心に様々な手法が提案されており[2, 3, 4, 5], ニューラルアーキテクチャ探索[6, 7],連合学習[8, 9]，継続学習[10, 11]，データのプライバシー保護[12, 13]といった応用の観点からも関心を集めている.データセット蒸留では，勾配法を用いてデータを直接最適化することにより，学習効果の高い合成データを獲得する手法が一般的である．しかし，これらの手法はピクセル単位の連続値データとみなせる画像データには適用可能である一方で、離散データであるテキストには直接適用できない．そこで従来法では，離散的なテキストの代わりに連続値である単語埋め込みベクトルの系列として合成データを最適化する[14, 15, 16, 17]. しかし，この方法により単語埋め込みレベルで構築した合成データは，異なる単語埋め込みを持つモデルの学習には適用できないため，実応用の観点で致命的な問題となる.そこで本研究では，合成データをテキストとして獲得可能なデータセット蒸留手法として，学習効果の高いテキストデータを生成するようテキスト生成モデルを学習する手法を提案する．つまり，離散性により最適化が困難なテキストデータの代わりに,それらを生成するモデルのパラメータを学習することで勾配法による最適化を可能にする．具体的には，テキスト生成モデルの生成サンプルで計算されたモデルの勾配と，訓練データセット中の束サンプルで計算された平均勾配が一致するようテキスト生成モデルを学習する(図1 ).実験では，SST-2，QQP，MNLI-mの３つのテキスト分類タスクのデータセットに対して提案法を適用し、訓練データセットから代表的な実サンプルの集合を選択するコアセット選択の手法と比較して高い性能でモデルを学習可能な合成データセットを獲得できることを示した．さらに、提案法によりテキストとして獲得した合成データは，蒸留時と異なるモデルの学習に対しても汎化性能を示すだけでなく,大規模言語モデルのin-context learningに対しても有効であることが判明した.
2提案法
2.1  訓練データ生成の事前学習
大規模なテキストデータで事前学習されたTransformerベースの言語モデル[18]の高いテキスForwardト生成能力に着目し，訓練データの生成モデルとして利用する。まず，蒸留の対象とする訓練データセットの実サンプルを用いて言語モデルを学習することで，実サンプルと同程度の学習効果を持つ訓練データを生成可能なテキスト生成モデルを獲得する.訓練データの入力テキストx = w 1 ···w | x |に対し,次式で計算される言語モデルの損失l 。を用いてテキスト生成モデルのパラメータ¢を最適化する.
末尾に，クラスラベルに対応する開始トークン<bos_i>と終了トークン<eos>をそれぞれ付与して学習することで，特定のクラスラベルに対応するサンプルを生成するよう制御する: <bos_i>クラスiのテキスト<eos>.また，2文間の関係を分類するタスクについては，分割トークン<sep>を用いて結合し，2文続けて生成するよう学習する: <bos_i>テキスト1 <sep>テキスト2 <eos>.以上の方法で学習したテキスト生成モデルを，次の2.2節で述べる勾配の一致度に基づく追学習の初期値として利用する.
勾配の一致度に基づく追学習
2.2
実サンプルよりも学習効果の高い訓練データを生成するため、データセット蒸留の手法の一つとして用いられる勾配の一致度に基づく損失[2, 19]を目的関数として，テキスト生成モデルを追学習する．実サンプルのミニバッチ{x;}≥1および生成サンプルのミニバッチ{ x i} ≥ 1に対し，それぞれに対する分類モデルのパラメータθの勾配の一致度に基づく損失Lgmは次のように計算される:
式で計算されるコサイン類似度に基づく距離関数で
に計算し，その平均を目的関数とする．また，初期値だけでなく，学習過程全体を通した分類モデルの勾配を考慮するために，分類モデルを初期化するouter-loopと，分類モデルの更新およびLgmに基づく生成モデルの更新を行うinner-loopの2重ループのアルゴリズムを利用する(詳細は付録Aを参照).各inner-loopにおいてテキスト生成モデルを更新するために，Lgmの勾配をテキスト生成モデルのパラメータφまで逆伝播させる必要がある.しかし,順伝播で介する生成サンプル{x;},は離散的なテキストであるため微分不可能である.そこで提案法では，平岡ら[20]の手法に着想を得て，各生成サンプルの生成確率に基づく損失の重みづけを導入することで逆伝播計算を可能にする(図1).  Lsynを計算する際に，式３で示したように単にすべての生成サンプルに対する損失を平均する代わりに，テキスト生成モデルの生成確率p s ( ῖ )に基づく重み付き平均を計算する:
これにより，Lgmの勾配は生成確率に基づく損失の重み{a;}",を介してテキスト生成モデルまで逆伝播可能となる.また，提案法の性能向上および学習安定化のために次の２つの手法を導入するり. (a)代表サンプルを用いた教師勾配  Liuら[21]に着想を得て，コアセット選択の手法の一つであるK-centers [ 22 , 23 ]で選択された代表サンプル集合を実サンプルのミニバッチ{x;}=」として用いることで，性能向上および学習の高速化を図る(図1a). K-centersでは，特定のクラスラベルを持つ訓練データセット中の全てのサンプルを，K-meansを利用してMクラスタに分割し，各クラスタ中心の最近傍サンプルを代表サンプルとする.これにより選択された代表サンプル集合は，勾配が大きく支配的になりやすい決定境界上のサンプルを排除しつつ、訓練データ全体をカバーする多様なサンプルをミニバッチに含めることで，教師として適切な勾配を提供すると考えられる．多様性と頑健性を考慮し，学習開始時に異なる乱数シードを用いて10通りの代表サンプル集合を作成し，inner-loopの各ステップにおいて，そのうち一つを実サンプルのミニバッチとして利用する. (b)多様性を考慮したミニバッチ生成 テキスト生成モデルは，自身が生成したサンプルのミニバッチ{ x i} Nのうち勾配の一致度を向上させるサンプルの生成確率を上げるよう学習されるため，各ミニバッチに含まれる生成サンプルの偏りが学習に大きく影響を与える.そこで，inner-loopの各ステップでN個のサンプルを生成する代わりに，I intステップおきにN × Iint個のサンプルをまとめて生成し，K-meansを利用してNクラスタに分割する. inner-loopの各ステップにおいて，各クラスタからランダムに1サンプルずつ取り出して生成サンプルのミニバッチ{ x i},"として利用する(図1b). これにより，生成サンプルのミニバッチに多様性を持たせ，サンプル生成時の偏りの影響を緩和する.
2.3　合成データセットの構築
前節で述べた手順で学習したテキスト生成モデルを用いて合成データセットを構築する。生成時の偏りの影響を緩和するために，各クラスラベルごとに所望の合成データセットのサイズの100倍のサンプルを、多様性を重視したtop-pサンプリング(p = 0.95)を用いて生成し，それらのK-centerサンプルを合成データとして利用する.これにより，生成時の偏りやサンプルの冗長性を緩和し，多様なサンプルを合成データセットに含めることを可能にする.
3実験
3.1実験設定
評価実験には, GLUE [24]からSST-2, QQP, MNLI- mの3つのテキスト分類タスクのデータセットを利用した.  SST-2とMNLI-mについてはaccuracyを, QQPについてはaccuracyとFlの平均を性能評価に用いた.先行研究に倣い，Random，K-centers [ 22 , 23 ]，Herd- ing [25]の3つのコアセット選択の手法と比較した.また，単語埋め込みレベルのデータセット蒸留の従来法であるTDD [14]とも比較した2 ) . さらに，提案法の勾配の一致度に基づく追学習の効果を確認するために，提案法において追学習を行わなかった場合との比較を行なった.提案法のテキスト生成モデルとしてGPT-231を,追学習時の勾配の一致度を計算する分類モデルとしてBERT BASE 4 )を利用した．計算コストを抑えるために，BERT BASEの全パラメータの勾配を計算する代わりに，ランダム初期化される最終層のパラメータの勾配のみを利用した.その他の実験設定の詳細は付録Ｃに記載した.
3.2実験結果
BERT baseに対する性能比較表1に提案法の学習時と同じBERTbaseを分類モデルとした場合の異なるデータサイズ(DPC: data-per-class)の実験結果を示す．表のスコアは異なる乱数シードで100回学習を行った分類モデルの性能の平均と標準偏差である努).まず，単に訓練データの生成を学習しただけの追学習前のモデルでは，コアセット選択の手法の性能を明らかに下回った．これは直感の通りではあるが，テキスト生成モデルの生成サンプルの質が元の訓練データセットの実サンプルと比較して低いこ
とを示唆している．一方で，勾配の一致度に基づく追学習を適用することで性能は大幅に改善され，コアセット選択の手法をほぼ全ての設定で上回った.特にK-centersとの性能差は，提案法が実サンプルよりも学習効果の高い訓練データを生成していることを示している．また，TDDについては，最適化した合成データを単語埋め込み列として直接利用することで高い性能を発揮する一方で，最近傍の埋め込みを持つ単語列に置き換え，テキストとして利用した場合，ランダム予測と同程度まで性能劣化が生じた(表の赤のハイライト).これは，異なる単語埋め込みを持つモデルに適用する際は一度テキストに変換する必要があるため，汎用性の観点で大きな問題となる.異なるモデルへの汎化性能提案法はテキストとして合成データセットを構築するため，任意の単語埋め込みを持つモデルの学習に適用可能である.そこで，提案法の学習時に利用したBERT baseと異なる，RoBERTabase，BERT LARGE，XLNetbaseの3つのモデルの学習に対する汎化性能を評価した．実験結果を表2に示す．実験結果から，提案法で獲得された合成データセットは，異なるモデルに対しても高い汎化性能を持つことが判明した．特に， BERT baseと同じモデル構造を持つRoBERT baseやBERT LARGEだけでなく，自己回帰モデルであるXLNetbaseに対しても高い学習効果を持つことが確認された．このような高い汎化性能は，テキストデータとして合成データを構築可能な提案法の利点をさらに強調する結果であると言える. In-context learningにおける性能 提案法の汎化性能に関するさらなる分析として，大規模言語モデルのin-context learningにおける性能を評価した．表3に提案法で生成したSST-2の合成データセットを, GPT-2-XL,  OPT,  Llama 2の３つの異なるサイズのモ表2  蒸留時と異なるモデルへの汎化性能(DPC=20). (S)は提案法の蒸留時に利用した分類モデル，およびK-centers
デルの5-shotプロンプトとして利用した場合の性能を示す。実験結果から，提案法で獲得した合成データセットは勾配法による学習だけでなく，in-context learningに対しても効果的であることがわかった.
4
まとめ
本研究では，テキスト生成モデルを利用することで合成データをテキストとして獲得するデータセット蒸留手法を提案した．３つのテキスト分類データセットを対象とした実験の結果，提案法はコアセット選択よりも高い性能でモデルを学習可能な合成データセットを構築することを示した．さらに提案法で生成した合成データは，蒸留時と異なるモデルの学習だけでなく，大規模言語モデルのin-context learningに対しても有効であることを示した. [1] Tongzhou Wang, Jun-Yan Zhu, Antonio Torralba, and Alexei A. Efros. Dataset distillation. CoRR , Vol. abs/1811.10959, , 2018. [2] Bo Zhao, Konda Reddy Mopuri, and Hakan Bilen. Dataset con- densation with gradient matching.  In 9th International Con- ference on Learning Representations, ICLR 2021, Virtual Event, Austria, May 3-7, 2021. OpenReview.net, 2021. George Cazenavette, Tongzhou Wang, Antonio Torralba, Alexei A. [3] Efros, and Jun-Yan Zhu. Dataset distillation by matching training trajectories. In IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops, CVPR Workshops 2022, New Orleans, LA, USA, June 19-20, 2022, pp. 4749–4758. IEEE, 2022. [4] Kai Wang, Bo Zhao, Xiangyu Peng, Zheng Zhu, Shuo Yang, Shuo Wang, Guan Huang, Hakan Bilen, Xinchao Wang, and Yang You. Cafe: Learning to condense dataset by aligning features. In 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pp. 12186–12195, 2022. [5] Bo Zhao and Hakan Bilen. Dataset condensation with distribution matching. In IEEE/CVF Winter Conference on Applications of Computer Vision, WACV 2023, Waikoloa, HI, USA, January 2-7, 2023, pp. 6503–6512. IEEE, 2023. Felipe Petroski Such, Aditya Rawal, Joel Lehman, Kenneth Stanley, [6] and Jeffrey Clune.  Generative teaching networks:  Accelerating neural architecture search by learning to generate synthetic training data. In Hal Daumé III and Aarti Singh, editors, Proceedings of the 37th International Conference on Machine Learning, Vol. 119 of Proceedings of Machine Learning Research , pp. 9206–9216. PMLR, 13–18 Jul 2020. [7] Dmitry Medvedev and Alexander D'yakonov. Learning to gener- ate synthetic training data using gradient matching and implicit differentiation.  In Evgeny Burnaev, Dmitry I. Ignatov, Sergei Ivanov, Michael Yu. Khachay, Olessia Koltsova, Andrei Kutuzov, Sergei O. Kuznetsov, Natalia V. Loukachevitch, Amedeo Napoli, Alexander Panchenko, Panos M. Pardalos, Jari Saramäki, An- drey V. Savchenko, Evgenii Tsymbalov, and Elena Tutubalina, ed- itors, Recent Trends in Analysis of Images, Social Networks and Texts - 10th International Conference, AIST 2021, Tbil- isi, Georgia, December 16-18, 2021, Revised Supplementary Proceedings , Vol. 1573 of Communications in Computer and Information Science , pp. 138–150. Springer, 2021. Jie Zhang, Chen Chen, Bo Li, Lingjuan Lyu, Shuang Wu, [8] Shouhong Ding, Chunhua Shen, and Chao Wu. Dense: Data-free one-shot federated learning. In S. Koyejo, S. Mohamed, A. Agar- wal, D. Belgrave, K. Cho, and A. Oh, editors, Advances in Neural Information Processing Systems , Vol. 35, pp. 21414–21428. Curran Associates, Inc., 2022. Yuanhao Xiong, Ruochen Wang, Minhao Cheng, Felix Yu, and [9] Cho-Jui  Hsich. Feddm:  Iterative distribution matching for communication-efficient federated learning.  In IEEE/CVF Con- ference on Computer Vision and Pattern Recognition, CVPR 2023, Vancouver, BC, Canada, June 17-24, 2023, pp. 16323– 16332. IEEE, 2023. Felix Wiewel and Bin Yang. Condensed composite memory con- [10] tinual learning.  In International Joint Conference on Neural Networks, IJCNN 2021, Shenzhen, China, July 18-22, 2021, pp. 1–8. IEEE, 2021. Mattia Sangermano, Antonio Carta, Andrea Cossu, and Davide [11] Bacciu.  Sample condensation in online continual learning.  In International Joint Conference on Neural Networks, IJCNN 2022, Padua, Italy, July 18-23, 2022, pp. 1–8. IEEE, 2022. [12] Tian Dong, Bo Zhao, and Lingjuan Lyu.  Privacy for free:  How does dataset condensation help privacy?   In Kamalika Chaud- huri, Stefanie Jegelka, Le Song, Csaba Szepesvari, Gang Niu, and Sivan Sabato, editors, Proceedings of the 39th International Conference on Machine Learning , Vol. 162 of Proceedings of Machine Learning Research , pp. 5378–5396. PMLR, 17–23 Jul 2022. [13] Dingfan Chen, Raouf Kerkouche, and Mario Fritz.  Private set generation with discriminative information. In S. Koyejo, S. Mo- hamed, A. Agarwal, D. Belgrave, K. Cho, and A. Oh, editors, Ad- vances in Neural Information Processing Systems , Vol. 35, pp. 14678–14690. Curran Associates, Inc., 2022. [14] Ilia Sucholutsky and Matthias Schonlau. Soft-label dataset distil- lation and text dataset distillation.  In 2021 International Joint Conference on Neural Networks (IJCNN), pp. 1–8, 2021. [15] Yongqi Li and Wenjie Li.  Data distillation for text classification. CoRR , Vol. abs/2104.08448, , 2021. Aru Maekawa, Naoki Kobayashi, Kotaro Funakoshi, and Manabu [16] Okumura. Dataset distillation with attention labels for fine-tuning BERT.  In Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics (Volume 2:  Short Papers), pp. 119–127, Toronto, Canada, July 2023. Association for Computational Linguistics. Shivam Sahni and Harsh M. Patel. Exploring multilingual text data [17] distillation. CoRR, Vol. abs/2308.04982, , 2023. Alec Radford, Jeffrey Wu, Rewon Child, David Luan, Dario [18] Amodei, Ilya Sutskever, et al. Language models are unsupervised multitask learners. OpenAl blog , Vol. 1, No. 8, p. 9, 2019. [19] Bo Zhao and Hakan Bilen.  Dataset condensation with differen- tiable siamese augmentation.  In Marina Meila and Tong Zhang, editors, Proceedings of the 38th International Conference on Machine Learning , Vol. 139 of Proceedings of Machine Learning Research , pp. 12674–12685. PMLR, 18–24 Jul 2021. Tatsuya Hiraoka, Sho Takase, Kei Uchiumi, Atsushi Keyaki, and [20] Naoaki Okazaki. Optimizing word segmentation for downstream task.  In Findings of the Association for Computational Lin- guistics:  EMNLP 2020, pp. 1341–1351, Online, November 2020. Association for Computational Linguistics. [21] Yanqing Liu, Jianyang Gu, Kai Wang, Zheng Zhu, Wei Jiang, and Yang You.  Dream: Efficient dataset distillation by representative matching. In Proceedings of the IEEE/CVF International Con- ference on Computer Vision (ICCV), pp. 17314–17324, October 2023. [22] Gert W. Wolf. Facility location: concepts, models, algorithms and case studies. series: Contributions to management science. Int. J. Geogr. Inf. Sci., Vol. 25, No. 2, pp. 331–333, 2011. [23] Ozan Sener and Silvio Savarese. Active learning for convolutional neural networks:  A core-set approach.  In 6th International Con- ference on Learning Representations, ICLR 2018, Vancou- ver, BC, Canada, April 30 - May 3, 2018, Conference Track Proceedings. OpenReview.net, 2018. [24] Alex Wang, Amanpreet Singh, Julian Michael, Felix Hill, Omer Levy, and Samuel Bowman. GLUE: A multi-task benchmark and analysis platform for natural language understanding. In Proceed- ings of the 2018 EMNLP Workshop BlackboxNLP: Analyzing and Interpreting Neural Networks for NLP, pp. 353–355, Brus- sels, Belgium, November 2018. Association for Computational Linguistics. [25] Max Welling.  Herding dynamical weights to learn. In  Pro- ceedings of the 26th Annual International Conference on Machine Learning , ICML '09, p. 1121–1128, New York, NY, USA, 2009. Association for Computing Machinery. Algorithm 1に提案法における勾配の一致度に基づく追学習のアルゴリズムの概要を示す．従来の勾配の一致度を利用するデータセット蒸留の手法[2, 19]と同様に，Sステップからなるouter-loopと，Tステップからなるinner-loopで構成される.  outer-loopでは，各ステップの開始時に分類モデルのパラメータθの初期化を行う．inner-loopでは，各クラスラベルごとに勾配の一致度に基づく損失を計算し、その平均に基づいてテキスト生成モデルのパラメータφを更新する．また，φの更新後に，訓練データセットの実サンプルを利用して分類モデルをKステップ学習する.これにより,テキスト生成モデルは,異なる初期値，異なる学習段階の分類モデルのパラメータθの勾配を考慮して学習される.
// Outer loop 1  for s = 1, ..., S do // Initialize learner Initialize θ ~ p (θ 0 ) 2 // Inner loop 3 4 s 6 S 9 10 11 12 13 14 15 Output: φ : parameters of generator model.表4に提案法における代表サンプルを利用した教師勾配，および多様性を考慮したミニバッチ生成に関するablation studyの実験結果を示す．実験結果から，いずれの手法についても提案法に対して効果的であることがわかる.提案法に関するablation study.  (a)は代表サンプル表4を利用した教師勾配，(b)は多様性を考慮したミニバッチ
表5に学習および評価時に使用したハイパーパラメータ設定を示す.
for t = 1, ..., T do // Compute gradient matching loss for each class for c = 1, ..., C do // Compute loss with real samples {x(c)}M ~ D(c) ← α Σ i=1 l θ (x (c)) L (c)
  real // Compute loss with synthetic sample {x(c)}N ~ p$(x) for i = 1, ..., N do ai ← p $ ( x ( c ) / ∑ = 1 p $ ( ← ∑ j=1 ailo(¥(c)) L (c) // Gradient matching loss L (c) ← D(V 0 L (c) , V 0 L (c) )) // Update generator φ ← φ − α∇ φ ≥ // Update learner for K steps for k = 1, ..., K do Xreal ~ Dreal θ ← θ – η∇ θ L θ ( Xrcal)