テキスト生成モデルを利用したデータセット蒸留

深層学習モデルは，大規模なニューラルネットワークを大量の訓練データを用いて学習することにより，驚異的な性能を達成している．しかし，そのような大規模なモデルの学習には膨大な時間と計算資源を要するため，新しいモデルの開発はおろか，追学習さえ困難となっている．このような背景から，訓練データセット中の知識を蒸留することで，学習効果を保持しつつ訓練データセットを圧縮するデータセット蒸留[1]が近年注目されている．データセット蒸留は，モデルを効率的に学習可能な少量の人工的なデータを作成することで，モデルの学習コストの大幅な削減を実現する．データセット蒸留は，画像分野を中心に様々な手法が提案されており[2,3,4,5]，ニューラルアーキテクチャ探索[6,7]，連合学習[8,9]，継続学習[10,11]，データのプライバシー保護[12,13]といった応用の観点からも関心を集めている．データセット蒸留では，勾配法を用いてデータを直接最適化することにより，学習効果の高い合成データを獲得する手法が一般的である．しかし，これらの手法はピクセル単位の連続値データとみなせる画像データには適用可能である一方で，離散データであるテキストには直接適用できない．そこで従来法では，離散的なテキストの代わりに連続値である単語埋め込みベクトルの系列として合成データを最適化する[14,15,16,17]．しかし，この方法により単語埋め込みレベルで構築した合成データは，異なる単語埋め込みを持つモデルの学習には適用できないため，実応用の観点で致命的な問題となる．そこで本研究では，合成データをテキストとして獲得可能なデータセット蒸留手法として，学習効果の高いテキストデータを生成するようテキスト生成モデルを学習する手法を提案する．つまり，離散性により最適化が困難なテキストデータの代わりに，それらを生成するモデルのパラメータを学習することで勾配法による最適化を可能にする．具体的には，テキスト生成モデルの生成サンプルで計算されたモデルの勾配と，訓練データセット中の実サンプルで計算された平均勾配が一致するようテキスト生成モデルを学習する(図1)．実験では，SST-2，QQP，MNLI-mの3つのテキスト分類タスクのデータセットに対して提案法を適用し，訓練データセットから代表的な実サンプルの集合を選択するコアセット選択の手法と比較して高い性能でモデルを学習可能な合成データセットを獲得できることを示した．さらに，提案法によりテキストとして獲得した合成データは，蒸留時と異なるモデルの学習に対しても汎化性能を示すだけでなく，大規模言語モデルのin-contextlearningに対しても有効であることが判明した．