テキスト生成モデルを利用したデータセット蒸留

データセット蒸留は，訓練データセット中の知識を蒸留することで，ニューラルモデルを効率的に学習可能な少量の合成データを獲得する．本研究では，学習効果の高い訓練データを生成するようテキスト生成モデルを学習することで，合成データをテキストとして獲得する手法を提案する．実験では，提案法を複数のテキスト分類タスクのデータセットに適用し，元のデータセットから選択された代表サンプル集合よりも高い性能でモデルを学習可能であることを示した．また，提案法によりテキストとして獲得した合成データは，蒸留時と異なる事前学習済みモデルの学習に対する汎化性能だけでなく，大規模言語モデルのin-contextlearningに対しても効果的であることを示した．