事前学習済みTransformerモデルのための注意教師付きFew-shotデータの蒸留

されている．データセット蒸留は，モデルを効率的本稿では，データセットに含まれる知識を蒸留すに学習するように最適化された合成サンプルからなることで，ニューラルネットワークを効率的に学習る蒸留データの獲得を目的とする．データセット蒸可能な少量の合成サンプルを構築するデータセット留は，学習サンプルを直接最適化することで，デー蒸留に取り組む．我々は，事前学習済みTransformerタ選択よりもはるかに少量のデータに圧縮する．モデルを効果的にファインチューニング可能なデータセット蒸留は，特に画像分野を中心に近年関Few-shotデータの獲得のために，Transformerの注意心が高まっており[4,5,6,7,8,9]，それらは理論的な機構における注意確率の教師ラベルを導入する．実興味からだけでなく，ニューラルアーキテクチャ/ハ験では，4つの異なる言語処理タスクのデータセッイパーパラメータ探索[10]，継続学習[11,12]，連合トに対して，BERTを高い性能でファインチューニ学習[13,14]，データのプライバシー保護[15,16]なングする注意教師付きFew-shotデータが構築可能でど，応用の観点でも注目されている．あることを示した．一方で，データセット蒸留に関する既存研究のほとんどが画像データセットを対象としており，言