されている．データセット蒸留は，モデルを効率的本稿では，データセットに含まれる知識を蒸留すに学習するように最適化された合成サンプルからなることで，ニューラルネットワークを効率的に学習る蒸留データの獲得を目的とする．データセット蒸可能な少量の合成サンプルを構築するデータセット留は，学習サンプルを直接最適化することで，デー蒸留に取り組む．我々は，事前学習済みTransformerタ選択よりもはるかに少量のデータに圧縮する．モデルを効果的にファインチューニング可能なデータセット蒸留は，特に画像分野を中心に近年関Few-shotデータの獲得のために，Transformerの注意心が高まっており[4,5,6,7,8,9]，それらは理論的な機構における注意確率の教師ラベルを導入する．実興味からだけでなく，ニューラルアーキテクチャ/ハ験では，4つの異なる言語処理タスクのデータセッイパーパラメータ探索[10]，継続学習[11,12]，連合トに対して，BERTを高い性能でファインチューニ学習[13,14]，データのプライバシー保護[15,16]なングする注意教師付きFew-shotデータが構築可能でど，応用の観点でも注目されている．あることを示した．一方で，データセット蒸留に関する既存研究のほとんどが画像データセットを対象としており，言

語処理タスクを扱った研究はごくわずかである．深層学習モデルは，大規模なニューラルネットSucholutskyら[6]とLiら[17]は，テキストの代わりワークを大量のデータで学習することで，自然言語に単語埋め込みのレベルで蒸留データを構築するこ処理を含む様々な分野で高い性能を達成している．とで，データセット蒸留を離散データであるテキスしかし，深層学習モデルの学習には，学習時間，計トデータセットに適用した．しかし，これらの研究算資源，消費エネルギーなどを含む膨大なコストがは，CNNやRNNベースのニューラルネットワークかかる．そこで，この学習コストを削減するためを対象としており，近年の言語処理タスクにおいてに，学習後のモデルの性能を維持したまま，学習用標準となっている事前学習済みTransformerモデルデータセットを縮小する試みが行われている．を対象とした研究は，我々が知る限りまだない．そそれらの従来研究の多くは，データ選択に基づくこで本稿では，言語処理タスクに対して，事前学習手法を用いている．データ選択では，クラスタ中済みTransformerモデルを効果的にファインチュー心[1]，多様性[2]，モデルの尤度[3]などのヒューニング可能なFew-shotデータの獲得に取り組む．リスティックスに基づいて，学習効果の高いサンプこの目的のために，我々はTransformerの核であルの部分集合を抽出する．データ選択は，効率的かる注意機構に着目する[18]．従来研究[19,20,21]でつ安定した高い学習性能を実現しており，能動学は，注意確率の教師を利用することで，モデルを効習[1]や継続学習[2]などにも応用されている．し果的に学習する手法が提案されている．本稿では，かし，データ選択による手法は，元のデータセットこれらの手法に着想を得て，蒸留データの各サンプに学習効果の高い代表的なサンプルが存在するといルに対して注意教師ラベルを付与することで，蒸留う仮定に基づいているため，その性能は明らかに制データによるTransformerの学習効果の向上を図る．限される．実験では，AGNews，SST-2，QNLI，MRPCの4つ近年，学習用データセットを縮小するための新しのテキスト分類タスクに対して，BERT[22]をファ―778―.インチューニングするための注意教師付きFew-shotデータセットを構築した．その結果，注意教師ラベルの利用による大幅な性能改善が見られ，BERTを高い性能でファインチューニング可能であることを示した．具体例として，4クラスのニュース記事分類タスクであるAGNewsにおいて，我々が構築した各クラス1サンプルのみで構成される蒸留データは，BERTを1回の勾配更新のみでファインチューニングし，元の学習データセット全体で学習した場合の98.5%の性能である最大93.2%の分類精度を達成した．