事前学習済みTransformerモデルのための注意教師付きFew-shotデータの蒸留

語処理タスクを扱った研究はごくわずかである．深層学習モデルは，大規模なニューラルネットSucholutskyら[6]とLiら[17]は，テキストの代わりワークを大量のデータで学習することで，自然言語に単語埋め込みのレベルで蒸留データを構築するこ処理を含む様々な分野で高い性能を達成している．とで，データセット蒸留を離散データであるテキスしかし，深層学習モデルの学習には，学習時間，計トデータセットに適用した．しかし，これらの研究算資源，消費エネルギーなどを含む膨大なコストがは，CNNやRNNベースのニューラルネットワークかかる．そこで，この学習コストを削減するためを対象としており，近年の言語処理タスクにおいてに，学習後のモデルの性能を維持したまま，学習用標準となっている事前学習済みTransformerモデルデータセットを縮小する試みが行われている．を対象とした研究は，我々が知る限りまだない．そそれらの従来研究の多くは，データ選択に基づくこで本稿では，言語処理タスクに対して，事前学習手法を用いている．データ選択では，クラスタ中済みTransformerモデルを効果的にファインチュー心[1]，多様性[2]，モデルの尤度[3]などのヒューニング可能なFew-shotデータの獲得に取り組む．リスティックスに基づいて，学習効果の高いサンプこの目的のために，我々はTransformerの核であルの部分集合を抽出する．データ選択は，効率的かる注意機構に着目する[18]．従来研究[19,20,21]でつ安定した高い学習性能を実現しており，能動学は，注意確率の教師を利用することで，モデルを効習[1]や継続学習[2]などにも応用されている．し果的に学習する手法が提案されている．本稿では，かし，データ選択による手法は，元のデータセットこれらの手法に着想を得て，蒸留データの各サンプに学習効果の高い代表的なサンプルが存在するといルに対して注意教師ラベルを付与することで，蒸留う仮定に基づいているため，その性能は明らかに制データによるTransformerの学習効果の向上を図る．限される．実験では，AGNews，SST-2，QNLI，MRPCの4つ近年，学習用データセットを縮小するための新しのテキスト分類タスクに対して，BERT[22]をファ―778―.インチューニングするための注意教師付きFew-shotデータセットを構築した．その結果，注意教師ラベルの利用による大幅な性能改善が見られ，BERTを高い性能でファインチューニング可能であることを示した．具体例として，4クラスのニュース記事分類タスクであるAGNewsにおいて，我々が構築した各クラス1サンプルのみで構成される蒸留データは，BERTを1回の勾配更新のみでファインチューニングし，元の学習データセット全体で学習した場合の98.5%の性能である最大93.2%の分類精度を達成した．