トピックエントロピーに基づく学習データ選択による事前学習言語モデルの訓練安定性向上

複雑さ，単語や文の長さなどのミクロ要因，(2)テ近年，事前学習言語モデル1）(Pre-trainedLanguageキストのトピックや一貫性などのマクロ要因に分類Model，PLM)は自然言語処理分野において大きなされる[13]．ここで，(1)ミクロ要因に関しては，語成果を上げている[1,2]．PLMは，小規模なラベル彙頻度[12]やテキストの長さ[10,11]を活用した手付きデータセットを用いてファインチューニングを法が提案されているが，(2)マクロ要因については行うことにより，様々な自然言語処理タスクにおい十分に研究が行われていない．て最高精度を達成している．一方で，大規模なコー本稿では，学習サンプルの難易度指標としてマパスを用いた事前学習は計算コストが非常に高く，クロ要因の一つであるトピックに着目し，新たな特に訓練が不安定である場合には，計算コストが更学習データ選択手法であるTopicEntropy-basedDataに増加するという問題がある．Selection(TEDS）を提案する．TEDSでは，学習効PLMの学習効率を向上させるために，これまでに率が高い(難易度が低い)テキストは多様なトピック多くの研究が行われている．代表的な例として，よから構成されるという仮説に基づき，学習サンプルりパラメータ数の少ないモデルアーキテクチャを設のトピックの多様性を計測する新たな指標として，計するアーキテクチャベースの手法[3,4,5,6,7]，トピックエントロピーを定義する．テキストの潜在効率的な事前学習を行うために新たな目的関数を定的なトピックを推定する手法には，トピックモデル義するオブジェクティブベースの手法[8,9]，更に．の一つであるLatentDirichletAllocation(LDA)を用い効果的な学習データ選択と学習スケジュールの実行る．実験により，TEDSを用いたモデルでは，ベースラインと比較して訓練の安定性及び下流タスクに1）本稿では，GPTのような自己回帰型言語モデルではなく，BERTに代表される自己符号化型言語モデルを指すこととおける汎化性能が向上することを示す．する．―317―.