トピックエントロピーに基づく学習データ選択による事前学習言語モデルの訓練安定性向上

スの手法がある[10,11,12]．アーキテクチャベース本稿では，事前学習言語モデルの訓練の安定化やオブジェクティブベースの手法は既にPLMの学を目的として，新たな学習データ選択手法であ習効率向上に大きく貢献している一方で，データるTopicEntropy-basedDataSelection(TEDS)を提案すセットベースの手法はまだ比較的研究が少ない．る．TEDSでは，テキストに含まれるトピックの多代表的なデータセットベースの手法として，カリ様性指標であるトピックエントロピーを定義した上キュラム学習[12]が挙げられる．カリキュラム学習で，(i)トピックエントロピーの高い一部の学習デーは，定義された難易度の指標に基づき，簡単な学習タによる訓練，(ii)全学習データによる訓練という2サンプルからより難易度の高い学習サンプルへと訓段階の事前学習を行う．提案手法の効果を検証する練を徐々に移行させることにより，モデルの学習効ために，検証損失に基づく訓練安定性とGLUEベン率を高める手法である．PLMにカリキュラム学習チマークを用いた下流タスクの性能を評価した．実を適用するためには，学習データとなるテキストに験により，TEDSを用いたモデルはベースラインと対して，難易度の指標を設計する必要がある．テキ比較して検証損失が安定的に減少し，より高い汎化ストの難易度を定義することは，言語学の分野では性能を獲得することを示した．Readabilityの研究として知られており，テキストの難易度を決める要因は，(1)語彙レベル，文法構造の