スの手法がある[10,11,12]．アーキテクチャベース本稿では，事前学習言語モデルの訓練の安定化やオブジェクティブベースの手法は既にPLMの学を目的として，新たな学習データ選択手法であ習効率向上に大きく貢献している一方で，データるTopicEntropy-basedDataSelection(TEDS)を提案すセットベースの手法はまだ比較的研究が少ない．る．TEDSでは，テキストに含まれるトピックの多代表的なデータセットベースの手法として，カリ様性指標であるトピックエントロピーを定義した上キュラム学習[12]が挙げられる．カリキュラム学習で，(i)トピックエントロピーの高い一部の学習デーは，定義された難易度の指標に基づき，簡単な学習タによる訓練，(ii)全学習データによる訓練という2サンプルからより難易度の高い学習サンプルへと訓段階の事前学習を行う．提案手法の効果を検証する練を徐々に移行させることにより，モデルの学習効ために，検証損失に基づく訓練安定性とGLUEベン率を高める手法である．PLMにカリキュラム学習チマークを用いた下流タスクの性能を評価した．実を適用するためには，学習データとなるテキストに験により，TEDSを用いたモデルはベースラインと対して，難易度の指標を設計する必要がある．テキ比較して検証損失が安定的に減少し，より高い汎化ストの難易度を定義することは，言語学の分野では性能を獲得することを示した．Readabilityの研究として知られており，テキストの難易度を決める要因は，(1)語彙レベル，文法構造の

複雑さ，単語や文の長さなどのミクロ要因，(2)テ近年，事前学習言語モデル1）(Pre-trainedLanguageキストのトピックや一貫性などのマクロ要因に分類Model，PLM)は自然言語処理分野において大きなされる[13]．ここで，(1)ミクロ要因に関しては，語成果を上げている[1,2]．PLMは，小規模なラベル彙頻度[12]やテキストの長さ[10,11]を活用した手付きデータセットを用いてファインチューニングを法が提案されているが，(2)マクロ要因については行うことにより，様々な自然言語処理タスクにおい十分に研究が行われていない．て最高精度を達成している．一方で，大規模なコー本稿では，学習サンプルの難易度指標としてマパスを用いた事前学習は計算コストが非常に高く，クロ要因の一つであるトピックに着目し，新たな特に訓練が不安定である場合には，計算コストが更学習データ選択手法であるTopicEntropy-basedDataに増加するという問題がある．Selection(TEDS）を提案する．TEDSでは，学習効PLMの学習効率を向上させるために，これまでに率が高い(難易度が低い)テキストは多様なトピック多くの研究が行われている．代表的な例として，よから構成されるという仮説に基づき，学習サンプルりパラメータ数の少ないモデルアーキテクチャを設のトピックの多様性を計測する新たな指標として，計するアーキテクチャベースの手法[3,4,5,6,7]，トピックエントロピーを定義する．テキストの潜在効率的な事前学習を行うために新たな目的関数を定的なトピックを推定する手法には，トピックモデル義するオブジェクティブベースの手法[8,9]，更に．の一つであるLatentDirichletAllocation(LDA)を用い効果的な学習データ選択と学習スケジュールの実行る．実験により，TEDSを用いたモデルでは，ベースラインと比較して訓練の安定性及び下流タスクに1）本稿では，GPTのような自己回帰型言語モデルではなく，BERTに代表される自己符号化型言語モデルを指すこととおける汎化性能が向上することを示す．する．―317―.