新聞ドメインにおける大規模言語モデルの継続事前学習と下流タスクデータ量の関係

近年の大規模言語モデル(LLM)の発展により，様々なドメインに特化したLLMの研究が進んでいる．ドメイン特化LLMを下流タスクに用いる場合，タスクのラベル付きデータで教師ありファインチューニングする前に，そのドメインの知識獲得を目指し，特定ドメインの生テキストを用いた継続事前学習が先行して行われることがある．しかしながら下流タスクのデータ量に着目した継続事前学習の有効性については不明な点が多い．本研究では新聞ドメインにおける見出し生成タスクを対象に，ドメイン特化を目的とする継続事前学習と下流タスクのデータ量が性能に与える影響を分析する．分析の結果，下流タスクのデータ量が極めて少ない状況では継続事前学習の効果が大きい可能性が示唆された．