新聞ドメインにおける大規模言語モデルの継続事前学習と下流タスクデータ量の関係

質問応答や文章校正など，様々な用途で大規模言語モデル(LLM)の活用が進んでいる[1,2,3]．特に企業での応用を見据えると，金融，医療などといった業界に特化したLLMのニーズは大きく，様々な業界で活用，研究が進んでいる[4,5,6,7]．LLMの実応用に際しては，OpenAI社が提供するChatGPTのように，様々なタスクに汎用的に活用できるチャットボットのニーズも高い一方，解きたいタスクが明確に定まっている場合も一定存在する．LLMを用いて解きたいタスクが明確に定まっている場合，解きたいタスクのラベル付きデータを用いて教師ありファインチューニング(SFT)を行うことが一般的である[8]．しかしながら，高いタスク性能を達成するためには大量のラベル付きデータが必要となる場合も存在する．タスクによって現実的に用意できるデータ量は異なり，大規模に用意するのは高コストであることも多い．そのため，ベースとマーカー付近の値は見出し生成タスクの学習データ量を示す．なるLLMを特定ドメインの生テキストで追加学習することで，そのドメインの知識獲得を目指す継続事前学習が先行して行われることがある[5,9,10]．継続事前学習では，学習に用いるデータに対して正解ラベルを付与する必要がないため，比較的学習データを収集しやすいという特徴がある．しかしながら，実際に継続事前学習することがどのような状況下で有効か，特に下流タスクのデータ量に着目するといまだ不明な点が多い．本研究では新聞ドメインにおける見出し生成タスクを対象に，タスクのデータ量に着目した場合の継続事前学習の有効性を検証した．多くの新聞記事は本文に対して見出しが付与された状態で公開され，本文と見出しの組を集めやすいことから，下流タスクのデータ量による継続事前学習の影響を調査する上で適したタスクであると考えることができる．本研究では，新聞ドメインへ特化させるための継続事前学習を行った上で，SFTに用いるデータ量による性能の差を分析する．分析の結果，SFTの学習データが極めて少ない状況下では継続事前学習の効果が大きい可能性が示唆された．.