合成データと能動学習を用いた大規模言語モデルへの効率的な知識定着

チ開発）と比較して，計算資源や学習時間などのコ大規模言語モデル（LLM）は近年急速な発展を遂ストを抑えながら知識獲得を実現できる点が注目さげ，多様なアーキテクチャーや学習戦略を採用しれている．実際，この手法を用いて開発された特化た数多くのモデルが開発されている[1]．中でも，型モデルも提案されており，高度なドメイン推論やOpenAIo1[2]は，物理・化学・生物の分野で博士レ専門的な応答生成など，従来手法では難しかった成ベルに匹敵する認識能力を備えているとも報告され果を実現していることが報告されている[7]．ており，その高度な推論能力や汎用性が注目されて一方，学習に用いるデータの質と量がその効果をいる．一方で，LLMは膨大かつ汎用的なテキスト大きく左右することも指摘されている[8]．例えば，データを用いて学習されるため，学習時点までに存単一の事実を確実にモデルに学習させるには，多様∗この2人の著者は本研究に等しく貢献した．な文脈や表現を通じて同一事実を提示し，約100～Thesetwoauthorscontributedequallytothiswork.―3114―.1,000回にわたる多角的な露出が必要である[8]．しかし，実務で継続事前学習を適用する際，特定の知識を十分にカバーする文書が十分な量で確保できるとは限らず，また，それらの知識が知識定着に十分な表現形式で存在していることも稀である．さらに近年，大規模コーパスの確保そのものが困難になる可能性が議論されており[9]，新たなドメインや最新情報に対応した学習データを十分にカバーできない「データ枯渇問題」が懸念されている．このような状況を踏まえ，今後のLLM活用では，不足するドメインデータを補完し，新たな知識を効率よく学習させる手段として，合成データを活用するアプローチの重要性が一層高まると考えられる．加えて，膨大な学習データに対して能動学習手法を用いることで，学習コストを抑えつつ必要な知識を効果的に獲得できることが報告されている[10,11,12]．このような背景を踏まえ，本研究では，知識定着の効率的な達成手段として，実際のデータを模倣した「合成データ」の活用と，学習に有用なサンプルを能動的に選択する「能動学習」に着目する．合成データを用いた継続事前学習による知識定着の有効性は示唆されているものの[13]，知識定着という観点で合成データと能動学習を体系的に比較・検証した研究は見当たらない．そこで本研究では，以下のリサーチクエスチョンに焦点を当て，合成データおよび能動学習がどの程度知識定着の効率性に寄与するのかを明らかにする．(1)合成データの作成方法は，知識定着に必要な学習回数に，どの程度影響を与えるか？(2)能動学習によるデータ選抜は，合成データにおける知識定着に必要な学習回数を削減可能か？