した最新の事象や，特定の領域・産業固有の知識に近年，大規模言語モデル（LLM）は膨大なWeb対応することは困難である．データを活用することで性能を大幅に向上させていこのような新たな知識や領域固有の情報をLLMる．しかし，実務適用においては，ドメイン固有のに付与するための手段としては，プロンプトチュー知識をモデル内部へ定着させる必要があり，これにニング（PromptTuning）やRAG（Retrieval-Augmented対して多様な手法が提案されてきた．また，単一のGeneration）[3]が提案されているが，PromptTuning事実をモデルに確実に学習させるためには，多角的では入力が長いほど計算コストが上昇する傾向がな文脈や表現を100～1,000回程度提示する必要がある．また，RAGは比較的実装が容易であり，外部あることが報告されているが，そのようなドメインデータベースを用いることで最新の情報に継続的にデータを十分に収集・整理するには多大なコストやアクセスできるため，実務面での活用が期待されて制約が伴う．本研究では，LLMに対する新たな知いる．一方で，あくまで外部知識ベースを参照する識定着を実現する継続事前学習に対して，複数の合にとどまり，モデルパラメーター自体を更新しない成データ生成手法を適用し，効率的な知識獲得方法ため，深い専門知識を内在化した高度な回答には限を検証した．さらに，能動学習を用いたデータセッ界があると指摘されている[4]．ト削減手法を組み合わせることで，知識定着をよりこれに対して，ファインチューニング（Fine-効率化する方法を検討した．実験の結果，事実ベーtuning）はモデルパラメーターの更新を伴う知識スの合成データ生成手法によって多様な合成データの埋め込みを実現し得る手法として期待されていを準備することで，単純な言い換え手法と比較してる．しかし，単純なSupervisedFine-Tuning（SFT）を学習回数を69％削減しつつ，モデル内部への知識用いて新たな知識を効率的に獲得することは難し定着が可能であることが明らかとなった．一方で，いことが指摘されている[5]．一方，継続事前学習能動学習手法による学習効率化は，合成データを用（ContinualPre-Training）[6]は，既存のLLMを再利いる環境下では期待した性能改善を示さなかった．用しつつ新たなドメイン知識を追加学習する手法であり，一からモデルを学習する場合（フルスクラッ

チ開発）と比較して，計算資源や学習時間などのコ大規模言語モデル（LLM）は近年急速な発展を遂ストを抑えながら知識獲得を実現できる点が注目さげ，多様なアーキテクチャーや学習戦略を採用しれている．実際，この手法を用いて開発された特化た数多くのモデルが開発されている[1]．中でも，型モデルも提案されており，高度なドメイン推論やOpenAIo1[2]は，物理・化学・生物の分野で博士レ専門的な応答生成など，従来手法では難しかった成ベルに匹敵する認識能力を備えているとも報告され果を実現していることが報告されている[7]．ており，その高度な推論能力や汎用性が注目されて一方，学習に用いるデータの質と量がその効果をいる．一方で，LLMは膨大かつ汎用的なテキスト大きく左右することも指摘されている[8]．例えば，データを用いて学習されるため，学習時点までに存単一の事実を確実にモデルに学習させるには，多様∗この2人の著者は本研究に等しく貢献した．な文脈や表現を通じて同一事実を提示し，約100～Thesetwoauthorscontributedequallytothiswork.―3114―.1,000回にわたる多角的な露出が必要である[8]．しかし，実務で継続事前学習を適用する際，特定の知識を十分にカバーする文書が十分な量で確保できるとは限らず，また，それらの知識が知識定着に十分な表現形式で存在していることも稀である．さらに近年，大規模コーパスの確保そのものが困難になる可能性が議論されており[9]，新たなドメインや最新情報に対応した学習データを十分にカバーできない「データ枯渇問題」が懸念されている．このような状況を踏まえ，今後のLLM活用では，不足するドメインデータを補完し，新たな知識を効率よく学習させる手段として，合成データを活用するアプローチの重要性が一層高まると考えられる．加えて，膨大な学習データに対して能動学習手法を用いることで，学習コストを抑えつつ必要な知識を効果的に獲得できることが報告されている[10,11,12]．このような背景を踏まえ，本研究では，知識定着の効率的な達成手段として，実際のデータを模倣した「合成データ」の活用と，学習に有用なサンプルを能動的に選択する「能動学習」に着目する．合成データを用いた継続事前学習による知識定着の有効性は示唆されているものの[13]，知識定着という観点で合成データと能動学習を体系的に比較・検証した研究は見当たらない．そこで本研究では，以下のリサーチクエスチョンに焦点を当て，合成データおよび能動学習がどの程度知識定着の効率性に寄与するのかを明らかにする．(1)合成データの作成方法は，知識定着に必要な学習回数に，どの程度影響を与えるか？(2)能動学習によるデータ選抜は，合成データにおける知識定着に必要な学習回数を削減可能か？