継続事前学習によるLLMの知識獲得

継続学習は、モデルが新しい情報を取り入れつつ、既存の知識を保持する能力を向上させる技術であり、本研究では大規模言語モデル（LLM）における継続学習を通じた知識の埋め込みの手法について検討する。本研究では、LLMに特定のドメインデータの知識を覚えさせるために、継続学習時に対象ドメインデータから作成した複数のNLPタスクを混ぜ、さらに指示学習時においても、ドメイン特化した指示データで学習を行う。QAタスクによる実験の結果、人手評価において、対象のドメインで指示学習データを作ったモデルが最も正答率が高く、ドメイン特化させる場合は指示学習データもドメイン特化させる方がよいと考えられる。また本研究では、継続学習時のコンテキスト長が与えるQAタスクの性能変化についても調査した。