大規模言語モデル（LLM）に、新たな知識を追加学習によって取り込むことは、いまだ困難なタスクと言われている。近年はRAGのように外部情報を参照する手法が注目されているが、この手法においては、LLM内部に蓄積された膨大な知識と新たな情報を統合し、高度な推論を行うことは依然として難しい。本研究では、LLMが自己学習を行う手法や、DPO（DirectPreferenceOptimization）による選好最適化手法から着想を得て、LLMに新規知識を効果的に埋め込む枠組みを提案し、その有効性を検証する。

新規知識をLLMの追加学習によって取り込み、内部知識として定着させることは、いまだ困難なタスクと言われている[1]。新規知識を外部情報として参照する手法であるRAG[2]が近年注目されているが、この手法においては、LLM内部に蓄積された膨大な知識と新たな情報を統合し、高度な推論を行うことは依然として難しい[3]。本研究では、日々新たに生起するニュース記事情報を新規知識の対象とし、LLMへの新規知識の埋め込み手法を提案するとともに、その定着度を評価する。提案手法はLLMの自己学習[4,5]に関する先行研究を踏まえて着想を得たものである。具体的には、(1)質問応答(QA)生成[4]、(2)データ拡張[6,7]、(3)自己選好最適化[5]、(4)反復学習[4]の4つの技術要素を中心に、継続事前学習(CPT:Continual-Pre-Training)、SFT(Supervised-Fine-Tuning）、DPOの3種類のLLMの学習手法を組み合わせて再構成し、新たなアーキテクチャとして設計することに新規性を有する。∗現在LINEヤフー株式会社に在籍しているが、本論文の成果は早稲田大学での研究による。LLMData新規知識QA生成新規知識QALLMデータ拡張DataChosenRejectedDataCPTSFTDPOLLMLLMLLM