多様な言い換え生成と自己学習手法の統合による大規模言語モデルへの新規知識の追加学習

新規知識をLLMの追加学習によって取り込み、内部知識として定着させることは、いまだ困難なタスクと言われている[1]。新規知識を外部情報として参照する手法であるRAG[2]が近年注目されているが、この手法においては、LLM内部に蓄積された膨大な知識と新たな情報を統合し、高度な推論を行うことは依然として難しい[3]。本研究では、日々新たに生起するニュース記事情報を新規知識の対象とし、LLMへの新規知識の埋め込み手法を提案するとともに、その定着度を評価する。提案手法はLLMの自己学習[4,5]に関する先行研究を踏まえて着想を得たものである。具体的には、(1)質問応答(QA)生成[4]、(2)データ拡張[6,7]、(3)自己選好最適化[5]、(4)反復学習[4]の4つの技術要素を中心に、継続事前学習(CPT:Continual-Pre-Training)、SFT(Supervised-Fine-Tuning）、DPOの3種類のLLMの学習手法を組み合わせて再構成し、新たなアーキテクチャとして設計することに新規性を有する。∗現在LINEヤフー株式会社に在籍しているが、本論文の成果は早稲田大学での研究による。LLMData新規知識QA生成新規知識QALLMデータ拡張DataChosenRejectedDataCPTSFTDPOLLMLLMLLM