継続事前学習によるLLMの知識獲得

近年、大規模言語モデル（LLM）は、企業のデジタル変革を加速させる重要な技術として、業務効率化、意思決定支援、検索サービスへの活用など、さまざまなビジネス分野で活用されている。しかし、これらのモデルがビジネス環境で最大限に機能するためには、単に一般的な知識や言語能力を持つだけでは不十分である。企業ごとに異なる理念や専門用語、業界特有の文化的背景が存在するため、LLMはこれらの企業特有の特徴を反映し、それに適応することが求められる。ドメイン知識をLLMに反映させる手法は、大きく4つに分類される。第一の手法は、対象ドメインに特化したデータを用いて、LLMをフルスクラッチで事前学習する方法である[1,2,3]。このアプローチは、対象ドメインの知識やルールを直接モデルに学習させる点で効果的である一方、事前学習に必要な大規模なデータの収集と高い計算コストが課題となる。第二の手法は、対象ドメインにおける下流タスクの教師データを用いてファインチューニングを行う方法である[4,5]。しかし、教師ありファインチューニングは、タスク固有のパフォーマンス向上を目的とするため、ドメイン知識そのものの獲得には限界があると報告されている[6]。第三の手法として、RAG（RetrievedAugmentedGeneration）のように、入力クエリに対して関連する外部知識を検索し、それをプロンプトとしてLLMに与えるアプローチが挙げられる[7,5]。この手法は柔軟性が高いものの、回答が検索精度に依存するため一貫した応答生成が難しい場合がある。最後に、対象ドメインのデータを用いてLLMを継続学習させ、ドメイン知識をモデル内部に直接埋め込む方法がある[8,9]。この手法は、検索に依存せず、フルスクラッチの事前学習と同様にLLMに知識を獲得させられる点で有効とされている。本研究では、ビジネス分野におけるデータを使用した実験を行う前段階として、言語処理年次大会（ANLP）のコーパス1）で継続学習による実験を行った。ANLPは、言語処理における最新の研究成果を集約したコーパスであり、NLP特有の専門用語や分野固有の表現が多く含まれてる。本研究の目的は、継続学習を用いてLLMがNLP特有の知識を獲得する場合、その知識獲得がどれだけ起きているか明らかにすることである。将来的にはビジネス分野における企業固有の知識獲得の応用を目指し、LLMのビジネス環境における個社や個人に特化させることを意識している。