Embeddingタスクでの継続事前学習によるドメイン特化の検討

学習されていない専門領域の知識（ドメイン知識）に基づいた回答をLLMにさせたいというニーズがある。一般にPrompting[1]やRAG[2]で入力プロンプトに情報付加することで回答に反映させる方法が主流である。一方でプロンプトにドメイン知識を記述しきれない、回答の質は検索性能に依存するという課題がある[3]。さらにEmbeddingモデルは知らないドメイン知識を説明なしにはうまく埋め込めないという課題もある[4]。そこで事前学習後にドメイン知識を含んだデータで学習しドメイン知識をモデルに付加する継続事前学習（中間学習）[5,6,7]や事後学習[8,9,10]というアプローチがある。継続事前学習ではドメイン知識を含んだコーパスがあればよい。またLLMでは継続事前学習によりドメイン知識による能力を獲得した例が報告されている[11,12,13]。一方で事後学習では事後タスク用のデータが必要となり、一般にドメイン知識を含んだコーパスから事後タスク用のデータを作成する必要がある[14,15]。そこで本研究では、Embeddingモデルにおいても、ドメイン知識に基づいた継続事前学習のみによって特定ドメインに特化することが可能かを検証する。