汎用的なEmbeddingモデルでは未知のドメイン知識の埋め込みが困難である。本研究では、事前学習済みモデルに継続事前学習で新規のドメイン知識を付加することで特定ドメインに特化させることは可能なのかを検証した。Wikipediaの新規記事を疑似ドメインデータを作成し、ベンチマークを提案した。その結果、継続事前学習によってドメイン知識に関する能力が向上することを確認した。今後、よりEmbedding能力が高いモデルでの効果、異なる性質のドメイン知識について検討したい。

学習されていない専門領域の知識（ドメイン知識）に基づいた回答をLLMにさせたいというニーズがある。一般にPrompting[1]やRAG[2]で入力プロンプトに情報付加することで回答に反映させる方法が主流である。一方でプロンプトにドメイン知識を記述しきれない、回答の質は検索性能に依存するという課題がある[3]。さらにEmbeddingモデルは知らないドメイン知識を説明なしにはうまく埋め込めないという課題もある[4]。そこで事前学習後にドメイン知識を含んだデータで学習しドメイン知識をモデルに付加する継続事前学習（中間学習）[5,6,7]や事後学習[8,9,10]というアプローチがある。継続事前学習ではドメイン知識を含んだコーパスがあればよい。またLLMでは継続事前学習によりドメイン知識による能力を獲得した例が報告されている[11,12,13]。一方で事後学習では事後タスク用のデータが必要となり、一般にドメイン知識を含んだコーパスから事後タスク用のデータを作成する必要がある[14,15]。そこで本研究では、Embeddingモデルにおいても、ドメイン知識に基づいた継続事前学習のみによって特定ドメインに特化することが可能かを検証する。