Embeddingタスクでの継続事前学習によるドメイン特化の検討

汎用的なEmbeddingモデルでは未知のドメイン知識の埋め込みが困難である。本研究では、事前学習済みモデルに継続事前学習で新規のドメイン知識を付加することで特定ドメインに特化させることは可能なのかを検証した。Wikipediaの新規記事を疑似ドメインデータを作成し、ベンチマークを提案した。その結果、継続事前学習によってドメイン知識に関する能力が向上することを確認した。今後、よりEmbedding能力が高いモデルでの効果、異なる性質のドメイン知識について検討したい。