空調分野におけるドメイン特化コーパス構築手法の検討

ドメイン特化型大規模言語モデル（LLM）の開発には，高品質で十分な規模のドメインコーパスを用いた継続事前学習が不可欠である．しかし，空調分野のように専門性が高く公開データが乏しい産業領域において，Webコーパスから高品質なドメイン文書を抽出し，ダウンストリームタスクにおける性能まで検証した実証研究は限られている．本研究では，日本語Webコーパスからキーワードフィルタにより取得したシードを起点とし，分類器による候補抽出とLLMによる品質評価を反復するコーパス構築手順を提案する．提案手法により高品質文書167,401件（約0.16Btokens）を収集し，FineWeb2-jaを用いた日本語空調コーパスの構築と継続事前学習の結果，空調分野の質問応答ベンチマークにおいてベースモデルより正答率が4ポイント向上した．