ドメイン特化型大規模言語モデル（LLM）の開発には，高品質で十分な規模のドメインコーパスを用いた継続事前学習が不可欠である．しかし，空調分野のように専門性が高く公開データが乏しい産業領域において，Webコーパスから高品質なドメイン文書を抽出し，ダウンストリームタスクにおける性能まで検証した実証研究は限られている．本研究では，日本語Webコーパスからキーワードフィルタにより取得したシードを起点とし，分類器による候補抽出とLLMによる品質評価を反復するコーパス構築手順を提案する．提案手法により高品質文書167,401件（約0.16Btokens）を収集し，FineWeb2-jaを用いた日本語空調コーパスの構築と継続事前学習の結果，空調分野の質問応答ベンチマークにおいてベースモデルより正答率が4ポイント向上した．

大規模言語モデル（LLM）の発展により，製造業においても問い合わせ対応や設計支援など，専門知識を要する業務への応用が進みつつある．一般的に用いられる汎用LLMでは専門用語や暗黙の前提を扱うことが難しい場合がある．実際にダイキンの社内業務における汎用LLMの適用可能性を検証したところ，空調負荷の計算や機種名称の扱いなどで誤りが多く生じており，業務で求められる回答精度を安定して満たすことが困難であった．このような課題に対して，継続事前学習によりドメイン固有の知識・表現を獲得させるドメイン特化LLMの開発が有効なアプローチとして注目されている[1,2]．ドメイン特化LLM実現のためには，学習データの整備，継続事前学習の学習設定，評価方法の設計など複数の工程が存在する．中でも学習データはLLMの性能に与える影響が大きく，追加学習に用いるコーパスの品質と規模に性能向上が強く依存することが報告されている[3]．一方で空調分野には大規模な公開コーパスが存在せず，一企業が保有するデータだけで十分な規模のテキスト情報を確保することも容易ではない．そこで本研究では，ノイズが多い一方で大量のテキストを確保しやすいWebコーパスから空調ドメインに有用な高品質文書の抽出方法を提案する．大規模なコーパスから学習データを抽出する研究として，Shaoら[4]は，高品質な初期シードから学習した分類器を反復的に更新しつつ，Webコーパスからドメイン文書を段階的に拡張する手法を示した．Zhouら[5]は，粗抽出した候補文書に対してLLMで数学関連度をスコア付与し，そのラベルで分類器を再学習することで，より高品質な文書集合を得る手法を提案した．Penedoら[6]は，LLMで文書の教育的品質をスコア化し，そのスコアに基づくモデルでFineWeb全体をスコアリングして教育的品質の高い文書集合（FineWeb-Edu）を抽出した．これらの先行研究は，分類器とLLMを組み合わせた反復的なデータ精製が有効であることを示している一方，日本語を対象とした産業応用において要求されるデータ品質やドメイン適合性については十分に検討されていない．本研究ではこれらの先行研究を参考に，日本語Webコーパスを対象にキーワードフィルタで作成した初期シードを起点とし，分類器による候補抽出とLLMによるスコアリングを反復的に適用することで，空調分野に特化した高品質コーパスを構築する．