大規模言語モデル（LLM）の事前学習では，高品質なテキストを用いることが望ましい．本研究では，文書の「教育的価値」に着目した2種類の軽量な分類器を構築して，各文書に品質スコアを付与し，大規模日本語ウェブコーパスから高品質なテキストを抽出する手法を提案する．実験により，提案手法を適用することで，同等の学習計算規模で日本語の知識に関するLLMの能力をより効率的に向上できることを示した．また，分類器の特性比較，ヒューリスティック・ルールの調整，学習のエポック数を増やす実験などを通じて，提案手法の実用性やLLM構築の最良慣行について検証する．

LLMの性能はスケーリング則[1]に従い，パラメータ数，計算予算，訓練データ量との間にべき乗則が成り立つと言われている．ところが，単に数量を増やせばLLMが高性能になるのではなく，適切なアーキテクチャの選択や高品質な訓練データの準備が欠かせない．LLMの訓練データとして，CommonCrawl1）と呼ばれるウェブアーカイブを活用することが多く，英語ではReﬁnedWeb[2]やRedPajama[3]，日本語ではOkazakiら[4]，新里ら[5]，榎本ら[6]，Tolmachevら[7]等の構築例がある．最近では，学習に用いるウェブ文書を厳選すると，同じ訓練データ量でも高い性能を達成できると報告されている．Penedoら[8]は学校のカリキュラムへの関連性や内容の有益性を評価基準とした「教育スコア」を付与する分類器を構築し，ウェブ文書をスコア付けすることで，LLMにとって「教育的価値」の高い訓練データ（FineWeb-Edu）を構築した．1）https://commoncrawl.org/また，Liら[9]はOpenHermes2.5[10]やELI52）を正例として訓練した分類器を用い，高品質な英語コーパス（DCLM-baseline）を構築した．本研究では，LLMの知識や一般教養を高めることを「教育」の主眼と捉え，教育的価値の高いテキストを厳選したSwallowコーパスv2を構築する．具体的には，文書の教育的価値を判定する2種類の分類器を構築し，日本語ウェブコーパスから教育的価値の高い文書を厳選する手法を提案する．また，構築したコーパスでLLMの継続事前学習を行い，提案手法の有効性やLLM構築の最良慣行を多角的に検証する．本研究で得た知見は以下の通りである．1.提案手法は主に，日本語の知識系タスク（QA，教養科目，翻訳）の性能改善に有効である．