本研究では，大規模な日本語Webコーパスを構築し，文書の教育的価値（Eduスコア）および可読性に基づく難易度を品質指標としたサンプリング戦略と，完全一致重複を含む学習データがLLMの下流タスク性能に与える影響を調査し，以下の知見を示す．（1）Eduスコアが高い文書の比率を高めると一般知識タスク性能は向上する一方で，総合性能は低下する．（2）完全一致重複を含む学習データでは性能が低下する．（3）単一の指標に基づく積極的な選別よりも，低品質データのみを除去した上でのランダムサンプリングが有効である．

LLMの事前学習には大量のテキストデータが必要となるため，Webコーパスが広く用いられている．Webコーパスはデータ量の確保に有効な一方で，ノイズを含む文書や内容の価値が低い文書が多く混在するという問題を抱えている．そのため近年では，ルールベースのフィルタに加え，文書内容の品質に基づくフィルタリングが提案されている．FineWeb[1]では，教育的価値を品質指標とした事前学習データの選別がLLMの性能向上に寄与したことが報告されている．また，難易度の高い語彙や文法を含むデータの混入が学習上のノイズとなり得ること[2]や，非ネイティブにとっての英文の読みやすさを表すスコアを品質指標として導入する試み[3,4,5]も報告されている．しかしながら品質を教育的価値で定義したキュレーションは，難易度分布に偏りを生じさせる可能性がある．またFineWeb2[6]では，MinHash[7]による重複回数を品質の代理指標とし，高品質と推定されるデータをアップサンプリングした結果，性能向上したことが報告されている．しかし，アップサンプリングは高品質側データの露出確率を上げるだけでなく，同一文書が複数回サンプリングされる可能性も生む．実CommonCrawlWARC（rawHTML）スナップショット単位の処理（並列実行可能）3.URLによるフィルタ1.簡易言語フィルタ