日本語LLMの事前学習データの品質・構成が性能に与える影響

本研究では，大規模な日本語Webコーパスを構築し，文書の教育的価値（Eduスコア）および可読性に基づく難易度を品質指標としたサンプリング戦略と，完全一致重複を含む学習データがLLMの下流タスク性能に与える影響を調査し，以下の知見を示す．（1）Eduスコアが高い文書の比率を高めると一般知識タスク性能は向上する一方で，総合性能は低下する．（2）完全一致重複を含む学習データでは性能が低下する．（3）単一の指標に基づく積極的な選別よりも，低品質データのみを除去した上でのランダムサンプリングが有効である．