日本語LLMの事前学習データの品質・構成が性能に与える影響

LLMの事前学習には大量のテキストデータが必要となるため，Webコーパスが広く用いられている．Webコーパスはデータ量の確保に有効な一方で，ノイズを含む文書や内容の価値が低い文書が多く混在するという問題を抱えている．そのため近年では，ルールベースのフィルタに加え，文書内容の品質に基づくフィルタリングが提案されている．FineWeb[1]では，教育的価値を品質指標とした事前学習データの選別がLLMの性能向上に寄与したことが報告されている．また，難易度の高い語彙や文法を含むデータの混入が学習上のノイズとなり得ること[2]や，非ネイティブにとっての英文の読みやすさを表すスコアを品質指標として導入する試み[3,4,5]も報告されている．しかしながら品質を教育的価値で定義したキュレーションは，難易度分布に偏りを生じさせる可能性がある．またFineWeb2[6]では，MinHash[7]による重複回数を品質の代理指標とし，高品質と推定されるデータをアップサンプリングした結果，性能向上したことが報告されている．しかし，アップサンプリングは高品質側データの露出確率を上げるだけでなく，同一文書が複数回サンプリングされる可能性も生む．実CommonCrawlWARC（rawHTML）スナップショット単位の処理（並列実行可能）3.URLによるフィルタ1.簡易言語フィルタ