Swallowコーパスv2:教育的な日本語ウェブコーパスの構築

LLMの性能はスケーリング則[1]に従い，パラメータ数，計算予算，訓練データ量との間にべき乗則が成り立つと言われている．ところが，単に数量を増やせばLLMが高性能になるのではなく，適切なアーキテクチャの選択や高品質な訓練データの準備が欠かせない．LLMの訓練データとして，CommonCrawl1）と呼ばれるウェブアーカイブを活用することが多く，英語ではReﬁnedWeb[2]やRedPajama[3]，日本語ではOkazakiら[4]，新里ら[5]，榎本ら[6]，Tolmachevら[7]等の構築例がある．最近では，学習に用いるウェブ文書を厳選すると，同じ訓練データ量でも高い性能を達成できると報告されている．Penedoら[8]は学校のカリキュラムへの関連性や内容の有益性を評価基準とした「教育スコア」を付与する分類器を構築し，ウェブ文書をスコア付けすることで，LLMにとって「教育的価値」の高い訓練データ（FineWeb-Edu）を構築した．1）https://commoncrawl.org/また，Liら[9]はOpenHermes2.5[10]やELI52）を正例として訓練した分類器を用い，高品質な英語コーパス（DCLM-baseline）を構築した．本研究では，LLMの知識や一般教養を高めることを「教育」の主眼と捉え，教育的価値の高いテキストを厳選したSwallowコーパスv2を構築する．具体的には，文書の教育的価値を判定する2種類の分類器を構築し，日本語ウェブコーパスから教育的価値の高い文書を厳選する手法を提案する．また，構築したコーパスでLLMの継続事前学習を行い，提案手法の有効性やLLM構築の最良慣行を多角的に検証する．本研究で得た知見は以下の通りである．1.提案手法は主に，日本語の知識系タスク（QA，教養科目，翻訳）の性能改善に有効である．