日本語LLM構築におけるコーパスクリーニングの網羅的評価

大規模言語モデル（LargeLanguageModel，LLM）は汎用的な自然言語処理アプリケーションの基盤となっている[1,2]．LLMの性能はパラメータ数と事前学習のデータ量に対数比例すると報告されており[3]，性能向上のためには大量のコーパスが必須である．ウェブテキストを収集したCommonCrawl1）が大規模コーパスとして主に使われているが，数多く含まれるワードサラダのような不自然なテキストを除去することの重要性が指摘されている[4,5]．英語のコーパスクリーニングについては経験的な知見が蓄積されつつあるが，それら知見を得るには膨大な計算資源が必要なため，網羅的調査の障壁となっている．そこで日本語をはじめ，英語以外の言語については言語判定，文の長さによるフィルタリング，重複文除去のような，言語毎に設計した処理が不要な基本的な処理のみが利用されている[6,7]．このような状況を受けて本研究では，日本語LLM構築におけるクリーニング手法の効果を検証する．1）commoncrawl.org100%Base90.4%+LM69.2%+Rule67.3%+Dedup43.9%+All0200400600800Btokens習データの量（含まれるトークン数）．なお，BaseはCommonCrawlに基本的な前処理を適用したコーパス．検証する手法は，質の高い文書からN-gram言語モデルを構築してPerplexityの高い文書を除去する手法（LM），記号の羅列や広告などに見られる人工的な定型句を多く含む文書を除去するルールベースの手法（Rule），類似した文書を除去する手法（Dedup）の3つである．これらを適用することで，質の高い文書の割合が増加し学習効率が高くなると予想される反面，学習データの量が半減する（図1）ため，十分な計算資源を確保できる場合にはLLMの性能が伸び悩む可能性もある．本稿の実験を通して，1.計算資源が限られている場合，すなわち基本的な前処理を適用したコーパス（Base）全てを学習できるほどの資源がない場合，クリーニングを行った方が性能が良いこと，2.計算資源が十分にある場合でもクリーニングにより性能は維持あるいは改善されることを示す．また，各クリーニング手法を分析し，それぞれの有効性についても議論する．