日本語LLM構築におけるコーパスクリーニングの網羅的評価

本稿では日本語LLMの事前学習用のコーパスをクリーニングすることがモデルの性能向上に有効であることを示す．評価実験として，クリーニングの条件を変え1.3Bパラメータの日本語LLMを学習し，複数の質問応答タスクおよび事後学習後の自由記述質問応答における性能を比較した．その結果，計算資源が比較的限られている場合（250Bトークンの学習）では，クリーニングによりモデルの性能が向上し，計算資源が十分な場合（1Tトークンの学習）では，クリーニングにより性能維持，タスクによっては性能向上することを確認した．