大規模言語モデル開発における日本語Web文書のフィルタリング手法の検証

大規模言語モデル(LLM)の性能において、学習コーパスの品質が大きく影響する[1,2]。学習コーパスの中でWeb文書の割合が大きく、その中に含まれる低品質な文書または段落を効率的に除去することが重要である。LLMの日本語における性能向上を図るため、大規模な日本語Webコーパスを用いた学習によるLLM開発が進んでいるが、それらのコーパスの品質フィルタリング手法は確立されていない。ルールに基づくフィルタリング手法は、不要なアルファベットや記号、特定の繰り返し文などは削除できるが、削除項目の網羅性に欠け、文書の種類によっては適切ではない可能性がある。一方で自動フィルタリング手法はルールでは除去できない低品質な文書を取り除くことができる可能性があるが、どの手法がよいのか、また、どのような文書が削除されるのかについて検証されていない。本研究では日本語Webコーパス中の低品質な文書を学習によって除去する自動フィルタリング手法を検証する。検証には、大規模なコーパスを処理することを考慮し、比較的高速な分類器や言語モデルのPerplexityを用いる。Webコーパス品質評価ベンチマークを用いた実験の結果、N-gram言語モデルのPerplexityによるフィルタリング手法が最も優れていることが分かった。また、N-gram言語モデルでフィルタリングを行った日本語WebコーパスでBERT[3]の事前学習を行い、日本語言語理解ベンチマークJGLUE[4]で評価した。その結果、強すぎるフィルタリングは性能悪化をもたらすことが分かった。さらに、学習に用いたWebコーパスにおいてトピック分析を行ったところ、フィルタリング過程で特定のトピックの割合が減少することが分かった。