日本語に強い大規模言語モデルの開発が活発化しており、その事前学習のために日本語の良質な大規模コーパスが求められている。しかし、大規模コーパスの中で大きな割合を占めるにもかかわらず、日本語Webコーパスのフィルタリング手法は確立されていない。本研究では、日本語のWebコーパスに対して適切な自動品質フィルタリング手法を検証する。検証手法は、大規模言語モデルのコーパス構築で用いることを想定し、大量なデータでも比較的高速に処理できる小規模な分類器や言語モデルを選択する。Webコーパス品質評価ベンチマークをもとにこれらフィルタリング手法を評価した結果、最も精度が良い手法はN-gram言語モデルであったが、強いフィルタリングが必ずしも下流タスクの性能向上につながるとは限らなかった。また、フィルタリングの過程で特定のトピックの割合が大きく減少した。

大規模言語モデル(LLM)の性能において、学習コーパスの品質が大きく影響する[1,2]。学習コーパスの中でWeb文書の割合が大きく、その中に含まれる低品質な文書または段落を効率的に除去することが重要である。LLMの日本語における性能向上を図るため、大規模な日本語Webコーパスを用いた学習によるLLM開発が進んでいるが、それらのコーパスの品質フィルタリング手法は確立されていない。ルールに基づくフィルタリング手法は、不要なアルファベットや記号、特定の繰り返し文などは削除できるが、削除項目の網羅性に欠け、文書の種類によっては適切ではない可能性がある。一方で自動フィルタリング手法はルールでは除去できない低品質な文書を取り除くことができる可能性があるが、どの手法がよいのか、また、どのような文書が削除されるのかについて検証されていない。本研究では日本語Webコーパス中の低品質な文書を学習によって除去する自動フィルタリング手法を検証する。検証には、大規模なコーパスを処理することを考慮し、比較的高速な分類器や言語モデルのPerplexityを用いる。Webコーパス品質評価ベンチマークを用いた実験の結果、N-gram言語モデルのPerplexityによるフィルタリング手法が最も優れていることが分かった。また、N-gram言語モデルでフィルタリングを行った日本語WebコーパスでBERT[3]の事前学習を行い、日本語言語理解ベンチマークJGLUE[4]で評価した。その結果、強すぎるフィルタリングは性能悪化をもたらすことが分かった。さらに、学習に用いたWebコーパスにおいてトピック分析を行ったところ、フィルタリング過程で特定のトピックの割合が減少することが分かった。