大規模言語モデル開発における日本語Web文書のフィルタリング手法の検証

日本語に強い大規模言語モデルの開発が活発化しており、その事前学習のために日本語の良質な大規模コーパスが求められている。しかし、大規模コーパスの中で大きな割合を占めるにもかかわらず、日本語Webコーパスのフィルタリング手法は確立されていない。本研究では、日本語のWebコーパスに対して適切な自動品質フィルタリング手法を検証する。検証手法は、大規模言語モデルのコーパス構築で用いることを想定し、大量なデータでも比較的高速に処理できる小規模な分類器や言語モデルを選択する。Webコーパス品質評価ベンチマークをもとにこれらフィルタリング手法を評価した結果、最も精度が良い手法はN-gram言語モデルであったが、強いフィルタリングが必ずしも下流タスクの性能向上につながるとは限らなかった。また、フィルタリングの過程で特定のトピックの割合が大きく減少した。