Swallowコーパス:日本語大規模ウェブコーパス

これまで、オープンな日本語大規模言語モデルの学習にはCC-100、mC4、OSCARなどのコーパスの日本語部分が用いられてきた。ところが、これらのコーパスは日本語テキストの品質を重視して作られた訳ではない。本研究ではCommonCrawlのアーカイブ（2020年から2023年にかけて収集された21スナップショット分、約634億ページ）から日本語のテキストを独自に抽出・精錬し、約3,121億文字（約1.73億ページ）からなる日本語ウェブコーパスを構築した。この規模は、CC-100(約258億文字）、mC4（約2,397億文字）、OSCAR23.10（約740億文字）を抜き、日本語の言語モデルの学習コーパスの中で、商用利用が可能なものとしては最大である。