これまで、オープンな日本語大規模言語モデルの学習にはCC-100、mC4、OSCARなどのコーパスの日本語部分が用いられてきた。ところが、これらのコーパスは日本語テキストの品質を重視して作られた訳ではない。本研究ではCommonCrawlのアーカイブ（2020年から2023年にかけて収集された21スナップショット分、約634億ページ）から日本語のテキストを独自に抽出・精錬し、約3,121億文字（約1.73億ページ）からなる日本語ウェブコーパスを構築した。この規模は、CC-100(約258億文字）、mC4（約2,397億文字）、OSCAR23.10（約740億文字）を抜き、日本語の言語モデルの学習コーパスの中で、商用利用が可能なものとしては最大である。

2022年暮れにOpenAIが公開したChatGPTは、汎用的な人工知能のマイルストーンとして世界に大きな痕跡を残した。自然言語処理や人工知能の研究開発の底上げ、LLMの知能のメカニズムの解明、海外の一握りの企業に依存してしまう安全保障上のリスク、信頼できる人工知能の実現など、動機は様々であるが、2023年は日本語に強いLLMの開発・発表が相次いだ。ところが、日本語のLLMの学習に用いるコーパス（学習データ）は海外で開発されたものを採用する場合が多く、日本語に特化し、透明性の高いコーパスが利用されているとは言い難い。スを挙げた。日本語のテキストを含み、かつ学習後の言語モデルの利用に制限が付かないコーパスは、CC-100、mC4、OSCAR23.01が有力候補となるが、CommonCrawlのWET形式のテキストを処理したものであるため、HTMLからテキストへの変換にお1.WARCのダウンロード2020-40から2023-23（63,352,266,406ページ）