Swallowコーパス:日本語大規模ウェブコーパス

2022年暮れにOpenAIが公開したChatGPTは、汎用的な人工知能のマイルストーンとして世界に大きな痕跡を残した。自然言語処理や人工知能の研究開発の底上げ、LLMの知能のメカニズムの解明、海外の一握りの企業に依存してしまう安全保障上のリスク、信頼できる人工知能の実現など、動機は様々であるが、2023年は日本語に強いLLMの開発・発表が相次いだ。ところが、日本語のLLMの学習に用いるコーパス（学習データ）は海外で開発されたものを採用する場合が多く、日本語に特化し、透明性の高いコーパスが利用されているとは言い難い。スを挙げた。日本語のテキストを含み、かつ学習後の言語モデルの利用に制限が付かないコーパスは、CC-100、mC4、OSCAR23.01が有力候補となるが、CommonCrawlのWET形式のテキストを処理したものであるため、HTMLからテキストへの変換にお1.WARCのダウンロード2020-40から2023-23（63,352,266,406ページ）