コモン・クロール
2012年、Amazon Web Servicesによってクロールを開始。
同年7月に、メタデータファイルとクローラーのテキスト出力を.arc(英語版)ファイルでリリースした。そのため、以前は.arcのファイルしか含まれていなかった。
2012年12月、blekko(英語版)は2012年2月から10月までに実施したクロールでのメタデータをコモン・クロールの検索エンジンに寄付した。寄付されたデータは、「スパム、ポルノ、過度すぎる検索エンジン最適化の影響を回避しながらクロールを改善する」のに役立つ結果になった。
2013年、カスタムクローラーの代わりにApacheソフトウェア財団のNutch(英語版)クローラーの使用を開始。2013年11月のクロールから、従来の.arcファイルの使用からWeb ARChive(英語版)形式に切り替えられた。
コモン・クロールのフィルタリングバージョンは、2020年に発表されたOpenAIのGPT-3の学習モデルに使用された。
データを使用する際の課題の1つは、膨大な量のウェブデータがあるにもかかわらず、その一部のみがより良く文書化してしまうことである。これにより、コモン・クロールのデータを使用するプロジェクトの問題を診断しようとすると、課題が発生する可能性がある。解決策としては、すべてのデータセットに、その動機、構成、収集プロセス、および推奨される用途を文書化したデータシートを添付することである。