コモン・クロール
コモン・クロール(英語: Common Crawl)は、非営利団体、501(c)団体の一つで、クローラ事業を行い、そのアーカイブとデータセットを自由提供している。コモン・クロールのウェブアーカイブは主に、2011年以降に収集された数PBのデータで構成されている。通常、毎月クロールを行っている。
コモン・クロールはジル・エルバズ(英語版)によって設立された。顧問には、ピーター・ノーヴィグと伊藤穰一が含まれる。クロールする上では、Nofollowおよびrobots.txtポリシーを尊重する。データセットを処理するためのソースコードも公開されている。
データセットには著作権で保護された作品が含まれており、それらはフェアユースに基づいたうえでアメリカ合衆国から提供されている。他国の研究者は、文章をシャッフルしたり、共通のデータセットを参照したりするなどして、他国の著作権法を回避している。