コモン・クロール

コモン・クロール（英語: Common Crawl）は、非営利団体、501(c)団体の一つで、クローラ事業を行い、そのアーカイブとデータセットを自由提供している。コモン・クロールのウェブアーカイブは主に、2011年以降に収集された数PBのデータで構成されている。通常、毎月クロールを行っている。 コモン・クロールはジル・エルバズ（英語版）によって設立された。顧問には、ピーター・ノーヴィグと伊藤穰一が含まれる。クロールする上では、Nofollowおよびrobots.txtポリシーを尊重する。データセットを処理するためのソースコードも公開されている。 データセットには著作権で保護された作品が含まれており、それらはフェアユースに基づいたうえでアメリカ合衆国から提供されている。他国の研究者は、文章をシャッフルしたり、共通のデータセットを参照したりするなどして、他国の著作権法を回避している。 2012年、Amazon Web Servicesによってクロールを開始。 同年7月に、メタデータファイルとクローラーのテキスト出力を.arc（英語版）ファイルでリリースした。そのため、以前は.arcのファイルしか含まれていなかった。 2012年12月、blekko（英語版）は2012年2月から10月までに実施したクロールでのメタデータをコモン・クロールの検索エンジンに寄付した。寄付されたデータは、「スパム、ポルノ、過度すぎる検索エンジン最適化の影響を回避しながらクロールを改善する」のに役立つ結果になった。 2013年、カスタムクローラーの代わりにApacheソフトウェア財団のNutch（英語版）クローラーの使用を開始。2013年11月のクロールから、従来の.arcファイルの使用からWeb ARChive（英語版）形式に切り替えられた。 コモン・クロールのフィルタリングバージョンは、2020年に発表されたOpenAIのGPT-3の学習モデルに使用された。 データを使用する際の課題の1つは、膨大な量のウェブデータがあるにもかかわらず、その一部のみがより良く文書化してしまうことである。これにより、コモン・クロールのデータを使用するプロジェクトの問題を診断しようとすると、課題が発生する可能性がある。解決策としては、すべてのデータセットに、その動機、構成、収集プロセス、および推奨される用途を文書化したデータシートを添付することである。 SURFnet（英語版）との協力で、コモン・クロールはノーヴィグ・ウェブデータサイエンス賞を後援している。これはベネルクスの学生、研究者に開かれたコンテストである。 ^ Rosanna Xia (February 5, 2012). “Tech entrepreneur Gil Elbaz made it big in L.A.”. Los Angeles Times. http://articles.latimes.com/2012/feb/05/business/la-fi-himi-elbaz-20120205 July 31, 2014閲覧。  ^ “Gil Elbaz and Common Crawl”. NBC News. (April 4, 2013). http://www.pressheretv.com/gil-elbaz-and-common-crawl/ July 31, 2014閲覧。  ^ “So you're ready to get started”. 2018年6月2日閲覧。 ^ Lisa Green (January 8, 2014). “Winter 2013 Crawl Data Now Available”. https://commoncrawl.org/2014/01/winter-2013-crawl-data-now-available/ June 2, 2018閲覧。  ^ “Startups - Gil Elbaz and Nova Spivack of Common Crawl - TWiST #222”. This Week In Startups. (January 10, 2012)  ^ Tom Simonite (January 23, 2013). “A Free Database of the Entire Web May Spawn the Next Google”. MIT Technology Review. https://www.technologyreview.com/2013/01/23/253951/a-free-database-of-the-entire-web-may-spawn-the-next-google/ July 31, 2014閲覧。  ^ Schäfer, Roland. “CommonCOW: Massively Huge Web Corpora from CommonCrawl Data and a Method to Distribute them Freely under Restrictive EU Copyright Laws”. Proceedings of the Tenth International Conference on Language Resources and Evaluation (LREC'16) (Portorož, Slovenia: European Language Resources Association (ELRA)): 4501. https://aclanthology.org/L16-1712.  ^ Jennifer Zaino (March 13, 2012). “Common Crawl To Add New Data In Amazon Web Services Bucket”. Semantic Web. オリジナルのJuly 1, 2014時点におけるアーカイブ。. https://web.archive.org/web/20140701235708/http://semanticweb.com/common-crawl-to-add-new-data-in-amazon-web-services-bucket_b27341 July 31, 2014閲覧。  ^ a b Jennifer Zaino (July 16, 2012). “Common Crawl Corpus Update Makes Web Crawl Data More Efficient, Approachable For Users To Explore”. Semantic Web. オリジナルのAugust 12, 2014時点におけるアーカイブ。. https://web.archive.org/web/20140812101154/http://semanticweb.com/common-crawl-corpus-update-makes-web-crawl-data-more-efficient-approachable-for-users-to-explore_b30771 July 31, 2014閲覧。  ^ a b Jennifer Zaino (December 18, 2012). “Blekko Data Donation Is A Big Benefit To Common Crawl”. Semantic Web. オリジナルのAugust 12, 2014時点におけるアーカイブ。. https://web.archive.org/web/20140812101151/http://semanticweb.com/blekko-data-donation-is-a-big-benefit-to-common-crawl_b34177 July 31, 2014閲覧。  ^ Jordan Mendelson (February 20, 2014). “Common Crawl's Move to Nutch”. Common Crawl. July 31, 2014閲覧。 ^ Jordan Mendelson (November 27, 2013). “New Crawl Data Available!”. Common Crawl. July 31, 2014閲覧。 ^ Brown, Tom; Mann, Benjamin (1 June 2020). "Language Models are Few-Shot Learners". arXiv:2005.14165 [cs.CL]。 ^ Gebru, Timnit; Morgenstern, Jamie (19 March 2020). "Datasheets for Datasets". arXiv:1803.09010 [cs.DB]。 ^ Lisa Green (November 15, 2012). “The Norvig Web Data Science Award”. Common Crawl. July 31, 2014閲覧。 ^ “Norvig Web Data Science Award 2014”. Dutch Techcentre for Life Sciences. August 15, 2014時点のオリジナルよりアーカイブ。July 31, 2014閲覧。 Common Crawl in California, United States Common Crawl GitHub Repository with the crawler, libraries and example code Common Crawl Discussion Group Common Crawl Blog