Common Crawl

Common Crawl, web 'de gezinen ve arşivlerini ve veri kümelerini halka açık bir şekilde sağlayan; ABD federal yasalarına göre de vergiden muaf olan, 501(c)(3) tipi bir kâr amacı gütmeyen kuruluştur. Common Crawl web arşivi, 2011'den beri toplanan petabaytlarca veriden oluşur. Genelde her ay taramaları tamamlar.

Common Crawl, Gil Elbaz tarafından kurulmuştur. Kâr amacı gütmeyen kuruluşun danışmanları arasında Peter Norvig ve Joi Ito bulunmaktadır. Kuruluşun tarayıcıları nofollow ve robots.txt politikalarına uymaktadır. Common Crawl veri kümesini işlemek için açık kaynak kodu herkesin kullanımına açıktır.

Tarih 
Amazon Web Services, 2012 yılında Açık Veri Kümeleri (İngilizce: Public Data Sets) programı aracılığıyla Common Crawl arşivini barındırmaya başladı.

Kuruluş, o yılın Temmuz ayında ".arc" dosyalarının yanı sıra meta veri dosyalarını ve tarayıcıların metin çıktılarını yayınlamaya başladı. Common Crawl arşivleri daha önce yalnızca ".arc" dosyalarını içeriyordu.

Aralık 2012'de blekko; Şubat - Ekim 2012 arasında gerçekleştirilen aramaların metaverilerini Common Crawl'a bağışladı. Bağışlanan veriler, Common Crawl'un "spam, porno ve aşırı SEO'nun etkisinden kaçınıp, taramasını iyileştirmesine" yardımcı oldu.

2013 yılında Common Crawl, özel bir tarayıcı yerine Apache Yazılım Vakfının Nutch web tarayıcısını kullanmaya başladı. Common Crawl, Kasım 2013 taramasıyla ".arc" dosyalarını kullanmaktan ".warc" dosyalarına geçti.

Yaygın Tarama verilerinin geçmişi 
Aşağıdaki veriler resmi Common Crawl Bloğundan  toplanmıştır.

Norvig Web Veri Bilimi Ödülü 
Common Crawl, SURFsara ile destek olarak, Benelüks'teki öğrencilere ve araştırmacılara açık bir yarışma olan Norvig Web Data Science Award'a sponsorluk yapmaktadır. Ödül, aynı zamanda ödülün jüri komitesine de başkanlık eden Peter Norvig'e verildi.

Kaynakça

Dış bağlantılar 
 Kaliforniya, Amerika Birleşik Devletleri'nde Yaygın Tarama
 Tarayıcı, kitaplıklar ve örnek kod içeren Ortak Tarama GitHub Deposu 
 Ortak Tarama Tartışma Grubu
 Ortak Tarama Blogu

İncelenmemiş çeviri içeren sayfalar
İnternet kuruluşları