Common Crawl

Common Crawl, web 'de gezinen ve arşivlerini ve veri kümelerini halka açık bir şekilde sağlayan; ABD federal yasalarına göre de vergiden muaf olan, 501(c)(3) tipi bir kâr amacı gütmeyen kuruluştur. Common Crawl web arşivi, 2011'den beri toplanan petabaytlarca veriden oluşur. Genelde her ay taramaları tamamlar.

Common Crawl, Gil Elbaz tarafından kurulmuştur. Kâr amacı gütmeyen kuruluşun danışmanları arasında Peter Norvig ve Joi Ito bulunmaktadır. Kuruluşun tarayıcıları nofollow ve robots.txt politikalarına uymaktadır. Common Crawl veri kümesini işlemek için açık kaynak kodu herkesin kullanımına açıktır.

 Tarih 
Amazon Web Services, 2012 yılında Açık Veri Kümeleri (İngilizce: Public Data Sets) programı aracılığıyla Common Crawl arşivini barındırmaya başladı.

Kuruluş, o yılın Temmuz ayında ".arc" dosyalarının yanı sıra meta veri dosyalarını ve tarayıcıların metin çıktılarını yayınlamaya başladı. Common Crawl arşivleri daha önce yalnızca ".arc" dosyalarını içeriyordu.

Aralık 2012'de blekko; Şubat - Ekim 2012 arasında gerçekleştirilen aramaların metaverilerini Common Crawl'a bağışladı. Bağışlanan veriler, Common Crawl'un "spam, porno ve aşırı SEO'nun etkisinden kaçınıp, taramasını iyileştirmesine" yardımcı oldu.

2013 yılında Common Crawl, özel bir tarayıcı yerine Apache Yazılım Vakfının Nutch web tarayıcısını kullanmaya başladı. Common Crawl, Kasım 2013 taramasıyla ".arc" dosyalarını kullanmaktan ".warc" dosyalarına geçti.

 Yaygın Tarama verilerinin geçmişi 
Aşağıdaki veriler resmi Common Crawl Bloğundan  toplanmıştır.
Tarama TarihiTİB'in boyutuMilyarlarca sayfaYorumlarKasım 20182202.6Ekim 20182403.0Eylül 20182202.8Ağustos 2018Temmuz 20182553.25Haziran 20182353.05Mayıs 20182152.75Nisan 20182303.1Mart 20182503.2Şubat 20182703.4Ocak 20182703.4Aralık 20172402.9Kasım 20172603.2Ekim 20173003.65Eylül 20172503.01Ağustos 20172803.28Temmuz 20172402.89Haziran 20172603.16Mayıs 20172502.96Nisan 20172502.94Mart 20172503.07Şubat 20172503.08Ocak 20172503.14Kasım 2016 -2.85Ekim 2016 -3.25Eylül 2016 -1.72Ağustos 2016 -1.61Temmuz 2016 -1.73Haziran 2016 -1.23Mayıs 2016 -1.46Nisan 2016 -1.33Şubat 2016 -1.73Kasım 20151511.82Eylül 20151061.32Ağustos 20151491.84Temmuz 20151451.81Haziran 20151311.67Mayıs 20151592.05Nisan 20151682.11Mart 20151241.64Şubat 20151451.9Ocak 20151391.82Aralık 20141602.08Kasım 20141351.95Ekim 20142543.7Eylül 20142202.8Ağustos 20142002.8Temmuz 20142663.6Nisan 20141832.6Mart 20142232.8İlk Nutch taramasıOcak 20141482.3Aylık gerçekleştirilen taramalarKasım 20131022Warc dosya biçimindeki verilerTemmuz 2012 - -Arc dosya formatındaki verilerOcak 2012 - -Amazon Web Services'in Herkese Açık Veri SetiKasım 2011405Amazon'da ilk kullanılabilirlik

 Norvig Web Veri Bilimi Ödülü 
Common Crawl, SURFsara ile destek olarak, Benelüks'teki öğrencilere ve araştırmacılara açık bir yarışma olan Norvig Web Data Science Award'a sponsorluk yapmaktadır. Ödül, aynı zamanda ödülün jüri komitesine de başkanlık eden Peter Norvig'e verildi.

 Kaynakça 

 Dış bağlantılar 
 Kaliforniya, Amerika Birleşik Devletleri'nde Yaygın Tarama
 Tarayıcı, kitaplıklar ve örnek kod içeren Ortak Tarama GitHub Deposu 
 Ortak Tarama Tartışma Grubu
 Ortak Tarama Blogu

Kategori:İncelenmemiş çeviri içeren sayfalar
Kategori:İnternet kuruluşları