คอมมอนครอวล์

คอมมอนครอวล์ (Common Crawl) เป็นองค์การไม่แสวงหาผลกำไรตามมาตรา 501(c) ที่ดำเนินธุรกิจเว็บครอว์เลอร์ และให้บริการชุดข้อมูลและ จดหมายเหตุอย่างอิสระ หน่วยเก็บถาวรบนเว็บของคอมมอนครอวล์ประกอบไปด้วยข้อมูลหลายเพตะไบต์ที่รวบรวมมาตั้งแต่ปี 2011 โดยปกติแล้ว การรวบรวมข้อมูลจะดำเนินการทุกเดือน

คอมมอนครอวล์ได้รับการก่อตั้งโดยจิล เอลบาซ มีที่ปรึกษา ได้แก่ ปีเตอร์ นอร์วิก และ โจอิจิ อิโต เคารพนโยบาย Nofollow และ robots.txt ในการทำการรวบรวมข้อมูล ซอร์สโค้ดสำหรับการประมวลผลชุดข้อมูลนั้นได้มีเผยแพร่ต่อสาธารณะเช่นกัน

ชุดข้อมูลประกอบด้วยผลงานที่มีลิขสิทธิ์ซึ่งจัดทำโดยทางสหรัฐอเมริกา ภายใต้การใช้ลิขสิทธิ์ของผู้อื่นโดยชอบ ได้มีนักวิจัยจากประเทศอื่น ๆ หลีกเลี่ยงกฎหมายลิขสิทธิ์ในประเทศอื่น ๆ โดยการสลับเปลี่ยนข้อความหรืออ้างอิงชุดข้อมูลทั่วไป

 อ้างอิง 

หมวดหมู่:หน่วยเก็บถาวรออนไลน์