Scrapy

Scrapy （ [ˈskreIpi] 是一個用Python編寫的自由且開源的網絡爬蟲框架 。 它在設計上的初衷是用於爬取網絡數據 ， 但也可用作使用API來提取數據 ， 或作爲生成目的的網絡爬蟲 。 該框架目前由網絡抓取的開發與服務公司維護 。 Scrapy項目圍繞 “ 蜘蛛 ” （ spiders ） 建構 ， 蜘蛛是提供一套指令的自包含的爬網程序 （ crawlers ） 。 遵循其他如Django框架的一次且僅一次精神 ， 允許開發者重用代碼將便於構建和拓展大型的爬網項目 。 Scrapy也提供一個爬網shell ， 開發者可用它測試對網站的效果 。 使用Scrapy的知名公司和產品有 ： Lyst 、 、 、 Sciences Po Medialab 、 的世界政府數據網站等 。