Scrapy

Scrapy（  How do you pronounce "Scrapy"? ）是一个用Python编写的自由且开源的网络爬虫框架。它在设计上的初衷是用于爬取网络数据，但也可用作使用API来提取数据，或作为生成目的的网络爬虫Scrapy at a glance .。该框架目前由网络抓取的开发与服务公司维护。

Scrapy项目围绕“蜘蛛”（spiders）建构，蜘蛛是提供一套指令的自包含的爬网程序（crawlers）。遵循其他如Django框架的一次且仅一次精神，允许开发者重用代码将便于构建和拓展大型的爬网项目。Scrapy也提供一个爬网shell，开发者可用它测试对网站的效果。

使用Scrapy的知名公司和产品有：Lyst、、、Sciences Po Medialab、的世界政府数据网站等。

历史
Scrapy诞生于网络聚合和电子商务公司Mydeco，它由Mydeco和Insophia公司的员工开发和维护。2008年8月首次以BSD许可证公开发布，2015年6月发布有里程碑意义的1.0版本。2011年，Scrapinghub成为新的官方维护者Interview Scraping Hub .。

 参考文献 

 外部链接 


 参见 

 robots.txt：放在網頁伺服器上，告知網路蜘蛛哪些頁面內容可取得或不可取得。
 网络爬虫

Category:网络爬虫
Category:Python库
Category:使用BSD许可证的软件
Category:用Python編程的自由軟體