Scrapy Scrapyˈskreɪpi SKRAYpee是一个用Python编写的自由且开源的网络爬虫框架它在设计上的初衷是用于爬取网络数据但也可用作使用API来提取数据或作为生成目的的网络爬虫该框架目前由网络抓取的开发与服务公司Scrapinghub公司英语Scrapinghub Ltd维护 Scrapy项目围绕蜘蛛spiders建构蜘蛛是提供一套指令的自包含的爬网程序crawlers遵循其他如Django框架的一次且仅一次精神允许开发者重用代码将便于构建和拓展大型的爬网项目Scrapy也提供一个爬网shell开发者可用它测试对网站的效果 使用Scrapy的知名公司和产品有LystParsely英语ParselySayone Technologies英语Sayone TechnologiesSciences Po MedialabDatagovuk英语Datagovuk的世界政府数据网站等