标题：scrapy
简介
Scrapy，Python开发的一个快速,高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取结  Scrapy Pthyon爬虫框架 logo[1]构化的数据。Scrapy用途广泛，可以用于数据挖掘、监测和自动化测试。
Scrapy吸引人的地方在于它是一个框架，任何人都可以根据需求方便的修改。它也提供了多种类型爬虫的基类，如BaseSpider、sitemap爬虫等，最新版本又提供了web2.0爬虫的支持。
更多特性，参考Overview的翻译，来自官方网站
Scrach，是抓取的意思，这个Python的爬虫框架叫Scrapy，大概也是这个意思吧，就叫它：小刮刮吧
介绍一下这个抓取框架，并示范一个抓取bt文件的例子
基本功能
小刮刮是一个为遍历爬行网站、分解获取数据而设计的应用程序框架，它可以应用在广泛领域：数据挖掘、信息处理和或者历史片（历史记录）打包等等
Even though Scrapy was originally designed for screen scraping (more precisely, web scraping), it can also be used to extract data using APIs (such as Amazon Associates Web Services) or as a general purpose web crawler.
尽管小刮刮原本是设计用来屏幕抓取（更精确的说，是网络抓取）的目的，但它也可以用来访问API来提取数据，比如Amazon的AWS或者用来当作通常目的应用的网络蜘蛛
The purpose of this document is to introduce you to the concepts behind Scrapy so you can get an idea of how it works and decide if Scrapy is what you need.
本文档的目的是介绍一下小刮刮背后的概念，这样你会了解它是如何工作的，以决定它是不是你需要的
如何开始
当你准备启动一个项目时，可以从这个教程开始1.选择网站选择一个网站
如果你需要从某个网站提取一些信息，但是网站不提供API或者其他可编程的访问机制，那么小刮刮可以帮助你（提取信息）
让我们看下Mininova网站，需要提取的网址，名称，描述和torrent文件的大小、添加日期
下面这个列表是所有今天新增的torrents文件的页面：参考扩展阅读1
备注：torrent是洪流的意思，这里指bit torrent，比特洪流，就是我们常说的BT文件2.定义数据定义你要抓取的数据
第一件事情就是定义你要抓取的数据，在小刮刮这个是通过定义Scrapy Items来实现的（本例是BT文件)
这就是要定义的Item 
from scrapy.item import Item, Field class Torrent(Item): url = Field() name = Field() description = Field() size = Field()3.撰写蜘蛛撰写一个蜘蛛来抓取数据
下一步是写一个指定起始网址的蜘蛛(参考扩展阅读1),包含follow链接规则和数据提取规则
如果你看一眼页面内容，就会发现所有的torrent网址都是类似：参考扩展阅读2的样子，其中Number是一个整数，我们将用正则表达式，例如/tor/\d+.来提取规则
我们将使用Xpath，从页面的HTML Source里面选取要要抽取的数据，选取众多数据页面中的一个，例如参考阅读3
根据页面HTML 源码，建立XPath，选取：torrent name, description ， size，这些数据
通过带可以看到
<h1>Home[2009][Eng]XviD-ovd</h1>  
name属性包含在H1 标签内，使用 XPath expression提取：
//h1/text()  
description在id=”description“的div中
<h2>Description:</h2> <div id="description"> "HOME" - a documentary film by Yann Arthus-Bertrand <br/> <br/> *** <br/> <br/> "We are living in exceptional times. Scientists tell us that we have 10 years to change the way we live, avert the depletion of natural resources and the catastrophic evolution of the Earth's climate. ...  
XPath提取
//div[@id='description']  
size属性在第二个<p>tag,id=specifications的div内
<div id="specifications"> <p> <strong>Category:</strong> <a href="/cat/4">Movies</a> &gt; <a href="/sub/35">Documentary</a> </p> <p> <strong>Total size:</strong> 699.79&nbsp;megabyte</p>
XPath expression提取
//div[@id='specifications']/p[2]/text()[2]  
如果要了解更多的XPath 参考这里 XPath reference.
蜘蛛代码如下：
class MininovaSpider(CrawlSpider): name = '参考阅读4' allowed_domains = ['参考阅读4'] start_urls = ['参考阅读1'] rules = [Rule(SgmlLinkExtractor(allow=['/tor/\d+']), 'parse_torrent')] def parse_torrent(self, response): x = HtmlXPathSelector(response) torrent = TorrentItem() torrent['url'] = response.url torrent['name'] = x.select("//h1/text()").extract() torrent['description'] = x.select("//div[@id='description']").extract() torrent['size'] = x.select("//div[@id='info-left']/p[2]/text()[2]").extract() return torrent  
因为很简单的原因，我们有意把重要的数据定义放在了上面（torrent数据定义），4.运行蜘蛛运行蜘蛛来抓取数据
最后，我们运行蜘蛛来爬取这个网站，输出为json格式scraped_data.json
scrapy crawl 参考阅读4 -o scraped_data.json -t json  
这个使用了feed exports，来生成json格式，当然，你可以很简单的更改输出格式为csv，xml，或者存储在后端（ftp或者Amazon S3）
你也可以写一段item pipeline，把数据直接写入数据库，很简单5.Review数据Review一下抓取的数据
查看一下数据：scraped_data.json，内容大致如下
[{"url": "参考阅读2", "name": ["Home[2009][Eng]XviD-ovd"], "description": ["HOME - a documentary film by ..."], "size": ["699.69 megabyte"]}, # ... other items ... ]  
关注一下数据，你会发现，所有字段都是lists（除了url是直接赋值），这是因为selectors返回的就是lists格式，如果你想存储单独数据或者在数据上增加一些解释或者清洗，可以使用Item Loaders6. 更多你也看到了如何使用小刮刮从一个网站提取和存储数据，但，这只是表象，实际上，小刮刮提供了许多强大的特性，让它更容易和高效的抓取：
1>内建 selecting and extracting，支持从HTML,XML提取数据
2>内建Item Loaders，支持数据清洗和过滤消毒，使用预定义的一个过滤器集合，可以在所有蜘蛛间公用
3>内建多格式generating feed exports支持(JSON, CSV, XML),可以在后端存储为多种方式(FTP, S3, local filesystem)
4>针对抓取对象，具有自动图像(或者任何其他媒体)下载automatically downloading images的管道线
5>支持扩展抓取extending Scrap，使用signals来自定义插入函数或者定义好的API(middlewares, extensions, and pipelines)
6>大范围的内建中间件和扩展，基于但不限于cookies and session handling
HTTP compression
HTTP authentication
HTTP cache
user-agent spoofing
robots.txt
crawl depth restriction
and more
7>强壮的编码支持和自动识别机制，可以处理多种国外的、非标准的、不完整的编码声明等等
8>可扩展的统计采集stats collection，针对数十个采集蜘蛛，在监控蜘蛛性能和识别断线断路？方面很有用处
9>一个可交互的XPaths脚本命令平台接口Interactive shell console，在调试撰写蜘蛛是上非常有用
10>一个系统服务级别的设计，可以在产品中非常容易的部署和运行你的蜘蛛
11>内建的Web service，可以监视和控制你的机器人
12>一个Telnet控制台Telnet console，可以钩入一个Python的控制台在你的抓取进程中，以便内视或者调试你的爬虫
13>支持基于Sitemap的网址发现的爬行抓取
14>具备缓存DNS和resolver（转发?冲突解决？）功能
7.下一步？
很明显啦，下一步就是下载小刮刮download Scrapy，然后阅读教程the tutorial，加入社区the community，感谢你对小刮刮感兴趣～！准备翻译教程，开始动手做实验～！