Scrapy框架的理解

Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架，我们只需要实现少量代码，
就能够快速的抓取到数据内容。Scrapy使用了Twisted异步网络框架来处理网络通讯，可以加快我们
的下载速度，不用自己去实现异步框架，并且包含了各种中间件接口，可以灵活的完成各种需求。

Scrapy框架的工作流程：

1. 首先Spiders（爬虫）将需要发送请求的url(requests)经ScrapyEngine（引擎）交给Scheduler
   （调度器）。

2. Scheduler（排序，入队）处理后，经ScrapyEngine，DownloaderMiddlewares(可选，主要
   有User_Agent， Proxy代理)交给Downloader。

3. Downloader向互联网发送请求，并接收下载响应（response）。将响应（response）经
   ScrapyEngine，SpiderMiddlewares(可选)交给Spiders。

4. Spiders处理response，提取数据并将数据经ScrapyEngine交给ItemPipeline 保存（可以是本
   地，可以是数据库）。提取url重新经ScrapyEngine交给Scheduler进行下一个循环。直到无Url
   请求程序停止结束。