Scrapy-Redis简介

所谓分布式爬虫，从字面意思上可以理解为集群爬虫。也就是说，当有多个爬虫任务时，可以用多台机器同时运行，速度更快更高效。

Scrapy-Redis是一些提供给Scrapy使用的组件，这些组件以Redis数据库为基础，便于实现Scrapy的分布式爬取。再次强调的是，Scrapy-Redis仅仅只是一些组件，并非一个完整的框架。

借用网上的一个例子，来区分一下Scrapy和Scrapy-Redis的关系。我们把Scrapy比作是一个工厂，用于生产出你想要的爬虫（Spider），而Scrapy-Redis作为其它的厂商，它为了帮助工厂更好地实现某些功能（比如分布式爬虫），制造了一些新设备，以替换Scrapy工厂的原有设备。