Item Pipeline——后期处理数据

当Item在Spiders中被收集之后，会被传递到Item Pipeline（管道）。我们可以在Scrapy项目中定义多个管道，这些管道按定义的顺序依次处理Item。

每个管道都是实现了简单方法的Python类，比如决定此Item是丢弃还是存储。以下是item pipeline的一些典型应用：

• 验证爬取的数据，检查item包含某些字段，比如说name字段；

• 查重，并丢弃重复数据；

• 将爬取结果保存到文件或者数据库中。

自定义Item Pipeline很简单，每个Item Pipeline组件都是一个独立的Python类，该类中的process_item()方法必须实现，每个Item Pipeline组件都需要调用process_item()方法。

process_item()方法必须返回一个Item (或任何继承类)对象，或是抛出DropItem异常，被丢弃的item将不会被之后的pipeline组件所处理。该方法的定义如下：

process_item(self, item, spider)

从定义可知，process_item()方法有2个参数，分别是：

• item：表示被爬取的item对象。

• spider：表示爬取该item的spider对象。

以下代码就实现了一个自定义Item Pipeline类，取名为SomethingPipeline。

import something
class SomethingPipeline(object):
  def __init__(self):  
     # 可选实现，做参数初始化等
     # doing something
  def process_item(self, item, spider):
     # item (Item 对象) – 被爬取的item
     # spider (Spider 对象) – 爬取该item的spider
     # 这个方法必须实现，每个item pipeline组件都需要调用该方法，
     # 这个方法必须返回一个 Item 对象，被丢弃的item将不会被之后的pipeline组件所处理。
     return item
  def open_spider(self, spider):
     # spider (Spider 对象) – 被开启的spider
     # 可选实现，当spider被开启时，这个方法被调用。
  def close_spider(self, spider):
     # spider (Spider 对象) – 被关闭的spider
     # 可选实现，当spider被关闭时，这个方法被调用