爬虫抓取网页的详细流程

图1展示了使用爬虫抓取网页数据的详细流程，它的主要步骤包括：

图1 爬虫抓取网页流程

(1) 首先选取一些网页，将这些网页的链接地址作为种子URL；

(2) 将这些种子URL放入到待抓取URL队列中；

(3) 爬虫从待抓取URL队列（队列先进先出）中依次读取URL，并通过DNS解析URL，把链接地址转换为网站服务器所对应的IP地址；

(4) 将IP地址和网页相对路径名称交给网页下载器，网页下载器负责页面内容的下载；

(5) 网页下载器将相应网页的内容下载到本地；

(6) 将下载到本地的网页存储到页面库中，等待建立索引等后续处理；与此同时将下载过网页的URL放入到已抓取URL队列中，这个队列记载了爬虫系统已经下载过的网页URL，以避免网页的重复抓取；

(7) 对于刚刚下载的网页，从中抽取出所包含的所有链接信息，并在已抓取URL中检查其是否被抓取过，如果还未被抓取过，则将这个URL放入到待抓取URL队列中；

(8) 下载被放入待抓取URL队列中的URL对应的网页，如此重复3-7，形成循环，直到待抓取URL队列为空。

对于爬虫来说，往往还需要进行网页去重及网页反作弊。