学科分类
学科分类
Java工程师
前端工程师
Python工程师
大数据工程师
PHP工程师
C/C++工程师
目录
基础
高级
Django框架
网络爬虫
如何实现多线程爬虫？
为什么选择Mongodb而非MySQL存储爬虫数据？
爬虫经常会去查看数据库吗？
如何理解Selenium和PhantomJS
Scrapy框架的理解
分布式爬虫方案
常见的反爬措施
部分爬虫框架或模块的区别

爬虫经常会去查看数据库吗？

查看数据库的目的在于检测爬取的数据是否重复，目前都是基于scrapy框架的增量式爬虫，无需经常查看数据库。scrapy_Redis框架自带去重功能，经常查看数据库会降低爬虫效率，不利于快速抓取数据。

点击此处
隐藏目录