学科分类
目录
网络爬虫

Fiddler的工作原理

在写爬虫的时候,经常需要对网络数据进行分析,这就需要将这些数据进行截获,也就是所谓的抓包。

HTTP抓包工具很多,常用的有Fiddler,Charles,Wireshark等。其中Windows平台下最常用的就是Fiddler。

Fiddler是一款强大的Web调试工具(包含了抓包功能),它能记录所有客户端和服务器的HTTP请求和响应,还能模拟HTTP请求的发送。它的特点包括:

  • 可以监控HTTP和HTTPS的流量,截获客户端发送的网络请求。

  • 可以查看截获的请求内容。

  • 可以伪造客户端请求发送给服务器,也可以伪造一个服务器的响应发送给客户端,这个功能,用于前后端调试。

  • 可以用于测试网站的性能。

  • 可以解密HTTPS的web会话。

  • Fiddler提供的第三方插件,可大大提高工作效率。

Fiddler 是以代理网络服务器的形式工作的,它使用的代理地址为127.0.0.1,端口为8888。当Fiddler启动时会自动设置代理,退出的时候会自动注销代理,这样就不会影响其他程序,如图1所示。

img

图1 Fiddler的工作原理

点击此处
隐藏目录