Fiddler的工作原理
在写爬虫的时候,经常需要对网络数据进行分析,这就需要将这些数据进行截获,也就是所谓的抓包。
HTTP抓包工具很多,常用的有Fiddler,Charles,Wireshark等。其中Windows平台下最常用的就是Fiddler。
Fiddler是一款强大的Web调试工具(包含了抓包功能),它能记录所有客户端和服务器的HTTP请求和响应,还能模拟HTTP请求的发送。它的特点包括:
可以监控HTTP和HTTPS的流量,截获客户端发送的网络请求。
可以查看截获的请求内容。
可以伪造客户端请求发送给服务器,也可以伪造一个服务器的响应发送给客户端,这个功能,用于前后端调试。
可以用于测试网站的性能。
可以解密HTTPS的web会话。
Fiddler提供的第三方插件,可大大提高工作效率。
Fiddler 是以代理网络服务器的形式工作的,它使用的代理地址为127.0.0.1,端口为8888。当Fiddler启动时会自动设置代理,退出的时候会自动注销代理,这样就不会影响其他程序,如图1所示。
图1 Fiddler的工作原理