学科分类
目录
网络爬虫

Windows 7系统下的安装

由于Windows系统本身不带Python,所以在安装Scrapy之前,需要保证Windows7系统下已经安装了Python3,并将Python3和pip升级到最新版本。然后就可以通过pip命令安装Scrapy框架。

打开终端,输入如下命令:

pip install scrapy

安装完成之后,在命令终端输入scrapy,提示类似图1的结果,代表已经安装成功。

img

图1 Windows7下的安装结果

但是,在Windows7系统下安装Scrapy的过程并不会一帆风顺,经常会遇到一些问题导致安装失败,以下就是两个常见的问题和解决办法。

(1)第一个常见问题是缺乏Microsoft Visual C++ 14.0组件,提示信息如下所示。

error: Microsoft Visual C++ 14.0 is required. Get it with "Microsoft Visual
C++ Build Tools": http://landinghub.visualstudio.com/visual-cpp-build-tools

可以看到,以上提示信息中提供了一个URL地址,访问这个地址,会显示如图2所示的界面。

img

图2 Microsoft Visual C++ Build Tools下载页面

在该页面上单击“Download Visual C++ Build Tools 2015”链接,就能将一个安装包文件(名称是visualcppbuildtool_full.exe)下载到本地。然后在本地双击该安装包文件进行安装,安装过程中不需要修改默认设置。如果电脑里没有安装.NET Framework4.5.1或以上版本,那么安装过程中会出现错误提示,如图3所示。

img

图3 错误提示信息

如果出现这个提示,可以到网络上搜索.NET Framework4.5.1安装包的下载地址,例如以下URL地址:

https://support.microsoft.com/zh-cn/help/2858728/the--net-framework-4-5-1-offline-installer-and--net-framework-4-5-1-la

打开该地址,下载.NET Framework 4.5.1的脱机安装程序到本地进行安装即可。.NET Framework 4.5.1安装完成之后,再重新安装visualcppbuildtool_full.exe文件,就可以成功安装Visual C++ Build Tools 2015模块了。

要注意的是, Visual C++ Build Tools 2015模块安装结束之后需要重启电脑。

(2)第二个可能遇到的问题是Twisted安装出错。之前我们介绍过,Scrapy使用了Twisted异步网络框架,因此在安装Scrapy的过程中需要安装Twisted。如果安装Scarpy的过程中提示以下信息,那么很可能是在安装Twisted时出现了错误。

fatal error C1083: Cannot open include file: 'basetsd.h': No such file or directory
error: command 'C:\\Program Files (x86)\\Microsoft Visual Studio 14.0\\VC\\B
IN\\x86_amd64\\cl.exe' failed with exit status 2

解决办法是单独安装Twisted,可以通过如下网址访问Twisted的下载网站。

https://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted

访问该网站时,网站页面显示了Twisted的不同版本,如图4所示。

img

图4 Twisted下载页面

我们需要从页面上选择与电脑上已安装的Python的版本和位数相符合的安装文件。要注意的是,必须按照Python的位数来选择,如果Windows系统是64位的,而Python安装的是32位的,那么应该下载32位的安装文件。如果不确定Python的版本和位数,可以打开终端,输入python命令,查看提示窗口。如图5所示。

img

图5 查看Python的版本和位数

从提示窗口可以看到Python的版本和对应的位数:32位还是64位。例如,图10-12中的电脑安装的是32位的Python,版本是3.6.2,那么应该下载的安装文件就是Twisted‑17.9.0‑cp36‑cp36m‑win32.whl。

将Twisted安装文件下载到本地之后,打开终端,进入已下载的Twisted安装文件所在的文件夹,执行以下命令进行安装。

pip install 带后缀的完整文件名(例如:[Twisted‑17.9.0‑cp36‑cp36m‑win32.whl](javascript:;))

当出现以下提示时,说明Twisted安装成功。

Installing collected packages: Twisted
Successfully installed Twisted-17.9.0

以上介绍了安装Scrapy的过程中常见的两个问题和解决方法。当安装Scrapy遇到问题时,可使用对应的方法进行解决。解决之后再次运行命令pip install scrapy尝试安装Scrapy,当看到以下提示信息时,说明Scrapy已经安装成功。

Installing collected packages: Scrapy
Successfully installed Scrapy-1.4.0
点击此处
隐藏目录