Itxiaozhan网页爬虫进阶教程一：scrapy框架原理和安装方法

什么是Scrapy

Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。

本节先介绍如何安装Scrapy

一、 在Windows系统安装scrapy

1. pip3 install wheel

2.到下面网址下载Twisted
a. 进入到 http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted , 下载：Twisted-17.9.0-cp36-cp36m-win_amd64.whl（请注意，根据你的python版本和Windows系统来选择对应的whl文件；其中cp36表示python 3.6版本,amd64表示64位系统）
b. 进入文件所在目录
c. pip3 install Twisted-17.1.0-cp35-cp35m-win_amd64.whl

3.python -m pip install pypiwin32

4.pip3 install scrapy

在windows系统上直接pip install scrapy 是会报错的,报错是和twisted有关,所以在Windows端要手动安装twisted

如何判断scrapy是否安装成功:

只需进入cmd命令行

python    #进入python命令行

import scrapy

如果没有报错说明安装成功

二、在Linux系统Ubantu安装scrapy

在Ubantu上也要手动安装Twisted:

# 安装相应的依赖

apt-get install python-dev
apt-get install libevent-dev
apt-get install libssl-dev

apt-get install libpython3.6-dev    # 如果你的python是3.6版本的话,其他版本则对应版本安装

# 下载twisted
wget https://files.pythonhosted.org/packages/90/50/4c315ce5d119f67189d1819629cae7908ca0b0a6c572980df5cc6942bc22/Twisted-18.7.0.tar.bz2
tar -xjvf Twisted-18.7.0.tar.bz2

# 安装twisted
cd  ./Twisted-18.7.0.tar.bz2

python3.6 setup.py build
python3.6 setup.py install

# 安装scrapy
pip install scrapy

三、在Linux系统Centos安装scrapy

在Centos中（我的是Centos 7），安装scrapy很简单，直接一句

pip install scrapy

即可