Itxiaozhan网页爬虫进阶教程一:scrapy框架原理和安装方法
什么是Scrapy
Scrapy是一个为了爬取网站数据,提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘,信息处理或存储历史数据等一系列的程序中。
本节先介绍如何安装Scrapy
一、 在Windows系统安装scrapy
1. pip3 install wheel
2.到下面网址下载Twisted
a. 进入到 http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted , 下载:Twisted-17.9.0-cp36-cp36m-win_amd64.whl(请注意,根据你的python版本和Windows系统来选择对应的whl文件;其中cp36表示python 3.6版本,amd64表示64位系统)
b. 进入文件所在目录
c. pip3 install Twisted-17.1.0-cp35-cp35m-win_amd64.whl
3.python -m pip install pypiwin32
4.pip3 install scrapy
在windows系统上直接pip install scrapy 是会报错的,报错是和twisted有关,所以在Windows端要手动安装twisted
如何判断scrapy是否安装成功:
只需进入cmd命令行
python #进入python命令行
import scrapy
如果没有报错说明安装成功
二、在Linux系统Ubantu安装scrapy
在Ubantu上也要手动安装Twisted:
# 安装相应的依赖
apt-get install python-dev
apt-get install libevent-dev
apt-get install libssl-dev
apt-get install libpython3.6-dev # 如果你的python是3.6版本的话,其他版本则对应版本安装
# 下载twisted
wget https://files.pythonhosted.org/packages/90/50/4c315ce5d119f67189d1819629cae7908ca0b0a6c572980df5cc6942bc22/Twisted-18.7.0.tar.bz2
tar -xjvf Twisted-18.7.0.tar.bz2
# 安装twisted
cd ./Twisted-18.7.0.tar.bz2
python3.6 setup.py build
python3.6 setup.py install
# 安装scrapy
pip install scrapy
三、在Linux系统Centos安装scrapy
在Centos中(我的是Centos 7),安装scrapy很简单,直接一句
pip install scrapy
即可
1. 本站资源转自互联网,源码资源分享仅供交流学习,下载后切勿用于商业用途,否则开发者追究责任与本站无关!
2. 本站使用「署名 4.0 国际」创作协议,可自由转载、引用,但需署名原版权作者且注明文章出处
3. 未登录无法下载,登录使用金币下载所有资源。
IT小站 » Itxiaozhan网页爬虫进阶教程一:scrapy框架原理和安装方法
常见问题FAQ
- 没有金币/金币不足 怎么办?
- 本站已开通每日签到送金币,每日签到赠送五枚金币,金币可累积。
- 所有资源普通会员都能下载吗?
- 本站所有资源普通会员都可以下载,需要消耗金币下载的白金会员资源,通过每日签到,即可获取免费金币,金币可累积使用。