Itxiaozhan网页爬虫进阶教程一:scrapy框架原理和安装方法

作者 : IT 大叔 本文共1119个字,预计阅读时间需要3分钟 发布时间: 2020-10-27

什么是Scrapy

Scrapy是一个为了爬取网站数据,提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘,信息处理或存储历史数据等一系列的程序中。

本节先介绍如何安装Scrapy

一、 在Windows系统安装scrapy

1. pip3 install wheel

2.到下面网址下载Twisted
a. 进入到 http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted , 下载:Twisted-17.9.0-cp36-cp36m-win_amd64.whl(请注意,根据你的python版本和Windows系统来选择对应的whl文件;其中cp36表示python 3.6版本,amd64表示64位系统)
b. 进入文件所在目录
c. pip3 install Twisted-17.1.0-cp35-cp35m-win_amd64.whl

3.python -m pip install pypiwin32

4.pip3 install scrapy

在windows系统上直接pip install scrapy 是会报错的,报错是和twisted有关,所以在Windows端要手动安装twisted

如何判断scrapy是否安装成功:

只需进入cmd命令行

python    #进入python命令行

import scrapy

如果没有报错说明安装成功

二、在Linux系统Ubantu安装scrapy

在Ubantu上也要手动安装Twisted:

# 安装相应的依赖

apt-get install python-dev
apt-get install libevent-dev
apt-get install libssl-dev

apt-get install libpython3.6-dev    # 如果你的python是3.6版本的话,其他版本则对应版本安装

# 下载twisted
wget https://files.pythonhosted.org/packages/90/50/4c315ce5d119f67189d1819629cae7908ca0b0a6c572980df5cc6942bc22/Twisted-18.7.0.tar.bz2
tar -xjvf Twisted-18.7.0.tar.bz2

# 安装twisted
cd  ./Twisted-18.7.0.tar.bz2

python3.6 setup.py build
python3.6 setup.py install

# 安装scrapy
pip install scrapy

三、在Linux系统Centos安装scrapy

在Centos中(我的是Centos 7),安装scrapy很简单,直接一句

pip install scrapy

即可

免责声明:
1. 本站资源转自互联网,源码资源分享仅供交流学习,下载后切勿用于商业用途,否则开发者追究责任与本站无关!
2. 本站使用「署名 4.0 国际」创作协议,可自由转载、引用,但需署名原版权作者且注明文章出处
3. 未登录无法下载,登录使用金币下载所有资源。
IT小站 » Itxiaozhan网页爬虫进阶教程一:scrapy框架原理和安装方法

常见问题FAQ

没有金币/金币不足 怎么办?
本站已开通每日签到送金币,每日签到赠送五枚金币,金币可累积。
所有资源普通会员都能下载吗?
本站所有资源普通会员都可以下载,需要消耗金币下载的白金会员资源,通过每日签到,即可获取免费金币,金币可累积使用。

发表评论