scrapy爬虫代理——利用crawlera神器，无需再寻找代理IP

摘要: 由于工作需要，利用scrpay采集某个商业网站的数据。但是这个网站反扒非常厉害。因此不得不采用代理IP来做，但是做了几天后几乎能用的代理IP全被禁掉了。而且这种找代理、然后再验证的流程非常麻烦，于是博主想到了第三方平台crawlera.

一、crawlera平台注册

首先申明，注册是免费的，使用的话除了一些特殊定制外都是free的。

1、登录其网站 https://dash.scrapinghub.com/account/signup/

填写用户名、密码、邮箱，注册一个crawlera账号并激活

scrapy爬虫代理——利用crawlera神器，无需再寻找代理IP–转-Python 技术分享 Java技术分享 Python 爬虫技术_微信公众号:zeropython—昊天博客

crawlera账号并激活

2、创建Organizations,然后添加crawlear服务

然后点击 +Service ,在弹出的界面点击Crawlear，输入名字，选择信息就创建成功了。

创建成功过后点击你的Crawlear名字便可以看到API的详细信息。

二、部署到srcapy项目

1、安装scarpy-crawlera

pip install 、easy_install 随便你采用什么安装方式都可以

<span class="hljs-attribute">pip</span> install <span class='wp_keywordlink_affiliate'><a href="https://www.168seo.cn/tag/scrapy" title="View all posts in scrapy" target="_blank">scrapy</a></span>-crawlera

1	<span class="hljs-attribute">pip</span> install scrapy-crawlera

2、修改settings.py

如果你之前设置过代理ip，那么请注释掉，加入crawlera的代理

DOWNLOADER_MIDDLEWARES = {
    # <span class="hljs-string">'scrapy.contrib.downloadermiddleware.httpproxy.HttpProxyMiddleware'</span>: <span class="hljs-number">110</span>,
    # <span class="hljs-string">'partent.middlewares.ProxyMiddleware'</span>: <span class="hljs-number">100</span>,
<span class="hljs-string">'scrapy_crawlera.CrawleraMiddleware'</span>: <span class="hljs-number">600</span>
}

DOWNLOADER_MIDDLEWARES = {

# 'scrapy.contrib.downloadermiddleware.httpproxy.HttpProxyMiddleware': 110,

# 'partent.middlewares.ProxyMiddleware': 100,

'scrapy_crawlera.CrawleraMiddleware': 600

}

为了是crawlera生效，需要添加你创建的api信息（如果填写了API key的话，pass填空字符串便可）

<span class="hljs-attr">CRAWLERA_ENABLED</span> = <span class="hljs-literal">True</span>
<span class="hljs-attr">CRAWLERA_USER</span> = <span class="hljs-string">'<API key>'</span>
<span class="hljs-attr">CRAWLERA_PASS</span> = <span class="hljs-string">''</span>

CRAWLERA_ENABLED = True

CRAWLERA_USER = '<API key>'

CRAWLERA_PASS = ''

为了达到更高的抓取效率，可以禁用Autothrottle扩展和增加并发请求的最大数量，以及设置下载超时，代码如下

<span class="hljs-attr">CONCURRENT_REQUESTS</span> = <span class="hljs-number">32</span>
<span class="hljs-attr">CONCURRENT_REQUESTS_PER_DOMAIN</span> = <span class="hljs-number">32</span>
<span class="hljs-attr">AUTOTHROTTLE_ENABLED</span> = <span class="hljs-literal">False</span>
<span class="hljs-attr">DOWNLOAD_TIMEOUT</span> = <span class="hljs-number">600</span>

CONCURRENT_REQUESTS = 32

CONCURRENT_REQUESTS_PER_DOMAIN = 32

AUTOTHROTTLE_ENABLED = False

DOWNLOAD_TIMEOUT = 600

如果在代码中设置有 DOWNLOAD_DELAY的话，需要在setting.py中添加

<span class="hljs-attr">CRAWLERA_PRESERVE_DELAY</span> = <span class="hljs-literal">True</span>

1	<span class="hljs-attr">CRAWLERA_PRESERVE_DELAY</span> = <span class="hljs-literal">True</span>

如果你的spider中保留了cookies,那么需要在Headr中添加

DEFAULT_REQUEST_HEADERS = {
  # <span class="hljs-string">'Accept'</span>: <span class="hljs-string">'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8'</span>,
  # <span class="hljs-string">'Accept-Language'</span>: <span class="hljs-string">'zh-CN,zh;q=0.8'</span>,
  <span class="hljs-string">'X-Crawlera-Cookies'</span>: <span class="hljs-string">'disable'</span>
}

DEFAULT_REQUEST_HEADERS = {

# 'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8',

# 'Accept-Language': 'zh-CN,zh;q=0.8',

'X-Crawlera-Cookies': 'disable'

}

三、运行爬虫

这些都设置好了过后便可以运行你的爬虫了。这时所有的request都是通过crawlera发出的，信息如下
scrapy爬虫代理——利用crawlera神器，无需再寻找代理IP–转-Python 技术分享 Java技术分享 Python 爬虫技术_微信公众号:zeropython—昊天博客更多的crawlera信息请参考官方文档：http://doc.scrapinghub.com/index.html