昊天SEO

标签:python

Scrapy利用Redis实现消重存入MySQL(增量爬取)-新乡seo|网站优化,网站建设—昊天博客

Scrapy利用Redis实现消重存入MySQL(增量爬取)

新乡网站建设阅读(25)

官方去重: scrapy官方文档的去重模块,只能实现对当前抓取数据的去重,并不会和数据库里的数据做对比。也就是说如果你抓了100条数据,里面有10条重复了,它会丢掉这10条,但100条里有20条和数据库的数据重复了,它也不管,照样存进去。 ...

和Charles同样强大的iOS免费抓包工具mitmproxy-新乡seo|网站优化,网站建设—昊天博客

和Charles同样强大的iOS免费抓包工具mitmproxy

新乡网站建设阅读(19)

现阶段给iOS设备进行网络抓包的手段非常之多,除了我之前介绍的tcpdump,wireshark之外,还有Charles,以及和Charles同样好用的mitmproxy,其实还有更多,比如更小众的debookee。似乎知道Charles的...

python中的StringIO模块-新乡seo|网站优化,网站建设—昊天博客

python中的StringIO模块

新乡网站建设阅读(47)

此模块主要用于在内存缓冲区中读写数据。模块是用类编写的,只有一个StringIO类,所以它的可用方法都在类中。此类中的大部分函数都与对文件的操作方法类似。 #coding=utf-8 import StringIO, cStringIO, ...

使用nginx在一台服务器部署多个网站-新乡seo|网站优化,网站建设—昊天博客

使用nginx在一台服务器部署多个网站

新乡网站建设阅读(177)

nginx是一款优秀的服务器软件,拥有优秀的静态文件处理能力,同时通过作为反向代理转发动态请求到后端服务器。如果现在需要在一台服务器上同时部署两个网站并通过独立的两个域名分别访问两个网站,应该怎样对nginx进行配置?在apache中可以通...

python2.7 之centos7 安装 pip, Scrapy-新乡seo|网站优化,网站建设—昊天博客

python2.7 之centos7 安装 pip, Scrapy

新乡网站建设阅读(598)评论(0)

一、确定Python版本在2.7及以上 强烈建议升级python2.7后再安装pip与setuptools,如果不这样操作会出现很多莫明的问题,让你酸爽到天明!! 如果你是升级到python2.7,更大的可能性是全部通过python set...

pip --upgrade批量更新过期的python库-新乡seo|网站优化,网站建设—昊天博客

pip –upgrade批量更新过期的python库

新乡网站建设阅读(591)评论(0)

今天看了下系统环境,不少python库都有了更新,再用旧版本库可能已经不适合了,就想把所有的库都更新到最新版本。 查看系统里过期的python库,可以用pip命令 1 pip list  #列出所有安装的库 1 pip list --out...

a