aiohttp是python3的一个异步模块,分为服务器端和客户端。廖雪峰的python3教程中,讲的是服务器端的使用方法。均益这里主要讲的是客户端的方法,用来写爬虫。使用异步协程的方式写爬虫,能提高程序的运行效率。

aiohttp的异步爬虫使用方法-Python 技术分享 Java技术分享 Python 爬虫技术_微信公众号:zeropython—昊天博客

1、安装

2、单一请求方法

3、多url请求方法

4、其他的请求方式

上面的代码中,我们创建了一个 ClientSession 对象命名为session,然后通过session的get方法得到一个 ClientResponse 对象,命名为resp,get方法中传入了一个必须的参数url,就是要获得源码的http url。至此便通过协程完成了一个异步IO的get请求。
aiohttp也支持其他的请求方式

5、请求方法中携带参数

GET方法带参数

POST方法带参数

6、获取响应内容

resp.status 是http状态码,
resp.text() 是网页内容

gzip和deflate转换编码已经为你自动解码。

7、JSON请求处理

返回json数据的处理

8、以字节流的方式读取文件,可以用来下载

下载保存文件

9、上传文件

可以设置好文件名和content-type:

10、超时处理

默认的IO操作都有5分钟的响应时间 我们可以通过 timeout 进行重写,如果 timeout=None 或者 timeout=0 将不进行超时检查,也就是不限时长。

11、自定义请求头

设置session的请求头

12、自定义cookie

在多个请求中共享cookie

13、限制同时请求数量

limit默认是100,limit=0的时候是无限制

14、SSL加密请求

有的请求需要验证加密证书,可以设置ssl=False,取消验证

加入证书

15、代理请求

代理认证

或者通过URL认证

16、优雅的关闭程序

没有ssl的情况,加入这个语句关闭await asyncio.sleep(0)

如果是ssl请求,在关闭前需要等待一会

*** 转自均益博客

HTTPX 基础教程-新乡seo|网站优化,网站建设_微信公众号:zeropython—昊天博客