最近 requests 库的作者,有更新了一个库,requests-html for humans ,试用了一下,效果真的很好。
使得开发者使用的时候更方便调用。它依赖于 PyQuery、Requests、lxml 等库。

不信你也试试

如何安装呢?

requests-html 用法教程-新乡seo|网站优化,网站建设_微信公众号:zeropython—昊天博客

看下面的教程吧

获取整个页面的links

获取整个页面的绝对路径

根据css选择器获取元素

获取文本

获取元素的属性

获取元素的html

还有好的方法 大家自己去看吧

关键是支持 JavaScript,利用 Chromium 进行渲染

支持翻页功能: