昊天SEO

selenium 获取网页源码

selenium

selenium

selenium

selenium本是用来对web application做自动化测试的。不过,它有个天大的好处:能让我们用python(当然不仅是python)代码模拟人对浏览器的操作。
所需软件:python2.7 , firefox 25.0.1(版本不能太高), selenium2.44.0(使用pip install selenium安装即可)
1. 打开浏览器,请求百度主页,5秒钟后关闭浏览器

from selenium import webdriver
import time
brower = webdriver.Firefox()
brower.get('http://www.baidu.com')
time.sleep(5)
brower.close()
注意 url的写法,前面必须加 http://
2. 打开浏览器,请求一个带有动态内容的网页,等待js执行完毕(10秒钟足够),获取当前浏览器render的内容的源码,关闭浏览器

from selenium import webdriver
import time
browser = webdriver.Firefox()
browser.get('http://detail.tmall.com/item.htm?id=12577759834 ')
time.sleep(10)
pageSource = browser.page_source
print pageSource
browser.close()

未经允许不得转载:新乡seo|网站优化,网站建设—昊天博客 » selenium 获取网页源码

网站的维护离不开大家的支持鼓励,捐赠让我更有动力走的更远&& 也可以关注我的微信公众号,发布更多的干货
本文网址:https://www.168seo.cn/selenium/1353.html

评论 抢沙发

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址