昊天SEO

selenium 采集ajax的网页,怎么采集

#coding=utf-8
from selenium.webdriver.common.action_chains import ActionChains
from selenium import webdriver
import unittest
import time
import sys,re,string
reload(sys)
sys.setdefaultencoding('utf8')
dd=webdriver.Chrome()
dd.get('http://www.toutiao.com/search/?keyword=%E5%81%A5%E8%BA%AB')

# ActionChains(dd).move_by_offset(5000,0).perform()
i=0
while i
#coding=utf-8
from selenium.webdriver.common.action_chains import ActionChains
from selenium import webdriver
import unittest
import time
import sys,re,string
reload(sys)
sys.setdefaultencoding('utf8')
dd=webdriver.Chrome()
dd.get('http://www.toutiao.com/search/?keyword=%E5%81%A5%E8%BA%AB')

# ActionChains(dd).move_by_offset(5000,0).perform()
i=0
while i<20:
 dd.execute_script("window.scrollTo(0, document.body.scrollHeight);") #
 i+=1
 time.sleep(0.5)


# ActionChains(dd).move_by_offset(x2,0).perform()
for i in dd.find_elements_by_xpath('//*[@id="pagelet-feedlist"]/ul/li/div[1]/p'):
 print i.text

未经允许不得转载:新乡seo|网站优化,网站建设—昊天博客 » selenium 采集ajax的网页,怎么采集

网站的维护离不开大家的支持鼓励,捐赠让我更有动力走的更远&& 也可以关注我的微信公众号,发布更多的干货
本文网址:https://www.168seo.cn/selenium/2479.html

评论 抢沙发

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址