昊天SEO

lynx获取百度知道列表页的链接

在linux 服务器上执行:

lynx -dump “http://zhidao.baidu.com/search?lm=0&rn=10&pn=0&fr=search&ie=gbk&word=seo”

获得:

lynx获得链接

lynx获得链接

然后利用grep命令过滤百度知道的链接

lynx -dump "http://zhidao.baidu.com/search?lm=0&rn=10&pn=0&fr=search&ie=gbk&word=seo"|grep "http://zhidao.baidu.com/question/"|grep -v "?"

获得结果

百度知道链接

然后利用awk 获得链接

lynx -dump "http://zhidao.baidu.com/search?lm=0&rn=10&pn=0&fr=search&ie=gbk&word=seo"|grep "http://zhidao.baidu.com/question/"|grep -v "?"|awk '{print$2}'

结果如下:

百度知道链接

百度知道链接

 

相关命令
  1. get the text from a Web page with the list of links:
    lynx -dump “http://www.site-url.com/”
  2. get the source code from a page:
    lynx -source “http://www.site-url.com/”
  3. get the response headers:
    lynx -dump -head “http://www.site-url.com/”

未经允许不得转载:新乡seo|网站优化,网站建设—昊天博客 » lynx获取百度知道列表页的链接

网站的维护离不开大家的支持鼓励,捐赠让我更有动力走的更远&& 也可以关注我的微信公众号,发布更多的干货
本文网址:https://www.168seo.cn/seojishu/1428.html

评论 抢沙发

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址