昊天SEO

scrapy在命令行指定要采集的url地址

scrapy在命令行指定要采集的url地址,如果不同的网站使用同样的规则,则可以将要采集的url地址放在命令行里动态输入

class MySpider(BaseSpider):
 # http://www.sharejs.com
 name = 'my_spider' 
 
 def __init__(self, *args, **kwargs):
 super(MySpider, self).__init__(*args, **kwargs)
 
 self.start_urls = [kwargs.get('start_url')]
 
 

命令行
scrapy crawl my_spider -a start_url="http://some_url"
网站的维护离不开大家的支持鼓励,捐赠让我更有动力走的更远&& 也可以关注我的微信公众号,发布更多的干货
本文网址:https://www.168seo.cn/python/1914.html

评论 抢沙发

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址