昊天SEO

scrapy在命令行指定要采集的url地址

scrapy在命令行指定要采集的url地址,如果不同的网站使用同样的规则,则可以将要采集的url地址放在命令行里动态输入

class MySpider(BaseSpider):
 # http://www.sharejs.com
 name = 'my_spider' 
 
 def __init__(self, *args, **kwargs):
 super(MySpider, self).__init__(*args, **kwargs)
 
 self.start_urls = [kwargs.get('start_url')]
 
 

命令行
scrapy crawl my_spider -a start_url="http://some_url"

本文地址官网    新乡网站建设,seo

分享到:更多 ()
a