默认情况下scrapy采集时只能使用一种user-agent,这样容易被网站屏蔽,下面的代码可以从预先定义的user-agent的列表中随机选择一个来采集不同的页面




HTTPX 基础教程-新乡seo|网站优化,网站建设_微信公众号:zeropython—昊天博客