首先创建相应的爬虫

Scrapy 一个进程运行多个爬虫-园艺资材批发美乐棵,奥绿肥,花多多,赤玉土,品式泥炭

spider 爬虫文件修改成这样

创建一个新的脚本main.py

Scrapy 一个进程运行多个爬虫-园艺资材批发美乐棵,奥绿肥,花多多,赤玉土,品式泥炭

main.py 文件代码如下:

 

 

效果如下:

Scrapy 一个进程运行多个爬虫-园艺资材批发美乐棵,奥绿肥,花多多,赤玉土,品式泥炭

方法二:

效果和第一个差不多

HTTPX 基础教程-新乡seo|网站优化,网站建设_微信公众号:zeropython—昊天博客