首先创建相应的爬虫

Scrapy 一个进程运行多个爬虫-Python 技术分享 Java技术分享 Python 爬虫技术_微信公众号:zeropython—昊天博客

spider 爬虫文件修改成这样

创建一个新的脚本main.py

Scrapy 一个进程运行多个爬虫-Python 技术分享 Java技术分享 Python 爬虫技术_微信公众号:zeropython—昊天博客

main.py 文件代码如下:

 

 

效果如下:

Scrapy 一个进程运行多个爬虫-Python 技术分享 Java技术分享 Python 爬虫技术_微信公众号:zeropython—昊天博客

方法二:

效果和第一个差不多

HTTPX 基础教程-新乡seo|网站优化,网站建设_微信公众号:zeropython—昊天博客