创建 scrapy 项目
我们一般采用这种方式:
[code lang="shell"]
1. scrapy3 startproject demo
[/code]
你会发现在demo下还有个demo,其实它的项目是第二个demo
[code lang="shell"]
python scrapy tree ./
./
└── demo
├── demo
│   ├── __init__.py
│   ├── __pycache__
│   ├── items.py
│   ├── middlewares.py
│   ├── pipelines.py
│   ├── settings.py
│   └── spiders
│   ├── __init__.py
│   └── __pycache__
└── scrapy.cfg

5 directories, 7 files
[/code]

我推荐采用这种方式:

[code lang="shell"]
2. scrapy3 startproject project demo
[/code]

[code lang="shell"]
python scrapy tree ./
./
└── demo
├── project
│   ├── __init__.py
│   ├── __pycache__
│   ├── items.py
│   ├── middlewares.py
│   ├── pipelines.py
│   ├── settings.py
│   └── spiders
│   ├── __init__.py
│   └── __pycache__
└── scrapy.cfg

5 directories, 7 files

[/code]

如何单独使用 scrapy 呢?

创建一个模板

[code lang="shell"]
scrapy3 genspider seo www.168seo.cn
[/code]

如何运行呢?

[code lang="shell"]
➜ python scrapy ll
total 8
-rw-r--r-- 1 songhao staff 217B 1 2 20:28 seo.py
[/code]

可以这样

[code lang="shell"]
➜ python scrapy scrapy3 runspider seo.py
[/code]

这样就可以运行脚本了

如何单独使用scrapy-新乡seo|网站优化,网站建设—昊天博客