创建 scrapy 项目
我们一般采用这种方式:

1. scrapy3 startproject demo

你会发现在demo下还有个demo,其实它的项目是第二个demo

➜  python scrapy tree ./
./
└── demo
    ├── demo
    │   ├── __init__.py
    │   ├── __pycache__
    │   ├── items.py
    │   ├── middlewares.py
    │   ├── pipelines.py
    │   ├── settings.py
    │   └── spiders
    │       ├── __init__.py
    │       └── __pycache__
    └── scrapy.cfg

5 directories, 7 files

我推荐采用这种方式:

2. scrapy3 startproject project demo
➜  python scrapy tree ./
./
└── demo
    ├── project
    │   ├── __init__.py
    │   ├── __pycache__
    │   ├── items.py
    │   ├── middlewares.py
    │   ├── pipelines.py
    │   ├── settings.py
    │   └── spiders
    │       ├── __init__.py
    │       └── __pycache__
    └── scrapy.cfg

5 directories, 7 files

如何单独使用 scrapy 呢?

创建一个模板

scrapy3 genspider seo www.168seo.cn

如何运行呢?

➜  python scrapy ll
total 8
-rw-r--r--  1 songhao  staff   217B  1  2 20:28 seo.py

可以这样

➜  python scrapy scrapy3 runspider seo.py

这样就可以运行脚本了

如何单独使用scrapy-新乡seo|网站优化,网站建设—昊天博客