scrapy 的文档请移驾到 http://scrapy-chs.readthedocs.io/zh_CN/0.24/intro/install.html

1、准备工作 

安装python 、Spyder 、scrapy 如果想要数据直接入mysql 还需要安装python的 MySQLdb 依赖包

本人mac操作系统 安装MySQLdb的时候出现了些小问题  最后是重装了openssl 才通过的

Spyder 是编写python的ide

2、新建项目 

cd /usr/local/var/www/python

执行 scrapy startproject myblog 则新建了一个名称为myblog 的项目,执行完成后 你的python文件夹就出现了myblog文件夹了

使用python scrapy框架抓取cnblog 的文章内容-新乡seo|网站优化,网站建设_微信公众号:zeropython—昊天博客

cnblog_spider.py 是后来我新建的 后缀.pyc 是执行python后的编译的文件 其他的都是执行创建项目后就自动生成的文件了

3、编写爬虫脚本 cnblog_spider.py

分析cnblog的网站 使用scrapy shell  http://www.cnblogs.com/threemore/

使用google浏览器 找到你想要抓取的数据 话不多说 直接上代码,我抓取了cnblog文章的标题,链接 时间,文章的id,正文内容

4、数据入库

编写管道程序pipelines.py,管道就是存储数据使用的  爬虫文件最后yield 的item 会将数据给到pipelines.py 这个文件

为了测试和正式环境的方便 我就配置了两份mysql的登陆信息

每次执行前 都将即将入库的数据表给清空了一次  防止重复采集 ,直接看代码

5、配置setting.py

开启入库的配置

找到 ITEM_PIPELINES 将前面的注释去掉  看到代码上面的注释的链接了么 直接访问看下是干啥的就行了  官方网站上看实例好像是将数据写入到monge里面去了

本人对monge 不熟悉 直接放到mysql去了 大致意思就是说pipelines.py 这个文件就是讲你采集的数据存放在什么地方

6、执行采集

在项目的文件夹下面执行 :scrapy crawl myblog

特意将crawl 拿百度翻译看了下 啥意思 原来就是“爬行”

最后展示下采集回来的数据

使用python scrapy框架抓取cnblog 的文章内容-新乡seo|网站优化,网站建设_微信公众号:zeropython—昊天博客

15条没有采集到数据 aid 程序就是拿正则随便处理了下