官方去重:

scrapy官方文档的去重模块,只能实现对当前抓取数据的去重,并不会和数据库里的数据做对比。也就是说如果你抓了100条数据,里面有10条重复了,它会丢掉这10条,但100条里有20条和数据库的数据重复了,它也不管,照样存进去。

 

增量入库:

官方的去重比较简单,只要换成自己的item['#'],然后在settings里启用DuplicatesPipeline就可以了。

而我的需求要对一个网站长期爬取,所以要不断对比之前的抓取的内容,只需要存入新增的数据即可,网上搜了一下,scrapy做增量爬取的资料并不多,有人列出四种方法,相对理想的方法是使用redis来解决。找到一篇使用redis去重的教程,和自己的需求很像,但之前没用过redis,摸索了半天,终于搞明白了。下面是自己的使用心得,写在注释里了,供大家参考:

 

重点说一下,虽然redis是一个键值对应的数据库,但这里为了速度用的是哈希(hash),和一般的字典不一样,比一般的字典多了个字段。详细可以看这个教程,重点看hexists,hset,hlen,hgetall这几个,在终端里运行一下就明白了。教程里都是命令行运行,和python里的用法稍微有点不一样。

redis哈希结构:
结构:key field(字段) value
对应:redis_data_dict url(实际的url) 0(代码里设置成了0)
而item里key是'url' value是实际的url

相当于用key(redis_data_dict)的字段(url)来对比item['url']的值,存在为1(true),不存在就是0(false),我开始也是这里晕的,后来打印出来才明白了。

如果要用:
把conn数据库连接换成自己的
修改sql语句,df['url']
然后把item['url']换成自己的,就可以了。

可以在程序中间加入print,把每一步打印出来,看数值是什么就容易懂了。

最后,感谢这位小伙伴的文章,帮我解决的问题~

参考文章:

Scrapy结合Redis实现增量爬取