Scrapy-Redis结合POST请求获取数据

能看到这篇文章的小伙伴肯定已经知道什么是Scrapy以及Scrapy-Redis了，基础概念这里就不再介绍。默认情况下Scrapy-Redis是发送GET请求获取数据的，对于某些使用POST请求的情况需要重写make_request_from_data函数即可，但奇怪的是居然没在网上搜到简洁明了的答案，或许是太简单了？

这里我以httpbin.org这个网站为例，首先在settings.py中添加所需配置，这里需要根据实际情况进行修改：

爬虫代码如下：

这里为了简单直接进行输出，真实使用时可以结合pipeline写数据库等。

然后启动爬虫程序scrapy crawl hpb，由于我们还没向test_post_data中写数据，所以启动后程序进入等待状态。然后模拟向队列写数据：

此时可以看到爬虫已经开始获取程序了：

至于数据重复的问题，如果POST的数据重复，这个请求就不会发送出去。