昊天SEO

修改配置nginx限制无良爬虫频率

我们公司某些服务也经常被爬虫影响,例如贴吧
在贴吧这个事故中,我是简单地匹配useragent,给它返回一个500的错误。
今天看微博发现@金荣叶 的处理方法很灵活,可以动态设定一个爬虫的频率,达到减轻服务器负载,并且不至于封杀爬虫。

#全局配置
limit_req_zone $anti_spider zone=anti_spider:10m rate=15r/m;
#某个server中
limit_req zone=anti_spider burst=30 nodelay;
if ($http_user_agent ~* “xxspider|xxbot”) {
set $anti_spider $http_user_agent;
}

未经允许不得转载:新乡seo|网站优化,网站建设—昊天博客 » 修改配置nginx限制无良爬虫频率

网站的维护离不开大家的支持鼓励,捐赠让我更有动力走的更远&& 也可以关注我的微信公众号,发布更多的干货
本文网址:https://www.168seo.cn/linux/2361.html

评论 抢沙发

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址