本文题目里已经点名文章中心:爬虫防御!
不管是云计算厂商:(国内:阿里云,腾讯云,百度云,华为云等等,国外:AWS,Azure,谷歌云等等),还是西部数码,景安,联通,电信,等等传统IDC单位,这些都是属于IDC业务,都有着相对固定而且对外公开的IP段。所以,对于淘宝这种网站,显然完全可以封锁来自这部分IP的访问流量,这样可以避免工作在这些IDC下的爬虫对正常业务造成访问压力,甚至攻击。
爬虫防御,本站也经历过几轮,虽说跟淘宝网承受的压力对比,但至少一定范围是相似的:
无验证权限的接口被暴力访问
某页面被大量刷新请求
网站被DDOS攻击
某些负载大的接口被CC攻击
登录页面被模拟登录
以上几种情况,其实有几个场景完全是由“单个IP”发起的,这个时候,禁用ip很有效果,尤其是这个ip来自于IDC的情况下更加适用。
原文地址:
https://www.opengps.cn/Blog/View.aspx?id=259
文章的更新编辑依此链接为准。欢迎关注源站原创文章!