技术解析

咨询各位大佬:如何准确的判断出利用 IP 代理池与 UA 多变的爬虫?
0
2021-06-08 15:53:26
idczone

自己的一个资料站,这两年一直被频繁的爬虫和爆破工具骚扰,我现在的策略是很简单的定时判断 IP 的访问量,如果一个 IP 在 1 分钟内访问超过 120 次,则加入临时黑名单,本身并不反感爬虫,只要不影响到网站正常打开,我的态度是随便爬随便爆,所以才设置 1 分钟 120 次的限制。

最近碰到有些疯狂的爆破工具,一次会使用上百个 IP 和不同的 UA 来访问,一旦这时候后台数据库就处于满负荷状态,网页应用卡死,由于 IP 很分散,所以基本绕过了限制,我统计了一下近期的一次被爆破记录,网站一分钟内被访问了近 2k 次,但单 IP 访问也才 5~30 左右,现在就很苦恼,怎么把这些访问阻抗投诉服务器止的同时又不误伤正常用户。

作为现业余程序员一个不成熟的想法:去找代理 IP 库,然后定期更新加入黑名单,如果可行,去哪里找代理 IP 地址呢?

离开 IT 行业十来年,很多技术已经有些跟不上了,各位大佬莫要见笑。


试试字体混淆,爬到了也没用

我不想提高反扒的难度,只是纯粹的需要避免高频的爬取和爆破,能保证网站正常访问即可。

WAF

网站现在部署在百度云 BAE 上,这个产品没有 WAF 可选,BAE 稳定性很好也很省心,所以还没有更换的打算。我是想在应用层面做些简单防护,不指望防高手,能防住那种只会用工具爆或者爬、又不会控制频率只会瞎爬的小白就可以了。所以代码层面如果有些有效的逻辑策略,那就最好了。

数据地带为您的网站提供全球顶级IDC资源
在线咨询
专属客服