技术解析
自己的一个资料站,这两年一直被频繁的爬虫和爆破工具骚扰,我现在的策略是很简单的定时判断 IP 的访问量,如果一个 IP 在 1 分钟内访问超过 120 次,则加入临时黑名单,本身并不反感爬虫,只要不影响到网站正常打开,我的态度是随便爬随便爆,所以才设置 1 分钟 120 次的限制。
最近碰到有些疯狂的爆破工具,一次会使用上百个 IP 和不同的 UA 来访问,一旦这时候后台数据库就处于满负荷状态,网页应用卡死,由于 IP 很分散,所以基本绕过了限制,我统计了一下近期的一次被爆破记录,网站一分钟内被访问了近 2k 次,但单 IP 访问也才 5~30 左右,现在就很苦恼,怎么把这些访问阻抗投诉服务器止的同时又不误伤正常用户。
作为现业余程序员一个不成熟的想法:去找代理 IP 库,然后定期更新加入黑名单,如果可行,去哪里找代理 IP 地址呢?
离开 IT 行业十来年,很多技术已经有些跟不上了,各位大佬莫要见笑。