-
屏蔽不需要的蜘蛛节省服务器资源
最近我一直在观察我的网站日志，发现了很多不常见的蜘蛛频繁抓取我的网站，大量垃圾蜘蛛甚至爬虫访问很影响性能，特别是服务器配置不高的情况下，那么我们该怎样屏蔽掉垃圾蜘蛛呢？一般来说，屏蔽蜘蛛抓取有三种方法...
最近我一直在观察我的网站日志，发现了很多不常见的蜘蛛频繁抓取我的网站，大量垃圾蜘蛛甚至爬虫访问很影响性能，特别是服务器配置不高的情况下，那么我们该怎样屏蔽掉垃圾蜘蛛呢？一般来说，屏蔽蜘蛛抓取有三种方法...