Nginx.conf屏蔽搜索引擎蜘蛛,一些蜘蛛根本不回来流量但是抓取的太多了 浪费网站流量，想只让百度和谷歌的蜘蛛访问，别的蜘蛛来的话 直接跳转到大网站比如百度。
- 0次
- 2021-05-31 13:39:27
- idczone
找到 下面的代码 但是这个代码 返回的是403 我想让他 直接访问跳到别的网站，跳到百度去。
if ($http_user_agent ~* (soso|bing|sogou|yahoo|sohu-search|yodao|YoudaoBot|robozilla|msnbot|MJ12bot|NHN|Twiceler国外服务器)){
return 403;
}
记得PHP的做法是Header("Location:http://www.baidu.com");
你可以试试写个no_other_spider的filter,碰到别家机器人就把Header 301到百度
rewrite .* http://www.baidu.com/ break;
return 301 http://www.baidu.com/;
应该再加上一个360spider