求助! semrushbot蜘蛛不遵守规则一直爬,服务器卡死！怎么设置没有用，一直爬。。。请教大佬们有什么办法不让semrushbot垃圾蜘蛛爬。跪谢！
老的贴子里看到这个大佬说最后把这蜘蛛来访设定成301到他自己网站去，没几分钟就消失了。（这要怎么设置啦）
https://hostloc.com/forum.php?mo ... ighlight=semrushbot
这下面是我胡设置。
#屏蔽垃圾蜘蛛
if ($http_user_agent ~* (YandexBot|spbot|DnyzBot|Researchscan|semrushbot|yahoo|AhrefsBot|DotBot|Uptimebot|MJ12bot|MegaIndex.ru|ZoominfoBot|Mail.Ru|SeznamBot|BLEXBot|ExtLinksBot|aiHitBot|Barkrowler)){
return 404;
}
robots.txt
User-agent: SemrushBot
Disallow: /
User-agent: SemrushBot/6~bl
Disallow: /
User-agent: SemrushBot/7~bl
Disallow: /
热议
2楼 require 昨天21:01
return 301
3楼 hktv 昨天21:03
return 301
这样吗？
if ($http_user_agent ~* semrushbot){
return 301 http://www.semrush.com;
}
4楼 hktv 昨天21:10
这样吗？
if ($http_user_agent ~* semrushbot){
这样好像不行呀
5楼 hktv 昨天21:20
有没有哪位大佬好心告诉一下，怎么弄呀，昨天弄了一天没有弄好
6楼 zixi 昨天21:20
额，robots规则拦不住就上防火墙咯，我用过宝塔防火墙，直接拦截ua，你这个规则return403才是拒绝访问，404是找不到文件。。。
7楼 require 昨天21:22
这样好像不行呀
修改完了要重启nginx
8楼 取个什么名好呢 昨天21:27
不管是404还是403，只要是请求，服务器都会产生负载。nginx 试试 444，或者利用iptables屏蔽
9楼 hktv 昨天21:35
修改完了要重启nginx
这不行。重启了试了，
10楼 hktv 昨天21:36
不管是404还是403，只要是请求，服务器都会产生负载。nginx 试试 444，或者利用iptables屏蔽 ...
试了444也不行，我再试试你后面说的那个
申明：本文内容由网友收集分享，仅供学习参考使用。如文中内容侵犯到您的利益，请在文章下方留言，本站会第一时间进行处理。