求助! semrushbot蜘蛛不讲武德一直爬,导致服务器卡死！-hktv

求助! semrushbot蜘蛛不遵守规则一直爬,服务器卡死！怎么设置没有用，一直爬。。。请教大佬们有什么办法不让semrushbot垃圾蜘蛛爬。跪谢！

老的贴子里看到这个大佬说最后把这蜘蛛来访设定成301到他自己网站去，没几分钟就消失了。（这要怎么设置啦）
https://hostloc.com/forum.php?mo ... ighlight=semrushbot

这下面是我胡设置。
#屏蔽垃圾蜘蛛
if ($http_user_agent ~* (YandexBot|spbot|DnyzBot|Researchscan|semrushbot|yahoo|AhrefsBot|DotBot|Uptimebot|MJ12bot|MegaIndex.ru|ZoominfoBot|Mail.Ru|SeznamBot|BLEXBot|ExtLinksBot|aiHitBot|Barkrowler)){
return 404;
}

robots.txt

User-agent: SemrushBot
Disallow: /
User-agent: SemrushBot/6~bl
Disallow: /
User-agent: SemrushBot/7~bl
Disallow: /

热议
2楼 require 昨天21:01

return 301

3楼 hktv 昨天21:03

return 301

这样吗？

if ($http_user_agent ~* semrushbot){
return 301 http://www.semrush.com;
}

4楼 hktv 昨天21:10

这样吗？

if ($http_user_agent ~* semrushbot){

这样好像不行呀

5楼 hktv 昨天21:20

有没有哪位大佬好心告诉一下，怎么弄呀，昨天弄了一天没有弄好

6楼 zixi 昨天21:20

额，robots规则拦不住就上防火墙咯，我用过宝塔防火墙，直接拦截ua，你这个规则return403才是拒绝访问，404是找不到文件。。。

7楼 require 昨天21:22

这样好像不行呀

修改完了要重启nginx

8楼 取个什么名好呢 昨天21:27

不管是404还是403，只要是请求，服务器都会产生负载。nginx 试试 444，或者利用iptables屏蔽

9楼 hktv 昨天21:35

修改完了要重启nginx

这不行。重启了试了，

10楼 hktv 昨天21:36

不管是404还是403，只要是请求，服务器都会产生负载。nginx 试试 444，或者利用iptables屏蔽 ...

试了444也不行，我再试试你后面说的那个

申明：本文内容由网友收集分享，仅供学习参考使用。如文中内容侵犯到您的利益，请在文章下方留言，本站会第一时间进行处理。