谷姐:我们都是谷歌迷
We are all Google fans

大佬们如何屏蔽完全谷歌蜘蛛-189902m

Rate this post

用VIR小鸡做了个小站,谷歌蜘蛛疯狂趴,负载状态全满,飘红,硬盘都日志被占满了,用了宝塔防火墙屏蔽IP,效果不好,我想完全屏蔽海外IP,但是套了CF,网站无法用了,大佬有什么方法,或都这方面文章参考一下

热议
2楼 emzz 3小时前

robot.txt

3楼 Unique 3小时前

robots.txt

4楼 zxhtx 3小时前

robots.txt

5楼 围观者 3小时前

我用的304策略

链接只要抓取过一次,以后再访问这链接,直接返回304,不经php,不查询mysql,在nginx层就返了,对性能和流量损耗微乎其微

6楼 189902m 2小时前

robot.txt

没用

7楼 xvm 2小时前

围观者 发表于 2022-1-11 17:32
我用的304策略

链接只要抓取过一次,以后再访问这链接,直接返回304,不经php,不查询mysql,在nginx层就 …

老哥,能教教俺怎么设置吗?
天下苦Google久矣

8楼 xvm 2小时前

围观者 发表于 2022-1-11 17:32
我用的304策略

链接只要抓取过一次,以后再访问这链接,直接返回304,不经php,不查询mysql,在nginx层就 …

搜成403了,304真的是好东西,谢大佬

9楼 G.K.D 2小时前

套了 Cloudflare?在 Cloudflare 防火墙里添加个 UA 规则拒绝不就行啦。。。

10楼 junhan 2小时前

套了CF的话,你CF后台防火墙添加,用户代理,包含 Google就可以了

12楼 围观者 1小时前

搜成403了,304真的是好东西,谢大佬

我以前就发帖说过这个问题

https://hostloc.com/thread-641587-1-1.html

返回304真的不影响搜索引擎,自身实验过了,并且现在一直在用

13楼 六翼天使 1小时前

谷歌站长助手有屏蔽?

14楼 micms 1小时前

有蜘蛛爬还不好吗

15楼 Anoneko 1小时前

首先验证下是不是真谷歌蜘蛛

申明:本文内容由网友收集分享,仅供学习参考使用。如文中内容侵犯到您的利益,请在文章下方留言,本站会第一时间进行处理。

未经谷姐允许不得转载:谷姐靓号网 » 大佬们如何屏蔽完全谷歌蜘蛛-189902m
分享到: 生成海报

热门文章

评论 抢沙发

评论前必须登录!

立即登录   注册

买Google Voice认准【谷姐靓号网】

Google Voice靓号列表Google Voice自助购买
切换注册

登录

忘记密码 ?

切换登录

注册

我们将发送一封验证邮件至你的邮箱, 请正确填写以完成账号注册和激活