CF怎么屏蔽谷歌蜘蛛-g9rt.com

CF怎么屏蔽谷歌蜘蛛，屏蔽谷歌的as好像没用。。。

热议
2楼 好鸭 昨天02:44

在robots.txt里屏蔽或许也可以

3楼 g9rt.com 昨天02:57

好鸭 发表于 2022-3-3 02:44
在robots.txt里屏蔽或许也可以

谷歌蜘蛛好像不认这个

https://developers.google.com/search/docs/advanced/robots/robots_meta_tag

5楼 g9rt.com 昨天03:12

image 发表于 2022-3-3 03:10
可以的 可能你没弄对

https://support.google.com/news/publisher-center/answer/9605477

这个是只屏蔽谷歌蜘蛛吗

改中间的robots 为 googlebot

robots为所有引擎 可以单独设为具体的引擎 谷歌的为googlebot

https://developers.google.com/search/docs/advanced/robots/robots_meta_tag

7楼 g9rt.com 昨天03:19

image 发表于 2022-3-3 03:15
只要谷歌的话 就

添加上去了

9楼 g9rt.com 1小时前

image 发表于 2022-3-3 03:24
刚发现 右上角有中文切换 你可以读的看看

noindex, nofollow 都加上

好像没效果啊。。。蜘蛛还是每天来几十万次

10楼 sdqu 1小时前

谷歌蜘蛛好像不认这个

不可能不认的，要不认就别在道上混了呢，好好检查一下吧
不认robots.txt就爬，要吃牢饭的，所谓爬虫学得好什么什么来着的

申明：本文内容由网友收集分享，仅供学习参考使用。如文中内容侵犯到您的利益，请在文章下方留言，本站会第一时间进行处理。