网站被Google爬虫爬死了怎么办-菠菜

hz杜甫，Rust+actix+PostgreSQL写的采集站，Google的爬虫太强壮了，网站一开CPU就100%，看IP确实是Google的
限访问频率会不会掉排名

热议
来自 16#楼 菠菜 2小时前

robot.txt封杀了算了。谷歌来不了几个量。

我面向国外的网站屏蔽Google还做什么

推荐楼 Marlene 4小时前

冒充爬虫cc吧
随便一个网站就被爬虫爬死 网站还开不开了

2楼 iiii.im 5小时前

杜甫被爬到100%？不太可能。应该是被cc了

4楼 麻辣烤冷面 4小时前

好事儿

生配置吧

5楼 明日香 4小时前

之前我也有个采集站 Google 也是疯狂来，上线一个月收录达到 130 万。
后来它发现是采集的就疯狂掉，现在收录就 1000 左右了。

6楼 lijihede 4小时前

连爬虫都应付不了的毒服，还不如一只小鸡

7楼 аdmin 4小时前

Kangle 缓存全部

8楼 sunete 3小时前

还不如我的小小鸡

9楼 雪丫鬟 3小时前

你的独服，还真不如我的小鸡

10楼 BQQ 3小时前

robot.txt封杀了算了。谷歌来不了几个量。

12楼 笑花落半世琉璃 3小时前

加钱,升配置.
不过它家的爬虫虽然厉害,但不至于这样吧?再好好检查检查日志啥的

13楼 牛气冲天 3小时前

我网站之前谷歌蜘蛛一天十几万,后来换了台论坛卖的云服务器,直接就没蜘蛛了,,后来发现是屏蔽国外流量

14楼 BQQ 3小时前

沒用，照樣來。Google 不吃這一套，受害者在這

那就只能封蜘蛛IP C段

15楼 citywar 3小时前

看看是真假蜘蛛。 感觉google没这么丧心病狂啊

16楼 菠菜 2小时前

robot.txt封杀了算了。谷歌来不了几个量。

我面向国外的网站屏蔽Google还做什么

17楼 louiejordan 2小时前

之前我也有个采集站 Google 也是疯狂来，上线一个月收录达到 130 万。
后来它发现是采集的就疯狂掉，现在收 ...

爬虫：我辛辛苦苦干了一个月，没想到你居然是个汉子

18楼 yrj 1小时前

确定不是你程序优化的有问题？看看有没有慢查询、加没加缓存

19楼 imslc 半小时前

晒出蜘蛛的ip,大家分析下看看是不是真蜘蛛.

申明：本文内容由网友收集分享，仅供学习参考使用。如文中内容侵犯到您的利益，请在文章下方留言，本站会第一时间进行处理。