谷姐:我们都是谷歌迷
We are all Google fans

最近Google爬虫发疯了-toot

Rate this post

从上周开始。疯狂爬行网站2+2完全顶不住。直接爆。

甚至用上了独服还是爆。最近两天很多人都遇到爬虫太厉害这个问题,看来不是我一个人

Google这种大企业。ip多如牛毛。cc策略不管用

最后封ip解决了问题。66.249.x.x,还有些段爬得没那么厉害暂时没管。不同段ip太多

还有个185.191.x.x,签名不是Google的。似乎也是一个搜索引擎

有被爬虫困扰的大佬可以把这两个段拉黑

热议
2楼 npnp 2小时前

可以直接按爬虫特征屏蔽啊

3楼 YorkZhao 2小时前

我巴不得被爬,我的网站还没收录awa

4楼 围观者 2小时前

google对抓取的链接,回访最勤快,一条新链接从抓取,以后会再来爬几十次甚至上百次

所以只有第一次返200,以后返304就行了

5楼 toot 2小时前

google对抓取的链接,回访最勤快,一条新链接从抓取,以后会再来爬几十次甚至上百次

所以只有第一次返200 …

这样不会误伤正常用户吗

6楼 ah520 2小时前

没有流量的爬虫 就是乐色

7楼 围观者 2小时前

这样不会误伤正常用户吗

正常用户更好,对于带了last标志的用户,他的浏览器是有这个网页的缓存的

如果你返回304,那么他的浏览器会自动读取缓存并显示

给用户的感觉是非常快!!!

8楼 mjjok 2小时前

有个站谷歌这段时间每天 一百多万蜘蛛来了。。
应该只是爬行一段时间吧,以前也遇到过,只爬行几天或者一个星期左右,后期就来得少了,但是前期你得扛得住。

9楼 笑花落半世琉璃 2小时前

全球最厉害的爬虫你以为说着玩的呢

10楼 zhongziso 1小时前

cf全站缓存,随便爬。

申明:本文内容由网友收集分享,仅供学习参考使用。如文中内容侵犯到您的利益,请在文章下方留言,本站会第一时间进行处理。

未经谷姐允许不得转载:谷姐靓号网 » 最近Google爬虫发疯了-toot
分享到: 生成海报

热门文章

评论 抢沙发

评论前必须登录!

立即登录   注册

买Google Voice认准【谷姐靓号网】

Google Voice靓号列表Google Voice自助购买
切换注册

登录

忘记密码 ?

切换登录

注册

我们将发送一封验证邮件至你的邮箱, 请正确填写以完成账号注册和激活