从上周开始。疯狂爬行网站2+2完全顶不住。直接爆。
甚至用上了独服还是爆。最近两天很多人都遇到爬虫太厉害这个问题，看来不是我一个人
Google这种大企业。ip多如牛毛。cc策略不管用
最后封ip解决了问题。66.249.x.x，还有些段爬得没那么厉害暂时没管。不同段ip太多
还有个185.191.x.x，签名不是Google的。似乎也是一个搜索引擎
有被爬虫困扰的大佬可以把这两个段拉黑
热议
2楼 npnp 2小时前
可以直接按爬虫特征屏蔽啊
3楼 YorkZhao 2小时前
我巴不得被爬，我的网站还没收录awa
4楼 围观者 2小时前
google对抓取的链接，回访最勤快，一条新链接从抓取，以后会再来爬几十次甚至上百次
所以只有第一次返200，以后返304就行了
5楼 toot 2小时前
google对抓取的链接，回访最勤快，一条新链接从抓取，以后会再来爬几十次甚至上百次
所以只有第一次返200 ...
这样不会误伤正常用户吗
6楼 ah520 2小时前
没有流量的爬虫 就是乐色
7楼 围观者 2小时前
这样不会误伤正常用户吗
正常用户更好，对于带了last标志的用户，他的浏览器是有这个网页的缓存的
如果你返回304，那么他的浏览器会自动读取缓存并显示
给用户的感觉是非常快！！！
8楼 mjjok 2小时前
有个站谷歌这段时间每天 一百多万蜘蛛来了。。
应该只是爬行一段时间吧，以前也遇到过，只爬行几天或者一个星期左右，后期就来得少了，但是前期你得扛得住。
9楼 笑花落半世琉璃 2小时前
全球最厉害的爬虫你以为说着玩的呢
10楼 zhongziso 1小时前
cf全站缓存，随便爬。
申明：本文内容由网友收集分享，仅供学习参考使用。如文中内容侵犯到您的利益，请在文章下方留言，本站会第一时间进行处理。