百度蜘蛛一天要抓取接近40W次-zhongziso

没限制抓取。看了一下，每天抓取接近40w次。还好服务器顶得住。

热议
2楼 sdqu 3小时前

确认不是cc? 有些cc会假冒referer。

3楼 a4425656 3小时前

40w牛

4楼 崽崽 3小时前

确认不是cc? 有些cc会假冒referer。

5楼 xftaw 3小时前

确认不是cc? 有些cc会假冒referer。

6楼 职业菜鸟 3小时前

先查下日志吧。 CC 会冒充 百度 UA 。

7楼 心上人 3小时前

楼主签名真是霸气

8楼 zhongziso 3小时前

确认不是cc? 有些cc会假冒referer。

百度站长工具平台看到的抓取量，这个应该不会有假

9楼 hdwz88 2小时前

我搭了个蜘蛛池几十个域名都没这么多。

10楼 sdqu 2小时前

百度站长工具平台看到的抓取量，这个应该不会有假

那应该是真的，不知道蜘蛛发什么瘟了。。。

12楼 气味 2小时前

四十万次 有这么多内容抓嘛
我一天十四次都不到

13楼 科技 半小时前

楼主这小说服务器哪买的这么牛。

14楼 奧巴马 半小时前

小说站之前不是前7吗？

15楼 Ren 6分钟前

确认不是cc? 有些cc会假冒referer。

如果不是那就牛叉了！！！！！

16楼 theoneman 2分钟前

newbee

申明：本文内容由网友收集分享，仅供学习参考使用。如文中内容侵犯到您的利益，请在文章下方留言，本站会第一时间进行处理。