没限制抓取。看了一下，每天抓取接近40w次。还好服务器顶得住。
热议
2楼 sdqu 3小时前
确认不是cc? 有些cc会假冒referer。
3楼 a4425656 3小时前
40w牛
4楼 崽崽 3小时前
确认不是cc? 有些cc会假冒referer。
5楼 xftaw 3小时前
确认不是cc? 有些cc会假冒referer。
6楼 职业菜鸟 3小时前
先查下日志吧。 CC 会冒充 百度 UA 。
7楼 心上人 3小时前
楼主签名真是霸气
8楼 zhongziso 3小时前
确认不是cc? 有些cc会假冒referer。
百度站长工具平台看到的抓取量，这个应该不会有假
9楼 hdwz88 2小时前
我搭了个蜘蛛池几十个域名都没这么多。
10楼 sdqu 2小时前
百度站长工具平台看到的抓取量，这个应该不会有假
那应该是真的，不知道蜘蛛发什么瘟了。。。
12楼 气味 2小时前
四十万次 有这么多内容抓嘛
我一天十四次都不到
13楼 科技 半小时前
楼主这小说服务器哪买的这么牛。
14楼 奧巴马 半小时前
小说站之前不是前7吗？
15楼 Ren 6分钟前
确认不是cc? 有些cc会假冒referer。
如果不是那就牛叉了！！！！！
16楼 theoneman 2分钟前
newbee
申明：本文内容由网友收集分享，仅供学习参考使用。如文中内容侵犯到您的利益，请在文章下方留言，本站会第一时间进行处理。