谷姐:我们都是谷歌迷
We are all Google fans

python多线程-mjj小号

Rate this post

代码贴不上来,就是遍历6w个id,请求,保存json
现在就是遍历6wid太慢了,后面的工作做完了

热议
2楼 iiss 昨天23:07

遍历6万个ID慢? 不至于吧,又不是大数据量

3楼 Mr.Qin 昨天23:07

这个为毛用Python呢,shell脚本完全可以搞定啊,还是多进程的哟,

4楼 J0rmo 昨天23:08

你没说清楚,遍历6w个ID做啥类型的请求?

5楼 mjj小号 昨天23:08

遍历6万个ID慢? 不至于吧,又不是大数据量

慢是因为1个id请求完大概就得半秒

6楼 mjj小号 昨天23:09

你没说清楚,遍历6w个ID做啥类型的请求?

post zsbd 太慢了
这逼我学go啊马得

7楼 518 昨天23:11

asyncio 异步 请

8楼 xiaohu 昨天23:14

找好代理池,用协程试试看。

9楼 walker 昨天23:17

异步快

10楼 hundouluo 昨天23:19

你没搞懂GIL,不是Python慢,是你玩的不好

12楼 acpp 昨天23:22

你直接用多进程模式吧。

13楼 hundouluo 昨天23:25

monkey patch一下也不至于这样!尴尬

14楼 dnt 昨天23:36

给你两个关键字,asyncio,aiohttp,自己搜索了解即可

15楼 konololi 昨天23:37

shell脚本呀,
直接开6w进程去跑

16楼 whiler 昨天23:41

便秘别怨地球引力小

17楼 richrich 9小时前

说明你不太会用

18楼 Pastech 9小时前

threading了解一下
不过得用Semaphore限制一下总的线程数

19楼 sdqu 9小时前

只是建议,追求性能的东西,请不要用python

申明:本文内容由网友收集分享,仅供学习参考使用。如文中内容侵犯到您的利益,请在文章下方留言,本站会第一时间进行处理。

未经谷姐允许不得转载:谷姐靓号网 » python多线程-mjj小号
分享到: 生成海报

热门文章

评论 抢沙发

评论前必须登录!

立即登录   注册

买Google Voice认准【谷姐靓号网】

Google Voice靓号列表Google Voice自助购买
切换注册

登录

忘记密码 ?

切换登录

注册

我们将发送一封验证邮件至你的邮箱, 请正确填写以完成账号注册和激活