python多线程-mjj小号

代码贴不上来，就是遍历6w个id，请求，保存json
现在就是遍历6wid太慢了，后面的工作做完了

热议
2楼 iiss 昨天23:07

遍历6万个ID慢？ 不至于吧，又不是大数据量

3楼 Mr.Qin 昨天23:07

这个为毛用Python呢，shell脚本完全可以搞定啊，还是多进程的哟，

4楼 J0rmo 昨天23:08

你没说清楚，遍历6w个ID做啥类型的请求？

5楼 mjj小号 昨天23:08

遍历6万个ID慢？ 不至于吧，又不是大数据量

慢是因为1个id请求完大概就得半秒

6楼 mjj小号 昨天23:09

你没说清楚，遍历6w个ID做啥类型的请求？

post zsbd 太慢了
这逼我学go啊马得

7楼 518 昨天23:11

asyncio 异步 请

8楼 xiaohu 昨天23:14

找好代理池，用协程试试看。

9楼 walker 昨天23:17

异步快

10楼 hundouluo 昨天23:19

你没搞懂GIL，不是Python慢，是你玩的不好

12楼 acpp 昨天23:22

你直接用多进程模式吧。

13楼 hundouluo 昨天23:25

monkey patch一下也不至于这样！尴尬

14楼 dnt 昨天23:36

给你两个关键字，asyncio，aiohttp，自己搜索了解即可

15楼 konololi 昨天23:37

shell脚本呀，
直接开6w进程去跑

16楼 whiler 昨天23:41

便秘别怨地球引力小

17楼 richrich 9小时前

说明你不太会用

18楼 Pastech 9小时前

threading了解一下
不过得用Semaphore限制一下总的线程数

19楼 sdqu 9小时前

只是建议，追求性能的东西，请不要用python

申明：本文内容由网友收集分享，仅供学习参考使用。如文中内容侵犯到您的利益，请在文章下方留言，本站会第一时间进行处理。