python

导航

多个数据如何用python3中的多线程处理?

来源 :中华考试网 2020-11-24

  当我们好不容易获取了一些数据时,想要进行处理的话,通常我们的python小白会选择for循环语句,毕竟这是我们入门时候就接触了的。当然这种方法是可行的,对于没有过多接触python模块的小伙伴们来说已经非常棒了。不过,小编今天推荐大家使用我们最近学习的python爬虫中的多线程进行解决,在时间效率方面非常节约。

  第 一步:import threading 模块

  import threading

  第二步:改下一下代码:

  既可以同时打开并运行多个文件

  import operator

  import csv

  import time

  import threading

  from time import ctime

  def read_file(filpos,i):

  with open(filpos+str(i)+".csv") as f:

  reader=csv.reader(f)

  for i in reader:

  print(i)

  threads = []

  x=0

  for t in range(0,3):

  t= threading.Thread(target=read_file,args=("D:/zhihu/",x))

  threads.append(t)

  x+=1

  #join在里面时候只有第 一个子进程结束才能打开第二个进程,if__name__ 调用时不可用

  if __name__=="__main__":

  for thr in threads:

  thr.start()

  thr.join()

  print("all over %s"%ctime())

  就是把文件添加到线程池里面,再一起执行。

  通过以上多线程的代码,我们能比使用for循环节约大量的等待时间,小伙伴们还不心动吗?具体的好处还是需要小伙伴们自己动手才能体会~

分享到

您可能感兴趣的文章