怎样解决运行较大excel文件openpyxl变慢问题
来源 :中华考试网 2020-11-20
中平时打开小文件的时候没有注意,当偶尔有较大的excel需要运行,就会出现openpyxl变慢问题 。今天小编就教大家解决运行较大excel文件时openpyxl变慢的问题 。
运行以下代码:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
from openpyxl import Workbook
from openpyxl.utils import get_column_letter
from openpyxl import load_workbook
import time
wb = load_workbook("E:/a.xlsx", read_only=True)
sh = wb["Sheet"]
# rowItem = {}
# for j in range(1,2000):
# for i in range(1, 30):
# rowItem[get_column_letter(i)] = i
# sh.append(rowItem)
# wb.save("E:/a.xlsx")
t0 = time.time()
print(sh['V500'].value)
t1 = time.time()
print("openpyxl所用时间:", str(t1-t0))
import xlrd
xlsPath = "E:/a.xlsx"
WorkBook = xlrd.open_workbook(xlsPath)
sh = WorkBook.sheet_by_name("Sheet")
python课程免费试听预约
- 地区:
- 北京
- 天津
- 上海
- 江苏
- 浙江
- 山东
- 江西
- 安徽
- 广东
- 广西
- 海南
- 辽宁
- 吉林
- 黑龙江
- 内蒙古
- 山西
- 福建
- 河南
- 河北
- 湖南
- 湖北
- 四川
- 重庆
- 云南
- 贵州
- 新疆
- 西藏
- 陕西
- 青海
- 宁夏
- 甘肃
- 姓名:
- 手机:
t0 = time.time()
print(sh.cell(499,22).value)
t1 = time.time()
print("xlrd所用时间:", str(t1-t0))
测试结果:
1
2
3
4
22
openpyxl所用时间: 0.44217610359191895
23.0
xlrd所用时间: 0.0010063648223876953
结论
openpyxl的慢是读取慢,可以选择xlrd代替,详细测试下面继续。
不直接使用xlwt+xlrd是因为xlwt仅支持2003及以下版本,最大行数限制在65536,不够用,而openpyxl大概在一百多万。
主要的说完了,下面详细说了:在写工具的时候遇到的这个问题,开始是用的xlwt+xlrd,然后行数超标了,没办法换成openpyxl使用excel2007的版本,原本测试不到三万行的数据,只要三四秒,换成openpyxl以后,花了好几分钟,具体没看多少了,然后加上函数运行时间的监视器以后,才看到是读取的时候出的问题。
推测原因:
推测的话,openpyxl的根据行号列号读取的时候,是从第 一行第 一列开始遍历,直到行号等于指定行号,列号等于指定列号,所以要读取的行号列号越多就越慢,(也可能是从第 一个有数据的行或列),而xlrd则是类似与数组一样,我们要取第几个元素,直接根据下标找到内存中对应地址的元素即可,所以无论excel总量多少,速度基本都是不变的。
知识拓展:
xlwt写入仅支持65536行,那xlrd的读取很可能也是,也就是超过这么多的数据可能也会出错。
我这里因为是读多表数据生成单表数据,生成方式大概是Na*Nb这样,所以实际读取的不会太多,但生成的很多,所以基本可以用考虑这个问题。
另外,据说xlrd读取xlsx格式的偶尔会出现问题,具体没测试,暂时用还没毛病。
最后,顺带上一下监控函数运行时间的装饰器吧:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
import time
from functools import wraps
def fn_timer(function):
@wraps(function)
def function_timer(*args, **kwargs):
t0 = time.time()
result = function(*args, **kwargs)
t1 = time.time()
print ("Total time running %s: %s seconds" %
(function.__name__, str(t1-t0))
)
return result
return function_timer
使用方式的话,就是在要监控的函数定义上面加上 @fn_timer 就行了。
相信下次用openpyxl打开大的excel文件后,小伙伴们不需要慢慢等待了。