使用Python自动将一个CSV大文件分割成任意个小CSV文件
有时有必要将大文件拆分为小文件。在这篇简短的文章中,我将分享一个用Python编写的小脚本。也许您可以进一步开发它。但是,如果文件较大,则应谨慎使用代码中的循环。
假设您的输入文件名为input.csv。该代码会将其拆分为名称为input_1.csv,...,input_10.csv ....的新文件。
import pandas as pd #csv file name to be read in in_csv = 'input.csv' #get the number of lines of the csv file to be read number_lines = sum(1 for row in (open(in_csv))) #size of rows of data to write to the csv, #you can change the row size according to your need11 rowsize = 500 #start looping through data writing it to a new file for each set for i in range(1,number_lines,rowsize): df = pd.read_csv(in_csv, header=None, nrows = rowsize,#number of rows to read at each loop skiprows = i)#skip rows that have been read #csv to write data to a new file with indexed name. input_1.csv etc. out_csv = 'input' + str(i) + '.csv' df.to_csv(out_csv, index=False, header=False, mode='a',#append data to csv file chunksize=rowsize)#size of data to append for each loop
免责声明:
1. 本站资源转自互联网,源码资源分享仅供交流学习,下载后切勿用于商业用途,否则开发者追究责任与本站无关!
2. 本站使用「署名 4.0 国际」创作协议,可自由转载、引用,但需署名原版权作者且注明文章出处
3. 未登录无法下载,登录使用金币下载所有资源。
IT小站 » 使用Python自动将一个CSV大文件分割成任意个小CSV文件
1. 本站资源转自互联网,源码资源分享仅供交流学习,下载后切勿用于商业用途,否则开发者追究责任与本站无关!
2. 本站使用「署名 4.0 国际」创作协议,可自由转载、引用,但需署名原版权作者且注明文章出处
3. 未登录无法下载,登录使用金币下载所有资源。
IT小站 » 使用Python自动将一个CSV大文件分割成任意个小CSV文件
常见问题FAQ
- 没有金币/金币不足 怎么办?
- 本站已开通每日签到送金币,每日签到赠送五枚金币,金币可累积。
- 所有资源普通会员都能下载吗?
- 本站所有资源普通会员都可以下载,需要消耗金币下载的白金会员资源,通过每日签到,即可获取免费金币,金币可累积使用。