使用Python自动将一个CSV大文件分割成任意个小CSV文件

作者 : IT 大叔 本文共783个字,预计阅读时间需要2分钟 发布时间: 2020-10-11

有时有必要将大文件拆分为小文件。在这篇简短的文章中,我将分享一个用Python编写的小脚本。也许您可以进一步开发它。但是,如果文件较大,则应谨慎使用代码中的循环

假设您的输入文件名为input.csv。该代码会将其拆分为名称为input_1.csv,...,input_10.csv ....的新文件。

import pandas as pd
#csv file name to be read in 
in_csv = 'input.csv'
#get the number of lines of the csv file to be read
number_lines = sum(1 for row in (open(in_csv)))
#size of rows of data to write to the csv, 
#you can change the row size according to your need11
rowsize = 500
#start looping through data writing it to a new file for each set
for i in range(1,number_lines,rowsize):
    df = pd.read_csv(in_csv,
          header=None,
          nrows = rowsize,#number of rows to read at each loop
          skiprows = i)#skip rows that have been read
    #csv to write data to a new file with indexed name. input_1.csv etc.
    out_csv = 'input' + str(i) + '.csv'

    df.to_csv(out_csv,
          index=False,
          header=False,
          mode='a',#append data to csv file
          chunksize=rowsize)#size of data to append for each loop

 

免责声明:
1. 本站资源转自互联网,源码资源分享仅供交流学习,下载后切勿用于商业用途,否则开发者追究责任与本站无关!
2. 本站使用「署名 4.0 国际」创作协议,可自由转载、引用,但需署名原版权作者且注明文章出处
3. 未登录无法下载,登录使用金币下载所有资源。
IT小站 » 使用Python自动将一个CSV大文件分割成任意个小CSV文件

常见问题FAQ

没有金币/金币不足 怎么办?
本站已开通每日签到送金币,每日签到赠送五枚金币,金币可累积。
所有资源普通会员都能下载吗?
本站所有资源普通会员都可以下载,需要消耗金币下载的白金会员资源,通过每日签到,即可获取免费金币,金币可累积使用。

发表评论