前一段时间遇到了一次数据处理的问题，原始数据是CSV数据（逗号分隔），近百万条，要根据不同的公式对每一条进行计算。在使用EXCEL进行计算时，只要一动就会重新计算，而且时常出现无响应的状态，有好几次强行关闭导致重头再来。

考虑到数据量大，使用EXCEL计算可能不适合，才导致不停地死机。最初打算使用数据库来计算，没有数据量的限制，在查询和更新的时候速度很快。但是每一行计算的时候，对于结果不是简单地赋值，而是分段乘以比例再累加计算（类似于电费阶梯计算），思来想去，不知道如何使用SQL语句实现，有可能需要很多个不同的语句。与其这么麻烦，不如写程序来实现，于是打算使用现在很流行的PYTHON语言来处理，一是简单易学，二是有丰富的模块，说不定就有解决该问题的方法。

经过了解，有一个模块PANDAS能够方便的处理CSV数据，而且非常灵活，打算试一试，最终成功解决了问题，现将过程记录以便以后再使用。 继续阅读一次较大规模数据处理的经历 PYTHON版 →