今天星期天，突然接到朋友电话需要帮忙解决数据处理问题。今天要求解的问题，听起来很简单，就是将数据【姓名、日期、金额】中同一个人日期排最后的那一笔数据筛选出来。

最开始使用的是excel处理，使用文心一言帮忙，给出的方案是：
{MAX( IF(姓名列=当前姓名,日期列) )}，结果准确。

使用Pandas也进行了一次尝试，果然是python强大，使用更简单的语句就解决了问题。
import pandas as pd # 读取CSV文件
df = pd.read_xls('data.xlsx') # 按照身份证号和支付日期排序
df = df.sort_values(by=['姓名', '日期']) # 根据身份证号分组，并选择每个组的最后一行数据
df = df.groupby('姓名').last().reset_index() # 保存结果到Excel文件
df.to_excel('result.xlsx', index=False)

前一段时间遇到了一次数据处理的问题，原始数据是CSV数据（逗号分隔），近百万条，要根据不同的公式对每一条进行计算。在使用EXCEL进行计算时，只要一动就会重新计算，而且时常出现无响应的状态，有好几次强行关闭导致重头再来。

考虑到数据量大，使用EXCEL计算可能不适合，才导致不停地死机。最初打算使用数据库来计算，没有数据量的限制，在查询和更新的时候速度很快。但是每一行计算的时候，对于结果不是简单地赋值，而是分段乘以比例再累加计算（类似于电费阶梯计算），思来想去，不知道如何使用SQL语句实现，有可能需要很多个不同的语句。与其这么麻烦，不如写程序来实现，于是打算使用现在很流行的PYTHON语言来处理，一是简单易学，二是有丰富的模块，说不定就有解决该问题的方法。

经过了解，有一个模块PANDAS能够方便的处理CSV数据，而且非常灵活，打算试一试，最终成功解决了问题，现将过程记录以便以后再使用。 继续阅读一次较大规模数据处理的经历 PYTHON版 →

PYTHON是一种非常灵活的语言，可以用来快速开发，语言简洁，而且功能强大，最近在处理数据时遇到了排序的问题，使用了SORTED函数，不得不感叹PYTHON的强大。

问题描述：遍历输出一个字典数据，输出前按照KEY的第9至12位数据进行排序。

第一步，认识sorted函数

Sorted可以对所有的可迭代对象进行排序，在PYTHON中，list、tuple、set、dict等数据结构都是可迭代的对象，因此都可以使用sorted函数进行排序，尤其是要进行遍历输出的时候，非常方便。sorted的语法是：

sorted(iterable, key=None, reverse=False)

iterable是可迭代的对象，key是排序的关键字，reverse是排序的顺序，默认是升序

第二步，认识lambda函数

lambda是匿名函数，不用单独定义，使用起来方便，正常的函数必须先定义，再使用。而lambda只用简单定义，即可实现一个函数的功能。

常规函数的定义和使用：

def sum(x,y):
    return x+y

result=sum(5,3)

使用lambda定义匿名函数：

sumFunc=lambda x,y:x+y
result=sumFunc(5,3)

第三步，解决问题

所要排序的数据时一个字典，排序的依据是KEY中的第9至12位数据，然后输出字典里面的数据。

for item in sorted(myDict,key=lambda item:item[9:12])
    print(item,myDict[item])

程序有三种控制结构，顺序、循环和选择，顺序就是1、2、3、4一条一条地执行，循环对一个集合的每一个元素进行操作，选择则是有条件地执行语句。在C、JAVA之类的语言中，循环语句常见的有for，for(i=0;i<n;i++){}就是循环n次，执行{}里面的内容。但是在PYTHON中for语句不是这样写的，通常的写法是for i in range(10)，那么range是什么意思呢，今天就来学习一下。

for i in range(10)，首先range是一个对象，也是一个序列，因此能够使用in 这个关键字，意思是在某某里面，for 对于range对象里面的每个元素进行遍历。

一、RANGE的创建
range(stop)                       #默认从0开始，小于等于stop-1
range(start,stop[,step])     #按照开始、结束生成序列，步长可以设置，相当于[0,stop)，含前不含后，下面是一些例子。start没填，默认为0，step默认为1。
data=range(10)               #创建序列[0,10)
data=range(0,10)            #创建序列[0,10)
data=range(0,10,2)         #创建序列[0,10)，步长为2

二、RANGE的方法
data.count(3)                 #统计元素3出现次数
data.index(3)                  #返回元素3的位置
data.start                        #range的起始值（含）
data.stop                        #range的终止值（不含）
data.step                        #range对象的步长

三、其他FOR循环方式
刚才说过，for i in range(19)，range只是序列，因此这不是唯一的表达方式：也可以用下面几种：
for i in range(10)
for i in (0,1,2,3,4,5,6,7,8,9)
for i in [0,1,2,3,5,6,7,8,9]

上次学习了列表LIST，这次学习元组TUPLE，这两个数据结构非常像，可以说TUPLE跟列表一样，只不过是不能修改的。因此如果存储常量时，可以使用元组，不用担心数据被修改。但是如果存储的某个元素是列表，那么这个列表中的元素是可以修改的。

1 创建元组
arr=()              #创建一个空元组
arr=tuple()     #创建一个空元组
arr=1,             #创建元组，只有1
arr=(1,)           #创建元组，只有1
arr=tuple([1,2,3]) #从可迭代数据创建
也就是说，创建元组时，逗号很关键，可以没有括号，但是得有逗号。

2 元组的方法
LIST有很多方法，TUPLE与列表类似，但是它是只读的，因此方法很少，没有添加和修改元素的方法。
arr.count(1)       #统计元素1的个数
arr.index(1)       #查找元素1的位置

3 元组的其它方法
元组和列表一样，属于可迭代类型数据，因此有一些通用方法，比如min，max，sum，x in arr，x not in arr等操作。

4 元组的遍历
遍历方面，与列表相同。

最近需要定时从FTP服务器上面下载文件，做简要分析，由于是日常工作，工作量大，但是没有技术含量，纯粹是消耗时间，于是决定尝试使用PYTHON写程序，每天自动下载。使用FTP下载的方法很多，使用PYTHON写程序之前用过两种方法，一种是用我的电脑打开FTP，登录之后复制想要的文件；第二种是使用DOS批处理文件来下载，第二种比第一种效率要一些。下面就来说说这些下载方法：

一、我的电脑访问
这种方法最简单，直接在我的电脑地址栏中输入FTP服务器地址，输入用户名和密码，就可以下载所需的文件。缺点是，每天都需要打开一次，输入用户名和密码，一次使用可以，每天都这样还是比较繁琐的。

二、DOS批处理
将FTP服务器地址、用户名、密码，以及文件存放的目录等内容保存好，一运行，就能自动登录，并下载所需的文件。该方法需要写两个bat文件，getFtpData.bat用于保存FTP命令，main.bat用于调用getFtpData.bat文件，使用该方法非常简单。

getFtpData.bat：
open ***.***.***.**
user username password
cd data
get plan1.csv
get plan2.csv
get plan3.csv
bye

main.bat：
ftp -n -s:”getFtpData.bat”
继续阅读PYTHON登录FTP服务器下载文件 →