四类基本操作之分组

索引、分组、变形、合并

案例数据说明，作为资深科密，我将使用kaggle上老大职业生涯的投篮数据为例，理论结合案例说明分组运算的基本原理和一些基本操作。老大职业生涯数据统计，其中有5000条数据为空，是当时比赛用来预测的结果数据，因此，该数据与老科真实数据之间会有一定的差异。

此外，数据中没有给出每场的得分，但是可以根据shot_type和shot_made_flag两个字段得到得分数据，具体数据处理过程不是本文重点，这里就不再详述了，数据说明：

一、分组运算的原理

1、SAC过程

SAC指的是分组操作中的split-apply-combine过程其中，split指基于某一些规则，将数据拆成若干组，apply是指对每一组独立地使用函数，combine指将每一组的结果组合成某一类数据结构

2、 apply过程

整合（Aggregation）——分组计算统计量（如求均值、求每组元素个数）

变换（Transformation）——分组对每个单元的数据进行操作（如元素标准化）

过滤（Filtration）——按照某些规则筛选出一些组（如选出组内某一指标小于50的组）

综合问题——前面提及的三种问题的混合

二、groupby函数

1、分组原理及结果

可根据一列、多列、多级索引的level以及与数据长度相同的数组列表等进行等值分组，经过groupby后会生成一个groupby对象，该对象本身不会返回任何数据，只有当相应的方法被调用才会起作用.

比如将老科的比赛数据按照常规赛和季后赛进行分组

可以看出数据被分成了两组0：常规赛，1：季后赛，将原来一个整体的dataframe分为两个dataframe

2、组对象的常用方法调用

get_group（）获得组结果，

size()和ngroups():组容量与组数，

head()和first():对分组对象使用head函数，返回的是每个组的前几行，而不是数据集前几行;first显示的是以分组为索引的每组的第一个分组信息

3、分组依据

分组的依据是非常自由的，只要是与数据框长度相同的列表即可，同时支持函数型分组。根据奇偶行分组：

df.groupby(lambda x:'奇数行' if not df.index.get_loc(x)%2==1 else '偶数行').groups

从原理上说，我们可以看到利用函数时，传入的对象就是索引

4、groupby的[]操作

可以用[]选出groupby对象的某个或者某几个列，比如对比科比常规赛和季后赛投篮得分比。

kobe.groupby(["playoffs","game_id"])["points"].sum().groupby(level=0).mean()

playoffs
0    15.76791
1    16.43578
Name: points, dtype: float64

这里因为数据缺失得到的结果与老科的实际数据有偏差。

三、聚合、过滤和变换

1、聚合（Aggregate）

（1）常用聚合函数

所谓聚合就是把一堆数，变成一个标量，因此
mean/sum/size/count/std/var/sem/describe/first/last/nth/min/max都是聚合函数

计算科比生涯对阵对手得分情况

（2）多聚合函数

利用元组进行重命名

(3)多列应用聚合函数

单列多聚合函数，结果列名为聚合函数名，多列应用聚合函数，结果列名为原列名，可以使用rename函数进行重命名。

（4）自定义聚合函数

（5）带参数的聚合函数

2、过滤（Filteration）

filter函数是用来筛选某些组的（务必记住结果是组的全体）全组值均为true的组，因此传入的值应当是布尔标量

3、变换（Transformation）

transform函数中传入的对象是组内的列，并且返回值需要与列长完全一致，如果返回了标量值，那么组内的所有元素会被广播为这个值。

四、apply函数

当函数不是聚合、过滤、变换，而是更普通的函数时，就要用到apply函数，返回值可以为标量、列表，数据框等形式

1、函数应用

（1）标量返回值

此时的功能可视为agg聚合函数

（2）列表返回值

（3）数据框返回值

2、用apply同时统计多个指标