python(pandas + numpy)数据分析的基础

liftword3周前 (04-08)技术文章2

数据 NaN 值排查,统计,排序

data.isnull()

  • data 是一个 dataframe 的结构

np.sum(data.isnull())

  • 找到缺失值的总数

data.sort_values()

  • 按照某个列进行数据的排序,
  • 或者按照某两个列进行排序

四种基本统计方法

  • 最大值 np,max() ,最小值 np.min() ,均值 np.mean() ,分位数 np.quantile()

分组 data.groupby

  • 分组: df.groupby() ,按照某个字段进行分组;返回一个分组后的对象df.groupby(by=[...])df.groupby(by=[...]) 可以按照多个字段进行分组,形成层次化的索引结构

聚合 data.agg()

  • 聚合方法灵活,能够对分组对象进行相同的聚合,也可以选择不同的聚合方法
  • 聚合 data.agg([np.mean, np.max]) 聚合的是统计方法,例如求最大值和最小值的方法;注意进行聚合的数据首先是要进行分组才能够进行聚合。
  • 聚合还可以根据具体的字段通过字典的方式设置不同的统计方法: grouped.agg({字段名:统计方法名})
  • apply 可以进行聚合运算,也可以进行按行运算
  • apply 的参数还可以是一个 lambda 函数对 df 中的某个 series 进行操作

transform

  • 返回与数据同样长度的行,无法进行聚合

pd.pivot_table()

相关文章

Python数据分析基础与实战

Python 是数据分析领域的首选工具之一,因其丰富的库和易用性广受欢迎。以下是 Python 数据分析的核心内容和学习路径:1. 基础工具库NumPy核心功能:多维数组(ndarray)操作、数学运...

极简Python数据分析入门:从工具准备到建模实战全攻略!

以下是一份极简Python数据分析入门指南,帮助新手快速掌握核心技能:1. 工具准备安装必备库:推荐使用 Jupyter Notebook(交互式编程环境)进行数据分析。2. 数据加载使用 panda...

三天带你轻松学会python数据分析基础,拿走不谢

Python应用广泛,尤其在数据处理方面功能强大,这本书讲述了数据的抓取、处理、可视化。【文末领取】获取方式:...

7天带你轻松学会python数据分析基础,拿走不谢

Python应用广泛,尤其在数据处理方面功能强大,这本书讲述了数据的抓取、处理、可视化。【文末领取】获取方式:...

「Python数据分析」Pandas基础,通过索引选择数据

原始数据处理过程1、通过函数,生成上图所示的原始数据集2、选择某一单元格中的值3、交换数据集中A、B列的值4、选择A列和B列,形成新的数据集处理过程1新建文件夹和Python笔记本源程序,导入pand...

小白零基础学习路线,完整的自学python数据分析的学习路线

数据分析师已经存在多年了,但是,对该职业的需求从2018年开始,对数据分析师的需求猛增,目前数据分析师的前景已然非常好!预计到2025年,「数据分析师」将成为需求最大的工作之一。由于这种现象,我们看到...