数据分析之Python-Pandas详解 python 数据 分析
Pandas是Python中一个非常强大的数据分析和处理库,由 Wes McKinney 开发。它提供了高性能、易用的数据结构和数据分析工具,使得在Python中处理结构化数据变得既高效又直观。以下是Pandas的一些核心概念和使用方法的详细说明:
核心数据结构
Pandas主要有两种核心数据结构:Series 和 DataFrame。
- Series:一维数组,类似于一维数组或字典。它可以存储任何数据类型(整数、字符串、浮点数等),并且每个元素都有唯一的索引。
Python1import pandas as pd
2
3s = pd.Series([1, 3, 5, np.nan, 6, 8], index=['a', 'b', 'c', 'd', 'e', 'f'])
- DataFrame:二维表格型数据结构,相当于多个Series的集合,每列可以是不同的数据类型。DataFrame既有行索引也有列索引。
Python1data = {'Name': ['Alex', 'Beth', 'Charles', 'Diana'],
2 'Age': [25, 30, 35, 40],
3 'City': ['NY', 'LA', 'Chicago', 'SF']}
4df = pd.DataFrame(data)
数据读写
Pandas支持多种文件格式的读写,包括CSV、Excel、JSON、SQL数据库等。
- 读取CSV:df = pd.read_csv('file.csv')
- 保存DataFrame到CSV:df.to_csv('output.csv', index=False)
- 读取Excel:df = pd.read_excel('file.xlsx')
- 其他格式类似,只需替换相应方法。
数据筛选与切片
- 条件筛选:df[df['Age'] > 30]
- 根据索引切片:df[0:2] 或 df.loc['a':'c']
数据清洗
- 处理缺失值:df.dropna() 删除含有缺失值的行;df.fillna(value) 用特定值填充缺失值。
- 数据类型转换:df['column_name'].astype('dtype'),如 df['Age'].astype(int)
数据分组与聚合
- groupby:df.groupby('column_name').mean() 按某一列分组并计算平均值。
- 多级索引:df.groupby(['column1', 'column2']).sum() 按两列分组求和。
数据合并与重塑
- 合并:pd.concat([df1, df2]) 纵向堆叠;pd.merge(df1, df2, on='key') 横向合并。
- 重塑:pivot_table, stack, unstack 等方法用于行列转换和透视表操作。
统计分析
- 描述性统计:df.describe() 提供了快速的统计摘要。
- 相关性分析:df.corr() 计算数值列之间的皮尔逊相关系数。
时间序列分析
Pandas对时间序列数据有很好的支持,可以方便地处理日期和时间数据。
- 时间序列索引:date_index = pd.date_range(start='2023-01-01', periods=10),然后用作DataFrame的索引。
- 时间序列操作:如移动平均、滞后、差分等。
性能优化
对于大数据量处理,Pandas提供了多种性能优化手段,如使用.loc进行定位操作而非标准的Python循环,以及考虑使用NumPy函数进行向量化操作。
Pandas是一个功能极其丰富的库,上述只是其功能的冰山一角。随着实践的深入,你会逐渐发现它在数据分析、数据预处理、特征工程乃至机器学习领域中无处不在的应用价值。