Python数据分析基础与实战
Python 是数据分析领域的首选工具之一，因其丰富的库和易用性广受欢迎。以下是 Python 数据分析的核心内容和学习路径：
1. 基础工具库
- NumPy
核心功能：多维数组（ndarray）操作、数学运算、线性代数、随机数生成。
示例：
python
import numpy as np
arr = np.array([[1, 2], [3, 4]])
print(arr.mean(axis=1)) # 输出每行均值
- Pandas
O 核心数据结构：Series（一维）、DataFrame（二维表）。
O 常用操作：数据清洗、合并、分组聚合、时间序列处理。
示例：
python
import pandas as pd
df = pd.read_csv('data.csv')
df.dropna(inplace=True) # 删除缺失值
df.groupby('category')['sales'].sum().plot(kind='bar')
- Matplotlib & Seaborn
可视化工具，用于绘制折线图、柱状图、热力图、分布图等。
示例：
python
import matplotlib.pyplot as plt
plt.scatter(df['x'], df['y'])
plt.title('Scatter Plot')
plt.show()
2. 数据分析流程
- 数据获取
O 从 CSV/Excel（pd.read_csv）、数据库（SQLAlchemy）、API（requests）或网页（BeautifulSoup）获取数据。
- 数据清洗
O 处理缺失值：fillna()、dropna()
O 去重：drop_duplicates()
O 类型转换：astype()
O 异常值处理：df[(df['value'] < upper dfvalue> lower)]
- 数据探索（EDA）
O 统计摘要：df.describe()
O 相关性分析：df.corr()
O 分布分析：sns.histplot(df['column'])
- 建模与分析
O 基础统计：假设检验（scipy.stats）
O 机器学习：回归、分类（scikit-learn）
O 时间序列分析：statsmodels
- 结果可视化
O 使用交互式库（Plotly、Bokeh）或静态图展示结果。
3. 高级工具
- Scikit-learn
机器学习库，提供分类、回归、聚类等算法。
python
from sklearn.linear_model import LinearRegression
model = LinearRegression()
model.fit(X_train, y_train)
- Dask
并行计算库，处理超大数据集（替代 Pandas 的单机限制）。 - Jupyter Notebook
交互式环境，适合分步调试和结果展示。
4. 实战案例
案例：电商销售分析
- 加载数据：df = pd.read_excel('sales.xlsx')
- 清洗数据：处理缺失值、转换日期格式。
- 分析维度：
O 每月销售额趋势：df.resample('M', on='date')['amount'].sum()
O 热门商品分类：df['category'].value_counts().head(5)
- 可视化：绘制销售额折线图和分类占比饼图。
常见问题
- 如何加速 Pandas？
使用 df = df.astype({'column': 'category'}) 转换类型，或尝试 modin 库。 - 内存不足怎么办？
使用 chunksize 分块读取数据，或转用 Dask 处理。
掌握这些工具后，你可以高效完成从数据清洗到复杂分析的全流程任务。