Python进阶-Day 25: 数据分析基础
目标:掌握 Pandas 和 NumPy 的基本操作,学习如何分析 CSV 数据集并生成报告。
课程内容
- NumPy 基础 NumPy 是一个用于数值计算的库,擅长处理多维数组和矩阵运算。 核心功能:数组创建、索引、切片、数学运算、统计计算。
- Pandas 基础 Pandas 是一个强大的数据分析库,基于 DataFrame 和 Series 数据结构。 核心功能:数据读取、清洗、筛选、聚合、可视化。
- 练习目标 读取一个 CSV 数据集(例如销售数据)。 进行数据清洗、统计分析和可视化。 生成一份简单的分析报告。
学习计划
1. NumPy 基础操作(30 分钟)
- 安装 NumPy(如果未安装):bash
- pip install numpy
- 基本操作:python
import numpy as np
# 创建数组
arr = np.array([1, 2, 3, 4, 5])
print("数组:", arr)
# 多维数组
matrix = np.array([[1, 2, 3], [4, 5, 6]])
print("矩阵:\n", matrix)
# 基本运算
print("数组加 2:", arr + 2)
print("数组均值:", np.mean(arr))
print("矩阵形状:", matrix.shape)
# 索引与切片
print("第一个元素:", arr[0])
print("前三个元素:", arr[:3])
- 任务:
- 创建一个 3x3 的二维数组,计算每行的均值。
- 生成一个 1 到 100 的等差数列(步长为 5)。
2. Pandas 基础操作(45 分钟)
- 安装 Pandas 和 Matplotlib(用于可视化):bash
- pip install pandas matplotlib
- 基本操作:python
import pandas as pd
# 读取 CSV 文件(假设有一个 sales_data.csv)
df = pd.read_csv('sales_data.csv')
print("数据集前五行:\n", df.head())
# 查看数据概要
print("数据概要:\n", df.info())
print("描述性统计:\n", df.describe())
# 筛选数据
high_sales = df[df['sales'] > 1000]
print("销售额大于 1000 的记录:\n", high_sales)
# 分组统计
sales_by_region = df.groupby('region')['sales'].sum()
print("各地区总销售额:\n", sales_by_region)
# 数据可视化
import matplotlib.pyplot as plt
sales_by_region.plot(kind='bar')
plt.title('Sales by Region')
plt.xlabel('Region')
plt.ylabel('Total Sales')
plt.show()
- 任务:
- 读取一个 CSV 文件,查看缺失值并进行处理(例如填充均值或删除)。
- 计算某列的最大值、最小值和平均值。
- 按某列分组,计算分组后的统计信息。
3. 练习:分析一个 CSV 数据集并生成报告(45 分钟)
- 数据集:假设有一个 sales_data.csv,包含以下字段:(如果没有数据集,可从 Kaggle 下载类似数据集,或手动创建简单 CSV 文件。)
- date:销售日期
- region:销售区域
- product:产品名称
- sales:销售额
- quantity:销售数量
- 练习步骤:
- 读取数据: 使用 pd.read_csv() 加载数据集。 检查数据是否有缺失值,使用 df.isnull().sum()。
- 数据清洗: 如果有缺失值,填充均值或删除缺失行。 检查数据类型,确保 sales 和 quantity 是数值型。
- 数据分析: 计算每个区域的总销售额和平均销售额。 找出销售额最高的产品。 按日期统计销售趋势(如果有日期列)。
- 可视化: 绘制柱状图展示各区域销售额。 绘制折线图展示销售趋势(如果有日期列)。
- 生成报告:
- 创建一个文本文件或 Markdown 文件,总结分析结果。
- 示例报告结构:
- # 数据分析报告 ## 数据集概况 - 记录数:XXX - 缺失值处理:已填充均值/删除缺失行 ## 分析结果 - 总销售额:XXX - 最高销售额产品:XXX - 各区域销售额: - 区域A:XXX - 区域B:XXX ## 可视化 (插入图表或描述图表内容)
- 示例代码:python
import pandas as pd
import matplotlib.pyplot as plt
# 读取数据
df = pd.read_csv('sales_data.csv')
# 数据清洗
df = df.dropna() # 删除缺失值
df['sales'] = df['sales'].astype(float)
# 分析
total_sales = df['sales'].sum()
max_product = df.groupby('product')['sales'].sum().idxmax()
region_sales = df.groupby('region')['sales'].sum()
# 可视化
region_sales.plot(kind='bar')
plt.title('Sales by Region')
plt.xlabel('Region')
plt.ylabel('Total Sales')
plt.savefig('region_sales.png')
plt.show()
# 生成报告
with open('sales_report.md', 'w') as f:
f.write('# Sales Analysis Report\n')
f.write(f'## Total Sales: {total_sales}\n')
f.write(f'## Top Product: {max_product}\n')
f.write('## Sales by Region:\n')
for region, sales in region_sales.items():
f.write(f'- {region}: {sales}\n')
f.write('## Visualization\n')
作业
- 完成练习中的数据分析任务,提交生成的报告文件。
- 尝试使用 NumPy 计算数据集的销售额标准差。
- 扩展可视化:为每个产品绘制饼图,展示其销售额占比。
学习资源
- NumPy 文档:https://numpy.org/doc/stable/
- Pandas 文档:https://pandas.pydata.org/docs/
- Matplotlib 教程:https://matplotlib.org/stable/tutorials/
- Kaggle 数据集:https://www.kaggle.com/datasets
通过本课程,你将掌握数据分析的基本流程,并能使用 Python 工具生成专业的分析报告。继续练习,尝试更复杂的数据集!