Python进阶-Day 25: 数据分析基础

目标:掌握 Pandas 和 NumPy 的基本操作,学习如何分析 CSV 数据集并生成报告。

课程内容

  1. NumPy 基础 NumPy 是一个用于数值计算的库,擅长处理多维数组和矩阵运算。 核心功能:数组创建、索引、切片、数学运算、统计计算。
  2. Pandas 基础 Pandas 是一个强大的数据分析库,基于 DataFrame 和 Series 数据结构。 核心功能:数据读取、清洗、筛选、聚合、可视化。
  3. 练习目标 读取一个 CSV 数据集(例如销售数据)。 进行数据清洗、统计分析和可视化。 生成一份简单的分析报告。

学习计划

1. NumPy 基础操作(30 分钟)

  • 安装 NumPy(如果未安装):bash
  • pip install numpy
  • 基本操作:python
import numpy as np

# 创建数组
arr = np.array([1, 2, 3, 4, 5])
print("数组:", arr)

# 多维数组
matrix = np.array([[1, 2, 3], [4, 5, 6]])
print("矩阵:\n", matrix)

# 基本运算
print("数组加 2:", arr + 2)
print("数组均值:", np.mean(arr))
print("矩阵形状:", matrix.shape)

# 索引与切片
print("第一个元素:", arr[0])
print("前三个元素:", arr[:3])
  • 任务
    • 创建一个 3x3 的二维数组,计算每行的均值。
    • 生成一个 1 到 100 的等差数列(步长为 5)。

2. Pandas 基础操作(45 分钟)

  • 安装 Pandas 和 Matplotlib(用于可视化):bash
  • pip install pandas matplotlib
  • 基本操作:python
import pandas as pd

# 读取 CSV 文件(假设有一个 sales_data.csv)
df = pd.read_csv('sales_data.csv')
print("数据集前五行:\n", df.head())

# 查看数据概要
print("数据概要:\n", df.info())
print("描述性统计:\n", df.describe())

# 筛选数据
high_sales = df[df['sales'] > 1000]
print("销售额大于 1000 的记录:\n", high_sales)

# 分组统计
sales_by_region = df.groupby('region')['sales'].sum()
print("各地区总销售额:\n", sales_by_region)

# 数据可视化
import matplotlib.pyplot as plt
sales_by_region.plot(kind='bar')
plt.title('Sales by Region')
plt.xlabel('Region')
plt.ylabel('Total Sales')
plt.show()
  • 任务
    • 读取一个 CSV 文件,查看缺失值并进行处理(例如填充均值或删除)。
    • 计算某列的最大值、最小值和平均值。
    • 按某列分组,计算分组后的统计信息。

3. 练习:分析一个 CSV 数据集并生成报告(45 分钟)

  • 数据集:假设有一个 sales_data.csv,包含以下字段:(如果没有数据集,可从 Kaggle 下载类似数据集,或手动创建简单 CSV 文件。)
    • date:销售日期
    • region:销售区域
    • product:产品名称
    • sales:销售额
    • quantity:销售数量
  • 练习步骤
  • 读取数据: 使用 pd.read_csv() 加载数据集。 检查数据是否有缺失值,使用 df.isnull().sum()。
  • 数据清洗: 如果有缺失值,填充均值或删除缺失行。 检查数据类型,确保 sales 和 quantity 是数值型。
  • 数据分析: 计算每个区域的总销售额和平均销售额。 找出销售额最高的产品。 按日期统计销售趋势(如果有日期列)。
  • 可视化: 绘制柱状图展示各区域销售额。 绘制折线图展示销售趋势(如果有日期列)。
  • 生成报告
    • 创建一个文本文件或 Markdown 文件,总结分析结果。
    • 示例报告结构:
    • # 数据分析报告 ## 数据集概况 - 记录数:XXX - 缺失值处理:已填充均值/删除缺失行 ## 分析结果 - 总销售额:XXX - 最高销售额产品:XXX - 各区域销售额: - 区域A:XXX - 区域B:XXX ## 可视化 (插入图表或描述图表内容)
  • 示例代码:python
import pandas as pd
import matplotlib.pyplot as plt

# 读取数据
df = pd.read_csv('sales_data.csv')

# 数据清洗
df = df.dropna()  # 删除缺失值
df['sales'] = df['sales'].astype(float)

# 分析
total_sales = df['sales'].sum()
max_product = df.groupby('product')['sales'].sum().idxmax()
region_sales = df.groupby('region')['sales'].sum()

# 可视化
region_sales.plot(kind='bar')
plt.title('Sales by Region')
plt.xlabel('Region')
plt.ylabel('Total Sales')
plt.savefig('region_sales.png')
plt.show()

# 生成报告
with open('sales_report.md', 'w') as f:
    f.write('# Sales Analysis Report\n')
    f.write(f'## Total Sales: {total_sales}\n')
    f.write(f'## Top Product: {max_product}\n')
    f.write('## Sales by Region:\n')
    for region, sales in region_sales.items():
        f.write(f'- {region}: {sales}\n')
    f.write('## Visualization\n![Sales by Region](region_sales.png)')

作业

  1. 完成练习中的数据分析任务,提交生成的报告文件。
  2. 尝试使用 NumPy 计算数据集的销售额标准差。
  3. 扩展可视化:为每个产品绘制饼图,展示其销售额占比。

学习资源

  • NumPy 文档:https://numpy.org/doc/stable/
  • Pandas 文档:https://pandas.pydata.org/docs/
  • Matplotlib 教程:https://matplotlib.org/stable/tutorials/
  • Kaggle 数据集:https://www.kaggle.com/datasets

通过本课程,你将掌握数据分析的基本流程,并能使用 Python 工具生成专业的分析报告。继续练习,尝试更复杂的数据集!

相关文章

Python二进制数据处理实用教程

二进制数据处理是Python在文件解析、网络通信、图像处理等领域的核心技能。本教程将介绍Python处理二进制数据的方法和技巧。一、二进制数据处理基础1.1 bytes与bytearray类型基本特性...

Pandas-ai+FastAPI-MCP,自己动手搭建AI数据分析服务,效果惊艳

大家好,我是九歌。今天我们聊一聊使用大模型进行数据分析。AI数据分析作为大模型应用的刚需,在各大平台上的表现却大相径庭。阿里百炼的析言、ChatGPT、商汤的小浣熊、豆包,用了一圈,发现能打的只有豆包...

Python无法解析JSON数据的原因及解决方法

技术背景在Python开发中,JSON(JavaScript Object Notation)是一种常用的数据交换格式。Python的json模块提供了处理JSON数据的功能,允许开发者将JSON数据...

Python解析HTML方法指南

在 Python 中解析 HTML 的常用方法主要依赖以下两个库:BeautifulSoup 和 lxml。它们可以高效地提取、修改和操作 HTML/XML 数据。以下是详细指南:1. Beautif...

用python如何操作表格数据

使用pandas导入excel文件数据,要分析数据,我们要清除如何操作导入的数据,我们才好清洗,分析数据。 我们先学习下读表及简单的操作我们直接读表吧,不指定表也就不限定啥的,先显示下。在读的时候,...