手把手教你如何利用python进行列表数据清洗

liftword3周前 (12-05)技术文章13

一.准备

利用到近28000组数据,如下表,观察发现,在景区类型一列,有的是普通景区不是A级景区,那么如果我们需要一个都是A级的景区的表格怎么办,手动对于如此庞大的数据量显然不合适,那么,使用python将会非常简单。

观察上图,发现没有景区的一栏没有任何数据,这显然不利于我们对数据的处理,我们利用wsp的查找替换功能,将None的数据随意替换为一个方便区分的数据。

如图这48155处数据就是我们不需要的垃圾数据,接下来我们使用python对其进行清洗。

二.利用csv库,读取我们的待处理列表。

因为我是直接把列表放入了py文件的目录下,所以不需要写路径,如果不是同目录需要,写明路径。

import csv
with open('1.csv',"r") as a:
    reader = csv.reader(a)
    list=[]
    for row in reader:
            list.append(row)
复制代码

这样,我就成功的把csv里面的数据转换为python对象,并成功的将其存入列表list里面。下面我们输出查看一下list里面是什么内容:

如图,现在我们的list里面是一个二维列表,里面有每一组的数据。 接下来我们观察发现,我们需要区分的景区类别在每一组的第二个位置,也就是类别的第一个下表a[1]。 所以我们写一个循环来遍历这个list,这样就可以在里面的一维列表里面以a[1]来进行筛选我们需要的数据。

三.创建一个新的列表list1=[]

来储存我们筛选之后的数据。

list1=[]
for a in list:
    if a[1] !='无':
        list1.append(a)
复制代码

我们来看一下list1是不是成功的筛选出来了;

观察发现,现在每组的第二个数据都是A级景点,说明我们已经筛选成功了,现在我们需要把list1列表里面的数据存入一个新的表格文件就完成了我们需求。 使用pandas库将其转换为DataFrame,之后方便我们存入文件。

name=['名称','景区类型','位置','评分','门票','人气','省份']
test = DataFrame(list1, columns=name)
test.to_csv('e:/testcsv.csv',encoding='gbk')
复制代码

如上图所示,我们的对列表清洗的需求完美的实现了。

四.下面贴出完整代码供大家学习


import csv
import numpy as np
from pandas import DataFrame
with open('1.csv',"r") as a:
    reader = csv.reader(a)
    list=[]
    for row in reader:
        list.append(row)
list1=[]
for a in list:
    if a[1] !='无':
        list1.append(a)
        print(a)
x = np.array(list1, dtype = str)
name=['名称','景区类型','位置','评分','门票','人气','省份']
test = DataFrame(list1, columns=name)
test.to_csv('e:/testcsv.csv',encoding='gbk')

相关文章

Python删除列表元素的3种方法,你都会吗?

删除列表元素的3种方法根据下标删除,使用del关键词pythonnames = ['张三', '李四', '王五', '赵六‘, ’罗翔'...

15个例子掌握Python列表,集合和元组

Python中的一切都是对象。每个对象都有自己的数据属性和与之关联的方法。为了有效和恰当地使用一个对象,我们应该知道如何与它们交互。列表、元组和集合是三种重要的对象类型。它们的共同点是它们都被用作数据...

Python基础:Python列表更新之修改列表元素详解

欢迎你来到站长在线的站长学堂学习Python知识,本文分享的是《Python列表更新之在Python中修改列表元素详解》。本知识点主要内容有:在Python中修改单个元素、在Python中修改一组元素...

Python中list()方法和list列表的使用

1.前言好的那我们今天为大家介绍python中的list的用法,我们一起来看看~list概念:list(列表)是一种有序的集合,可以随时添加、修改、删除其中的元素。 下面将为大家介绍大功能,依次为用索...