Linux系统Python编程实践(四)——python3爬取数据

liftword3个月前 (01-31)技术文章19

摘要:Python是一种面向对象的解释型计算机程序设计语言,具有丰富和强大的库, 广泛应用于系统管理任务的处理和Web编程。本文主要介绍在Linux环境中有关python3.7.0的使用,包含怎么利用Python3爬取网站数据,怎么与Mysql数据库连接,并将爬取古来的数据库保存打数据库中等内容。详细情况请参考下文。

一、登录系统

1、登陆linux系统

2、查看默认的Python

二、Mysql数据库创建数据表

1、登陆数据库

2、创建数据表

执行指令创建数据表iciba_daily_sentence。执行效果如下

三、Python3爬取网站数据

1、安装Python3爬取工具包

Python爬取数据使用到的模块有json,pymysql和requests模块,json是python自带的,pymysql和requests需要安装。其安装过程如下。

执行pip3指令安装pymysql模块。如下图

执行pip3指令安装requests模块。如下图

2、Python3爬取金山词霸每日一句并保存到MySQL数据库

执行指令# vim iciba.py编写爬取数据程序。如下图

备注:代码中的JSON字段解释如下:

属性名

属性值类型

说明

dateline

String

时间

caption

String

标题

content

String

英文内容

fenxiang_img

String

合成图片,分享微博用的

note

String

中文内容

picture

String

图片地址

picture2

String

大图片地址

translation

String

词霸小编

tts

String

音频地址

执行指令# python iciba.py的效果如下图

3、查看mysql数据库

执行数据库指令> select * from iciba_daily_sentence; 查询效果如下

相关文章

干就行!大牛给初学者推荐的10个Python经典案例

Python是一种高级,解释性,交互式且面向对象的脚本语言。Python的设计具有很高的可读性。它使用英语作为关键字,相对于而其他语言则使用标点符号作为语句结束不同,是依靠缩进作为结束。并且其语法结...

玩转Python? 一文总结30种Python的窍门和技巧

Python作为2019年必备语言之一,展现了不可替代作用。对于所有的数据科学工作者,如何提高使用Python的效率,这里,总结了30种Python的最佳实践、技巧和窍门。希望这些可以帮助大家在202...

解锁 Python 学习的正确姿势:从入门到实践

为什么选择 Python?在众多编程语言中,Python 犹如一颗璀璨的明星,脱颖而出,备受青睐。其在多个领域展现出的强大应用优势,使其成为了编程界的多面手。在数据分析领域,Python 堪称利器。它...

1天学会用Python写爬虫(《用python写网络爬虫》)

如今,整个世界已经进入了数据时代。无论你从事什么工作,获取尽量多的相关数据,都是做好工作的前提。而世界上最大的数据源,就是互联网。学会通过Python爬取网络上的信息,正变得越来越有意义。本课程旨在教...

玩十个游戏学会python,老师评价这是编程天才,教学十年没遇到过

这个人从未学过编程,但由于热衷于游戏,于是在玩了十个小游戏后,就学会了python编程,他的老师说,也许是因为他在这方面太有天赋吧!真的是因为天赋,还是因为这十个游戏本身就很有魔力呢?首先这十个游戏是...

我用python实现了一个量化选股程序

背景近期在学习数据分析,在课程最后老师讲了一下通过量化分析选择股票的案例,感觉挺有意思的,恰好周围也有人在炒股票,干脆自己做一个软件来实践一下学到的知识。课程上主要用python相关库来处理比特币的数...