Linux系统Python编程实践(四)——python3爬取数据
摘要:Python是一种面向对象的解释型计算机程序设计语言,具有丰富和强大的库, 广泛应用于系统管理任务的处理和Web编程。本文主要介绍在Linux环境中有关python3.7.0的使用,包含怎么利用Python3爬取网站数据,怎么与Mysql数据库连接,并将爬取古来的数据库保存打数据库中等内容。详细情况请参考下文。
一、登录系统
1、登陆linux系统
2、查看默认的Python
二、Mysql数据库创建数据表
1、登陆数据库
2、创建数据表
执行指令创建数据表iciba_daily_sentence。执行效果如下
三、Python3爬取网站数据
1、安装Python3爬取工具包
Python爬取数据使用到的模块有json,pymysql和requests模块,json是python自带的,pymysql和requests需要安装。其安装过程如下。
执行pip3指令安装pymysql模块。如下图
执行pip3指令安装requests模块。如下图
2、Python3爬取金山词霸每日一句并保存到MySQL数据库
执行指令# vim iciba.py编写爬取数据程序。如下图
备注:代码中的JSON字段解释如下:
属性名 | 属性值类型 | 说明 |
dateline | String | 时间 |
caption | String | 标题 |
content | String | 英文内容 |
fenxiang_img | String | 合成图片,分享微博用的 |
note | String | 中文内容 |
picture | String | 图片地址 |
picture2 | String | 大图片地址 |
translation | String | 词霸小编 |
tts | String | 音频地址 |
执行指令# python iciba.py的效果如下图
3、查看mysql数据库
执行数据库指令> select * from iciba_daily_sentence; 查询效果如下