Python爬虫入门之爬取图片
一、基本概念
- 通用爬虫和聚焦爬虫
通用网络爬虫 是 捜索引擎抓取系统（Baidu、Google、Yahoo等）的重要组成部分。主要目的是将互联网上的网页下载到本地，形成一个互联网内容的镜像备份。
聚焦爬虫，是"面向特定主题需求"的一种网络爬虫程序，它与通用搜索引擎爬虫的区别在于： 聚焦爬虫在实施网页抓取时会对内容进行处理筛选，尽量保证只抓取与需求相关的网页信息。
- HTTP和HTTPS请求
（1）url ： 浏览器地址栏的地址
（2）请求方法：一般就两种。get请求和post请求
（3）请求头：常用 User-Agent：是客户浏览器的名称
- 抓包工具
浏览器的检查，常用有两个模块Elements和Network
二、数据请求
主要用的是Python的第三方库requests库，pip install requests 可以安装。
1、最简单的发送get请求就是通过requests.get来调用：（模拟浏览器的get请求）
response = requests.get("http://www.baidu.com/")2、添加headers和查询参数
headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.99 Safari/537.36"}
response = requests.get("http://www.baidu.com/s", headers = headers)3、对响应进行处理
# 查看响应内容，response.content返回的字节流数据
response.content
# 对字节流数据解码
response.content.decode("utf-8") # 等价于response.text
response.content.decode("gbk")
# 查看响应内容，response.text 返回的是Unicode格式的数据
response.text三、数据提取
1、常用提取方式
常用的有三种提取方式。css选择器、xpath语法、正则表达式。
学习难度前两者相似，最后一个较高；但效率从低到高。
2、xpath和lxml库
（1）lxml库， C 语言实现的，是一款高性能的 Python HTML/XML 解析器，之后可以XPath语法，来快速的定位特定元素以及节点信息
（2）xpath常用语法：
// 从当前标签下任意位置匹配
../ 从当前标签的父级开始匹配
./ 从当前标签开始匹配
/text() 表示从当前标签下匹配所有文本内容
/@name 表示匹配当前标签下的属性的value
[] 中括号中可以写过滤的条件(支持and、or语法)，也可以写数组下标(从1开始)
/div[@class="classname"] 表示匹配当前标签下所有class为classname的div对象
/div[contains(@class,"classname")] 表示匹配当前标签下所有class包含classname的div对象四、保存数据
# 保存图片数据
from urllib import request
request.urlretrieve('http://img.netbian.com/file/2020/1008/9c76cd345cd49c9675dc65f696871a66.jpg','xxx.jpg')五、爬取彼岸桌面网所有美女图片（1080P高清图）
1、网站截图（177页，每页十几张图片）
2、成果截图
3、最终代码
# 爬取多页
import requests # 用于模拟浏览器发送请求的库
from lxml import etree # 解析响应内容的库，构建树结构，便于xpath语法索引
from urllib import request # 下载图片时用到
headers = {"User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 11_1_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.88 Safari/537.36"}
# 此处控制要爬取的页码总数，网站目前共有177页，所以此处最大写178
for page in range(1, 11):
# 第一页是这种url：http://www.netbian.com/meinv/，
# 其他页都是http://www.netbian.com/meinv/index_%d.htm的形式
if page == 1:
page_url = "http://www.netbian.com/meinv/"
else:
page_url = "http://www.netbian.com/meinv/index_%d.htm" % page
# 网站的charset=“gbk”
html = requests.get(page_url, headers=headers).content.decode("gbk")
# 利用lxml的etree.HTML解析html，构建树结构
tree = etree.HTML(html)
# 利用xpath语法提取当前缩略图下图片的url
data = tree.xpath('//div[@class="list"]')[0]
hrefs = data.xpath('//li/a/@href') # [/desk/xxxxx.htm，/desk/xxxxx.htm]形式
# 遍历所有的缩略图url
for href in hrefs:
if href.startswith("/desk"):
# 拼接完整的缩略图url地址
url = "http://www.netbian.com" + href
# 请求缩略图url地址，之后解析得到1080P图片地址
picture_html = requests.get(url, headers = headers).content.decode('gbk')
picture_tree = etree.HTML(picture_html)
# url2 = picture_tree.xpath('//td/a/@href')
url2 = picture_tree.xpath('//div[@class="pic"]//img/@src')[0]
# 定义图片名称，下载图片
filename = url2.split("/")[-1]
request.urlretrieve(url2, filename)六、总结
1、学完这些你基本掌握了爬虫的基础流程，利用requests库模拟浏览器发送请求，对服务器返回内容进行解码。之后运用lxml库构建解析树，利用xpath语法提取树中的关键信息节点，最后保存到本地。本案例学完后你基本可以爬取绝大部分网站的图片了。