使用scrapy框架批量下载美女图片!Python爬虫:scrapy大文件下载
还记得我们之前爬取的校花图片吗？
课程地址：爬取校花网中的图片数据
这节课我们利用scrapy的大文件下载，来下载校花网图片
http://www.521609.com/daxuexiaohua/
创建工程
我们先来创建一个工程imgPro：创建流程
- scrapy startproject imgPro
- cd imgPro
- scrapy genspider img www.xxx.com
- 修改配置文件
解析图片名称和地址很简单，直接分析到了都在<li>标签里。
写代码：
import scrapy
class ImgSpider(scrapy.Spider):
name = 'img'
# allowed_domains = ['www.xxx.com']
start_urls = ['http://www.521609.com/daxuexiaohua/']
def parse(self, response):
# 解析图片地址和名称
li_list = response.xpath('//*[@id="content"]/div[2]/div[2]/ul/li')
for li in li_list:
img_name = li.xpath('./a[1]/img/@alt').extract_first()
img_scr = 'http://www.521609.com' + li.xpath('./a[1]/img/@src').extract_first()按照思路，下一步可能就是：
yield scrapy.Request(url=img_scr,callback=)但这是个二进制，我们大文件下载的话，通常不这么写。
我们把图片名称和图片地址都保存在item中：
item = ImgproItem()
item['name'] = img_name
item['src'] = img_src
yield item大文件下载需要写在管道里实现，我们看下下面代码：
pipelinse.py
# 该默认管道无法帮助我们请求图片数据，因此我们就不用了
# class ImgproPipeline:
# def process_item(self, item, spider):
# return item
# 管道中需要接收item中的图片地址和名称，然后在管道中请求到图片数据对其进行持久化存储
# 提供了数据下载功能
from scrapy.pipelines.images import ImagesPipeline
# 我们需要重写下面三个父类方法
class ImgsPipeline(ImagesPipeline):
def get_media_requests(self, item, info):
pass
def file_path(self, request, response=None, info=None, *, item=None):
pass
def item_completed(self, results, item, info):
pass那么就来介绍下：
# 管道中需要接收item中的图片地址和名称，然后在管道中请求到图片数据对其进行持久化存储
# 提供了数据下载功能
from scrapy.pipelines.images import ImagesPipeline
import scrapy
# 我们需要重写下面三个父类方法
class ImgsPipeline(ImagesPipeline):
# 根据图片发起请求
def get_media_requests(self, item, info):
yield scrapy.Request(item['src'], meta={'item': item})
# 返回图片名称即可
def file_path(self, request, response=None, info=None, *, item=None):
item = request.meta['item']
filePath = item['name']
# 只需返回图片名称，默认路径需要在 settings.py 增加:IMAGES_STORE='./imgLibs'
return filePath
# 将item传递给下一个即将执行的管道类
def item_completed(self, results, item, info):
return item- 默认路径需要在settings.py 增加:IMAGES_STORE='./imgLibs'
- 记得更改管道配置名称:
执行工程看下：
这样，图片就都下载出来了！
settings.py中的常用配置
- 增加并发：
默认scrapy开启的并发线程为32个，可以适当进行增加。在settings配置文件中修改CONCURRENT_REQUESTS = 100的值为100，并发设置成了为100
- 降低日志级别：
在运行scrapy时，会有大量日志信息的输出，为了减少CPU的使用率。可以设置log输出信息为INFO或者ERROR即可。在配置文件中编写：LOG_LEVEN = 'INFO'
- 禁止cookie:
如果不是真的需要cookie，则在scrapy爬取数据时，可以禁止cookie从而减少CPU的使用率，提升爬虫效率。在配置文件中编写：COOKIES_ENABLED = False
- 禁止重试：
对失败的HTTP进行重新请求（重试）会减慢爬取速度，因此可以禁止重试。在配置文件中编写：RETRY_ENABLED = Flase
- 减少下载超时：
如果对一个非常慢的链接进行爬取，减少下载超时可以能让卡住的链接快速被放弃，从而提升效率。在配置文件中进行编写：DOWNLOAD_TIMEOUT = 10 超时时间为10s关注Python涛哥！学习更多Python知识！