使用scrapy框架批量下载美女图片!Python爬虫:scrapy大文件下载

liftword7个月前 (12-23)技术文章66

还记得我们之前爬取的校花图片吗?

课程地址:爬取校花网中的图片数据

这节课我们利用scrapy的大文件下载,来下载校花网图片

http://www.521609.com/daxuexiaohua/


创建工程

我们先来创建一个工程imgPro创建流程

  1. scrapy startproject imgPro
  2. cd imgPro
  3. scrapy genspider img www.xxx.com
  4. 修改配置文件

解析图片名称和地址很简单,直接分析到了都在<li>标签里。

写代码:

import scrapy

class ImgSpider(scrapy.Spider):
    name = 'img'
    # allowed_domains = ['www.xxx.com']
    start_urls = ['http://www.521609.com/daxuexiaohua/']

    def parse(self, response):
        # 解析图片地址和名称
        li_list = response.xpath('//*[@id="content"]/div[2]/div[2]/ul/li')
        for li in li_list:
            img_name = li.xpath('./a[1]/img/@alt').extract_first()
            img_scr = 'http://www.521609.com' + li.xpath('./a[1]/img/@src').extract_first()

按照思路,下一步可能就是:

yield scrapy.Request(url=img_scr,callback=)

但这是个二进制,我们大文件下载的话,通常不这么写。

我们把图片名称和图片地址都保存在item中:

item = ImgproItem()
item['name'] = img_name
item['src'] = img_src

yield item

大文件下载需要写在管道里实现,我们看下下面代码:

pipelinse.py

# 该默认管道无法帮助我们请求图片数据,因此我们就不用了
# class ImgproPipeline:
#     def process_item(self, item, spider):
#         return item


# 管道中需要接收item中的图片地址和名称,然后在管道中请求到图片数据对其进行持久化存储

# 提供了数据下载功能
from scrapy.pipelines.images import ImagesPipeline

# 我们需要重写下面三个父类方法
class ImgsPipeline(ImagesPipeline):
    def get_media_requests(self, item, info):
        pass

    def file_path(self, request, response=None, info=None, *, item=None):
        pass

    def item_completed(self, results, item, info):
        pass

那么就来介绍下:

# 管道中需要接收item中的图片地址和名称,然后在管道中请求到图片数据对其进行持久化存储
# 提供了数据下载功能
from scrapy.pipelines.images import ImagesPipeline
import scrapy

# 我们需要重写下面三个父类方法
class ImgsPipeline(ImagesPipeline):
    # 根据图片发起请求
    def get_media_requests(self, item, info):
        yield scrapy.Request(item['src'], meta={'item': item})

    # 返回图片名称即可
    def file_path(self, request, response=None, info=None, *, item=None):
        item = request.meta['item']
        filePath = item['name']

        # 只需返回图片名称,默认路径需要在 settings.py 增加:IMAGES_STORE='./imgLibs'
        return filePath
    # 将item传递给下一个即将执行的管道类
    def item_completed(self, results, item, info):
        return item
  • 默认路径需要在settings.py 增加:IMAGES_STORE='./imgLibs'
  • 记得更改管道配置名称:

执行工程看下:

这样,图片就都下载出来了!


settings.py中的常用配置

- 增加并发:
默认scrapy开启的并发线程为32个,可以适当进行增加。在settings配置文件中修改CONCURRENT_REQUESTS = 100的值为100,并发设置成了为100
- 降低日志级别:
    在运行scrapy时,会有大量日志信息的输出,为了减少CPU的使用率。可以设置log输出信息为INFO或者ERROR即可。在配置文件中编写:LOG_LEVEN = 'INFO'

- 禁止cookie:
    如果不是真的需要cookie,则在scrapy爬取数据时,可以禁止cookie从而减少CPU的使用率,提升爬虫效率。在配置文件中编写:COOKIES_ENABLED = False

- 禁止重试:
    对失败的HTTP进行重新请求(重试)会减慢爬取速度,因此可以禁止重试。在配置文件中编写:RETRY_ENABLED = Flase

- 减少下载超时:
    如果对一个非常慢的链接进行爬取,减少下载超时可以能让卡住的链接快速被放弃,从而提升效率。在配置文件中进行编写:DOWNLOAD_TIMEOUT = 10 超时时间为10s

关注Python涛哥!学习更多Python知识!


相关文章

一个Python编写的小说下载器 python做小说阅读器

先看看效果昨天我们已经能够爬任意一本小说,今天我们用一个新的库--tkinter库做一个简单的图形界面,实现类似小说下载器那样的简单功能。先说一下tkinter库:Tkinter 是 Python 的...

python编程实践:下载文件模块wget的使用

wget是Linux中的一个下载文件的工具,是在Linux下开发的开放源代码的软件,后来被移植到包括Windows在内的各个平台上,也就是wget目前是跨平台的下载软件了。wget工具体积小但功能完善...

一分钟必懂|小白轻松入门Python下载与安装图文教程

内容提要:官网下安装包 下载方法一 下载方法二(推荐)安装配置成功安装运行第一个程序"Hello World"如果正在看文章的你没有安装过python,那么这篇文章将带开神奇的pyt...

python爬虫入门教程!全网VIP电影资源下载助手

Hello,我长沙吴彦祖又回来啦~~前言对于Python爬虫相信很多人都不会陌生,我们可以用它来批量下载文字、图片、视频等任意数据资源。在本次课程中我将会给大家介绍一款能够搜索下载VIP电影资源的工具...