一文带你深入了解并学会Python爬虫库!从此数据不用愁

liftword1周前 (02-21)技术文章13

熟悉爬虫的基本概念之后，我们可以直接开始爬虫实战的学习，先从Python的requests库即re库入手，可以迅速“get”到python爬虫的思想以及流程，并且通过这两个库就可以建立一个完整的爬虫系统。

一、requests库

1.简介

Requests是用Python语言编写的，基于urllib3来改写的，采用Apache2 Licensed 来源协议的HTTP库。它比urllib更加方便，可以节约我们大量的工作，完全满足HTTP测试需求。在日常使用中我们绝大部分使用requests库向目标网站发起HTTP请求。

通过上图官网对requests的介绍可知此库的强大之处：Requests是唯一适用于Python的Non-GMO HTTP库，可供人类安全使用。

2.入门测试

我们首先通过代码实例测试一下Requests库的使用情景。首先本文采用配置环境为win10+anaconda3+Python3.7.4，直接在终端运行：

pip install requests

如果出现以下字样即代表安装完成。

urllib 库中的urlopen()方法实际上是以GET方式请求网页，而requests 中相应的方法就是get()。在Python中运行以下代码：

import requests
# 以get方式获取百度官网源代码
res = requests.get("https://www.baidu.com")
# 获取返回类型
print(type(res))
# 获取状态码
print(res.status_code)
# 获取返回源代码内容类型
print(type(res.text))
# 获取前15字符
print((res.text)[:15])
# 获取cookies
print(res.cookies)

输出结果为：


200 # 状态码200代表响应正常

3.主要方法

requests库的主要方法有以下7种，接下来就几种常用方法进行简单介绍。

get方法是我们通常最常用的方法。输入如下代码对网站提交get请求：

import requests
res = requests.get("http://httpbin.org/get")
print(res.text)

输出结果为：

{
  "args": {}, 
  "headers": {
    "Accept": "*/*", 
    "Accept-Encoding": "gzip, deflate", 
    "Host": "httpbin.org", 
    "User-Agent": "python-requests/2.22.0", 
    "X-Amzn-Trace-Id": "Root=1-5e5dd355-96131363cf818957b8e7b67d"
  }, 
  "origin": "171.112.101.74", 
  "url": "http://httpbin.org/get"
}

由上述输出可知响应结果包含请求头、URL和IP等信息。而如果我们想在get请求中输入参数信息，则需要设置params参数：

import requests
data = {
  'building':"zhongyuan",
  'nature':"administrative"
}
res = requests.get("http://httpbin.org/get",params=data)
print(res.text)

输出内容为：

{
  "args": {
    "building": "zhongyuan", 
    "nature": "administrative"
  }, 
  "headers": {
    "Accept": "*/*", 
    "Accept-Encoding": "gzip, deflate", 
    "Host": "httpbin.org", 
    "User-Agent": "python-requests/2.22.0", 
    "X-Amzn-Trace-Id": "Root=1-5e5dd4db-f0568e98f3350cae8998968a"
  }, 
  "origin": "171.112.101.74", 
  "url": "http://httpbin.org/get?building=zhongyuan&nature=administrative"
}

由上可知在get请求中成功将参数传递进去。此外，上述返回格式不仅是字符串格式，还是json文件格式，因此我们可以通过Python中json库对返回信息进行解析：

import requests
res = requests.get("http://httpbin.org/get")
print(type(res.text))
print(res.json())
print(type(res.json()))

输出结果为：


{'args': {}, 'headers': {'Accept': '*/*', 'Accept-Encoding': 'gzip, deflate', 'Host': 'httpbin.org', 'User-Agent': 'python-requests/2.22.0', 'X-Amzn-Trace-Id': 'Root=1-5e5dd5e5-b195baec1c11b51c03eee96c'}, 'origin': '171.112.101.74', 'url': 'http://httpbin.org/get'}

为了将 Requests 发起的 HTTP 请求伪装成浏览器，我们通常是使用headers关键字参数。headers 参数同样也是一个字典类型。具体用法见以下代码：

import requests
headers = {
    'user-agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.115 Safari/537.36'
}
res = requests.get("http://httpbin.org/get",headers=headers)
print(res.text)

输出结果如下，可以看出在headers参数中我们的"User-Agent"发生了改变，而不再是之前暴露的requests了，这对于一些对爬虫有限制的网站似乎很有用。

{
  "args": {}, 
  "headers": {
    "Accept": "*/*", 
    "Accept-Encoding": "gzip, deflate", 
    "Host": "httpbin.org", 
    "User-Agent": "Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.115 Safari/537.36", 
    "X-Amzn-Trace-Id": "Root=1-5e5dd68c-e185889878974c88aff8d704"
  }, 
  "origin": "171.112.101.74", 
  "url": "http://httpbin.org/get"
}

data 参数通常结合 POST 请求方式一起使用。如果我们需要用 POST 方式提交表单数据或者JSON数据，我们只需要传递一个字典给 data 参数。

{
  "args": {}, 
  "headers": {
    "Accept": "*/*", 
    "Accept-Encoding": "gzip, deflate", 
    "Host": "httpbin.org", 
    "User-Agent": "Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.115 Safari/537.36", 
    "X-Amzn-Trace-Id": "Root=1-5e5dd68c-e185889878974c88aff8d704"
  }, 
  "origin": "171.112.101.74", 
  "url": "http://httpbin.org/get"
}

获取结果如下：

{
  "args": {}, 
  "data": "", 
  "files": {}, 
  "form": {
    "pass": "admin", 
    "user": "admin"
  }, 
  "headers": {
    "Accept": "*/*", 
    "Accept-Encoding": "gzip, deflate", 
    "Content-Length": "21", 
    "Content-Type": "application/x-www-form-urlencoded", 
    "Host": "httpbin.org", 
    "User-Agent": "python-requests/2.22.0", 
    "X-Amzn-Trace-Id": "Root=1-5e5dd775-932576d4bdcad64891fb54fa"
  }, 
  "json": null, 
  "origin": "171.112.101.74", 
  "url": "http://httpbin.org/post"
}

我们使用代理发起请求，经常会碰到因代理失效导致请求失败的情况。因此，我们对请求超时做下设置。当发现请求超时，更换代理再重连。

# 设置3s超时断连
res = requests.get(url, timeout=3) 
# 传入元组参数，分别设置断连超时时间与读取超时时间
response = requests.get(url, timeout=(3, 30))


二、re库

1.简介

正则表达式是一个特殊的字符序列，能方便的检查一个字符串是否与某种模式匹配。re模块使得python拥有全部的正则表达式功能。在爬虫自动化程序中，re库充当信息提取的角色，通过re库我们可以从源代码中批量精确匹配到想要的信息。

2.入门测试

开源中国提供的正则表达式匹配网站可以供我们很好的练手测试（网址：
https://tool.oschina.net/regex/#）。下文我们先输入一段测试文本，再选择匹配Email地址，正则表达式为：[\w!#$%&'*+/=?^_`{|}~-]+(?:\.[\w!#$%&'*+/=?^_`{|}~-]+)*@(?:[\w](?:[\w-]*[\w])?\.)+[\w](?:[\w-]*[\w])?。

是不是像一串“乱码”？实际上这里面每一个“乱码”都有具体的意义，具体可参照下面的对照：

\w      匹配字母数字及下划线
\W      匹配f非字母数字下划线
\s      匹配任意空白字符，等价于[\t\n\r\f]
\S      匹配任意非空字符
\d      匹配任意数字
\D      匹配任意非数字
\A      匹配字符串开始
\Z      匹配字符串结束，如果存在换行，只匹配换行前的结束字符串
\z      匹配字符串结束
\G      匹配最后匹配完成的位置
\n      匹配一个换行符
\t      匹配一个制表符
^       匹配字符串的开头
$       匹配字符串的末尾
.       匹配任意字符，除了换行符，re.DOTALL标记被指定时，则可以匹配包括换行符的任意字符
[....]  用来表示一组字符，单独列出：[amk]匹配a,m或k
[^...]  不在[]中的字符：[^abc]匹配除了a,b,c之外的字符
*       匹配0个或多个的表达式
+       匹配1个或者多个的表达式
?       匹配0个或1个由前面的正则表达式定义的片段，非贪婪方式
{n}     精确匹配n前面的表示
{m,m}   匹配n到m次由前面的正则表达式定义片段，贪婪模式
a|b     匹配a或者b
()      匹配括号内的表达式，也表示一个组

3.主要方法

  • match函数

函数原型：match(pattern, string, flags=0)

尝试从字符串的起始位置匹配一个模式，如果起始位置没匹配上的话，返回None

import re
content= "hello 123 4567 World_This is a regex Demo"
result = re.match('^hello\s\d\d\d\s\d{4}\s\w{10}.*Demo$',content)
print(result)
print(result.group()) #获取匹配的结果
print(result.span())  #获取匹配字符串的长度范围

输出结果为：


hello 123 4567 World_This is a regex Demo
(0, 41)
  • 通用匹配

上面的代码正则表达式太复杂，其实完全没必要这么做，因为还有一个万能匹配可以用，那就是.＊（点星） 。其中.（点）可以匹配任意字符（除换行符），＊（星）代表匹配前面的字符无限次，所以它们组合在一起就可以匹配任意字符了。因此我们可以使用下面的方式进行简化：

content= "hello 123 4567 World_This is a regex Demo"
result = re.match('^hello.*Demo$',content)
print(result)
print(result.group())
print(result.span())

输出结果与前文相同：


hello 123 4567 World_This is a regex Demo
(0, 41)
  • 分组匹配

为了匹配字符串中具体的目标，可以使用（）进行分组匹配

content= "hello 123 4567 World_This is a regex Demo"
result = re.match('^hello\s(\d+).*Demo$',content)
print(result.group())
print(result.group(1))

输出group组中的第一个结果：

hello 123 4567 World_This is a regex Demo
123
  • 贪婪匹配

简要说意思就是一直匹配，匹配到匹配不上为止。

content= "hello 123 4567 World_This is a regex Demo"
result = re.match('^hello.*(?P\d+).*Demo$',content)
print(result.group())
print(result.group(1))
print(result.groupdict())

结果如下，最终结果输出的是7，出现这样的结果是因为被前面的.*给匹陪掉了，只剩下了一个数字，这就是贪婪匹配。

hello 123 4567 World_This is a regex Demo
7
{'name': '7'}

若要非贪婪匹配可以使用问号（？）：

content= "hello 123 4567 World_This is a regex Demo"
result = re.match('^hello.*?(?P\d+).*Demo$',content)
print(result.group())
print(result.group(1))
print(result.groupdict())

这样就可以得到123的结果了：

hello 123 4567 World_This is a regex Demo
123
{'name': '123'}
  • 函数中添加匹配模式

　　def match(pattern, string, flags=0) 第三个参数flags设置匹配模式

　　re.I：使匹配对大小写不敏感

　　re.L：做本地化识别匹配

　　re.S：使.包括换行在内的所有字符

　　re.M：多行匹配，影响^和$

　　re.U：使用unicode字符集解析字符，这个标志影响\w,\W,\b,\B

　　re.X：将正则表达式写得更易于理解

例如通过设置匹配模式为re.I，使得使匹配对大小写不敏感：

content= "heLLo 123 4567 World_This is a regex Demo"
result = re.match('hello',content,re.I)
print(result.group())

结果如下，仍然会输出heLLo：

heLLo
  • search函数

函数原型：def search(pattern, string, flags=0)

扫描整个字符串，返回第一 个匹配成功的结果

content= '''hahhaha hello 123 4567 world'''
result = re.search('hello.*world',content)
print(result.group())

输出：

hello 123 4567 world
  • findall函数

函数原型：def findall(pattern, string, flags=0)。搜索字符串，以列表的形式返回所有能匹配的字串

content= '''
    http://httpbin.org/get
    http://httpbin.org/post
    https://www.baidu.com'''
urls = re.findall('(.*)',content)
for url in urls:
    print(url)

以上命令将会输出所有符合条件的字符串即链接：

http://httpbin.org/get
http://httpbin.org/post
https://www.baidu.com
  • sub函数

函数原型：def subn(pattern, repl, string, count=0, flags=0)。替换字符串中每一个匹配的子串后返回替换后的字符串

content= '''hello 123 4567 world'''
str = re.sub('123.*world','future',content)
print(str)

输出结果就会将123后面的内容替换成'future'：

hello future
  • compile

函数原型：def compile(pattern, flags=0)。将正则表达式编译成正则表达式对象，方便复用该正则表达式

content= '''hello 123 4567 world'''
pattern = '123.*world'
regex = re.compile(pattern)
str = re.sub(regex,'future',content)
print(str)

输出结果同上文一样：

hello future

有关requests库和re库的简单介绍和使用到此结束，下一篇将利用这两个库行网络数据爬取实战。基础知识可参考上篇：

爬虫所要了解的基础知识，这一篇就够了！Python网络爬虫实战系列

相关文章

Python实现一个基础爬虫?_用python做一个爬虫

Python爬虫技术就是指通过Python语言来编写一些自动化的数据处理程序从网页上来获取自己想要的数据，我们可以通过Python爬虫来获取公开网页上的数据，对数据进行分析、存储、数据可视化展示等操作...

什么是Python爬虫?一篇文章带你全面了解爬虫

一、什么叫爬虫爬虫，又名“网络爬虫”，就是能够自动访问互联网并将网站内容下载下来的程序。它也是搜索引擎的基础，像百度和GOOGLE都是凭借强大的网络爬虫，来检索海量的互联网信息的然后存储到云端，为网友...

程序员python入门课，30分钟学会，30行代码写爬虫项目

现在很多人学习编程，最开始就是选择的python，因为python现在比较火，薪资水平在程序员领域也是比较高的，入门快，今天就给大家分享一个用python写的小爬虫项目，只需要30行代码，认真学习，...

详细介绍一下Python中如何使用来创建爬虫?

Selenium是一个用来对Web应用程序进行测试的自动化测试工具，能够模拟出用户在浏览器中的各种行为，通过自动化的操作来执行任务，例如说可以模拟用户点击按钮、填写表单、抓取网页内容等，虽然是一个自动...

巨细!Python爬虫详解_python爬虫详细教程

来源：【公众号】Python技术爬虫（又称为网页蜘蛛，网络机器人，在 FOAF 社区中间，更经常的称为网页追逐者）；它是一种按照一定的规则，自动地抓取网络信息的程序或者脚本。如果我们把互联网比作一张大...

Python爬虫常用的8个技巧，让你爬取数据得心应手

今天跟大家分享几个我在爬虫中用到的技巧，让你轻松爬取所需数据。技巧一：随机暂停，迷惑反爬机制高频率访问容易被网站识别为爬虫，所以我们要学会“劳逸结合”！使用 time.sleep() 函数，加上随机时...

蜀ICP备2024111239号-1