Python爬虫入门(四):实战，爬取4399小游戏首页
本部分为爬虫入门篇的实战教程，我会用到除了selenium外所有在上文介绍过的模块来编写实例，爬取4399小游戏网站首页上的内容。
robots.txt
robots.txt是指存放在网页根目录下的一个文件，广义上也指互联网间的robots协议。
robots协议
对此协议的定义存在歧义。有些资料上说robots是针对搜索引擎爬虫的，有些资料上说所有爬虫都要遵循。本文采取后者。
robots协议全称为网络爬虫排除标准（Robots Exclusion Protocol）。这个协议告诉了网络爬虫哪些网站是可以爬取的，哪些爬虫可以爬取此网站。robots协议通过在网站根目录下放置robots.txt（全部小写）文件来实现。
robots.txt 语法
robots.txt文件非常直观，一行一条规则。在这里我们简单介绍一下，只要读者能够基本看懂robots.txt就行（事实上，现在也有很多在线生成robots.txt的工具，即使你要写robots.txt也不用全学会，看看要用的就行）。
-User-Agent：允许访问的搜索引擎爬虫名，在多节时是关于此爬虫的规则。为*则所有爬虫都可以访问。
-Disallow：不允许访问的目录名，以/开头，屏蔽此目录下的所有链接，如果是一个具体的网页则是屏蔽此网页。如果单有一个/则是屏蔽所有链接。
-Allow：与Disallow规则相反。
-Sitemap：爬虫可以爬取的其他不能从网站上直接访问到的链接及其相关信息。
-Crawl-delay：抓取延迟，两次抓取之间需要等待的秒数。（貌似已经不支持了）
君子协定
可以看出，robots协议只是告知爬虫哪些网站不能爬取，并没有真正的起到阻止爬虫的作用。事实上也存在一些排除爬虫的方法，比如检查UA头、高频率访问跳出验证界面、验证码（非机器人验证，谷歌不是最喜欢这个）、使用Ajax等，但这些方法要么妨碍了允许爬取的爬虫，要么甚至妨碍到了真人用户。
为了用户以及服务器、搜索爬虫三方共同着想，robots协议事实上是一个在服务器与搜索引擎之间共同遵守的君子协议。因此，很多规则的用与否其实取决于各大搜索引擎（比如Request-rate差不多没有搜索引擎认可了），robots协议的语法一直在变化当中。
希望看到这里的读者也能够遵守robots协议，技术应该用在向上的地方。
何时需要robots协议？
很显然，需要的时候用。当你不希望某些爬虫访问某些页面时，robots协议就会派上用场。比如说百度的robots协议里其实禁止了360的爬虫（我大胆推测，因为写了很多爬虫就是没有写360，而且百度的robots.txt好像一年前就是这样了，360倒是写的很大方）。如果你希望爬虫爬取你网站的所有内容，最好直接不使用robots协议。
查看4399.com的robots.txt
4399的robots.txt文件如下所示：
User-agent: *
Disallow: /upload_pic/
Disallow: /upload_swf/
Disallow: /360/
Disallow: /public/
Disallow: /yxbox/
Disallow: /360game/
Disallow: /baidugame/
Disallow: /loadimg/
Disallow: /index_pc.htm
Disallow: /flash/32979_pc.htm
Disallow: /flash/35538_pc.htm
Disallow: /flash/48399_pc.htm
Disallow: /flash/seer_pc.htm
Disallow: /flash/58739_pc.htm
Disallow: /flash/78072_pc.htm
Disallow: /flash/130396_pc.htm
Disallow: /flash/80727_pc.htm
Disallow: /flash/151038_pc.htm
Disallow: /flash/10379_pc.htm
Disallow: /flash/188528_pc.htm
Disallow: /flash/*_pc.htm
Disallow: /index_old.htm
Disallow: /flash/188420_2.htm
Disallow: /flash/188420.htm
Disallow: /zzy/188420.htm
Disallow: /flash/209902.htm第一行就可以看出4399的网站允许了所有爬虫，由于我们只爬取首页所以下面的Disallow不用详细看，没有/就行（事实上4399也没有拦截UA头，不知道有没有限定爬取频率，我猜没有）。
所以我们可以开始分析4399的首页了。
设定并分析目标
2020年8月25日的4399网站首页如图所示，我们把目标暂且定为大红圈内部分，获取其中的文本内容和链接：
F12检查源码得出此范围的源码在上图的小方框内，其只有一个class为middle_2。而我们需要的所有内容都在叶子节点处的span内。分析本段代码的DOM，绘图如图所示。
代码
urllib2&bs4
def lib2_bs4():
from urllib.request import urlopen
from bs4 import BeautifulSoup
response=urlopen("https://www.4399.com")
html=response.read().decode("gb2312") #因为事先看过，直接指定编码
soup=BeautifulSoup(html,"lxml")
for i in soup.find_all("div",class_="middle_2"): #先获取最外面的，也就是主体内容
for m in i.find_all("span"): #我们事先查看过了，所有的span内容都需要获取
if(m.a['href'].find("http")==-1): #大多数网站对内链都用的是相对定位
print("https://www.4399.com"+m.a['href'])
else: #但是我们也不能排除有外部链
print(m.a['href']) #获取href属性，也就是链接
print(m.a.string) #获取文字内容requests&lxml
def reqs_lxml():
import requests
from lxml import etree
response=requests.get("https://www.4399.com")
response.encoding="gb2312" #同上
lhtml=etree.HTML(response.text)
for i in lhtml.xpath("//*[@class='middle_2']/div/div/div/span"):
if(i.xpath("a/b")!=[]): #为什么bs4里没有这个判断？因为这里仅仅有一个NavigableString（bs4里的对象）
print(i.xpath("a/b")[0].text)
else:
print(i.xpath("a")[0].text)
if(i.xpath("a/@href")[0].find("http")==-1):
print("https://www.4399.com",end="") #设置不换行
print(i.xpath("a/@href")[0])
for i in lhtml.xpath("//*[@class='middle_2']/div/div/span"): #仔细观察可以看到后面几排少了一个div嵌套
if(i.xpath("a/b")!=[]):
print(i.xpath("a/b")[0].text)
else:
print(i.xpath("a")[0].text)
if(i.xpath("a/@href")[0].find("http")==-1):
print("https://www.4399.com",end="")
print(i.xpath("a/@href")[0]) 总结
可以很明显的看出lxml对于路径精准度的要求更高一些，再加上之前我们说过lxml速度快的优点，可以在需要精准或大量获取数据的情况下使用lxml，在其他情况用bs4相对而言要更轻松一些。至于获取响应就随意吧。