半自动化爬虫:在百度贴吧上保存网页，通过python爬取相关信息
1、需求背景：
在百度贴吧上选取一页帖子，点击右键查看源代码，将源代码保存为txt文件，通过python实现从该页面中抓取帖子的标题，作者，时间等信息，将结果保存为excel表格
2、关键技术实现：
python、正则表达式、txt文件读取、excel文件写入
3、代码实现：
import re
import csv
resultList = []
# 读取已经保存的文件内容
with open("baidutieba.txt", 'r', encoding="UTF-8") as f:
source = f.read()
#以下通过正则表达式进行相关的匹配，获取标题，作者，时间等信息
#原始文件是：<a rel="noopener" href="/p/7864139938" title="女高专一发展" target="_blank" class="j_th_tit ">女高专一发展</a>
titleRE = r'<a rel="noopener" href="/p/\d*" title="(.*?)" target='
titleList = re.findall(titleRE,source,re.S)
#原始文件是：title="主题作者: 五条永远滴神"
authorRE = 'title="主题作者: (.*?)"'
authorList = re.findall(authorRE,source,re.S)
#原始文件是：<span class="pull-right is_show_create_time" title="创建时间">18:48</span>
timeRE = '" title="创建时间">(.*?)</span>'
timeList = re.findall(timeRE,source,re.S)
#将如上的结果添加到列表里，便于后续写入到CSV格式的文档里
for i in range(len(titleList)):
result = {
"title": titleList[i],
"author": authorList[i],
"time": timeList[i]
}
resultList.append(result)
#将文件写入到excel表格里
with open('baidutieba.csv', 'w', encoding='utf-8-sig') as f:
writer = csv.DictWriter(f, fieldnames=['title','author','time'])
writer.writeheader()
writer.writerows(resultList)4、运行代码，查看输出的 baidutieba.csv 文件，发现虽然能写入正确的内容，但是出现了换行。如下：
5、解决输出多加了空行的方法：
将源代码中：
with open('baidutieba.csv', 'w', encoding='utf-8-sig') as f:修改为：
with open('baidutieba.csv', 'w', encoding='utf-8-sig', newline='') as f:再次运行，出现的页面如图，空行问题已经解决：