Python+Playwright自动化实战:高效爬虫全攻略

liftword3天前技术文章8

一、为什么选择Playwright？

在信息爆炸的时代，数据获取能力直接决定内容生产效率。Playwright作为微软开源的新型自动化工具，凭借以下优势成为技术创作者的新宠：

支持Chromium/WebKit/Firefox三大浏览器
自动等待元素加载，告别传统爬虫的卡顿
完美模拟人类操作，突破反爬限制
支持移动端模拟，适配今日头条APP端数据抓取

二、10分钟快速搭建Python+Playwright环境

1. 基础环境配置（Windows/Mac通用）

# 安装Python包
pip install playwright

# 安装浏览器内核
python -m playwright install

2. 验证安装成功

import playwright

print(playwright.__version__)  # 应输出1.40.0以上版本

三、新手必学四大核心操作

案例：自动获取今日头条热点文章数据

from playwright.sync_api import sync_playwright
import csv

def fetch_toutiao_hot():
    with sync_playwright() as p:
        # 启动无头浏览器
        browser = p.chromium.launch(headless=False)
        
        # 模拟移动端访问（更接近真实用户）
        iphone_12 = p.devices["iPhone 12 Pro"]
        context = browser.new_context(**iphone_12)
        
        page = context.new_page()
        
        try:
            # 访问今日头条热榜页面
            page.goto("https://m.toutiao.com/hot-event/hot-board/")
            
            # 等待数据加载完成
            page.wait_for_selector(".hot-article-item", timeout=15000)
            
            # 提取热点数据
            articles = page.query_selector_all(".hot-article-item")
            
            # 存储数据到CSV
            with open("toutiao_hot.csv", "w", newline="", encoding="utf-8") as f:
                writer = csv.writer(f)
                writer.writerow(["排名", "标题", "热度值", "链接"])
                
                for index, article in enumerate(articles[:20], 1):
                    title = article.query_selector(".title").text_content().strip()
                    heat = article.query_selector(".heat-value").text_content()
                    link = article.query_selector("a").get_attribute("href")
                    
                    writer.writerow([index, title, heat, f"https://m.toutiao.com{link}"])
                    
            print("成功抓取20条热点数据！")
            
        finally:
            browser.close()

if __name__ == "__main__":
    fetch_toutiao_hot()

四、代码逐行解析

设备模拟技术：

iphone_12 = p.devices["iPhone 12 Pro"]
context = browser.new_context(**iphone_12)

通过设备预设参数模拟移动端访问
有效规避PC端反爬机制

智能等待策略：

page.wait_for_selector(".hot-article-item", timeout=15000)

比传统time.sleep()更精准
确保数据加载完成再抓取

选择器使用技巧：

articles = page.query_selector_all(".hot-article-item")

支持CSS/XPath混合使用
通过Chrome开发者工具快速定位元素

五、进阶技巧：突破今日头条反爬限制

1. IP代理设置

browser = p.chromium.launch(
    proxy={
        "server": "http://your-proxy:port",
        "username": "user",
        "password": "pass"
    }
)

2. 指纹伪装策略

context = browser.new_context(
    user_agent="Mozilla/5.0 (iPhone; CPU iPhone OS 15_0 like Mac OS X)...",
    locale="zh-CN",
    timezone_id="Asia/Shanghai"
)

六、数据可视化：让爬虫结果更具传播力

使用抓取数据生成热点词云：

from wordcloud import WordCloud
import matplotlib.pyplot as plt

# 读取CSV数据
titles = pd.read_csv("toutiao_hot.csv")["标题"]

# 生成词云
wordcloud = WordCloud(
    font_path="msyh.ttc",
    width=800,
    height=400
).generate(" ".join(titles))

plt.imshow(wordcloud)
plt.axis("off")
plt.show()