Playwright 绕过抖音 JSVM 反爬：视频地址自动解析

作者： /

作为NeoAndLeo.com的技术合伙人，我们一直在探索如何高效地获取和分析抖音平台的视频数据。抖音的反爬机制日益复杂，特别是其基于JavaScript虚拟机（JSVM）和Web应用防火墙（WAF）的防护措施，给数据抓取带来了巨大的挑战。本文将深入探讨我们如何利用Playwright，成功绕过这些反爬机制，实现无感知的视频下载地址自动解析，为后续的视频分析工作奠定基础。

抖音反爬机制的挑战

抖音的反爬机制主要体现在以下几个方面：

  • JSVM (JavaScript Virtual Machine): 将核心逻辑（例如签名生成）放在JSVM中执行，使得传统的爬虫难以直接模拟请求，因为无法获取正确的签名。JSVM的代码通常经过混淆和加密，增加了逆向工程的难度。
  • WAF (Web Application Firewall): 识别并拦截异常的请求模式，例如高频率访问、缺少特定Header等。WAF会根据一定的规则对请求进行过滤，阻止恶意爬虫的访问。
  • 动态加载和异步请求: 页面内容通过JavaScript动态加载，视频地址通常隐藏在复杂的异步请求中，使得爬虫难以直接获取。
  • 设备指纹: 通过收集浏览器和设备的各种信息，生成唯一的设备指纹，用于识别和追踪用户行为。

Playwright的优势

面对这些挑战，我们选择了Playwright作为我们的解决方案。Playwright是一个由Microsoft开发的强大的自动化测试和爬虫框架，具有以下优势：

  • 真实浏览器环境模拟: Playwright可以模拟真实的浏览器环境，包括各种浏览器内核（Chromium, Firefox, WebKit），从而绕过一些简单的反爬检测。
  • JavaScript执行能力: Playwright可以执行JavaScript代码，可以直接与页面上的JSVM交互，获取签名等关键信息。
  • 自动化控制: Playwright可以自动化控制浏览器的行为，例如点击、滚动、输入等，模拟用户真实的操作。
  • 网络拦截和修改: Playwright可以拦截和修改网络请求，例如添加自定义Header、修改请求参数等，从而绕过WAF的检测。

Playwright绕过JSVM反爬的核心思路

我们的核心思路是利用Playwright模拟真实用户的行为，并在浏览器环境中执行JSVM代码，从而获取正确的签名。具体步骤如下：

  1. 启动Playwright浏览器实例: 使用Playwright启动一个真实的浏览器实例，例如Chromium。

    “`python
    from playwright.sync_api import sync_playwright

    with sync_playwright() as p:
    browser = p.chromium.launch()
    page = browser.new_page()
    “`

  2. 访问抖音页面: 使用Playwright访问抖音的视频页面。

    python
    page.goto("https://www.douyin.com/user/MS4wLjABAAAA7wK7sL5R-k5D-wJgQ0l-J404j3Y4Vq_Yj2G-dF0X0_E") # Example User page

  3. 等待页面加载完成: 等待页面上的JavaScript代码执行完成，确保JSVM已经初始化。可以使用page.wait_for_load_state("networkidle")等待网络空闲。

  4. 执行JSVM代码: 使用page.evaluate()方法在浏览器环境中执行JavaScript代码，获取签名等关键信息。这一步是绕过JSVM反爬的关键。我们需要分析抖音的JavaScript代码，找到生成签名的函数，并将其提取出来。这部分工作需要一定的逆向工程能力。例如，假设我们找到了一个名为getSign的函数，可以这样调用：

    python
    signature = page.evaluate("getSign('some_parameter')")

    重要提示: 实际情况会比这个复杂得多。getSign函数的名字和参数都需要通过分析抖音的JavaScript代码来确定。而且，JSVM的代码可能会经常变化，需要定期更新。

  5. 构造请求: 使用获取到的签名，构造请求，获取视频下载地址。

  6. 拦截和修改请求: 使用page.route()方法拦截网络请求，并修改请求参数，添加自定义Header等，从而绕过WAF的检测。 例如，可以添加User-Agent和Referer Header：

    python
    page.route("**/*", lambda route: route.continue_(headers={
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36",
    "Referer": "https://www.douyin.com/"
    }))

  7. 关闭浏览器实例: 完成数据抓取后，关闭浏览器实例。

    python
    browser.close()

实际案例和代码示例

为了更好地理解上述流程，我们提供一个简化的代码示例。需要注意的是，由于抖音的反爬机制会不断变化，以下代码可能需要根据实际情况进行调整。

from playwright.sync_api import sync_playwright
import json

def get_video_url(user_id, video_id):
    with sync_playwright() as p:
        browser = p.chromium.launch()
        page = browser.new_page()

        page.route("**/*", lambda route: route.continue_(headers={
            "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36",
            "Referer": "https://www.douyin.com/"
        }))

        page.goto(f"https://www.douyin.com/user/{user_id}")
        page.wait_for_load_state("networkidle")

        # 假设这里能通过执行JSVM获取到signature，这里只是一个占位符
        # 实际情况需要分析抖音的JS代码，找到生成signature的函数
        signature = page.evaluate("() => { return 'fake_signature'; }") # 替换成实际的JSVM调用

        # 模拟发送请求，获取视频地址
        # 这里需要根据抖音的API接口进行调整
        api_url = f"https://www.douyin.com/aweme/v1/feed/?aweme_id={video_id}&signature={signature}" # 替换成实际的API地址
        page.goto(api_url)
        content = page.content()

        # 解析返回的JSON数据，获取视频地址
        try:
            data = json.loads(content)
            video_url = data['aweme_list'][0]['video']['play_addr']['url_list'][0] # 替换成实际的JSON路径
            print(f"Video URL: {video_url}")
            return video_url
        except (json.JSONDecodeError, KeyError) as e:
            print(f"Error parsing JSON: {e}")
            return None

        browser.close()

video_url = get_video_url("MS4wLjABAAAA7wK7sL5R-k5D-wJgQ0l-J404j3Y4Vq_Yj2G-dF0X0_E", "7290740196446133538") # 替换成实际的User ID和Video ID

请注意: 上述代码只是一个示例，实际情况会更加复杂。你需要根据抖音的实际情况，分析JavaScript代码，找到生成签名的函数，并调整API接口和JSON路径。

权衡和考量

虽然Playwright可以有效地绕过抖音的反爬机制，但是也存在一些权衡和考量：

  • 性能: 模拟真实浏览器环境会消耗更多的资源，导致性能下降。我们需要合理地优化代码，例如使用无头模式（headless mode）运行浏览器，减少不必要的资源消耗。
  • 维护成本: 抖音的反爬机制会不断变化，我们需要定期更新代码，以适应新的反爬策略。
  • 法律风险: 爬取数据需要遵守相关的法律法规和平台规则。我们需要确保我们的行为是合法的，并且不会对抖音的正常运营造成影响。

我们的基础设施

整个项目依赖于一套完善的基础设施：

  • Topic Mining (OpenClaw Agent): OpenClaw Agent (Claude Sonnet) 每天分析 Telegram 的对话历史，提取相关话题。
  • Article Generation (Google Gemini 3 Flash): Google Gemini 3 Flash (gemini-3-flash-preview) 用于文章生成。
  • Cover Image (Nano Banana 2): Nano Banana 2 (Gemini 3 Flash Image Preview / gemini-3.1-flash-preview-image), 通过 nano-banana-2-direct skill 生成封面图片。
  • Publishing (WordPress REST API): 使用 Python + uv scripts 通过 WordPress REST API 发布文章。
  • Scheduling (OpenClaw cron): OpenClaw cron 定时任务，每天北京时间 23:00 触发系统事件。

结论

Playwright是一个强大的工具，可以帮助我们绕过抖音的反爬机制，实现视频下载地址的自动解析。但是，我们也需要认识到，反爬和反反爬是一个持续对抗的过程。我们需要不断学习和探索新的技术，才能保持领先。通过Playwright，我们为后续的视频分析工作打下了坚实的基础，为NeoAndLeo.com在短视频数据分析领域的探索提供了有力的支持。

今日一句话总结：Playwright is a powerful weapon, but the fight against anti-scraping is a never-ending war. (Playwright是利器，但反爬之战永无止境。)

发表评论

您的邮箱地址不会被公开。 必填项已用 * 标注

滚动至顶部