精通 Crawlee：2026 年最全的网页抓取实战教程

导言：为什么 Crawlee 改变了游戏规则？

在网页抓取的早期，开发者被迫在简单的 HTTP 库（如 axios）和笨重的浏览器自动化工具（如 Selenium）之间做出选择。这两者之间缺乏一个中间地带——直到 Crawlee 的出现。

Crawlee（前身为 Apify SDK）不仅是一个简单的库，它是一个功能齐全的抓取框架，能够处理爬虫中最“无趣”且最具挑战性的部分：请求队列管理、数据存储，以及最重要的——绕过反爬虫系统。无论你是独立开发者，还是大型数据工程团队的一员，Crawlee 都能为你提供构建生产级可靠爬虫的基石。

Crawlee 的三大支柱

Crawlee 最好的特性之一就是其统一的接口。你只需要更改一个类名，就可以在不同的爬虫类型之间切换，而保持 90% 的业务逻辑完全一致。

1. CheerioCrawler (极致速度)

当你不需要执行 JavaScript 时，CheerioCrawler 是你的最佳选择。它使用 cheerio 解析 HTML，速度极快且极度节省系统资源。它非常适合静态博客、商品列表页或任何数据包含在初始 HTML 响应中的站点。

2. PlaywrightCrawler (现代标准)

这是我们针对 90% 的现代项目所推荐的选择。它利用 Playwright 来管理真实的浏览器实例。它能轻松处理重度依赖 JS 的站点、单页应用 (SPA) 以及复杂的交互场景。

3. PuppeteerCrawler (老牌劲旅)

虽然 Playwright 正在快速崛起，但许多遗留系统仍依赖 Puppeteer。Crawlee 对其提供完全支持，并提供相同的高级抽象来管理浏览器池。

处理代理：成功的关键

一个爬虫的上限取决于它的网络。在 Crawlee 中，代理管理直接集成在 ProxyConfiguration 类中。对于严谨的项目，你应该始终优先选择 住宅代理 而不是机房代理。

import { PlaywrightCrawler, ProxyConfiguration } from 'crawlee';

// 配置 Bytesflows 住宅代理池
const proxyConfiguration = new ProxyConfiguration({
    proxyUrls: [
        'http://用户名:密码@p1.bytesflows.com:8001'
    ]
});

const crawler = new PlaywrightCrawler({
    proxyConfiguration,
    requestHandler: async ({ page, request }) => {
        console.log(`正在处理: ${request.url}`);
        // Crawlee 会在这里自动处理代理轮换和 session 管理
        await page.goto(request.url);
        const title = await page.title();
        console.log(`页面标题 (${request.url}): ${title}`);
    },
});

await crawler.run(['https://bytesflows.com']);

为什么 Crawlee 是规模化的首选？

当我们谈论 大规模抓取数据 时，普通的脚本往往会因为内存泄露或未处理的错误而崩溃。Crawlee 通过以下机制解决了这些痛点：

• RequestQueue (请求队列): 一个智能的“待办事项列表”，确保每个 URL 仅被爬取一次。即使进程崩溃并重启，它也能从断点处继续。
• Dataset (数据集): 稳定地将结果存储在 JSON、CSV 或 XML 中，无需担心文件损坏并发写入问题。
• Autoscaling (自动伸缩): Crawlee 实时监控 CPU 和内存使用情况，自动增减并发浏览器标签页的数量，以保持服务器健康。

规避封禁：指纹与隐身

默认情况下，标准的浏览器自动化很容易成为 Cloudflare 等反爬系统 的目标。Crawlee 内置了浏览器指纹支持。当配合 动态住宅代理重轮换策略 使用时，你的流量将与真实用户的浏览行为无异。

[!TIP]

始终在 PlaywrightCrawler 选项中使用 useFingerprints: true。这将随机化屏幕分辨率、字体列表和 GPU 信息等属性，从而绕过浏览器指纹检测。

实战建议：起步稳健，放眼全局

1. 优先考虑 Cheerio: 如果站点不需要 JS 加载，就不要使用浏览器。这能为你节省 90% 的服务器成本。
2. 使用粘性会话 (Sticky Sessions): 如果你正在抓取需要登录或有购物车逻辑的站点，请确保代理配置使用粘性会话，以保证整个用户路径使用同一 IP。
3. 监控失败率: 如果超过 5% 的请求返回 403 或 429，说明是时候提升你的 代理信任评分 了。

总结

Crawlee 大大降低了专业网页抓取的门槛。通过开箱即用地处理复杂的架构和反爬防御，它让你能专注于核心业务：数据本身。将其与 强大的住宅代理网络 相结合，你将拥有一套能够应对互联网任何挑战的强大系统。