Crawl4AI 框架接入指南

Crawl4AI + 住宅代理：极速 LLM Markdown 语料提取利器

为 Crawl4AI 框架中的 AsyncWebCrawler 注入高匿名住宅 IP。将单页应用 (SPA) 与重度 JS 渲染页面精准转为结构化 Markdown，真机通过率高达 99.2%。

Crawl4AI 住宅路由配置核心代码

将认证代理连接字符串配置到 BrowserConfig 构造类中。

example.py

import asyncio
from crawl4ai import AsyncWebCrawler, BrowserConfig, CrawlerRunConfig

async def extract_markdown():
    # 传入 BytesFlows 自动轮换住宅代理
    browser_cfg = BrowserConfig(
        headless=True,
        proxy="http://user-youraccount-rotate:password@proxy.bytesflows.com:31112"
    )
    run_cfg = CrawlerRunConfig(word_count_threshold=20)

    async with AsyncWebCrawler(config=browser_cfg) as crawler:
        result = await crawler.arun(url="https://example.com/llm-research-paper", config=run_cfg)
        print("提取完成! 正文 Markdown 字符长度:", len(result.markdown))

asyncio.run(extract_markdown())

使用真实住宅 IP 为 Crawl4AI 语料管线提速

新用户注册立享 1 GB 试用，按需计费无负担。