Scrapy 标准配置代码与脚本示例
完全适配标准 HTTP 与 SOCKS5 代理鉴权规范,可随心粘贴调用。
config.python
# settings.py
DOWNLOADER_MIDDLEWARES = {
'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware': 110,
}
# 动态轮转住宅 IP 代理地址
HTTP_PROXY = 'http://你的子账号用户名:你的子账号密码@p1.bytesflows.com:8001'
# 或者配合中间件在每个 request 的 meta['proxy'] 中指定请登录 BytesFlows 用户中心获取您的子账号用户名和密码进行替换。如果需要锁定具体国家(如美国),请在用户名尾部追加 -cc-US。
Scrapy 数据报文是如何经过 BytesFlows 轮转的?
高可靠的四层与七层网关调度,确保每一次对外部目标的 HTTP/HTTPS 连接都具备真实的家庭住宅特征。
⚡
脚本发起请求
Scrapy 按照设定的网关端口向 BytesFlows 代理集群发出连接请求,并在 Header 中附带鉴权参数。
🔐
智能认证调度
BytesFlows 代理中枢即时校准并解析用户名中包含的地域指令(如 -cc-JP-city-tokyo)。
🏠
动态分配出口
从全球 6500 万+家庭宽带池中精选一条低延迟、高纯净度的实时在线住宅宽带 IP 建立隧道。
🌐
获取目标数据
目标服务端看到的是一条来自于真实本土网民的普通浏览流量,完美放行并返回期望数据。
支持「按每次连接自动轮转新 IP」与「长达 60 分钟固定同一个 IP(长效会话)」两种高频工作模式。