住宅代理电商价格监控：SKU、地域与证据链

🛒

电商价格监控的目标不是“抓到一个数字”，而是回答：哪个 SKU、哪个地区、什么购买条件、在什么时间显示了什么价格，并且是否有可复核证据。

同一商品可能同时存在标价、会员价、优惠券价、购物车价、订阅价、税前价和含税价。如果系统只保存一个 price 字段，后续几乎无法解释价格变化，也无法判断抓取结果是否有效。

先定义监控口径

每个监控项目至少应明确：

商品唯一标识：SKU、ASIN、UPC 或站内商品 ID
市场：国家、地区、城市或配送邮编
币种
登录状态：未登录、会员或授权测试账号
价格类型：标价、促销价、会员价、购物车价
是否包含税费
是否包含运费
库存与配送条件
采集频率
允许访问的页面与速率

没有这些口径，跨地区和跨时间比较会产生大量伪变化。

为什么地域会改变结果

电商页面可能根据以下信号改变价格和库存：

出口 IP 国家或城市
配送地址或邮编
账号地区
Cookie 中保存的站点或门店
浏览器语言与时区
URL 中的市场参数
设备类型

因此，住宅代理只解决网络出口的一部分。正确的做法是建立完整的市场配置。

json

{
  "country": "US",
  "city": "New York",
  "postalCode": "10001",
  "locale": "en-US",
  "timezone": "America/New_York",
  "currencyExpected": "USD",
  "cookiePolicy": "fresh-per-run",
  "proxyMode": "sticky"
}

轮换与粘性会话怎么选

轮换会话适合：

不同 SKU 互相独立
只读取公开商品页
每次请求不依赖购物车或配送设置

粘性会话适合：

设置邮编后继续查看商品
需要保持门店或配送区域
多页浏览、购物车或授权测试流程
Cookie 与网络身份需要保持一致

同一个逻辑任务中途更换 IP，可能导致币种、库存或风控页面变化。

采集流程

优先使用静态 HTTP 响应。只有必要数据依赖 JavaScript、配送交互或页面状态时，才升级到 Playwright 等浏览器采集。

页面分类必须先于价格提取

常见页面类别：

正常商品页
缺货页
商品下架页
登录页
地区不可售页
Cookie/隐私同意页
CAPTCHA 或挑战页
访问限制页
软 404

一个 HTTP 200 的挑战页不能当作有效商品页。

Python 采集骨架

python

import asyncio
import httpx

async def fetch_product(url: str, proxy: str) -> dict:
    timeout = httpx.Timeout(connect=10, read=20, write=10, pool=10)
    async with httpx.AsyncClient(
        proxy=proxy,
        timeout=timeout,
        follow_redirects=True,
        headers={"Accept-Language": "zh-CN,zh;q=0.9"},
    ) as client:
        response = await client.get(url)
        return {
            "status": response.status_code,
            "final_url": str(response.url),
            "content_type": response.headers.get("content-type"),
            "body": response.text,
        }

asyncio.run(fetch_product(
    "https://example.com/product/123",
    "http://USER:PASSWORD@PROXY_HOST:PORT",
))

示例未执行。实际项目要把凭证放入密钥管理系统，并避免在异常日志中输出完整代理 URL。

提取后的规则校验

币种是否符合市场
当前价是否为正数
促销价是否高于标价
商品 ID 是否与任务一致
页面标题和商品名称是否匹配
库存字段是否来自有效商品页
价格变化是否超过合理阈值
证据哈希和原始页面是否存在

大幅变化应触发二次采集或人工复核，而不是直接发出商业告警。

证据应该保存什么

请求 URL 与最终 URL
采集时间
市场配置
页面状态与分类
关键响应头
经过批准的 HTML 或文本快照
页面截图（仅在视觉状态必要时）
内容哈希
提取器版本
代理出口地域，但不保存密码

证据用于回答“为什么系统认为价格变了”。

重试策略

失败类型	处理方式
407	停止并修复代理凭证
连接超时	有限重试或更换健康路由
429	降低频率并遵守服务端指导
明确拒绝访问	停止并检查授权与站点政策
错误地区	检查 IP、邮编、Cookie、语言与账号地区
解析失败	保存证据，更新解析器，不盲目换 IP

衡量每条有效 SKU 的成本

plain text

有效 SKU 率 = 通过校验的 SKU / 尝试次数
每条有效 SKU 流量 = 总下载字节 / 有效 SKU
每条有效 SKU 成本 = 代理与计算总成本 / 有效 SKU
重试膨胀系数 = 尝试次数 / 有效 SKU

只看请求成功率会掩盖挑战页、错地区和错误价格。

上线检查清单

SKU 与市场唯一键明确。
价格、税费、运费和优惠口径明确。
页面分类器覆盖挑战页与软 404。
轮换与粘性会话按任务边界配置。
出口地域和页面市场同时验证。
所有变化都有证据。
大幅变化需要二次确认。
重试、时间和流量预算有限。
凭证不会进入日志。
已复核目标站条款、robots 和适用法律。

真实性边界

本文代码与数据均为实施示例，没有在创建文章时执行，也不构成任何特定站点的成功率或兼容性证明。生产前必须使用获得授权的目标和真实 SKU 小样本验证。

住宅代理电商价格监控：从 SKU 数据模型到证据留存

Key Takeaways