来源清单与权限
在采集前明确公开或已授权来源、所需字段、更新周期和保留期限。
不要只追求页面数量，要优化每条合格数据的证据与成本
选择最轻传输方式
静态页面优先 HTTP，只有依赖渲染或状态时才使用浏览器。
地区与语言一致性
代理地区、语言头、时区和页面标记必须互相匹配。
Schema 质量门
在写入向量库前校验必填字段、类型、范围和来源标记。
来源追踪
保存 URL、时间、线路模式、解析版本和紧凑证据，支持回放和纠错。
合格记录成本
统计流量、渲染、重试、模型 Token 与被拒记录，而不是只看请求速度。
AI 数据采集常见问题
所有 RAG 数据源都需要住宅代理吗？
不需要。官方 API 或直接访问稳定且合规时应优先使用；只有业务需要消费者地区视角或数据中心线路不代表目标市场时才使用住宅代理。
LLM 可以决定无限重试吗？
不可以。重试分类、次数、并发和停止条件应由执行层控制，模型只能在批准的动作中选择。
哪些内容不应写入向量库？
挑战页、同意页、空结果、导航噪声、无来源记录和未通过 Schema 校验的数据都不应进入正式索引。