我如何在爬虫启动前验收代理：MyProxyChecker + curl 五层检查法

我不会把代理检测器里的一次绿色“Working”直接当成爬虫可用。它最多证明某个检测节点在某一刻通过该代理完成了一次请求；它没有自动证明我的运行环境配置正确、DNS 走了预期路径、出口身份符合要求、目标站接受这个出口，或者代理在下一批请求里仍然稳定。

我的做法是把验收拆成五层：先确认格式和认证，再用批量工具预筛，然后从真正运行爬虫的机器复测，接着检查出口 IP、转发头与 DNS，最后用授权目标做有界重复测试。任何一层失败，我都会给代理一个明确失败标签，而不是继续用“好像有点慢”来描述。

我的结论：代理“活着”和“适合这个任务”是两件事

这个分层对我很重要，因为它让失败可归因。认证错误不应该被误判成“代理质量差”，DNS 位置不对也不应该靠不停更换 IP 来掩盖。

第一层：我先把代理格式和认证写清楚

同一个 HOST:PORT 可能是 HTTP、HTTPS CONNECT、SOCKS4 或 SOCKS5。客户端猜错协议时，端口即使开放也会得到握手失败、奇怪响应或超时。我会在任务配置里显式保留 scheme，而不是只存一串地址。

# 无认证 HTTP 代理
http://HOST:PORT

# 有认证 HTTP 代理
http://USER:PASS@HOST:PORT

# SOCKS5，域名由本机解析
socks5://HOST:PORT

# SOCKS5，域名交给代理解析
socks5h://HOST:PORT

私有代理凭据不应该出现在文章、截图、共享日志或 shell history 中。实际运行时，我会把地址和凭据放入受控环境变量或密钥管理器；日志只保存经过哈希的代理 ID。HTTP 407 Proxy Authentication Required 属于代理认证层，它和目标网站自己的 401 不是同一个问题。

第二层：我用 MyProxyChecker 批量预筛，但不在这里下最终结论

第一轮我会把允许外部检测的候选放进 MyProxyChecker。当前页面可以选择自动识别、HTTP、HTTPS CONNECT 或 SOCKS5，并把 Working/Failed、速度、匿名性、出口 IP、位置、网络、风险、目标结果、尝试过的协议和失败原因分开显示。

我在这一层只做三件事：

1. 剔除格式错误、重复行、连接失败和明显认证失败的候选。
2. 记录工具观察到的协议、出口和失败标签，作为后续复测线索。
3. 如果业务允许并且目标在工具允许列表内，用可选目标和匹配字符串做一次早期检查。

我不会把“匿名性”或“风险”列当作绝对真相，也不会把一次速度值当成长期延迟。不同检测节点、目标、时段和连接复用方式都可能改变结果。包含付费账号或敏感口令的代理，我优先在自己的运行环境本地检查，而不是粘贴到第三方页面。

第三层：我一定从真正运行爬虫的环境再跑一次 curl

浏览器保存的认证、PAC、系统代理或扩展配置，脚本不一定继承。因此我会在容器、VPS 或执行节点上直接复测。curl 的 官方代理文档 将代理类型、SOCKS、认证和代理专用请求头分开说明，适合作为配置基线。

: "${PROXY_URL:?set PROXY_URL without printing credentials}"
: "${TARGET_URL:?set an authorized TARGET_URL}"

curl --proxy "$PROXY_URL" \
  --connect-timeout 5 \
  --max-time 20 \
  --silent --show-error \
  --output /dev/null \
  --write-out 'http=%{http_code} connect=%{time_connect} tls=%{time_appconnect} ttfb=%{time_starttransfer} total=%{time_total}\n' \
  "$TARGET_URL"

这里的每个值回答不同问题：

• time_connect 高或直接失败，优先看代理地址、端口、网络可达性和连接容量。
• time_appconnect 只在 TLS 建立时有意义；HTTPS CONNECT 失败不能简单归因于目标站慢。
• http_code 是目标响应，不等于 curl 进程成功。命令退出码、HTTP 状态和内容匹配必须分开记录。
• time_starttransfer 包含前面的网络阶段和服务端等待，不能单独当成代理纯延迟。

如果代理凭据分开存储，我会使用 --proxy-user "$PROXY_USER:$PROXY_PASS"，同时关闭会泄露命令行或环境变量的调试输出。生产日志绝不打印完整代理 URL。

第四层：我把出口 IP、转发头和 DNS 当成三类证据

出口 IP 告诉我目标看到哪个来源地址；转发头告诉我代理链主动带出了什么；DNS 则告诉我域名在哪里解析。三者不能互相替代。

SOCKS5 的 DNS 位置要显式决定

socks5:// 通常由客户端解析域名，socks5h:// 则把主机名交给代理解析。如果我的目标是让远端代理完成 DNS，我会显式使用 socks5h，并从实际容器或 VPS 运行，而不是只在桌面浏览器里看结果。

转发头存在或缺失都需要边界

RFC 7239 定义了可选的 Forwarded 请求头，它可以携带 for、by、host 和 proto 等代理链信息，也明确讨论信息泄露和隐私风险。因为该字段是可选的，代理还可能添加、保留或删除它，所以：

• 看到我的原始 IP 出现在可信回显结果里，对隐私型任务是明确失败。
• 没有看到 Forwarded、Via 或 X-Forwarded-For，只能说明本次回显没有这些字段，不能单独证明“100% 匿名”。
• 我只在自己控制或明确允许的回显端点检查头部，不把任意第三方响应当作完整链路证据。

第五层：我用真实目标和小样本重复性做最后决定

代理通过通用回显站，不代表它能访问业务目标。目标可能按 ASN、国家、TLS 指纹、Cookie 历史、请求频率或出口信誉采取不同策略。最终测试必须使用被授权的目标路径，并检查业务真正需要的内容，而不只是 HTTP 200。

下面是我会采用的十次低成本 smoke test。十次不是行业标准，也不能代替负载测试；它只是让“偶然成功一次”和“短时间可重复”分开。

: "${PROXY_URL:?}"
: "${TARGET_URL:?}"

for run in 1 2 3 4 5 6 7 8 9 10; do
  if curl --proxy "$PROXY_URL" \
      --connect-timeout 5 \
      --max-time 20 \
      --silent --show-error \
      --output /dev/null \
      --write-out "run=$run http=%{http_code} connect=%{time_connect} ttfb=%{time_starttransfer} total=%{time_total}\n" \
      "$TARGET_URL"; then
    : # transport completed; evaluate HTTP status and expected content separately
  else
    printf 'run=%s transport=failed\n' "$run"
  fi
  sleep 3
done

对于轮换代理，出口变化可能是预期行为；对于粘性会话，出口频繁变化就是失败。我的验收配置会明确写出期望，而不是用同一规则判断两种产品。

我的代理验收状态机

ACCEPTED_FOR_JOB 是有范围的结论，不是给代理贴上永久“优质”标签。目标、地区、并发、会话模式或供应商配置变化后，我会重新验收。

我会保留哪些证据，又绝不记录什么

为了让失败可以复盘，我会给每次验收保存最小记录：

• 哈希后的代理 ID、协议类型和检查时间；
• 检测节点或实际运行环境标识；
• 出口 IP、国家/网络观察值及其来源；
• curl 退出码、HTTP 状态、连接/TLS/TTFB/总耗时；
• 目标内容匹配结果和明确失败标签；
• 轮换或粘性会话的预期，以及本次是否满足。

我不会保存明文用户名、密码、完整代理 URL、Cookie、目标账号令牌或未经授权的响应正文。需要共享日志时，先做脱敏，再把配置错误和代理质量问题分开。

几个最常见的误判

• 一次 200 就通过：200 可能来自挑战页、登录页或错误模板，必须校验预期内容。
• 速度列越小越好：单次值会受检测节点和目标影响；至少分开观察连接、TLS、TTFB 和总耗时。
• 没有转发头就绝对匿名：头部是可选且可修改的，只是证据的一部分。
• 浏览器成功，脚本必然成功：浏览器可能继承 PAC、系统认证、Cookie 或扩展，容器和 SDK 未必拥有同样配置。
• SOCKS5 自动解决 DNS：解析发生在本地还是代理端取决于客户端和 scheme，必须显式选择并验证。
• 通用回显成功等于目标成功：真正的验收对象是“代理 + 运行环境 + 目标 + 请求行为”这套组合。

结论

我的代理验收顺序很简单：先让批量工具快速缩小候选，再从真实运行环境验证协议、认证、DNS、出口和头部，最后用授权目标做小样本重复测试。这样做的价值不在于得到一个漂亮分数，而在于每次失败都有明确层级、每次通过都有适用范围。

只有当格式、连接、身份、目标和重复性五层都满足当前任务，我才会把代理标记为 ACCEPTED_FOR_JOB。下一次目标、地区或会话要求改变时，这个结论也要重新验证。