- 平台爬虫四个层级:公开数据中心 IP(易识别)、私有数据中心 IP(中)、住宅代理(难)、真人设备(最难)。
- UA 伪装从粗糙到精细:固定 facebookexternalhit → 通用 Chrome → 真实用户设备版本组合。最新爬虫几乎完全模拟真用户。
- ML 流量画像看 5 维:停留时长、滚动深度、设备分布、转化模式、跨平台一致性。任何一维异常都打风险分。
- ROAS365 的对应防御:6 维识别引擎 + 周更新爬虫指纹库 + TLS / Canvas / WebGL 多层指纹 + 行为信号分析。
平台爬虫的四层架构
广告平台的反斗篷不是单一爬虫,而是分层的探测体系。从易识别到难识别,四层:
第一层:公开数据中心爬虫。比如 Googlebot 公开 IP 段(66.249.x.x 整段)、facebookexternalhit 来自 Meta AS32934。这层是平台主动公开的"标准爬虫",任何斗篷工具都能识别屏蔽。
第二层:私有数据中心爬虫。平台的非公开探测器,来自平台自有云资源(Google Cloud、AWS、平台私有 IP 段)。不在公开列表,但 IP 段相对集中,有经验的斗篷工具能识别。
第三层:住宅代理爬虫。平台用付费住宅代理服务(BrightData、Oxylabs 等)做"伪装成真用户的爬虫"。来自真实家庭网络 IP,UA 完整模拟,基本只能靠 TLS fingerprint + 行为信号识别。
第四层:真人审核员。在马尼拉 / 班加罗尔 / 都柏林 / 圣保罗的真人,用真笔记本真 Chrome 看你的广告。网络层跟真用户 100% 一致,只能靠设备指纹 + 行为模式区分。
第三和第四层是真正的难点。
Meta 的反斗篷爬虫策略
Meta 用全部四层。具体:
第一层用 facebookexternalhit、Facebot,公开 IP 在 Meta AS32934。
第二层用 Meta 自有云资源,IP 不公开但来源相对集中(Lulea Sweden、Forest City North Carolina 几个 data center)。
第三层用 BrightData 住宅代理,2024 年起大规模启用。UA 全是真实 Chrome 版本,IP 来自普通家庭网络。
第四层审核员主要在马尼拉、东欧,用真笔记本 + 真 Chrome。一周大概看你账户广告 3-5 次。
Meta 反斗篷特点:初次审核完成后,后续监控强度逐步降低。所以新账号前 14 天是高敏感期,过了这段相对放松。
Google 的反斗篷爬虫策略
Google 最激进。具体:
第一层用 Googlebot,IP 段官方公开(crawl-*.googlebot.com、66.249.x.x)。AdsBot 单独一支,IP 不公开。
第二层用 Google Cloud 整段(AS15169),34.x.x.x / 35.x.x.x 等大段。Google 内部探测器经常用这层。
第三层 Google 自有住宅代理网络(规模业内最大,据传跟 Chrome 浏览器数据合作)。这层 IP 几乎不可识别,只能靠 TLS / Canvas 指纹。
第四层审核员遍布美国 / 印度 / 爱尔兰 / 新加坡。Google 审核员特别喜欢查 Wayback Machine 看页面历史。
Google 反斗篷特点:7x24 持续抓,不像 Meta "初审一过就放松"。一个跑了 3 个月的广告,Googlebot 每周还会来 10+ 次。
TikTok 的反斗篷爬虫策略
TikTok 后入场但发展快。具体:
第一层基础爬虫 IP 来自字节跳动自有数据中心,新加坡、洛杉矶有大节点。
第二层私有探测器从 BytePlus 云资源出去。
第三层住宅代理使用率比 Meta 低,但东南亚住宅代理用得多(印尼、菲律宾、越南)。
第四层审核员分布跟 Meta 不同:东南亚 40%、印度 25%、拉美 15%、美国 20%。这就是为什么用 Meta 训练的审核员画像库识别 TikTok 审核员效果差。
TikTok 反斗篷特点:重视频指纹和内容审核,IP/UA 屏蔽相对没那么严。但视频指纹关联让单账号封号扩散性强。
UA 伪装的演化历程
平台爬虫的 UA 怎么变,看一遍历史:
2018 年前:UA 固定且暴露。facebookexternalhit/1.1、Mozilla/5.0 (compatible; Googlebot/2.1) 直接屏蔽就行。
2019-2021:UA 开始多样化。Googlebot 出 Mobile 版本、Smartphone 版本、AdsBot 版本。
2022-2024:出现"通用 Chrome UA"伪装。爬虫 UA 完全模拟普通用户的 Chrome,基本无法靠 UA 区分。
2025-2026:全面真实化。爬虫 UA 跟着真用户的 Chrome 版本同步升级,版本号、操作系统、语言、浏览器特性都精准模拟。完全无法靠 UA 区分。
结论:仅靠 UA 屏蔽爬虫早就过时了。现代斗篷必须叠加多维指纹。
ML 流量画像的 5 个维度
平台的 ML 系统是斗篷最难绕过的对手。它看 5 个维度:
停留时长。真用户在落地页平均停留 30-60 秒;审核员通常 < 5 秒;爬虫 < 1 秒。
滚动深度。真用户平均滚到页面 50-70%;审核员可能 100% 或 0%(扫一眼或不看);爬虫一般不滚动。
设备分布。真用户在某地区某 OS / 浏览器组合的占比相对稳定(美国 Windows Chrome ~30%);异常分布(50%+ Linux 服务器版本)直接标。
转化模式。真用户在某品类的 CVR 有正态分布;突然 CVR 翻倍或者归零 = 流量异常。
跨平台一致性。同样的广告在 Meta 和 Google 都跑,两边数据画像差异超过阈值 = 至少一边有问题。
任意一维异常 = 风险分增加。3 维以上异常 = 触发人工审核。
斗篷工具的对应防御
针对上面四层 + 5 维 ML,顶级斗篷工具的防御策略:
对第一层公开 IP:维护完整的 IP 黑名单库,周更新。这是最低门槛。
对第二层私有 IP:监控历史命中数据,把疑似 IP 段加入黑名单(行为像爬虫但不在公开列表的)。
对第三层住宅代理:用 TLS fingerprint(JA3 hash)+ Canvas / WebGL fingerprint 识别。审核工具的 fingerprint hash 跟真 Chrome 略有不同,这是关键差异。
对第四层真人审核员:用设备指纹的组合特征(屏幕分辨率 + 字体 + 时区 + 语言)区分。审核员的设备组合常出现"美国 IP + 印度语言时区"这种不一致。
对 ML 流量画像:别让画像异常 —— 维持稳定 CVR、CTR、停留时长。突变就是信号。
攻防的本质
斗篷攻防本质上是工程能力的对抗。平台有专门团队投入研究,你也需要专门工具持续跟进。
自建斗篷的团队通常输在两点:
第一,识别规则更新跟不上。平台每周升级爬虫指纹,你 6 个月手动更新一次,3 个月就被攻破。
第二,多维度识别投入不够。只做 IP+UA 屏蔽容易,做到 200+ 维度的设备指纹需要持续工程投入。
ROAS365 在这两点投入大:每周自动更新规则库 + 200+ 维度识别引擎。这是工业级斗篷工具跟玩具级斗篷工具的核心差异。
一句话总结
平台用四层爬虫 + 5 维 ML 攻你,你必须用同等深度的防御应对。仅 IP/UA 屏蔽对应不了住宅代理和真人审核员,必须叠加 TLS / Canvas / WebGL 多维指纹 + 行为信号分析。这套工程量自建几乎不可能,ROAS365 帮你扛。免费试用入口在 CTA。
常见问题
为什么 TLS fingerprint 能识别真人审核员?
TLS fingerprint(JA3 hash)是 TLS 握手时客户端发的特征指纹,跟浏览器版本、操作系统、加密库版本绑定。真人审核员的笔记本可能装了企业 MDM 软件 / 自动化测试框架,导致 TLS fingerprint 跟真用户略有不同。这个差异肉眼看不出但能算法识别。ROAS365 维护已知审核工具的 JA3 hash 库。
Canvas fingerprint 怎么区分爬虫和真用户?
浏览器在 Canvas 上绘图时,因为 GPU 驱动、字体渲染、抗锯齿设置不同,生成的图像 hash 不一样。Headless 浏览器(Puppeteer / Playwright)的 Canvas hash 跟真 Chrome 不同,这是经典的 bot 检测信号。住宅代理爬虫用 headless browser 时也无法绕过。ROAS365 检测 200+ 种 Canvas 异常模式。
为什么不能仅靠行为信号识别审核员?
因为行为信号要等页面加载完成 + 用户开始交互才能收集,这时候审核员可能已经看到真页了。行为信号只能做'后置确认',不能作为'前置拦截'。前置拦截必须靠 IP / UA / TLS / Canvas 这些请求时就能拿到的信号。行为信号最大用途是给历史数据打标签,完善 ML 训练。
平台为什么不公开他们的全部爬虫策略让所有人遵守?
因为公开 = 失效。爬虫策略本质是 cat-and-mouse game,公开后斗篷工具立刻 100% 屏蔽,等于平台主动放弃武器。平台只公开最基础那一层(Googlebot 公开 IP),保留高价值的检测手段(住宅代理、ML 算法)作为后手。
斗篷工具的'周更新'到底更新什么?
三类内容:(1) 新发现的爬虫 IP 段(从客户命中数据反推);(2) 新的审核员设备指纹模式(从被封案例反向工程);(3) 平台政策升级后的检测规则调整(比如 Meta 2026 年 3 月升级了视频指纹关联检测,工具规则要相应调整)。这些更新自建团队几乎不可能跟上,需要专门团队持续投入。