- A/B 测试在同一时间用实时流量对比两个页面版本——控制住了「前后对比」无法控制的日历效应。
- 先测高杠杆的东西：标题、首屏和报价，胜过按钮颜色。
- 先算样本量、跑满整周、达到 95% 置信度，别偷看就停。
- A/B 测试完全合规；它正是 cloaking 的反面。
落地页 A/B 测试是什么
A/B 测试（也叫对照实验、split testing）会把一个页面的两个版本——原始的「对照组」（A）和一个「变体」（B）——在同一时间分配给可比的实时流量，再看哪个转化更好。因为两个版本同时跑，你就控制住了季节性、流量来源、星期几这些会毁掉「简单前后对比」的因素。
如果只记住一条规则：永远不要拿「这周的新版」去对比「上周的旧版」。要同时跑，否则你测的是日历，而不是改动本身。
测什么（按优先级）
先测大的、杠杆高的改动。换个按钮颜色很少有用；改变首屏里你给出的承诺，往往才管用。
- 标题与价值主张——多数页面上影响最大的单一元素。
- 首屏 / Hero 区——布局、图片，以及报价在折叠线以上是否清晰。
- 行动号召（CTA）——文案、位置，以及到底放几个。
- 表单长度与摩擦——每删掉一个字段，都可能提升完成率。
- 社会证明与信任——客户评价、Logo 墙、保证、安全标识。
- 报价与价格呈现——框架、套餐，以及强调的是什么。
怎样做一个经得起推敲的测试
1. 从假设出发，而不是从灵感出发
把它写成：「因为[证据]，把[元素]改成[变体]，会让[指标]在[人群]上变好。」假设逼你预测结果——这样无论测试是赢是输，你都能学到东西。
2. 只选一个主指标
选那个真正要紧的转化——下单、合格线索、注册——作为你唯一的「拍板指标」。次要指标可以看，用作背景，但别让「点击上升」盖过「真实销售下降」。
3. 开跑前先算样本量
用样本量计算器，输入你当前的转化率和「值得检测的最小提升」（最小可检测效应）。低流量页面可能要跑上几周——如果你在合理时间内达不到所需样本，那就测一个更大、更大胆的改动，让效应大到足以被看见。
4. 跑满完整的业务周期
至少跑满一到两个完整的星期，让工作日和周末的行为都被覆盖到，并且绝不要在「显著性刚一闪现」时就停。在运气好的峰值提前结束测试，是团队上线「伪胜利」最常见的方式。
5. 达到统计显著
在宣布胜者之前，目标是 95% 的置信度。显著性告诉你「这个结果大概率不是随机噪声」；它并不告诉你「这个结果很大或会一直成立」。在 95% 置信度下的 0.2% 提升，在商业上仍可能毫无意义。
会制造「伪胜者」的错误
- 偷看并提前停止——每天盯着，一看到 B 领先就停，会大幅推高假阳性。
- 样本太小——基于 40 个转化的「巨大」提升，通常是噪声。
- 一次测太多东西——如果 A 和 B 有五处不同，你不会知道是哪一处起了作用。
- 忽略细分——一个变体可能在桌面端赢、在移动端输，加起来变成「没差别」。
- 没排除无效流量——分散在两组里的机器人会增加噪声，甚至掩盖真实效应；先过滤无效流量。
测试之后：上线、沉淀、再来一轮
- 上线胜者（如果 B 没有明显胜出，就保留对照组），并记录结果。
- 写下你学到的，包括失败的测试——它们能为下一次缩小范围。
- 过段时间复测胜者——受众和市场会变，昨天的胜者可能会衰减。
- 把胜利反哺到整个漏斗——更好的页面会抬高 ROAS，并拉低所有指向它的系列的获客成本。
让测试保持合规
A/B 测试的本质，是把不同的页面版本随机分配给可比的用户——这是标准做法，完全被允许。它和 cloaking 有本质区别：后者是给审核和机器人看一个页面、给真实用户看另一个，用来逃避审核。让每个变体都诚实、都在同一个稳定的 URL 上，你的测试就始终站在各家广告平台政策的正确一侧。
常见问题
落地页 A/B 测试该跑多久？
至少一到两个完整的星期，并且要长到能在约 95% 置信度下达到你预先算好的样本量。跑得更短——或一看到 B 领先就停——是「伪胜者」的头号成因。
做 A/B 测试需要多少流量？
取决于你的转化率和想检测的提升幅度；样本量计算器能给出确切数字。低流量页面应该测大胆的改动，让效应大到能在合理时间窗内被检测到。
A/B 测试和 cloaking 是一回事吗？
不是——它们正好相反。A/B 测试是把可比的真实用户，随机分配到同一 URL 上诚实的几个变体里。Cloaking 是蓄意给审核和机器人看一个、给真实用户看另一个，用来逃避审核，会导致账户被封。
A/B 测试最常见的错误是什么？
提前停止。每天查看、一旦变体领先就结束测试，会极大推高假阳性。提前定好样本量和时长，并坚持执行。