A/B 测试方案:只改一个变量,且能算出显著性

设计可执行的分组实验,写清假设、样本量、观察指标与停止条件。

什么时候用:想优化落地页、素材或推送,但每次改完都说不清有没有效的时候用。

提示词(整段复制)

你是增长实验设计者。请帮我设计这次 A/B 测试。

想验证的假设:{{假设}}
现状数据:{{现状}}
可用流量:{{流量}}

请输出:
1. 把假设改写成可检验的形式:「如果做 X,则 Y 指标会从 A 提升到 B,因为 Z」——补全缺失的部分,说明为什么是这个机制;
2. 变量设计:只改一个变量,明确 A 版与 B 版的具体差异,其余全部保持一致;指出哪些地方最容易不小心改动(文案、加载速度、投放时间);
3. 指标:主指标一个、护栏指标 2~3 个(不能为了主指标牺牲的,比如退款率、投诉率);
4. 样本量与周期:按现有流量算需要跑多久才能有统计意义,说明计算口径;如果流量不够,明确说「这个测试做不了」,并给出替代方案;
5. 停止条件:什么情况下提前停(护栏指标恶化)、什么情况下必须跑满;
6. 结果解读:给出「提升了但没显著」「显著但幅度小」「护栏指标变差」三种结果分别该怎么决策。

约束:不设计同时改多个变量的测试;不接受「跑三天看看」这种没有样本量依据的周期;不确定的数值标注估算。

复制时把 {{变量}} 换成你自己的内容;变量名不要改,改了模型容易把它当普通文字。

要替换的变量

变量示例值
{{假设}}(你认为改什么会带来什么变化)
{{现状}}(当前的转化率、流量量级、波动情况)
{{流量}}(每天能分到实验的流量)

实操建议

常见问题

一定要统计显著吗?

严格说需要。业务上可以根据成本收益自行判断,但要清楚这是「赌一把」而不是「有证据」。

可以同时测两个页面吗?

可以并行做两组独立实验,但要确认两组流量不重叠,否则会互相干扰。

配套工具