A/B测试规划器

改版犹豫不决？A/B测试怎么设计才有说服力？从假设定义、样本量计算到结果解读，全流程帮你搞定。支持贝叶斯、序贯检验、多臂老虎机，7步走完一个严谨实验，让你用数据拍板而不是拍脑袋。 触发词：A/B测试、AB测试、对照实验、样本量计算、实验设计、灰度发布、转化率优化、多臂老虎机、epsilon-greedy、UCB、Thompson采样、贝叶斯测试、序贯检验、增量实验、分层实验、分桶测试、分流策略、置信区间、p值、显著性检验、效果量、MDE、最小可检测效应、护栏指标、AA测试、方差缩减 排除：纯数据分析(无实验设计)、监控告警、日志分析、APM性能监控、竞品分析 上下文条件：用户明确有"两个方案对比"或"版本选择"的决策需求

A/B测试规划器 🧪 v1.4.0

核心流程（7 Steps）

Step 1: 业务问题定义 ⚡ 快速校验

输入确认：

• 明确对比的方案A vs 方案B
• 确认这是"决策问题"而非"分析问题"

假设框架：

text

H0（零假设）：A和B无差异
H1（备择假设）：A和B有差异 或 B > A（单尾）

常见错误预警：

• ❌ "我觉得A比B好" → 需要定义衡量指标
• ❌ "先跑数据再定假设" → 假设应先于数据
• ❌ "多个指标同时看" → 需要主指标+护栏指标

---

Step 2: 核心指标选择 📊 护栏指标

OEC（Overall Evaluation Criterion）主指标：

业务类型	推荐指标
电商	转化率、客单价、GMV
内容平台	留存率、互动率、完播率
SaaS	注册转化、付费转化、NRR
广告	CTR、CVR、eCPM
APP	D1/D7/D30留存、LT

护栏指标（Guardrail Metrics）：

• 技术指标：页面加载时间、错误率
• 业务下限：收入底线、用户体验底线
• 反向指标：退订率、投诉率、流失率

指标定义检查清单：

• 指标计算公式明确
• 数据来源和埋点确认
• 统计周期定义（自然日/滚动天）
• 分母定义（UV/会话/页面PV）

---

Step 3: 参数设定 🎯 MDE计算

必设参数：

参数	建议值	说明
基线转化率p	历史数据	通常3-5%
最小可检测效应MDE	相对提升5-20%	业务可接受的最小差异
显著性水平α	0.05	假阳性风险
统计功效1-β	0.80/0.85/0.90	假阴性风险
测试周期	7天/14天/完整周期	覆盖完整用户周期

样本量公式：

text

n = 16 × p × (1-p) / MDE²  （简化公式，α=0.05, β=0.2）

其中 MDE = p2 - p1（绝对值）

快速估算表：

基线p	MDE(相对)	MDE(绝对)	每组样本量	总样本量
5%	10%	0.5%	60,000	120,000
5%	20%	1.0%	15,000	30,000
10%	10%	1.0%	28,800	57,600
10%	20%	2.0%	7,200	14,400
20%	5%	1.0%	98,304	196,608

---

Step 4: 分流策略设计 🚰 流量分配

分流单位：

场景	推荐单位	说明
用户个性化	user_id	体验一致
页面级改动	cookie/session	跨设备体验
纯展示测试	pageview	样本量充足
订单相关	device_id	避免跨设备归因

层叠实验设计：

text

Traffic Layer 1: 80%
  ├── Experiment A: 50% / 50%
  └── Experiment B: 50% / 50%
Traffic Layer 2: 20% (互不干扰)

分流均匀性检验（AA测试）：

• 运行1-2天纯基线组对比
• 验证分流随机性：p > 0.05
• 不均匀需重新分流或分层

---

Step 5: 实验执行监控 📡 异常检测

每日监控检查点：

text

1. 样本量进度：actual / target × 100%
2. 指标趋势：日间波动是否异常
3. 分流均匀：各组UV占比偏离 < 2%
4. 外部干扰：是否有运营活动/外部事件

预警规则：

• ⚠️ 指标单日波动 > 3σ → 检查异常
• ⚠️ 组间差异早期过大 → 新奇效应预警
• ⚠️ 节假日/周末 → 需延长周期

序贯检验（可选）：

• O'Ean检验：随时监控，提前终止
• α消耗：每次检验消耗α配额
• 谨慎使用：需业务方签字确认

---

Step 6: 结果分析 📈 统计解读

显著性判断：

p值	结论
p < 0.01	高度显著，强烈推荐
p < 0.05	显著，可采纳
p >= 0.05	不显著，无充分证据
p > 0.95	极可能无差异，可采纳对照组

效果量评估：

text

Cohen's d = (p2 - p1) / sqrt(p(1-p))
- |d| < 0.2: 微小
- |d| < 0.5: 小
- |d| < 0.8: 中等
- |d| >= 0.8: 大

置信区间解读：

text

95% CI: [L, U] = [3.1%, 3.9%]
解读：有95%的把握，真值落在此区间

异质性处理效应（HTE）：

• 按用户维度分群：新用户/老用户、渠道、设备
• 检验分群间差异显著性
• 存在HTE时，需针对性策略

---

Step 7: 决策建议 ✅ 行动方案

结论分类：

结论	条件	建议
全量发布B	p<0.05, 效果量可观, 护栏指标正常	直接发布
渐进发布	p接近0.05, 护栏有风险	10%→30%→50%渐进
继续观察	样本量不足60%	延长周期
放弃实验	p>0.2, 趋势不明	复用实验资产
发布A	B无提升或护栏指标下降	保持原方案

发布后监控：

• 全量后持续监控7-14天
• 设置护栏指标告警
• 建立回滚预案

---

输出模板

text

━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━
🧪 A/B测试方案 | {实验名} | v1.4.0
━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━

## 📌 业务背景
{一句话描述实验动机}

## 🎯 假设与指标
**核心假设**：{H0/H1定义}
**主指标**：{OEC名称} | 当前基线：{X}%
**MDE设定**：{X}%（相对提升{X}%）
**护栏指标**：{指标列表} | 底线：{阈值}

## 📊 参数计算
| 参数 | 值 |
|------|-----|
| 显著性水平α | 0.05 |
| 统计功效1-β | 0.80 |
| 基线转化率p | {X}% |
| MDE | {X}% |
| **每组样本量** | **{N}** |
| **总样本量** | **{2N}** |
| 预估周期 | {X}天 |

## 🚰 分流设计
**分流单位**：{user_id/session/pageview}
**分流比例**：A组 {X}% | B组 {X}%
**层叠设计**：{是/否} | 共享层：{X}%
**AA测试**：{是/否} | 预热期：{X}天

## 📡 监控计划
**日检查点**：
- 样本进度预警线：{X}%
- 指标波动告警：{X}σ
- 节假日处理：{方案}

**序贯检验**：{启用/禁用}

## 📈 结果分析框架
**显著性阈值**：p < 0.05
**效果量标准**：Cohen's d > 0.2
**置信区间**：95% CI

**异质性分群**：{新用户/渠道/设备/...}

## ✅ 决策树

IF p < 0.05 AND 效果量 > 0.2 AND 护栏正常 → 全量发布B ELIF p < 0.05 AND 护栏有风险 → 渐进发布 + 继续观察 ELIF p >= 0.05 AND 样本量 >= 80% → 放弃实验，保留原方案 ELSE → 延长周期或扩大样本

text

## 📅 发布后监控
**监控周期**：全量后 {X} 天
**护栏告警阈值**：{指标} {阈值}
**回滚触发条件**：{条件}
**回滚操作**：{步骤}
━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━

---

正向示例 ✅

示例1：电商购买按钮颜色测试

text

**输入**：
- 现状：红色购买按钮，点击率3%
- 方案B：绿色购买按钮
- 业务目标：提升点击率5%以上

**输出方案**：
├── 假设：H0=无差异，H1=绿色>红色
├── 主指标：购买按钮点击率（CTR）
├── 基线：3%，MDE：0.15%（5%相对提升）
├── 样本量：每组 63,000，总计 126,000
├── 周期：7天（假设日UV 18,000）
├── 分流：user_id级，AA预热2天
└── 决策：p<0.05则全量

示例2：订阅弹窗时机测试

text

**输入**：
- 现状：浏览30秒弹出订阅框，转化率8%
- 方案B：浏览60秒后弹出
- 顾虑：担心用户流失

**输出方案**：
├── 假设：H0=无差异，H1=60秒>=30秒
├── 主指标：订阅转化率
├── 护栏：页面退出率（底线：不恶化>2%）
├── 样本量：每组 11,000，总计 22,000
└── 决策：需同时满足主指标正向+护栏正常

---

反向示例 ❌

示例3：错误的多指标同时检验

text

**问题**：用户同时看10个指标，p值都<0.05就发布

**正确做法**：
1. 选1个主指标（OEC）
2. 其他9个设为护栏指标
3. 或使用Bonferroni修正：α' = 0.05/10 = 0.005

示例4：样本量不足强行发布

text

**问题**：跑了3天只有30%样本量，p<0.05就发布

**正确做法**：
- 样本量不足时，p值不可信
- 应延长实验周期或承认统计功效不足
- 可设置提前终止条件（需业务签字）

---

边界场景 🌐

边界1：转化率极低（<1%）

text

问题：基线0.5%，MDE 10%需巨大样本
方案：
- 改用比例差异而非相对提升
- 考虑时间窗口内的转化次数（Poisson分布）
- 降低MDE到1%绝对值，评估业务可接受性

边界2：实验组/对照组样本比非1:1

text

问题：希望90%流量到实验组
方案：
- 使用不均衡样本量公式
- 统计检验需考虑权重
- 推荐不均衡比例不超过 4:1

边界3：周末/节假日效应

text

问题：实验跨越周末，指标周期性波动
方案：
- 最小周期覆盖完整7天
- 分层分析平日vs周末数据
- 考虑周内同天对比

边界4：新奇效应（Novelty Effect）

text

问题：新功能初期表现好，长期回落
方案：
- 延长观察周期至14-21天
- 分析新老用户分层表现
- 设置护栏防止短期数据误导

---

多臂老虎机（MAB）进阶 ⚙️

适用场景：持续优化、流量成本高、快速迭代

算法对比：

算法	特点	适用
Epsilon-Greedy	简单，稳定	快速验证
UCB	平衡探索/利用	稳定优化
Thompson Sampling	贝叶斯视角	转化率优化
LinUCB	上下文特征	个性化

输出扩展：

text

🎰 多臂老虎机方案

## 配置
- 臂数：{N}
- 探索率ε：{X}%（Epsilon-Greedy）
- 探索/利用权衡：{偏探索/平衡/偏利用}

## 预期收益
- 相比固定分流：预期提升 {X}%
- 收敛周期：{X}天
- 最低样本量：{每臂N}

---

贝叶斯测试进阶 🧬

适用场景：快速决策、需量化不确定性、样本量有限

输出扩展：

text

🧬 贝叶斯分析

## 先验分布
- Beta(α, β) = Beta({1,1}) [无信息先验]
- 或历史数据驱动：Beta({success+1, fail+1})

## 后验估计
- P(B>A) = {X}%
- 预期提升：{X}% [-{L}%, +{U}%]
- 决策阈值：P(B>A) > 95%

## 样本效率
- 贝叶斯方法通常节省 {X}% 样本量

---

质量检查清单 ✅

方案发布前检查：

• 假设明确（H0/H1）
• 指标定义完整（计算公式+数据来源）
• MDE业务可接受
• 样本量计算正确
• 分流单位合理
• 护栏指标设置
• 周期覆盖完整（至少7天）
• 外部干扰预判（节假日/活动）
• 决策规则明确
• 回滚预案就绪

---

Output Language

中文输出，统计术语可保留英文缩写

Anti-rationalization

借口	正确做法
"样本量计算太复杂，给个大概数字就行"	必须使用标准公式 n = 16 × p × (1-p) / MDE² 计算，列出基线p、MDE、α、β四个参数及其取值依据
"护栏指标不重要，只看主指标"	必须设置至少2个护栏指标（技术指标+业务下限），并定义明确的底线阈值
"跑了3天p值已经显著了，直接发布吧"	必须检查样本量是否达到目标的80%以上，且实验周期覆盖至少7个完整天（含工作日和周末）
"分流就用50/50，不需要做AA测试"	分流方案必须说明分流单位选择理由，并建议AA预热期1-2天验证分流均匀性
"多个指标都看一遍，p<0.05的就采纳"	必须指定1个OEC主指标，其他指标设为护栏；多指标同时检验必须做Bonferroni修正
"效果量太小就不报告了"	必须报告效果量（Cohen's d）和95%置信区间，即使p值显著也要评估实际业务意义
"外部干扰应该不大，不用考虑"	必须预判外部干扰因素（节假日/运营活动/季节性），并在监控计划中说明应对方案