08. 线上 A/B Test 和评测流水线应该怎么做？

简单回答

线上 A/B Test 的目标是用真实用户数据比较不同方案，不只是看离线分数谁高。

详细解析

• 先设定清晰指标，比如点击率、转化率、完成率、人工接管率、时延和成本。
• 流量分桶要随机且可回溯，避免样本偏差和环境不一致。
• 同时要保留离线评测集，避免线上结果完全被短期流量噪声左右。
• 成熟系统通常是离线评测、灰度发布、线上对比、复盘回收四步闭环。

面试时可以这样答

面试时把“离线评测 + 灰度 + A/B + 回滚”讲成流程，会比只说 A/B Test 更完整。

常见追问

• 如何避免线上 A/B 带来风险？
• 什么时候离线高分却线上没收益？