「A/B 测试」简单的说就是某个元素的两个(或多个)版本摆在面前,通过测试确定并应用更好的版本。因小巧有效低成本,是一种经常被提起和使用的方法论。其中的套路再简单不过,但初次实践还是要多加注意,避免踩坑,影响数据可靠性从而误导决策。

各种产品都通过测试来提升产品转化率,降低流失率:电商类网站希望提升用户购买率;SaaS 类产品希望更多用户去注册免费试用,并转化为付费用户;新闻和信息类产品则期待更多用户去点击广告,或是选择付费订阅。

进行A/B 测试

已上线并有很大用户量的产品,适合做A/B 测试,而对于初创公司或产品,则不太适合。A/B 测试整个过程可分为以下四步。

建立单个假设

对需要进行测试的变量按优先级排序,逐个测试。常用的测试变量包括按钮(位置、文字、颜色)、标题、文段、链接、表单(长短、文字描述)、版面设置(页面排布、位置)、促销方案(文案、商品搭配、产品定价)、图片(内容、位置)等。

在同一次测试过程中,可设置多个对照组,但必须控制单一变量。考虑到投入产出比,很少为极微小的变化进行A/B 测试,比如某个按钮的大小变化,或是某个动效的时长。

设定目标

通过可量化的数值来验证是否达成效果,目标主要分为两类:

  • 提升X:转化率、页面浏览率、停留时间、点击率、分享次数等
  • 降低Y:跳出率、流失率等

    例:某淘宝店铺商品详情页,目标为将购买点击率从5%提升至10%.

测试和数据收集

工具方面自己使用过GA,毕竟开源免费。此外更专业省事的A/B 测试付费工具也有一些,比如 Optimizely吆喝科技.

在测试阶段内,对于同一用户ID,每次进入访问的应该是相同内容。一般测试上线后等待两到三周,可结束测试;网站流量越小,则需要越多的时间。

样本量

当目标设定的变化百分比(转化率)越大,原转化率越小,所需的测试周期越短,样本量也越少。具体计算公式:

检验假设

若结果得出明显差异的更优方案,可以在上线更优版本之后继续测试新变量。若测试结果各组之间并无明显统计学差异,则需提出另外的假设来进行测试。

举例

How Netflix does A/B Testing
Experiments at Airbnb
A/B Testing at Booking.com

更多参考

《用户体验度量:量化用户体验的统计学方法》


这是篇原该写于半年前的小结,虽然迟到太多,但也让自己再次回顾了第一次做A/B 测试的全过程,坑太多,同时也需要大量的理论知识和实践相结合,还有太多的东西来不及了解,向做用研的同学表示佩服。