AB实验能解决什么问题最新动态

/ / 2015-10-25
有些团队在使用一段时间AB实验后,可能会出现很多质疑声,比如说为什么要花这么多资源来做AB实验呢?尤其是开发和测试同学,因为从他们的视角来看这些都是工作量啊,所以...

有些团队在使用一段时间AB实验后,可能会出现很多质疑声,比如说为什么要花这么多资源来做AB实验呢?尤其是开发和测试同学,因为从他们的视角来看这些都是工作量啊,所以要清楚的认识到AB实验到底能解决什么问题,并与团队达成共识。

1)方案争议较大时,减少低效争议带来的内耗,降低高层拍板带来唯上的低效文化,提高决策效率。

常见的现象是老板和产品之间,产品和交互、视觉、开发之间,对于某些方案无法达成一致,再加上一些专业性权威性等面子问题,需要消耗大量时间和心力来撕逼,互相妥协后还可能留下了合作关系的不和谐;如果总是让老板来拍板的话,本质是一种决策的官僚化。

这样的情况做个实验测测就好了。虽然坦率的说,很多皮毛的争议都然并卵,在互联网1.0时代还感觉像是个大事,在互联网2.0时代,数据量化下可能大都差异不大。

2)有多组解决方案时,提高获取认知效率,提高产品进化效率。

这个情况下AB实验是很有用的,互联网产品相比传统实体产品的很大优势来自于迭代速度快,修改调整的成本低。

但即便如此,从发应用市场到数据回收也需要不短的时间。

如果我有对一个问题有几种解决方案,串行着测试的话,拿到结论可能要花一两个月的时间;而使用实验的话,在一个数据周期里就能拿到实验结果,获取认知的效率大大提升了。

3)多团队在进攻同一个指标,或同期上线多个策略时,明确收益点和负向点,避免收益淹没、认知偏差、侥幸心理和收益分配矛盾。

这个问题应该也是普遍存在的。

同时上多个策略的时候,数据好的话,美滋滋完大家开始抢功劳,都觉得是自己的策略带来的。

数据躺平的话,感觉大家折腾一顿也没啥卵用,还会甩锅是其他人的策略拉平了自己的收益。

最惨的时候是数据差的时候,先不说互相甩锅了,老板发脾气了解是怎么搞跌的数据,归因到底是哪个策略出问题的时候,可能大家都一脸懵逼,然后归因不出来的话大概率是要回滚的,一个版本的时间就废掉了。

所以有不确定的大动作时,尽量用实验安排上,成功或失败都是明明白白的。

4)按日期的数据看收益,但波动较大时,AB实验数据衡量更敏感,明确是否有收益,避免数据负向归因时成本较高。

大部分产品的关键指标每天都会有小幅的波动,遇到特殊时间的话波动会加大,如果你做的策略直接赶上了,可能会回收不到笃定的收益,可能会直接版本回滚。

而AB实验在验证收益的时候表现更加直观和敏感。

5)实验机制更好的保证产品的简洁、必要和不臃肿,最糟糕的是以你做了多少功能来表达自己的苦劳,而不是为用户创造了多少价值。

实验机制保证了决策环节的存在,正向就全量,没收益就直接下线。

不然看到关键指标也没啥影响,下线功能还要再发一个需求,可能就逃避了决策环节把功能留在了产品上,最后产品越来越臃肿,你可能还沉浸在自己的苦劳里自我感动。

6)业务处于确定性高的精细化运营阶段,数据的增长大都来自大量的线性优化提升,而不是大的激进的策略。

一般发展期的业务会有很多收益显著的事情可做,即便没有AB实验,也可以做到数据变化显著。

但业务到了成熟期之后,这样的事就少了很多,你只能做大量的线性优化,一定周期里堆出来比较显著的收益。

7)错误的认知会导致团队的精力、时间和资源走向错误方向,但实验数据永远不会骗人。

有些负责人对业务有扭曲力的认知,可能自我说服的偏执,做出损失很大的错误决策,但可以通过AB实验做一些辅助认知,因为数据永远不会骗人。

尊重实验结果 尊重数据,是要坚持的事情。

联系电话

粤公网安备 44030502004850号