AB实验的边界最新动态

/ / 2015-10-25
以上讲了很多AB实验的Why和How,但同时也要知道AB实验只是一个工具,不是万能的,只能解决有限的问题,也有很多问题是解决不了的。 1)战略性的 需要长期经营投入的项目不...

以上讲了很多AB实验的Why和How,但同时也要知道AB实验只是一个工具,不是万能的,只能解决有限的问题,也有很多问题是解决不了的。

1)战略性的 需要长期经营投入的项目不能通过实验来验证。

有些老板喜欢什么事情都上个实验看看效果,其实暴露的是自己对战略的思考不深度 不笃定 没耐心。

2)分流后会形成新变量,会对实验效果产生影响的项目不能通过实验来验证。

一般单角色的产品路径比较适合做AB实验,比如注册登录、搜索、推荐等等。

但多角色交叉的产品环节有时就不适合做AB实验。

比如社交和社区中的一些功能,因为用户与用户之间会相互影响,不太可能我有你没有,强做的话大概率会产生很多客诉问题;还会产生的问题是,因为分流的比例让变量的体验也按比例有了折扣,所以不能得到正确的结论。

3)见效周期较长的项目,不建议通过实验来验证。

一般样式的变化,或者用户痛苦已久的问题一上线,很快就可以看到直观的效果。

但也有些功能需要用户慢慢培养习惯的,尤其当你的目标用户是下沉市场的群体或者中老年群体的时候。

即便做的话,也要足够的耐心来等待。

4)确定性较高的、体验性的优化不需要通过实验来验证。

这个在上面部分也有提到,实验的目的是为了验证你的假设,或者方案很不确定的情况下提高你的决策效率。

但如果你已经很笃定了,或者确实是一些很体验性的优化,就真不需要再做实验了,维护多版本的功能,还是会增加不少开发和测试的工作量的。

六、结束

OK,以上就是我个人在长期的实验过程中遇到的问题和总结的思考。

不一定完全正确,在读的同学可以用审视的态度来看,独立思考最重要,有问题和建议也欢迎反馈给我。

另外,不能指导行动和作用于实践并达到目的的理论没有意义,希望能在你的实践过程中有所帮助。

联系电话

粤公网安备 44030502004850号