关于AB实验的实战应用最新动态

/ / 2015-10-25
用户体验一直都是企业最为重视的一项,很多时候他们会用AB实验进行测试,AB实验可以从多维度进行测试分析,是比较常用的方法;本文作者分享了关于AB实验的实战应用,我们...

用户体验一直都是企业最为重视的一项,很多时候他们会用AB实验进行测试,AB实验可以从多维度进行测试分析,是比较常用的方法;本文作者分享了关于AB实验的实战应用,我们一起来了解一下。

 

前两年随着用户增长的兴起,AB实验作为重要的增长工具在行业里显得时髦起来,但目前来说AB实验已经算是行业里的基础设施,大部分公司都有在用,其原理也谈不上复杂。

也就不免会有知识的诅咒,知道了就会有不就是 xxx 的不屑感。

但随着我进行过大量实验后的感觉是,将理论应用于实践并取得成绩,远比知道理论难得多,也有价值的多。

所以这次我更多的篇幅是——围绕实战过程中的会遇到的问题和能提高些取得收益的可能性来讲。

一、AB实验是什么

对同一个问题,有≥2套解决方案(小到一个元素,大到一套方案保证变量的唯一性即可),对同一组人群(样本量足够)进行随机分组;在同一时间维度,进行实验组和对照组的实验,通过少量且相同的衡量指标,衡量哪套解决方案的结果表现更好,并采用。

比如以下是美团的搜索结果页实验:

问题:哪种结果页的商品展现形式更能提高用户筛选的效率,提高用户下单的转化率。

解决方案:3套搜索结果页的商品表现形式。

人群:搜索结果页的用户(注:这里最好使用结果页这层的用户,也算是常见的问题,有些同学习惯直接使用大盘的用户分组,但如果搜索模块渗透率不高的话,局部数据收益在大盘中表现不敏感,可能就直接波动掉了。)

少量且相同的衡量指标:页面ctr、点击转化率、下单转化率、人均成交额(注:一般app只有一个北极星指标,但也会监控少量其他的关键性指标,比如视频app除了留存还会监控pt和人均vv,如果有广告的话也会监控收入的相关指标;其中常见的问题是指标过多 啥都想要 ,还会让有的人钻漏洞,所有实验都能找到一个指标来说取得了正向的结果。)

联系电话

粤公网安备 44030502004850号