今日头条如何在没有很多预算的情况下完成简易有效的A/B测试呢?

　　今日头条如何在没有很多预算的情况下完成简易有效的A/B测试呢?

　　初创团队可能没有太多资源开发多个版本进行多渠道测试，一些大公司也不会如同今日头条专门设计一个A/B测试系统，那么如何在没有很多预算的情况下完成简易有效的A/B测试呢?首先，要理解A/B测试的原则，其次，一定要躲过一些坑，最后，就是根据实际情况确定测试方案(开发参与实现方案讨论)。

　　1、A/B测试原则

　　(1)多方案同时段并行测试;

　　(2)测试方案只有一个唯一变量;

　　(3)用户行为数据收集;

　　(4)定义核心指标。

　　2、A/B测试注意事项

　　(1)一定要是单变量。如果两个版本，每个版本有2处不同，最终分析的时候很难确定是哪个优化导致的指标变化。

　　(2)统计置信度。受到样本量影响(样本太少，样本代表性);置信水平(A方案49%，B方案51%，可能数据分流导致的偏差所致，分流有偏造成的影响)

　　(3)设置对比观察数据组，即没有任何调整的情况各项数据指标如何，用于实验效果对比分析。

　　3、实践方法

　　(1)从测试页面类型分类

　　原生功能A/B测试。选择渠道流量类似的小渠道进行小渠道发版测试，确定方案后，在主流渠道发版A/B测试。

　　WAP/H5页面A/B测试。通过后端或前端控制，进行A/B测试，具体测试流程见下文：A/B测试实践全总结

　　营销活动的A/B测试。通过短信、站内消息或公众号唤醒用户，可以进行用户分桶后批量通知，观察后续用户行为操作。或是通过活动banner引导入活动详情页，通过活动页引导的A/B测试与WAP页面类似。

　　(2)从测试时间点分类

　　实时分流测试。实时分流测试需要开发参与，进行服务器分流或数据库分流测试，并且进行数据埋点，用于用户行为分析。

　　定性后向分流测试。从历史数据中筛选出测试用户组和对比观测用户组，数据选择需要足够样本量，否则测试结果的置信度会很低，这种后向通知模式比较容易执行，但是并不适用所有场景，常用语召回用户，活动通知使用，通过短信和微信服务号/订阅好通知消息进行唤醒。

　　样本量足够的情况下，可以考虑实验组数据内部再做分组，如同今日头条系统实现的部分，观察用户行为波动性，保证测试结果置信度更高。

　　4、案例实操：P2P平台用户投资引导A/B测试

　　我们以P2P平台为例，假设P2P平台月新增1万注册用户，9000用户注册未投资，以往通过短信告知用户下发投资卷召回用户，效果非常不明显，现在将9000用户随机分成3组，每组3000用户，分别是1组(对比观测组)，2组(红包召回组)，3组(话费召回组)，短信文案知识红包和话费区别。观察三组用户在短信发出后一天内的行为变化，核心指标定为登录APP行为。

　　红包和话费充值初期数量不会很大，可以考虑设计成手动下发，如果用户投资则固定时间充值，无需相应开发。

　　通过对比用户登录和投资行为，可以很明显的看出何种召回方式效果更好，因为是小数据样本检测，充值量初期不会太大，可以节省话费充值对接开发，测试效果出来，优化完善，确认召回方案后再进行开发才相对高效，因为很可能新召回策略并不比原有策略有效。

卖贝商城更多商品介绍：网络红人Rachel小鱼儿微博大号推广价格     上海公司与行业栏目广告费用    辽宁电视台广告代理公司