今日头条的A/B测试系统
今日头条的A/B测试系统
今日头条同时在线测试的实验有很多，每月多达有上百个之多，如何科学的分配实验流量，减少沟通，降低实验成本，做到实验结果可视化展示是必须思考的，于是出现了今日头条的A/B测试系统。
系统实验创建属性：实验名称，实验时间，实验类型(共享or独占)，过滤流量条件，实验组ID
实验动作概述：动作收集，日志处理，分布式统计，写入数据库，数据可视化。
独占实验。是指实验模型比较复杂，任何其他因素改变可能影响到实验结果准确性，所以用户不可以与其他实验共享，申请完成后，系统自动随机从流量桶中分配出流量用于实验，留出一半未调整用户，作为对照数据组，将实验数据桶分开，观察数据波动性，防止测试结果有偏。
共享实验。是指实验模型只测试某类特定属性用户，可以与其他非相关属性的实验共用实验对象，流量桶分配逻辑与独占实验类似，但是当其用户可以分配到其他实验中，复用部分用户。如下图所示：
基于这套系统，基于数据分析协助产品功能迭代(经历几十个版本迭代)，数百个有效改进上线，人均有效点击提升40%，人均停留时长提升50%。
卖贝商城更多商品介绍：网站seo诊断分析 新华网新闻新闻源推广 爱慕网软文投放