阅读细节行为收集，今日头条已经做到了近乎于眼动测试的程度，通过数据可以分析用户阅读文章的滑屏速度，阅读习惯，阅读速度，什么地方快速滑过，什么地方仔细阅读，最终，以量化的形式反馈给内容创作者，帮助其持续优化内容编辑。

　　4、创业初期产品的核心竞争力模型

　　产品核心竞争力=拉新能力*留存能力*变现能力。每项能力比对手强20%，整体差距超过70%，数据思维可以帮助团队把每一项能力发挥到极致。

　　六、如何低成本完成有效A/B测试

　　初创团队可能没有太多资源开发多个版本进行多渠道测试，一些大公司也不会如同今日头条专门设计一个A/B测试系统，那么如何在没有很多预算的情况下完成简易有效的A/B测试呢？首先，要理解A/B测试的原则，其次，一定要躲过一些坑，最后，就是根据实际情况确定测试方案（开发参与实现方案讨论）。

　　1、A/B测试原则

　　（1）多方案同时段并行测试；

　　（2）测试方案只有一个唯一变量；

　　（3）用户行为数据收集；

　　（4）定义核心指标。

　　2、A/B测试注意事项

　　（1）一定要是单变量。如果两个版本，每个版本有2处不同，最终分析的时候很难确定是哪个优化导致的指标变化。

　　（2）统计置信度。受到样本量影响（样本太少，样本代表性）；置信水平（A方案49%，B方案51%，可能数据分流导致的偏差所致，分流有偏造成的影响）

　　（3）设置对比观察数据组，即没有任何调整的情况各项数据指标如何，用于实验效果对比分析。

　　3、实践方法

　　（1）从测试页面类型分类

　　原生功能A/B测试。选择渠道流量类似的小渠道进行小渠道发版测试，确定方案后，在主流渠道发版A/B测试。

　　WAP/H5页面A/B测试。通过后端或前端控制，进行A/B测试，具体测试流程见下文：A/B测试实践全总结

　　营销活动的A/B测试。通过短信、站内消息或公众号唤醒用户，可以进行用户分桶后批量通知，观察后续用户行为操作。或是通过活动banner引导入活动详情页，通过活动页引导的A/B测试与WAP页面类似。

　　（2）从测试时间点分类

　　实时分流测试。实时分流测试需要开发参与，进行服务器分流或数据库分流测试，并且进行数据埋点，用于用户行为分析。

　　定性后向分流测试。从历史数据中筛选出测试用户组和对比观测用户组，数据选择需要足够样本量，否则测试结果的置信度会很低，这种后向通知模式比较容易执行，但是并不适用所有场景，常用语召回用户，活动通知使用，通过短信和微信服务号/订阅好通知消息进行唤醒。

　　样本量足够的情况下，可以考虑实验组数据内部再做分组，如同今日头条系统实现的部分，观察用户行为波动性，保证测试结果置信度更高。

　　4、案例实操：P2P平台用户投资引导A/B测试

　　我们以P2P平台为例，假设P2P平台月新增1万注册用户，9000用户注册未投资，以往通过短信告知用户下发投资卷召回用户，效果非常不明显，现在将9000用户随机分成3组，每组3000用户，分别是1组（对比观测组），2组（红包召回组），3组（话费召回组），短信文案知识红包和话费区别。观察三组用户在短信发出后一天内的行为变化，核心指标定为登录APP行为。

　　红包和话费充值初期数量不会很大，可以考虑设计成手动下发，如果用户投资则固定时间充值，无需相应开发。

　　通过对比用户登录和投资行为，可以很明显的看出何种召回方式效果更好，因为是小数据样本检测，充值量初期不会太大，可以节省话费充值对接开发，测试效果出来，优化完善，确认召回方案后再进行开发才相对高效，因为很可能新召回策略并不比原有策略有效。

　　希望本文对产品经理们有所帮助，可以为您的产品设计提供科学的方法，也希望在留言区看到您的留言，我们一起交流小团队如何使用A/B测试，科学设计产品。

　　【题图来自 摄图网，基于 CC0 协议】