Tabb发现大家经常犯的一个错误是过于信赖A/B测试，指望用这个东西来解码隐藏在数据里面的模式。Tabb说：“总会存在例外。A/B测试在特定情况下是有帮助的，比方说当用户没有在网站上亮明身份时。这类测试可以帮助识别本来是匿名的用户。但绝大部分时候这并没有什么作用。首先，如果你的数据是孤立的话，A/B测试会告诉你最直接的结果而不是长期结果。比方说，通过把“关闭”按钮的大小减小我们发现点进率翻番了，但这可能是因为用户本想想点关闭的却误点了其他的地方，但这些点进最后都没有转化。即便你有几十亿用户，如果数据是孤立的话你也无法从中找出任何实质。相反，不如把精力放在研究客户的事件流。致电给个体用户。现在就开始。经常地做。拿起电话开始真正的对话。”

　　软件让大家用新的方式思考和行事。A/B测试是在缺乏交互的情况下进行监控。放下你的望远镜，拿起电话吧。

　　聚焦活跃参与的另一种办法是缓解妨碍用户使用你产品的东西。尤其是要跟踪这两个指标：失败率和中毒率。以下是办法：

　　找出然后大幅削减你的失败率。失败率是你的公司未能如期交付的次数。失败率所有企业都适用的运营指标——不仅仅是安全方面。Tabb说：“要想找出公司的失败率，首先找出每个部门的失败率。每一项职能都会有不同的失败率去苹果他们的工作。对于客户体验来说失败率是客户体验代表无法解决客户问题的次数。对于供应链来说，是客户尝试购买已售光的货品的次数。每一个团队成员都需要知道和监控自身特定角色和部门的失败率。每一次你变更自己的流程或者产品，对失败率的衡量也要相应调整。如果你刚刚起步，可以采用免费的工具来识别失败并找出模式。让你的web开发者使用Google Analytics来检查404错误或者内部服务器错误出现的频率。让支持部门使用免费调查工具来调查支持请求样本的满意度情况。”

　　失败率不属于性感的的外部指标，但它能让公司头脑清醒。Tabb说：“曾经有一次移动支付公司Venmo做出了一次设计变更，使得用户很容易一不小心就会在不想这么做的时候转钱出去。一方面这会推动交易数等虚荣指标变得好看，因为每一笔错误转账都需要多一笔转账来抵消错误。但对于内部来说这却是个灾难。用户很容易迷惑，无法按照自己意愿控制他们的支付。Venmo找出了那些特殊的交易对——也就是支付出去然后‘反向’转账回来的交易来测试新设计是不是导致这种现象出现的根源。团队的假设是正确的，后来他们纠正了问题。”

　　失败率防止小的裂缝变成断裂。虚荣指标很少具有预防性。

　　奖励你的中毒率。作为失败率的子集，中毒率是指客户的初次体验太过糟糕以至于再也不回来了。Tabb说：“这类似于你在饭店遇到了食物中毒。有过这样的体验之后客户几乎不可能再回来了。公司很少衡量中毒率，但在努力控制用户群的增长时这个指标可以是非常强大的杠杆。你失去的不仅是一位潜在客户，而且可能还会失去他们可能会推荐的人。在社交媒体时代，中毒是很可怕的。”

　　这方面市场(marketplace)的风险最高。Tabb说：“就拿Airbnb来说吧。特定的租户会不会有很高的中毒率呢?这个地方可能有很好的特质：大小很好，位置极佳，价格还有竞争力——但在那里呆过之后大家就不再使用Airbnb了。现在我们有一个有效的明确指标以及另一个，比方说每租户的预定停留数。这个东西是一个虚荣指标，除非你挖掘进去找出该租户实际上是不是在损害你的业务。有很多因素是超出你对市场的控制范围的——找到并奖励你的中毒率。实际上这会帮助你给混沌带来一些秩序。它让你可以理解你的期初损失，知道这种损失是不是可以用收入弥补回来。”

　　电子商务公司

　　电子商务公司是讲究忠诚度的公司。要想赢得市场，你需要客户不断选择你而不是竞争对手。Tabb说：“电子商务拼的是机会成本。你必须找到并衡量可激发客户不断订购的代理。重要的是客户购买的频率，而不是购买的额度。跟购物篮大小或者收入相比，真正的指标，比如围绕装运和递送方面的指标没那么性感，但却推动着重复的行为。”