0%

幸存者偏差

本文主要解释了幸存者偏差的定义

定义

幸存者偏差(Survivorship bias)是指从筛选之后的“幸存者”样本中得到结论,从而产生的偏差。

偏差影响

这种偏差属于认知上的偏差,仅考虑了获得的样本,而忽视了未通过筛选的样本。在这种偏差下往往会出现两种常见的错误:规则推导因果推断

  • 规则推导:现存的事物是曾经唯一存在过的事物。

    我们会假设自己所看到是事物是过去唯一的存在,而实际上很多过去的事物并未保存至今。(商朝流只传下青铜器,但是并不表示商朝只用青铜器)

  • 因果推断:某个机制中幸存下来的事物都会受到该机制的影响。

    并不是从该机制中幸存下来说明该机制影响了该事物,而是该事物满足了该机制的条件才得以幸存。

BI软件调研分析

假设一家商业智能(BI)软件公司正在开展2周免费使用活动,一周后剩下少数用书仍在使用,并且这些用户都是数据分析师,借助该软件进行了更加复杂的分析。

按照调研的结果,可能会得到两个错误的结论:

  • BI软件的适用人群是数据分析师。

    在下结论之前,同样需要观察那些“非幸存者”(放弃使用的用户),我们并不知道这些用户中是否也有数据分析师。如果我们的调研用户全部是数据分析师,若离开的用户比剩下的用户更多时,那么得出的结论则恰恰相反。

    为了得到正确的结论,我们需要分析每一个一开始就加入使用的用户,找到真正能够区分同期群的用户特征。

  • BI软件让深入数据分析变得更加容易:

    在调研中,我们并没有设置一个对照组来比较用户之间的分析能力,这些用户或许是在使用BI软件做最高级的任务,但是或许在其他软件上能够做更高级的事情,也获取用户本身就是资深的数据分析师,无论使用说明软件都能进行深入分析。而不是因为使用了该BI软件才能进行深入分析。

    若要衡量该软件的真正价值,则需要先评估用户分析水平,然后对比在相似的分析任务,操作不同软件的表现,从而得到有说服力的结论。

个人收获

分析所有同期群的用户;衡量产品价值的时候需要和竞争对手的产品进行对比;对比用户使用前后的改变,得到产品带来的因果关系。

------ 本文结束------