• 精选
  • 会员

回归均值和线性可容许估计公式

2020年9月10日  来源:实力、运气与成功 作者:(美)莫布森 提供人:jiaoqiao57......

回归均值和线性可容许估计公式

通过双罐模型,我们也能很好地理解回归均值的问题(一次结果远远超过均值,下一次的结果就会向均值靠近)。抽出总分较高的四组数字——实力-3,运气4;实力3,运气0;实力0,运气4;实力3,运气4。四组的分数之和为15,其中实力的贡献为(-3,3,0,3),运气的贡献为(4,0,4,4)。现在,假设你手上拿着表示实力的球3,就是说实力一直不变,然后从运气罐中重新抽四组球,那么新的四组分数之和是多少呢?由于实力始终为3,而运气的期望值为0,新组合的期望值就是3。这就是回归均值的本质所在。

我们也可以抽出总分最低的四组数字——实力-3,运气-4;实力0,运气-4;实力-3,运气0;实力3,运气-4。四组的分数之和为-15,其中实力的贡献是-3。同样地,实力不变,从运气罐中重新抽四组。由于实力始终为-3,运气的期望值为0,所以新组合的期望值为-3。从-15到-3,实力没有变,但是运气的贡献值从-12变成了0。

大部分人多少都懂点回归均值的规律。双罐模型和实力—运气连续体只是从另一种思维角度帮人们理解这一规律。在双罐模型中,从实力罐抽出一个球作为不变量,代表实力在短期内没有变化,然后从运气罐中随机抽球,记录下球上的数字。这种情况下,实力和运气的总和反映出实力的稳定以及运气的方差。最终决定输赢的还是实力。

活动在实力—运气连续体中的位置可以反映出结果回归均值的概率。完全靠实力,不含运气因素(即运气期望值为0)的活动,结果很容易预测,也不会回归均值。跳棋冠军马里恩·汀斯雷下一整天棋,都不会输,因为他本来就比别人棋高一筹。

现在试想下,如果实力罐里的数字都为0,那么结果如何全凭运气。这样,后续结果的期望值将会大幅度回归均值。完全实力型的活动,结果不会回归均值;完全运气型的活动,结果绝对会回归均值。所以只要能确定一个活动在实力—运气连续体上的位置,就能预测回归均值的概率。

现实生活中,我们做决定之前,并不十分清楚实力和运气会如何影响最后的结果。我们只能凭经验行事。通过引入线性可容许估计公式以及损耗因子系数,我们就能比较客观地计算出回归均值的概率。[18]举个具体的例子,一个棒球手名字叫做乔,在部分比赛中打击率为0.350,球员整体的平均打击率为0.265。大家一定不会认为乔的平均打击率也为0.350,因为一场的成绩代表不了他的实际水平。如果想知道乔的平均打击率,最好的办法就是向球员整体的平均打击率调整。但是调整多少才是他的真实水平,这就需要用到线性可容许估计公式:

可容许真实平均数=总平均数+损耗因子系数(平均观察值-总平均数)

可容许真实平均数代表的就是乔的真实水平,总平均数就是所有球员的均值(0.265),平均观察值是短期内乔的平均成绩(0.350)。布拉德利·埃弗龙和卡尔·莫里斯两位统计学家发表过一篇经典文章,文中估算过棒球均值的损耗因子系数为0.2(他们采用的数据是1970年赛季的小样本均值,所以仅供参考)。[19]将对应的数据代入线性可容许估计公式:

可容许真实平均数=0.265+0.2(0.350-0.265)

计算结果显示整个赛季乔的真实水平为0.282。球员的短期平均成绩低于总平均数也可以运用这一公式。比如说,球员的短期平均成绩为0.175,那么他的真实水平就是0.265+0.2(0.175-0.265),结果为0.247。

纯实力型活动,损耗因子系数为1.0,平均观察值就是可容许真实平均数。当跳棋冠军马里恩·汀斯雷比赛时,最万无一失的猜测是汀斯雷会赢。假定实力水平在短期内不变,运气也没有影响,那么这样猜测绝对不会出错。

纯运气型的活动,损耗因子系数为0,结果的期望值就是运气分布均值。大多数的美国赌场,轮盘赌运气分布均值为5.26%,赌场优势、赌博实力都无法改变这一点。玩家会一时间大赢大输,但是一直玩下去的话,就会输掉口袋中5.26%的钱。如果实力和运气比重相同,那么损耗因子系数就为0.5。所以知道了活动在实力—运气中的位置就可以得出损耗因子系数,实力占的比重越大,损耗因子系数越接近1,运气占的比重越大,损耗因子系数越接近0。在第十章,我们将举例介绍损耗因子系数和实力的关系。

线性可容许估计公式能很好地预测实力和运气都存在的活动。比如,随着时间的推移,投资企业的资本回报率会回归均值。回归均值的概率反映了公司在行业中的竞争力。一般说来,相较于有稳定客户基础的知名公司,科技公司(以及生产短生命周期产品的公司)回归均值的概率更大。所以比起宝洁(最受欢迎的洗衣粉汰渍的生产商),美国希捷科技公司(著名硬盘制造商)会更多经历回归均值的危机。因为搞科技的公司,损耗因子系数接近于0,所以美国希捷科技公司不得不时刻创新,甚至它推出的成功产品货架寿命也不长。

同样,投资也是竞争很大的活动,短期内运气对结果有非常大的影响。所以如果你根据资金管理顾问的以往回报来预测他之后的决策结果,那么损耗因子系数将很低。过去的绩效并不能作为预测未来绩效的参考标准,因为投资中有太多的运气因素。

理解了回归均值的概率对做出正确的预测大有裨益。实力—运气连续体以及双罐模型,为我们提供了一种切实可行的方法来思考并确定回归均值的概率。

到目前为止,我们假定罐子中的数字呈正态分布,但是实际上,很少数据是呈正态分布的。而且不论我们讨论的是运动员、公司还是投资者,实力也会随着时间变化。双罐模型只是囊括并研究不同数据分布的一种方法。在后面的五、六两章,我们会考察实力随时间的变化以及运气表现的形式。

实力—运气连续体这一简单的概念却告诉我们很多的道理。它让我们懂得,运气往往将实力变得无关紧要,尤其是在短时间内,比如《花花公子》封面女郎挑选的股票比专业资金管理顾问选的走势还要好。它也让我们思考人群中的异类,诸如比尔·乔伊、乔·狄马乔。它更让我们估算回归均值的概率,就如估算棒球手的平均打击率。我们做的每一个明智预测,都离不开这些简单的道理。

在第四章,我们会着重介绍一些实际方法,来确定活动在实力—运气连续体上的位置,将所学的理念付诸实践。

[1]见亚当·霍洛维兹、大卫·雅克布、汤姆·麦克尼科尔及欧文·托马斯,商业101个最迟钝时刻,商务2.0,2007.1;约翰·卡尼,花花公子小鸡粉碎雷格·梅森,血色交易,2007.1。

[2]纳西姆·尼古拉斯·塔勒布,黑天鹅:如何应对不可知的未来第二版(纽约:兰登书屋,2010),38-50页;迈克尔·莫布森,反直觉思考:驾驭反直觉力(波士顿:哈佛商学院出版社,2009),107-108页。

[3]马修·拉宾及迪米特里·维亚诺斯,赌徒谬误和热手谬误:理论和应用,经济研究评论第77卷,第2期(2010.4):730-778页;赌徒谬误在生活的其他领域不存在的探讨请见史蒂文·平克,思维如何运转(纽约:诺顿出版社,1997),346-347页。这一话题的经典论著请见阿莫斯·特沃斯基和丹尼尔·卡尼曼,小概率事件的信仰,心理学期刊第76卷,第2期(1971):105-110页。

[4]游戏结构也很重要。菲尔·伯恩鲍姆通过比较职业篮球和棒球阐释这一点。在篮球运动中,每队大概能抢到100次球,半数都能得分;在棒球运动中,每队有40次打席数,40%左右的得分率。所以篮球比棒球有更多的得分机会。篮球运动中,得分最高者获胜。棒球运动中,得到更多打席数的队未必取胜。成功取决于上垒的人数和打击成功的频度。篮球运动中,5个球员就决定了球队的成绩;棒球运动中,得分分散在9个球员中。最后一点是,篮球运动中,一个球员可以贡献40%的得分,而在棒球运动中,最优秀的进攻球员也只比其他队员多1/9的打席数。最后两点更加突出了超级明星的意义。见菲尔·伯恩鲍姆,“胜利的赌注”:问题对,答案错,数字解读第16卷,第2期(2006.5):3-8页。

[5]威廉·费勒,概率论及其应用入门,第一卷第二版(纽约:约翰威立国际出版公司,1968)。

[6]从技术上讲,当运气的分布方差远大于技术的分布方差时,实力高的人也会表现糟糕,技术差的人也会在短期表现良好。方差是衡量数字分布的密集度的。实力和运气分布的方差值差别越大,运气对结果的影响越大。严格地说,当实力和运气呈正态分布时这种观念是正确的。均值用u代表,标准方差用a代表。非正态分布的情况我们也考虑到了。

[7]安打率是击中数除以打数的商。打数指的是球员轮流上垒的次数或打席数,这比你跑到一垒或被球触身的概率小些。见斯蒂芬·杰·古尔德,城市的胜利和悲哀:毕生对棒球的热情(纽约:诺顿出版社,2004),151-172页。

[8]进化生物学家描述过类似的现象,他们将之称为红皇后效应。在刘易斯·卡罗尔的镜中奇遇记中有个红皇后,她说:为了保持原来的位置,你不得不拼了命地跑。也就是说物种为了维持竞争平衡会共同进化。最热门的处理方式请见马特·里德利,红皇后:性和人性的进化(纽约:麦克米伦出版社,1994)。

[9]威尔伯特·伦纳德二世,四成打击率球手的减少:原因和实验,运动行为杂志第18卷,第3期(1995.9):226-236页。

[10]菲尔·罗森茨维格,光环效应……以及欺骗管理者的另外8个商业错觉(纽约:自由出版社,2007)。

[11]约翰·布兰库,临界点:运动科学预测跑得最快、跳得最高等运动极限(纽约:哈勃和考林斯出版社,2010),207-222页。

[12]麦尔坎·葛拉威尔,局外人:成功故事(纽约:小布朗出版社,2008)。

[13]同上,37页。

[14]乔·狄马乔的传奇人生故事请见克斯特亚·肯尼迪,乔·狄马乔和运动界的最后神奇数字(纽约:体育画报,2011);迈克尔·塞德尔,连续纪录:乔·狄马乔和夏季赛的.41安打(纽约:麦克劳希尔出版社,1988)。

[15]斯蒂芬·杰·古尔德,城市的胜利和悲哀。

[16]同上。

[17]三成打击率和二成打击率的球员对比是在很多简单假设的基础上的,包括每一轮上场击球的击中率都是稳定、相互独立的,而事实并不总是这样。我们要得出的结论是:实力越扎实的球员连胜的概率越大。引用的内容请见古尔德,城市的胜利和悲哀,185-186页。

[18]线性可容许估计是在斯坦因悖论的基础上改进的。斯坦因是斯坦福大学的统计学家,他的发现一般被称为悖论。悖论为估算真实均值提供了比事件的数学平均值更精确的估算方法,在计算三个或更多均值上更为适用(计算一两个均值时,数学平均值还是更精确的)。斯坦因悖论不同于传统的统计学理论,后者证明了没有别的计算定理比观察平均值整体上更好。更多斯坦因悖论的材料请见布拉德利·埃弗龙和卡尔·莫里斯合著,统计学上的斯坦因悖论,科学美国人,1997.5:119-127页;史蒂芬·史蒂格勒,内曼纪念演讲:高尔顿优生学说视角下的收缩估计量,统计科学第5卷,第1期(1990.2):147-155页;布拉德利·埃弗龙和卡尔·莫里斯合著,运用斯坦因估计函数分析数据以及数据概化,美国统计协会报第70卷,第350期(1975.6):311-319页。

[19]布拉德利·埃弗龙和卡尔·莫里斯,统计学上的斯坦因悖论。

如涉及版权,请著作权人与本网站联系,删除或支付费用事宜。

0000