接下来讨论真实生活中，我们对机缘巧合的分布所持有的偏见。
神秘信件
1月2日你接到一封匿名信，说这个月股市会上涨。结果股市果然上涨，但你不以为意，因为大家都知道有元月效应这回事（历年来1月的股价涨多跌少）。到了2月1日，你又接到另一封信，说股市将下跌。这一次，又给那封信说中了。3月1日再接到一封信，情形一样。7月，你对那位匿名人士的先见之明很感兴趣，对方邀你投资某个海外基金。于是你把全部的积蓄拿出来投资。两个月后，那些钱有如肉包子打狗，一去不回。你伏在邻居的肩膀上号啕大哭，他告诉你，他也接过两封这种神秘信，但寄到第二封就停了。他说，第一封信的预测正确，但第二封不正确。
这是怎么一回事？那些骗子玩的把戏是，他们从电话簿找出1万个人名，寄出后市看涨的信给其中一半的人，后市看跌的信给另一半的人。一个月后，将有5000人接到的信预测正确，然后再针对这5000人如法炮制。再一个月后，剩2500人接到的信预测正确，如此直到名单上剩下500人，其中会有200人受骗上当。因此骗子只要花几千美元的邮资，便可赚进数百万美元。
网球赛中的电视广告
看电视上的网球比赛转播时，经常会有一些基金大做广告，吹嘘它们直到当时为止的表现，比别人好几个百分点。但是同样的，如果报酬率没有市场的涨幅高，会有人做广告吗？向你推销的投资，它们的成功完全靠运气得来的概率很高。这种现象就是经济学家和保险业者所说的逆向选择（adverse selection）。由于这种选择偏差，评估主动上门推销的投资时，所用的标准应该比你自己去寻找投资机会，所用的评估标准严格。比方说，如果全部的经理人有1万名，那么我主动去找经理人时，有2%的机会碰到纯靠运气而活的经理人。但是如果待在家里，有经理人前来按门铃，对方纯靠运气而活的可能性接近100%。
生日悖论
向不懂统计学的人说明数据挖掘问题时，最简单的方法是利用所谓的“生日悖论”，不过它其实不能算是悖论，只是反直觉的奇怪现象。随便找一个人，你和他的生日碰巧是同一天的概率是1/365.25，碰巧同年同月同日生的概率更是低得多。因此和某人的生日同一天，是你会在晚餐桌上大谈特谈的巧事。一个房间内有23个人，任意两人生日同一天的概率有多少？约为50%。关键在于我们没有指明哪两个人必须同一天生日；任意两人都可以。
世界真小！
一个人在万万想不到的地方偶然遇见亲朋好友的这种情况往往也会造成对概率的类似误解。这时候，人们往往带着惊讶的口吻说：“世界真小。”但是这种事情并非难以发生—这个世界比我们想象的要大得多。其实我们根本没有真正想过在某时某地遇见某人的概率到底有多少。相反的，我们谈的只是任何偶遇，也就是和过去认识的任何人，在将来任何地方巧遇的概率。后者的概率高得多，或许比前者高数千个数量级。
统计学家观察资料，测试某种特定的关系时，例如了解政府宣布某件事和股市波动性的相关性，他们很可能对所得的结果信以为真。但是当我们把数据交给计算机去处理，寻找任何关系时，肯定会有某种虚假的关联性出现，例如股市的涨跌竟和妇女裙摆的高度有关，正如生日碰巧落在同一天，而人们看到这种结果后总是瞠目结舌。
数据挖掘
中新泽西州彩票两次的概率有多少？1.7×10－9。但这种事情就是发生在亚当斯（Evelyn Adams）身上。读者可能觉得，幸运之神一定特别眷顾这个人。哈佛大学的戴亚康尼斯（Percy Diaconis）和莫斯泰勒（Frederick Mosteller）利用上面说过的方法估计，某个人在某个地方，以完全未指明的方式，碰到那么幸运的巧事的概率，居然高达1/30！
有些人做数据挖掘的工作已经进入神学的领域—毕竟古地中海人也是从鸟的内脏发现重要的事情。德罗斯宁（Michael Drosnin）所写的《圣经密码》（The Bible Code），把数据挖掘工作扩延到圣经的注释上，是挺有趣的一件事。德罗斯宁当过新闻记者，但似乎不曾受过任何统计学的训练。他在一位“数学家”的研究协助下，借解读圣经密码而“预测”到以色列总理拉宾（Rabin）将遇刺，他曾经通知拉宾此事，但拉宾不以为意。《圣经密码》发现圣经中有统计上的不规则性，因此有助于预测类似的事件。不用说，这本书卖得很好。
书评的偏差
我喜欢逛书店，漫无目标地一本接一本浏览，想要决定是不是值得花时间去读某本书。我常常一时冲动，根据浮泛但有提示作用的线索来买书。我往往只看书封的介绍就做决定。书封通常有某人的推荐语，不管那个人有没有名气，或是从书评中摘录一段文字刊载出来。名气响亮且为人敬重的人，或者知名杂志的推荐，会促使我下定决心买某本书。
这有什么不对？我倾向于把书评和最好的书评混为一谈。前者是指对一本书品质的好坏所做的评估，后者则遭相同的存活者偏差玷污。我把一个变量的极大值分布误认为那个变量本身。除了最好的推荐语，出版公司绝不会把其他任何东西放在书封上，有些作者更过分，找来评语冷淡，甚至持负面看法的书评，从里面挑一些看来好像在赞美的字眼。英国金融数学家威尔莫特（Paul Wilmott）说我写的是他“头一次遇到的坏书评”，但他却能从里面摘录一些话，放在书封上当推荐语。后来我们成为朋友，让我有机会讨到他的签名。
我第一次被这种偏差愚弄，是16岁时根据哲学家萨特在书封上写的推荐语，而购买了美国作家多斯·帕索斯（John Dos Passos）写的《曼哈顿中转站》（Manhattan Transfer）。萨特言下之意，指多斯·帕索斯是当代最伟大的作家。寥寥数语，可能是在一时的狂喜和激情中脱口而出的，却使多斯·帕索斯成了欧洲知识界的必读作品，因为萨特的话被误以为是对多斯·帕索斯著作的一般看法，而不是最好的推荐语。尽管当时获得一些佳评，多斯·帕索斯最后还是由绚烂归于平淡。
历史资料回测程序
有位程序设计师帮我设计了一套历史资料回测程序（backtester）。这套软件程序连接到一个历史价格数据库，可以让我观察：利用不同的操作法则，能够得到什么样的绩效。由此得出的绩效数字，是根据过去的价格资料计算的。我可以只用机械式的操作法则，比方说，在纳斯达克上市的股票，只要收盘价比上个星期的平均价格高1.83%，我就买进。订了这个法则，马上就能算出我的绩效如何。屏幕上会跳出那个操作法则得到的假设性绩效记录。如果我对结果不满意，可以把百分率调整为1.2%。我也可以设定更为复杂的法则。就这么一直试下去，直到找到绩效令人满意的操作法则。
我到底在做什么？没错，是在一组可能行得通的操作法则中寻找存活者。我拿法则去套用数据，这件事称做数据探索。只要靠运气，我尝试的次数越多，越有可能找到一个非常适合过去数据的法则。一个随机系列总会呈现某种可察觉的形态。我相信西方世界一定有某种证券，它的价格和蒙古首都乌兰巴托的温度变化百分之百相关。
一个随机系列总会呈现某种可察觉的形态。
谈到技术层面，还可以做更糟糕的延伸。沙利文（R. Sullivan）、蒂默曼（A. Timmerman）及怀特（H. White）最近写了一篇出色的论文，谈到今天使用中的法则之所以获得成功，有可能是存活者偏差的结果。
假使长期下来，投资人从非常宽广的空间中，挑出技术性操作法则来做实验。原则上，这个空间包含数千种参数化后的各种法则。随着时间的推移，以前碰巧表现非常好的法则受到越来越多人注意，被投资圈誉为“重量级的竞争者”，而不成功的操作法则比较有可能被人遗忘。……如果一段时间下来，被人视为可行的操作法则数量够多的话，那么在很大的样本中，有些法则就算真的缺乏预测资产报酬率的能力，也会纯因运气，产生十分突出的绩效。当然，这种情况下，只根据一组存活下来的法则去做推论，可能产生误导作用，因为它并没有考虑原来全部的法则；这些法则大多不可能有较差的表现。
我在个人的事业生涯中，亲眼目睹历史资料回测被滥用的情形，不得不说上几句。市面上有一种叫做欧米加交易站（Omega TradeStation）的历史数据回测软件，成千上万交易员都在使用。它甚至有本身的程序语言。利用计算机操作的当日冲销交易员经常彻夜不眠，忙着从数据中测试出一些性质，他们的行为就像把猴子丢到打字机前面，不告诉它们应该敲出什么书，它们终究有望在某个地方找到黄金。许多人深信不疑。
我有位学历显赫的同行，越来越相信这种虚拟世界，以至于对现实状况完全视若无睹。终究他还保有一丁点常识，但面对一大堆仿真结果，这些常识便迅速消失得无影无踪，也或许是他根本连一点常识也没有，这点我实在不明白。仔细观察他的行为，我发现他可能还拥有的怀疑天性，竟在数据的压力下消失不见了。或者，他有十分强烈的怀疑精神，只是用错了地方。唉，休谟！
用统计方法建立医学知识
医学一向是靠试误法（trial and error）来累积知识的，换句话说，是靠统计方法建立医学知识。我们知道，对症下药有可能是完全靠运气治好的，而且医疗实验中，有时可能纯粹基于随机原因，导致某些药物治疗成功。我不是医学专家，但5年来看了不少医学文献，应该有资格来关心他们的标准，并于下一章进一步说明。医学研究人员很少是统计学家，统计学家也很少是医学研究人员，许多医学研究人员甚至不知道有这种偏差存在。没错，随机原因扮演的角色也许不大，但肯定存在。最近有份医学研究报告指出，抽烟反而能减少乳癌。这与以前所有的研究相互抵触。根据逻辑，这个结论有问题，可能纯属巧合。
被业绩数字愚弄
大体来说，华尔街的分析师都受过充分的训练，有能力察觉企业在报告盈余时玩弄的会计花招。这场游戏中，他们通常能够赢过企业界。但是他们还没受过能够处理随机现象的训练。一家公司的盈余某年增加，没有人会马上注意到。连续两年增加的话，它的名字会开始出现在计算机屏幕上。到了第三年时，分析师就会建议投资人买进。
和前面所谈的绩效记录问题一样，假设一开始有1万家公司，平均而言只能勉强赚到无风险报酬率，也就是报酬率和政府公债的收益率差不多。它们从事各式各样具波动性的事业，到了第一年年底，会有5000家“明星”公司的盈余增加（假设没有通货膨胀），另有5000家“蹩脚”公司亏损。3年后，我们会有1250家“明星”公司。投资公司的股票评估委员会会将这些公司的名单交给你的往来业务员，并且“强烈建议买进”。业务员会留下语音信息，说他有个热乎乎的建议，值得立即采取行动。他会用电子邮件寄给你一长串的公司名称，而你可能因此买进其中一两家公司的股票。负责管理你的退休基金计划的经理人，也同样会取得整张名单。
同样的道理也可用于投资范畴的选择。假设你处于1900年，有阿根廷、俄罗斯、英国、德国等许多国家数百项股票市场的投资可选。理性的人不只会买美国等新兴国家的股票，也会买俄罗斯和阿根廷的股票。接下来的历史，我们都很清楚：英美等国的股票市场表现都非常好，投资俄罗斯的人，手头上持有的股票却和中等品质的壁纸相去不远。表现很好的国家，占原始投资数目的比率不大；由于随机性，少数一些投资类别可望有很好的表现。有些“专家”会说出一些傻话（当然带有自私的目的），例如“在任何20年的期间内，市场只涨不跌”，我很好奇，他们是不是知道有上述问题的存在。
癌症治疗
从亚洲或欧洲旅行回来后，时差常使我很早就起床，偶尔我会打开电视机，看看有没有什么市场信息。叫我惊讶的是，这个时段竟有许多另类医药供货商大肆宣传他们的产品疗效，这个时段的广告费率无疑比较低。为了证明他们所说真实不虚，他们会找来用他们的方法而治愈的人上台做见证，比方说，我看过一位罹患喉癌的病人说，他吃了一种综合维生素，结果捡回一条命，而那种维生素的价格十分低廉，只卖14.95美元。他应该是很真诚的，当然他也可能会因为现身说法而得到报酬，例如终身免费供应那种药品之类的。虽然时代不断在进步，人们依然听信这种信息，以为某些疾病可以靠这些方法治好，而科学证据的说服力竟然不敌外表真诚且情绪化的证词。这种证词不一定都出自普通人嘴里，诺贝尔奖得主的越界发言也时有所闻，例如获得诺贝尔化学奖的鲍林（Linus Pauling），据说相信维生素C具有很好的医疗效果，本人每天大量服用。由于他的强力推荐，一般人便相信维生素C真的具有疗效。许多医学研究无法证实鲍林的说法，但一般人对此却充耳不闻，他们宁可采信“诺贝尔奖得主”的证词，即使他没有资格讨论和医学有关的事情。
有些人信口雌黄，所说的许多话除了为自己赚进银子外，大致无害，但不少癌症患者可能因此舍弃比较有科学根据的治疗方法，改用这些“另类医药”，结果丧失宝贵的生命。读者可能要问，我的意思是不是说，现身作证的人看起来满脸真诚，却不表示他真的被那些产品治好。其实这是由于所谓的“自发性复原”（spontaneous remission），也就是说，由于迄今仍不明朗的原因，极少数癌症患者的癌细胞“神奇地”被消灭，因此“奇迹似的”复原了。某种变化导致患者的免疫系统把体内所有的癌细胞全给消灭，这些人不吃那些包装精美的药丸，只喝一杯佛蒙特州的泉水或嚼牛肉干，也能不药而愈。再者，这些自发性复原或许没有那么自发性，因为它们实际上可能有其原因，只是我们还没有察觉。
已故天文学家萨根（Carl Sagan）致力于提倡科学思想，十分厌恶不科学的行为。他曾经调查人们到法国卢尔德（Lourdes）去，只要触摸圣水便可治疗癌症的传闻。他发现一件有趣的事实：造访该地的全部癌症患者，治愈率低于自发性复原的统计数字，也低于未曾前往卢尔德的患者的平均治愈率！难道统计学家可以据此推论，癌症患者到过卢尔德之后，存活率反而更低？
随机现象看起来不随机
20世纪初，学者开始发展各种技术来处理随机结果的概念。有几种方法被人设计出来，用以察觉异常现象（anomalies）。皮尔逊（Karl Pearson）教授设计出第一种非随机检定方法。上过统计学入门课程的人都知道奈曼–皮尔逊（Neyman-Pearson）检定法。皮尔逊教授设计的非随机检定方法，其实是做偏离正常值的检定，但就目的来说，属同一回事。1902年7月，他调查了数百万个所谓的蒙特·卡罗结果，发现这些结果并非完全随机，而且具有很高的统计重要性，其误差低于10-9。什么？转盘转出的结果不随机？这个发现令皮尔逊教授大吃一惊。但是这个结果本身并没有告诉我们什么事情；我们知道世界上根本没有纯随机抽样这种东西，因为抽样的结果取决于设备的品质。够多的小事集中在一起，我们就能在某些地方发现非随机现象，例如转盘本身可能不是摆得很平，或者旋转的球不是很圆。统计学的哲学家把这叫做参考个案问题（reference case problem），用以解释实务上没办法真正取得随机，只有理论上才找得到。此外，经理人会质疑这种非随机现象能否造就真的能够赚钱的法则。如果我需要赌一万次，每次一块钱，才可望赚到一块钱，那不如兼差去当大楼管理员。
但是这个结果还有另一个可疑的成分。这里和实务更有关系的地方，是下面所说非随机性的严重问题。连这位统计学之父也忘了随机连续序列不一定要呈现随机的模式（pattern）；事实上，数据如果完美到未呈现任何模式，反倒十分可疑，让人觉得有捏造之嫌。单一的随机连续序列势必呈现某种模式—如果我们努力去找的话，一定找得到。皮尔逊教授等学者很早就对创造人为随机数据发生器很感兴趣，由此得出的随机数表，可以作为各种科学和工程仿真（蒙特·卡罗仿真器的前身）的输入资料。问题出在他们不希望这些随机数表呈现任何形式的规则性，而真正的随机现象看起来并不随机！
癌症丛集（cancer clusters）这种现象非常有名，从这种现象的研究，可以进一步说明上述的道理。假设随机掷出16支飞镖到一个正方形，它们插中正方形中任何一个地方的概率相同。现在把这个正方形分成16个更小的正方形。这么一来，我们预期每个小正方形平均会有一支飞镖在上面—但这只是平均值而已。16支飞镖恰好分别插中16个不同的正方形，这样的概率非常低。比较常见的结果是，一些正方形里面会有一支以上的飞镖，许多正方形则一支飞镖也没有。这些格子如果不出现（癌症）丛集，将是极为罕见的事。现在，把插有飞镖的格子覆盖在任何地区的地图上，一些报纸就会宣称其中某个地方（飞镖数高于平均值者）的辐射线太强，造成癌症病例显著增多，因而促使律师开始去找癌症患者，准备索赔。
科学知识中的偏差
同理，科学也被有害的存活者偏差给污染，而影响研究成果的发表方式，因为没有产生任何成果的研究不会见诸文字，这一点和新闻报道一样。这事听起来似乎挺合理，因为报纸不必弄个耸动的标题，报道昨天没有发生什么新事情（不过圣经倒是很聪明，说“太阳底下没有新鲜事”。这句话提供的信息是一切事情如常运行）。问题出在将“发现没有事情”和“没有去发现”两者混为一谈。什么事情也没发生这个事实，可能包含重要的信息，正如在《银色马》（Silver Blaze）中福尔摩斯指出的，奇怪的事是狗并没有吠。造成更大问题的是，许多科学成果没有发表，因为它们的数据并未呈现统计上的显著差别，不过实际上它们还是提供了一些信息。
不做任何判断比较安全
我常被问到这个问题：何时才是真的不靠运气？说实话，这个问题我答不上来。我只能说，某甲的运气看起来比某乙差，但我对这种知识怀有的信心很薄弱，以至于不具意义，我宁可存疑。别人经常误解我的意见。我从没说过每位富人都是傻瓜，以及每位不成功的人运气都不好。我只能说，由于缺乏更多的信息，我宁可不做任何判断。这样比较安全。
