很可能的是，我们从一个研究中得到的结果要归因于偶然，而不是正被研究的变量。这个表述不是要暗示说，世界是混乱的或一些导致我们结果的奇迹发生了。机会，像我们在这里所用的那样，意味着我们研究的结果是由于一些偶然的影响。例如，在一个可控实验中，研究者采取所有的防范措施以求确保：控制组和实验组在实验变量（比如一种新药物）被引入之前是同等的。如果它们是同等的，并且得到区别对待的那个组也比控制组受到了不同影响，那么也许我们就可以把差别归因于对待。两组在分配对待之前不是相同的，这总是有可能的。如果这样，不管那种不等性是什么，都可能要为结果负责，而不是对待要为之负责。例如在一个药物研究中，当研究者挑选出试验组时，可能出于偶然，这个组在发放药物之前，就比控制组更强壮，虽然采取了所有的预防措施确保其与控制组的同等性。在这种情况下，即使研究者只给对待组吃花生酱，甚至什么也不给，实验组也仍可能有更高的治愈率。
其他的研究设计也能被偶然因素干扰。例如在关联研究中，有可能我们发现的关联是假装的。我们知道在你口袋里有多少枚硬币和你后院有多少棵树之间是没有关联的。可是，如果我们随机抽取200个人，虽然不大会，但也仍有可能那些有更多硬币的人碰巧也有更多的树？当然会出现这样的结果。而这样一个关联就要归因于由偶然引起的抽样错误。
很显然，到目前为止我们的样本规模越大，发生这些错误的可能性就越小。但是即使每个样本有500000个人，抽样错误的可能性仍然存在，即使非常微小。这个可能性，也叫做显著性水平，是在样本规模大小、样本内的变量有多少、两组之间结果差别的大小和关联的强度等要素基础上统计计算出的。
很明显，当结果偶然发生的概率是百万分之一时，我们就可以很有自信地说，我们的结果反映了两组之间的真正差别。可是如果概率是千分之一、五十分之一甚或十分之一，又怎样呢？在哪一点上我们失去了对结果的信心？例如在社会科学中，有两个可接受的标准：0.01和0.05的显著性水平。如果研究结果位于0.01的显著性水平，由于一些抽样错误，结果发生的可能性就是百分之一。因此我们就可以合理地相信但不是确信，我们的结果不是一百次中发生一次，这样的结果可能是偶然产生的。0.05的显著性水平不那么严格，它表明结果偶然发生的概率是一百个研究中有五个，然而对大多数科学家来说这仍是可以接受的，表明一个真正差别的可能性，也就是说，不是由于偶然，而是由于正被研究的变量，比如一个药物实验中的药物或者一个母鸡下蛋实验中的秘密原料。
我们如何知道到底是偶然还是研究中的诸多变量之一引起了我们的结果呢？如果我们重复这个研究并得到了同样的结果，我们就会变得更加确信。这就是在科学方法中的最后一个阶段中复制的重要性。不幸的是，很多研究并没被重复，因为研究者依靠对0.01和0.05水平的信心，或者没能对一个项目产生足够的兴趣进行复制。但即使结果的显著性水平是0.01,仍可能会归因于偶然。然而，如果某个其他人重复了研究试验，得到了一样的结果，那么偶然就不大可能对此作出解释。年复一年，我们听说治愈癌症的可能性，可当其他人复制实验设计却没有得到相同的结果时，带给我们的只是失望。
研究中偶然作用的重要性，以及它可能干扰结果的方式，在每个学科之间都有所不同。但大多数科学学科肯定都会受到偶然性的影响。例如，1989年，当一个原以为会成功的冷聚试验未能通过复制测试时，美国公众感到了极大的失望。这些复制试验的失败表明是其他东西而不是被研究变量要对这些实验中最初的积极结果负责。
总之，当我们听说一个研究的结果时，我们必须考虑偶然的作用，在我们的理解中保持适当的警惕。我们应该反身自问结果是否与其他发现相一致，如果不一致，等待复制研究就是明智的选择。
思考
你需要有多少信心来采取行动？你需要什么样的信心水平去闯红灯、加入不受保护的性行为、高空跳伞、蹦极或者投注1 000美元的彩票？
规模效应
一个规模效应是一个大效应。仅仅一个研究的结果显著性水平（比方说）是0.01,并不意味着有很多要加以关注。说研究的结果不可能是抽样错误的结果是一码事；说研究表明了一个规模效应又是另一码事。如果一个操作良好的研究发现吃肝脏的人不大可能患癌症，这个研究的显著性是0.001，我们就可以自信地说，结果不是由于抽样错误而产生的，尤其当这个结果已被复制过时。但我们仍可以问：“吃肝脏能减少多少癌症风险？”“就一点”，一个研究者可能回答说。那样的话，我们就不需要改变饮食来吃难以下咽的肝脏。另一方面，如果吃肝脏减少了一半风险，那么也许就是改变我们口味的时候了，但也不一定。如果首先原初风险就很小，这种小风险的一半仍是如此之小，以至于没理由改变我们的习惯。不幸的是，大众媒体经常陈举研究结果，却根本不提效应的规模或者原初风险。
赌徒谬误：不要下注！
彩票游戏者和其他的休闲赌徒有时深受赌徒谬误之害，就是因为这样一个信念：过去的随机事件发生频率会影响到事件再次发生的概率。例如，相信如果连着十个便士都是人头朝上，那么再次出现便士人头的概率就很大，然而这就是一个赌徒谬误，因为一个排列组合中第11个出现人头的可能性微乎其微。然而事实上，一个便士将以人头还是背面出现并不取决于以前是如何出现的。每抛一次就有50/50的概率出现头朝上，每次抛掷都独立于以前。理解这一点的关键在于过去的抛掷。如果有人连着得到了10个人头，这很令人惊奇，然而第11个会是人头的概率在这一点上（在已经扔了10个头朝上后）仍是50/50。十个连续抛掷的概率藏身于我们之后，那些概率已经被击中。下一个抛掷只是50/50，一个人据此下注才是明智的。轮盘赌、硬币抛掷和其他立足于随机性的设置都易受这个谬误的影响。而下注于非随机性事件，比如赛狗和赛马就不会。如果一只狗赢了几场比赛，那很可能是因为它是一个强劲的赛手，所以假设这只狗还会赢得下一场比赛就不是谬误。总之，如果你发现一个特定的宾果（bingo）数字好几个星期都没被叫到，你不应该因此假定今天晚上它就很可能会被叫到。
