索尔特豪斯的研究

2007年，索尔特豪斯使用了一种非传统的方法进行研究。他给一批从18岁到97岁的参与者作了16个不同的倾向测试，包括从智力到注意力在内的许多重要认知心理学和神经心理学测试。在这些测试中，他把复杂实验设计中的许多变量，例如种类、偏见、假设和等级都暗含其中，并且打乱顺序。通常的研究只会关注一个活动或者特征，将测量结果作为绝对情况，用来与其他测量的特质进行比较。通过使用多种测试，索尔特豪斯为我们提供了从不同视角看清事物的工具。

索尔特豪斯还进行了一些独创的设计。大部分的智力测试或者智力倾向测试通常都一次只给参与者一个测试。这些测试假定个体在所有情境下都会得到相同的结果，但我们知道这个假设有问题。考试分数是会变化的，比如像大型的、决定性的考试，如SAT，你可能在头一年考得非常糟糕，第二年再考一次就好多了。索尔特豪斯让每个参与者就一种测试测多次，然后把来自多人多次测试的统计结果整合起来，使用多种方式来处理这些数据，找出不同的变量，包括那些“外在”的变量，如测试的时间，是否是第一次考等。使用新的计算工具，就采用不同结构的数据，进而发现一些有趣的现象。

对测试的全部结果使用不同的方式进行分析后，索尔特豪斯发现，在同一个体身上存在着非常大的变异性，即使是对这个个体进行了同一特征的测试。这些变异取决于诸多细节，如进行测试的日期、时间或所用量表的版本这样的细节。也就是说，一个参与者在不同日期进行同一测试得到的分数不同，使用不同版本量表得到的分数也不同。索尔特豪斯发现，“个体变化性的存在，让认知和神经心理功能的评估变得非常复杂，单个测试不足以精确地评估个体，或者说对于测量变化不够敏感”。³¹分析结果显示，在所有处理的数据中，在许多认知任务中，测试分数的个体变异占到了个体间分数差异的50%。³²正如一个科普记者所评：“每个人都有一系列典型的表现和属于他自己的钟形曲线。”³³索尔特豪斯的研究结果具有决定性的影响，它足以让每个人都反思我们目前的测量方式。

我们可能需要提醒一下自己：不要在周一或者傍晚参加重要的考试。也提醒一下那些以标准化代替高标准的人：标准化的测试在测量个体时并不是特别稳定。但是我们太看重考试的分数了，在状态不好的一天考得不好，足以改变整个人生。原本优秀的孩子可能由于在考试上平平的分数而失去入学资格，这种基于过去成绩的考试制度，会引起学生在学业表现上的多米诺骨牌效应。

对这个星球上大多数为考试着迷的国家来说，索尔特豪斯的实验真的让他们进退两难。针对标准化测试的批评家们常说他们将学习缩减成了“为考试而教”，也就是说教学不是为了让学生理解而是为了让他们在考试上得高分。索尔特豪斯的研究和对测试的批评都追溯到凯利和比奈探究的起源，他表明测试的危害可能不止于此。