评价科学研究的一些线索
将以下这些问题应用到科学发现中,以此来判断这些发现是不是可靠的证据。
(1)报告的资料来源的质量怎么样?通常情况下,最可靠的报告往往出自那些发表在由同行专家评定的期刊上的文章,在这些期刊中,一项研究结果只有被一系列相关专家评价过以后才会被接受。通常情况下,但也不总是这样,资料来源的声誉越好,研究设计也就越好。所以要竭尽全力找出资料来源的声誉如何。
(2)除了资料来源的质量外,交流中有没有其他的线索显示这项研究完成得很出色?比如,报告有没有详细说明这项研究有什么特别的过人之处?可惜,我们在流行杂志、报纸、电视报道和博客里遇到的绝大部分关于研究结果的报告都没有提供足够的细节来说明此项研究,以确保我们对于这项研究质量的评价。
(3)研究进行的时间离现在有多久,有没有理由让人相信研究结果可能会随着时间的流逝而发生改变?很多研究结果会随着时间的流逝而发生改变。例如,有关抑郁症、犯罪或者心脏病的起因在20世纪80年代可能和在2010年看起来大不相同。
(4)这项研究的结果有没有被其他的研究重复过?如果某一种联系总是在精密设计的研究中不断被重复并且总是前后一致地被发现——比如吸烟和癌症之间的联系——那么我们就有理由相信它,至少在那些不同意这一结论的人能提供较有说服力的证据来证明他们的观点之前,我们都会相信它。
(5)持论者在选择研究的时候是怎样精挑细选的?比如,有没有得出相反结论的相关研究被他忽略不计?研究人员是不是只选择那些支持他的观点的研究?
(6)有没有什么强势批判性思维的证据?作者或演说者对于先前那些支持他的观点的研究有没有表现出一种批判的态度?由于研究条件的限制,研究得到的大部分结论都需要进一步的证明。持论者有没有表现出要进一步加以证明的意愿?
(7)有没有理由让人蓄意要歪曲这项研究?我们要当心研究人员亟须找到特定结果的那些情况。
(8)研究的条件是不是人为制造的并因此遭到扭曲变形?记住一定要问一声:“研究进行的客观条件和研究者概括的情境到底有多少相似之处?”
(9)根据研究样本,我们概括的范围到底有多大?因为这个问题非常重要,我们将在下一部分深入讨论。
(10)研究人员所使用的调查报告、问卷调查、等级评定或其他测量结果有没有偏见或者歪曲的现象存在?我们应该相信研究人员想要测量的东西他们一定会测量得准确无误。但是片面的调查报告和问卷调查这一问题在科学研究中简直无孔不入,我们只有在后面部分详细加以讨论。
[1]"Lies, Damned Lies, and Medical Science",November 2010,Atlantic Magazine.
[2]强求确定性谬误指认为一个研究结论如果不是百分百确定的话就应该被抛弃。