调查和问卷的回答真实吗
夜幕刚刚降临,你才吃过晚饭,电话铃声响了。“我们正在做一项民意调查。你能否回答我们几个问题?”如果你回答说“可以”,你就变成成千上万年年参加调查的受访大军中的一员——这种调查是我们最常遇到的一种研究方法。想一想你听到下面这个词组的频率有多高:“根据最近的民调结果。”
调查和问卷通常被用来测试人们的行为、态度和看法。它们的可信度怎么样?信不信它们得看具体情况!调查的回答会受到多种因素的影响;所以,我们在解释它们的意义时不得不倍加小心。下面我们就来盘点一下其中的一些影响因素。
首先,要使调查的回答变得有意义,针对这些调查的回答就必须是实话实说。也就是说,口头汇报必须要反映心中真实的看法和态度。可是,由于各种原因,人们常常要掩盖真相。比如说,他们可能会提供自己认为应该提供的答案,而不是真实反映内心想法的答案。他们可能会对问卷调查或者向他们提出的那一类问题心怀敌意,他们可能对这些问题不作任何思考。如果你曾经接受过任何类型的调查,也许你就能想到很多其他的影响因素。
小贴士:你不能想当然地以为调查得到的答案就准确反映出调查对象真实的态度。
其次,有很多调查问题的措辞显得含糊不清,这样的问题可以做出多重解读。不同的人其实很可能是在回答不同的问题!例如,设想一下这样的调查问题可能会面临多种可能的解读:“你认为电视上有没有高质量的节目?”调查的措辞用字越含混,你对调查结果的可信度就越要打折扣。
你应该时刻记住要问一下这个问题:“这个调查里的问题是怎样措辞的?”通常情况下,一个问题的表述越具体清晰,不同的人就越有可能对其做出相同的解读。
最后,调查本身所包含的很多偏见让它们变得更加可疑。其中两个最重要的偏见是措辞偏见(biased wording)和语境偏见(biased context)。所提问题的措辞偏见是最常见的问题,对提出一个问题的方式稍加改变就会对其回答的方式产生重大的影响。我们先来看看下面这个基于最近的民意调查得出的结论,然后再回头看看调查中所提出的问题。
一个大学教授发现,在他所任教的大学有56%的调查对象相信奥巴马的医疗改革方案对于国家而言是大错特错。
现在我们再来仔细看看调查中所提出的问题:“你对于总统误入歧途地在全国大张旗鼓地强制推行奥巴马医改式的社会主义有什么看法?”你有没有看到问题本身存在的偏见?其中引导性的词语是“总统误入歧途地在全国大张旗鼓”以及“强制推行奥巴马医改式的社会主义”。如果将问题稍作改变,变成“你对总统的医改尝试,即要建立一套覆盖人群更广、成本更低廉而医保覆盖项目却大大增加的医疗体系有什么看法”,答案的面目会不会大不相同?因此,这里获得的答案只显示了一个关于新的医改方案的歪曲的观点。
调查和问卷数据必须接受审查来看看它们有没有可能存在偏见。小心查看问题的遣词用字!
语境对问题的答案所产生的影响也很可能非同小可。哪怕同样的问题答案也会随着调查的不同而有所不同,主要取决于问卷是怎样呈现的,问题是怎么放进调查中去的。下面这个问题包含在最近进行的两个调查当中:“你认为我们要不要将饮酒年龄降低到21岁以下?”在一个调查中,这个问题的前面还有另一个问题:“你认为选举权应不应该像现在这样被赋予18岁的孩子?”另一个调查中,前面的问题并没有出现。毫不奇怪,两个调查的结果会完全不同。你能明白语境会怎样影响到调查对象了吧?
另一个重要的语境因素就是问卷长度。在比较长的调查当中,人们对后面问题的回答可能和对前面问题的回答有很大的不同,只是因为他们做题做烦了。在评价调查结果时一定要警惕语境因素的影响。
因为人们回答调查的方式会受到许多未知因素的影响,比如说讨好访谈者的需要,或者对问题的不同解读,那我们应不应该将调查证据当成好的证据?对这个问题有激烈的争论,但我们的回答是“当然要”,只要我们足够小心,不要在调查证据范围之外去过多概括。有些调查的声誉要高于其他的调查。调查的质量越高,你就越应该受到其结论的影响。
我们的建议是仔细盘查调查的程序,然后再接受调查的结论。一旦你确定程序的质量,你就可以选择做出自己的合理概括——这个概括会考虑到你可能发现的任何一种偏见。哪怕是片面的调查也可能会承载大量的信息,但是你需要知道偏见之所在,以防止自己过分被调查结果所说服。