问卷的优点在于它比较客观统一,效率比较高,可以用团体方式进行,结果统计高度数量化、范化;费用低,不必花很多力气训练调查人员。这些特点使问卷法非常适于进行大规模的调查活动。在有的课题研究中,由于问卷不记名,使得答卷人更加开放,能真实反映自己的观点和态度。
其不足之处在于,不够灵活,多数问卷项目要求以有结构方式回答问题,使人感到不能充分说明自己的态度,有时还会由于不回答许多项目而使问卷失效。只适于具有一定文化程度的人,使得应用范围受到限制。研究表明对文化程度比较低的人使用问卷时,容易出现问卷回收率低、漏失数据、答卷时作随机反应等问题,从而影响研究质量。问卷项目设计不当,就会造成所获数据失真。
问卷调查从本质上讲是利用一系列量表来对测量受调对象的特征,为了取得准确可靠的数据,在问卷设计及调查进行过程中,必须着重考虑其测量信度与效度。
测量信度即可靠性,亦称准确性,是测量反映被测特征真实程度的指标,比较标准的定义是“测量信度是指测量结果反映出系统变异的程度”。高信度的测量很少受到随机因素的干扰,能准确无误地测量出人们的特征和各种心理过程、认识水平。
效度是指测量的有效性,即测量到的是不是所要测量的特征。如果一项知识水平的测量测得的结果竟是逻辑能力,那么这种测量就完全没有效度。
问卷调查的信度与效度即效果主要受到三类因素的制约:人的特征、情境的因素以及测量工具本身的特点。这三种因素还会发生多种交互作用,影响答卷的方式和结果。
1、人的特征:指调查对象的主观倾向和反映定势。主观倾向主要包含两方面的变异:系统变异和随机变异。两种系统性的反应偏向最值得注意,这就是倾向于以符合社会要求的方式答卷和倾向于以默认或接受的方式答题。另外有的受调对象希望表现得合作,显得深思熟虑,造成某种反应偏向。如果调查对象在不同测量情境中都有较相似的反应偏向,则表现出某种个性倾向,需要在问卷设计时注意控制和克服。
反映定势是指受试者以某种习惯的方式对测验项目作出反应,使得调查无法正确判别受试者的真实特征。主要有这样一些反应定势:
(1)速度与准确性定势:有的人倾向于慢而仔细地答题,另一些人常常快而粗略地作出反应。
(2)认可定势:对正误或是否题不肯定时,倾向于选择“正确”或“是”的答案。
(3)位置参照定势:有的人对等距量表的某些位置比较偏爱,另一些人则倾向于每题变换一种量表位置。
(4)投机定势:是一种猜测定势,倾向于探究题中线索,猜测答案。
2、工具方面的因素:这是指由于测量工具本身所造成的偏差。问卷项目设计不当,项目过多,项目排列顺序不当都会造成失真,即降低测量的信度与效度。
研究表明在一定的限度内,一个测验或一次测量所采用的性质相同的项目越多,测量信度也愈高。研究还表明随着测验项目的增加,该测量的标准误差呈减小的趋势。
但是过多的问卷项目会使答卷人疲劳、焦虑、注意力下降,使问卷结果(特别是后半部分问卷)质量大受影响。研究表明问卷项目的数量一般不能多于80个,否则效果会有明显下降。网络调查由于受受众心理、情境、缺少调查人员的面对面交流的因素的影响,其数目应当更少。
在问卷设计中采取一些措施,可以克服和控制一部分主观倾向因素,提高问卷质量。如可以运用相反陈述法平衡“默认”定势;用强迫选择法减少社会要求性定势等等。
3、情境方面的因素:主要包括问卷实施现场的条件与特点、主持问卷研究的人的行为和态度、问卷设计的引导语、实际学习或工作任务的干扰等等。一个比较容易造成问卷“污染”的问题是其它人的干扰。许多问卷调查是以团体方式进行,受调查对象有机会相互讨论或启发,使问卷结果严重污染。克服的方法是一方面说明问卷回答要求和规则,另一方面加强控制现场。但在网络调查中,现场控制是不可能的,受调查对象可能是在家中独自答卷,也可能是在网吧中同周围人一起进行。这就要求加强问卷设计的科学性,在一定程度上减少此种因素的干扰。另一方面可在后期的统计分析时采取一定措施消除。