最近收到了对两个平台进行对比调研的需求,原以为做下简单的问卷设计就可以了,找了一些资料发现中间的门道还是非常的深,想要很好的掌握实属不易。可用性测试的问卷有很多中,如下图:

什么是标准化的问卷

问卷是一种用于获取被测者信息的表格,问卷的题目可以是开放式的问题,但更典型的是选择题或打分题。标准化问卷是被设计为可重复使用的问卷,通常有一组特定的问题使用特定的格式按照特定的顺序呈现,基于用户答案产生的度量值具有一定的规则(对于用户的回答,也有特定的计算方法和规则。)。作为标准化问卷设计的一部分,设计者通常需要报告问卷测量的信度、效度和灵敏度,换言之,问卷需要经过心理测量的条件审查(并不是每一份被重复使用的问卷就能称为标准化问卷)。

标准化问卷的评估:信度、效度和灵敏度

对标准化问卷的质量的测试指标主要是信度和效度。
信度:测量一致性。它衡量的指标是:对同一对象测量得到的结果是否一致。一般信度的评估包括重复测量信度和分半信度,最常见的方法α系数法。信度范围在 0 到1之间,对于问卷的信度,并没有固定的要求,不同内容的问卷对信度的要求不一样,但是,那些有着重要影响的问卷,例如 IQ 测试等,我们对其信度要求高,一般达到9 以上,而一些其他的问卷,信度要求7 以上就能够接受。$\alpha$信度系数是目前最常用的信度系数,其公式为:$\alpha =\frac{k}{k-1}\times (1-\frac{\sum S_i^2}{S_T^2})$,其中,K为量表中题项的总数, $S_i^2$为第i题得分的题内方差, #S_T^2#为全部题项总得分的方差。从公式中可以看出,$\alpha$系数评价的是量表中各题项得分间的一致性,属于内在一致性系数。这种方法适用于态度、意见式问卷(量表)的信度分析。总量表的信度系数最好在8以上,7-0.8之间可以接受;分量表的信度系数最好在0.7以上,0.6-0.7还可以接受。α系数如果在0.6以下就要考虑重新编问卷。效度:测量有效性。确定有效性有不同的方式。确定有效性有几种不同的方法:内容效度是一种通过考察条目出处的理性而非经验的评估。