通常,如果条目是由领域专家创建,或是引用于目标领域或相关领域已有调查问卷的文献中,则我们可以预设该内容是有效的。效标关联效度是指测量结果与某种预设或并发测量这边的相关性,通常使用皮尔逊相关系数来评估。这些相关性并不需要很大就能证明有效性。结构效度是指为问卷所选的条目与调查问卷锁设计的评估基础结构之间的一致性程度。问卷调查人员使用统计程序(主要是因子分析)来发现或确定相关项目的集群。当项目以合理(或按预期的)的方式聚集在一起时,这不仅体现了构建效度,也是形成合理分量表的基础。测量之间在结构上存在高度的相关性可以被认为时聚合效度的证据,反之,在结构上没有达到预期一致性可以被认为时分歧效度的证据。灵敏度的间接指标时产品比较时达到统计显著性所需的最小样本量,问卷越灵敏,所需的样本量最小。

标准化可用性问卷的优点

客观性:允许可用性测试的从业者独立的验证其他从业者的报告。复用性:可以轻松复用别人的研究,甚至是自身的研究。例如,可用性测试的研究一再表明,标准化可用性问卷比费标准化可用性问卷更可靠。量化:标准化测量使得从业者的报告结果有更细微的细节,而不仅只有个人判断。标准化也运行从业者使用高效的数学和统计学方法来理解他们的结果。经济:开发标准化测试需要大量的工作。但是,一旦开发出来,他就能重复使用,非常经济。沟通:当标准化测试可用时,从业者能更加方便的进行有效沟通。科学的普适性:科学结果的普适性是科学工作的核心。标准化对评估结果的普适性必不可少。

常见的标准化可用性问卷

我们在做产品或系统的可用性测试后,都想把结果更好地传递给相关方。除了定性的研究结果之外,还有定量的可用性问卷,这些可用性问卷是标准化的,不仅可以科学地量化用户体验,也方便相关方之间有效沟通。常见的标准化可用性问卷有整体评估问卷、任务评估问卷和网站感知可用性评估问卷:
整体评估问卷:用于完成一系列任务场景后,对产品或系统整体的感知可用性测量。QUIS(用户交互满意度问卷)SUMI(软件可用性测试问卷)PSSUQ(整体评估可用性问卷)SUS(系统可用性量表)UMUX(用户体验的可用性指标)UMUX-LITE(用户体验的可用性指标-简化版)任务评估问卷:每完成一个场景任务,让用户对该任务进行感知可用性测量。ASQ(场景后问卷)SEQ(单项难易度问卷)SMEQ(主观脑力负荷问题)ER(期望评分)UME(可用性等级评估)网站感知可用性评估问卷:大部分标准化可用性问卷最初在20世纪80年代中期到后期被开发,在网络开始流行时,出现了更有针对性的评估网站感知可用性的问卷。WAMMI(网站分析和测量问卷)SUPR-Q(标准化的用户体验百分等级问卷)SUPR_Qm(APP用户体验量表)用户心理负荷的测量:用户在使用产品时的心理负荷水平也直接影响着用户的主观满意度。SWAT(主观性工作负荷评估技术Subjective Workload Assessment Technology)NASA-TLX(NASA任务负荷指数National Aeronautics and Space Administration-Task Load Index)其他有趣的问卷CSUQ(电脑系统可用性问卷)USE(有用性、满意度、易用性)HQ(享受性质量)EMO(情绪指标结果)ACSI(美国顾客满意度指数)NPS(净推荐值)CxPi(福雷斯特客户体验指数)TAM(技术接受模型)

用户交互满意度问卷QUIS

用户界面满意问卷(Questionnaire for User Interface Satisfaction,QUIS)是由马里兰大学的人机交互实验室(Human-Computer Interaction Laboratory,HCIL)中的一个研究小组编制的(Chin、Diehl和Norman,1998年)。
使用QUIS必须取得马里兰大学办公室的许可。目前学生的许可费用是50美元,学术或非盈利许可费用为200美元,商业许可为750美元。
第一个长版本的QUIS有90个项目,以下为简短版本5。简短版本QUIS包括27个评价项目,分为5个类别:总体反应(Overall Reaction)、屏幕(Screen)、术语/系统信息(Terminology/System Information)、学习(Learning)和系统能力(System Capability)。评分是在一个10点标尺上进行,标示语随着陈述句的不同而发生变化。前6个项目(评估总体反应)没有陈述性的题干,只是一些截然相对的标示语词对(如很糟糕/很棒、困难/容易、挫败/舒适等)。
官方网站:http://lap.umd.edu/quis/

整体评估可用性问卷PSSUQ

PSSUQ(整体评估可用性问卷,Post-Study System Usability Questionnaire)问卷用于评估用户对计算机系统或应用程序锁感知的满意度。PSSUQ的起源是IBM的一个内部项目,称为SUMS(系统可用性度量,System Usability MetricS),经过多个版本的迭代,目前用的比较多的是第三版。
在主持的可用性测试中,填写PSSUQ前给用户的说明如下:
您能通过本问卷告诉我们您使用系统的反馈。您的反馈可以帮助我们了解您对系统特别关心和满意的方面。为了尽可能好地完成这些题项,请您在回答的时候回想您在系统中执行的所有任务。青阅读每一个描述,表明您同意或不同意这些描述的程度。如果一个描述对您不适用,请圈“不适用”。请通过评论对您的答案进行精细描述。当您完成这个问卷后,我会跟你一起回购答案,以确定我了解您的所有反馈。谢谢!(Lewis,1995,p77)
PSSUQ问卷有四个分数,一个整体和三个分量表。计算规则如下:
整体:题项1~16的反应平均值系统质量:题项1~6的平均值信息质量:题项7~12的平均值界面质量:题项13~15的平均值
结果分数介于1~7分之间,分数低表示更高的满意度。如果从业人员需要,可以增加问题的题项目或在有限的程度中,可以对特定背景意义不大的题项进行删除。
PSSUQ的心理评估
版本3的信度为:
整体:94系统质量:9信息质量:91界面质量:83
所有的信度都超过0.8,这表明问卷具有足够的信度作为标准化的可用性测量。
PSSUQ的基准
各版本的PSSUQ题项和问卷基准高度相关。以下为版本3的最佳可用基准:
注:这些历史研究是基于PC系统得到的数据,用于手机端的度量需要再解释的时候特别注意,并在长期积累了手机端数据之后,对解释作适合于自己的修订。
题项评分最差的是第7项,对评分一直较差的第7项的建议:
如果这种情况发生在你的数据里,不要觉得奇怪。一个产品很难提供有用的错误提示信息。专注于提供有用的错误提示信息可能是值得我们付出努力的。如果你发现,这个题项的平均值等于或低于信息质量的其他题项平均值,你有可能到了高于平均水平的错误消息。

系统可用性量表 SUS

SUS(System Usability Scale)于20世纪80年代中期编制而成,尽管编制者将其描述为“快速而粗糙”的可用性问卷,但是丝毫不影响它的受欢迎程度。SUS量表被认为是80年代经典的可用性问卷标准,用于评估对整体系统的可用性,全球大约43%的专业机构进行整体评估时,将SUS量表作为测试后问卷题目。SUS总共有10个问题,置信度为85%。

SUS调研内容

SUS总共包含10题,5分制。奇数项是正面描述题,偶数项是反面描述题。
翻译成中文:
注意:在使用SUS的过程中,可以对题目的词语进行替换,这些替换对最后的测量结果都没有影响。比如“system”可替换成网站、产品或者自己产品的名称等。

SUS的优点

SUS量表是通过大量实验为基础的量表设计,也是现在全球使用最多的整体性可行性评价量表。
正反语气间隔,使答案客观。SUS问卷中大家可以发现奇数问题是正面语气,偶数问题是负面语气,这样减少了被测试者的依从性,从而使结果更加客观。问题可量化为百分数。正面问题转化分值为x-1,负面问题为5-x,所有题目得分后乘以5即得到分值。步距为奇数。从非常不同意到非常同意,我们一般使用奇数,有很多量表也是这样规定的。因为用户可以选择一个中间状态而不像偶数那样,不具有这个中间状态。快速收敛到正确结论。在对几种量表研究的同时,SUS是最快达到想要结论的量表。通常来讲,一个量表所测量出的结果与用户真实的意向具有一定的偏差,经研究SUS量表能够在不超过15个样本得到该系统的真实评价,所以该量表具有相当的灵敏性。