如果某个界面的SUS分数为76,这表示什么?
AT&T Labs的Bangor,Kortum 和Miller在2009年发了一篇文章来解决这个问题。他们在SUS的结尾增加了1个问题(见下图),让用户使用Poor、Ok、Good等形容词来总体评价这个用户界面,其用意是想将SUS与这些形容词关连起来。
以下是每个形容词对应的SUS分数:按照这次的数据,被用户评为Good的那些界面,SUS的平均分为71.4。
不过Bangor等人并没有明确说,是否有足够的证据来证明可以使用71.4或某个分数来判断一个产品是否合格。
除此之外,也可以将SUS分数换算成百分等级来解释,百分等级的意思是指测量的产品或系统相对于总数据库里其他产品或系统的可用性程度。比如SUS得分是73分,其百分等级大约为67,意味着比大约66%的产品可用性更好。
注意,这里的总数据库是Jeff Sauro(2011)通过446个研究,超过5000个用户的SUS反馈的数据库。如果从企业研究团队的角度来看,可以沉淀以往的研究,建立企业自己产品或系统的SUS数据库,从而获得自身的基准数据,当然,这个基准数据也有可能是内部团队制定。在这个分数库中,如果SUS得分为74,那么它比500多个界面中的70%都要高(见下图):
本质上,百分等级用于说明你的应用程序相对于总数据库里其他产品的可用性程度。在表格中找到最接近你SUS值的分数,然后查看对应评级和百分等级。
参考链接:
SUS: A Quick and Dirty Usability Scale by John BrookeMeasuring Usability with the System Usability Scale (SUS) by Jeff SauroSUS: A Retrospective by John BrookeDetermining What Individual SUS Scores Mean: Adding an Adjective Rating Scale by Kortum Bangor and Miller May

用户体验可用性指标UMUX

UMUX

UMUX是一套相对较新的标准化可用性问卷调查表。UMUX的主要目标是使用较少的题项来满足ISO定义的可用性(有用、高效、令人满意)调研。题项少并不代表不好,在某些情况下,较短的问卷可能更有用。
UMUX的强大之处在于其感知可用性度量与SUS的测量结果基本一致(与SUS标准版相关系数0.9)。
UMUX的可靠性$\alpha$系数为0.94。

UMUX-LITE

如果觉得上面的题项还是太多,可以使用更为精简版的UMUX-LITE,UMUX-LITE主要测量的内容为“有用性”(项目1)和“易用性”(项目1)。具体问卷内容为:
UMUX-LITE的可靠性$\alpha$系数为0.82,与SUS标准版的相关系数为0.73
总结,虽然UMUX比较相比较简短,但是SUS更多的已经被验证。所以如果期望数据更准确,推荐使用SUS。

场景后问卷ASQ

场景后问卷(After-Scenario Questionnaire,ASQ)由PSSUQ和CSUQ的作者Lewis(1993)发表。总共包括三个项目,分别测量用户在三个方面的满意度:任务难度、完成效率和帮助信息。场景化问卷的开发与PSSUQ采用相同的形式,探测整体上完成任务的难易度、完成时间和支持信息的满意度。ASQ的项目采用从1(强烈同意)到7(强烈不同意)的7点计分。ASQ分数即是3个项目得分的平均分。Lewis (1995)的研究指出ASQ分数与PSSUQ分数的之间存在r=0.8的强相关,与场景任务的成功率也存在r=-0.4的显著相关。
ASQ问卷内容:

单项难易度问卷SEQ

单项难易度问卷(Single Ease Question,SEQ)只是要求评估完成任务的整体难易度,类似与ASQ第一项。SEQ的评分方式包括5点计分和7点计分,但根据目前的研究结果,7点评分拥有更高的信效度。
Sauro and Dumas (2009)发现SEQ分数与SUS得分呈现r=-0.56的的中等相关,与任务完成时间(r=-0.9)和任务出错率(r=-0.84)均存在显著相关性。同时,通过比较了SEQ、SMEQ和UME三个任务后评估问卷,他们也发现SEQ分数与SMEQ分数存在r=0.94的强相关,与UME分数存在r=0.95的强相关。
SEQ问卷内容:

主观脑力负荷问题SMEQ

主观脑力负荷问题(Subjective Mental Effort Question,SMEQ)由Zijlstra & van Doorn(1985)年发表,仅包含有一个项目,是一个从0到150,包括9个文字标签的定距测量(Jeff Sauro & Dumas, 2009)。在SMEQ的纸质版本中,被测这画一条线穿过问卷(问卷长度为150mm)来表示完成任务所感知的脑力负荷,在Sauro和Dumas(2009)开发的在线版本中,被测者使用一个滑块空间来调整他们的打分。与ASQ或SEQ不同,SMEQ的测量得分为定距分数。这意味着得分45与50之间的差距与得分120与125之间的差距是一样的,更加便于比较。
Sauro and Dumas (2009)发现SMEQ分数与SUS得分呈现r=-0.60的的中等相关,与任务完成时间(r=-0.82),任务完成率(r=0.88)和出错率(r=-0.72)均存在显著相关性。同时,SMEQ与UME分数存在r=0.84的强相关。
SMEQ问卷内容为:
问卷标签翻译成中文为:极其难做,非常非常难做,非常难做,相当难做,难做,有些难做,有一点难做,不是很难做,一点也不难做。

期望评分ER

期望评分(Expactation Ratings,ER)由Albert & Dixon(2003)发表,他们认为任务的难度是与用户进行任务前的预期难度相关的。因此,ER包括两个项目:一个在进行任务前施测,另一个在任务后施测:
在进行所有任务之前(期望评分):“你预期这个任务的难易度如何?”完成每个任务后(经验评分):“你觉得这个任务的难易度如何?”
ER的项目采用从1(非常容易)到7(非常困难)的7点评分。与其它问卷比较最终得分的解释方法不同,ER的分数解释通过预期分数和体验分数两个维度构成的象限图来完成。如下:
四象限分别代表的意思为:值得推广、改进机会、保持状态、急待改进

可用性等级评估UME

可用性等级评估(Usability Magnitude Estimation,UME)由McGee(2003)发表,是仅包括一个项目的定比测量。Jeff Sauro and Dumas (2009)的研究推荐了一种更方便解释和施测的方法,即为UME的评分定义基线。在研究中,他们将一个图标搜索任务的难度定义为10,被测者对任何测试任务的难度评估均以10标准点得出。
与其它任务后测量问卷不同,UME并不限定被测者的作答区间,可以是从绝对零值到正无限的任意值。这意味着50分的任务就是比25分的任务困难2倍,为解释结果提供了便利。对于UME的使用,目前仍存在着诸多争议。与其它问卷相比,UME更加依赖于主试人员;不同被试对基线的理解存在差异;训练被试理解‘两倍难度’,‘一半难度’等概念也会增加测试成本和误差。

网站分析和测量量表 WAMMI

第一个意识到需要一个专门用来评估网站质量工具的是爱尔兰科克大学的人因研究小组(HFRG),他们与斯德哥尔摩的Nomos Management AB 合作,他们创建了网站分析和测量问卷(Website Analysis and Measurement Inventory,WAMMI)。WAMMI包括20个项目,测量的因子与SUMI相同。WAMMI的总体信度在0.9-0.93之间,几个因子的测试信度为吸引力:0.64;可控性 0.69;效率:0.63;帮助性:0.7;易学性:0.74。相对于其它量表,这些分量表的信度有点儿偏低,因此WAMMI对于样本量有比较严格的规定:可用性测试不少于30人,学术应用不少于100人。
全部项目采用从1(强烈同意)到5(强烈不同意)的5点评分。在进行分数解释时,WAMMI推荐生成各个分量表的分数以及一个总分。其分数的标准化方式暂无公开发表,但标准化WAMMI分数的平均值为50,标准差为10。
该工具对教育用途是免费的,但是对于商业用途需要收费,但是WAMMI的网站上行只列出了联系方式没有具体的费用。
WAMMI中文版:

标准通用的百分等级量表SUPR-Q

标准通用的百分等级量表(Standardized Universal Percentile Rank Questionnaire,SUPR-Q)是一个等级量表,根据官网的信息,SUPR-Q总共包括10个项目,分别测量网站的可用性(Usability),可信度/信任(Trust & Credibility),外观(Appearance)和忠诚度(Loyalty)。
The website is easy to use. (usability)It is easy to navigate within the website. (usability)The information on the website is credible (trust for non-commerce)The information on the website is trustworthy (trust for non-commerce)I feel comfortable purchasing from the website. (trust for commerce sites)I feel confident conducting business on the website. (trust for commerce sites)I will likely visit this website in the future (loyalty)I find the website to be attractive. (appearance)The website has a clean and simple presentation. (appearance)How likely are you to recommend this website to a friend or colleague? (loyalty)