system: [SYSTEM]

user: 3. 信息可视化中关于心理负荷的相关研究 3.1. 心理负荷 心理负荷是工程心理学研究中和实践中使用最广泛的概念之一(Flemisch & Onken， 2002; Loft et al.， 2007; Wickens， 2008)，至今是应用心理学研究的热点。研究者关注的问题包括，操作者的参与程度如何？这个任务有多复杂？操作员能在执行主要任务的同时执行其他任务吗？他/她能对任何特定的刺激作出反应吗?操作者在执行他/她的任务时感觉如何?心理学长期以来一直试图找到这些问题的答案，对心理负荷的研究和评价做出了巨大贡献(Wickens， 1984)。 3.1.1. 心理负荷的理论 在心理负荷理论中，Wickens的多重资源理论(multiple-resource theory)是最具影响的理论之一。Wickens的多重资源概念包括三个维度：第一个维度是加工阶段，包括早期和晚期的加工，这一维度包含着两类独立的资源，即与知觉相关的认知操作(如：监控、心理旋转、计算等)和与反应相关的操作(如：操纵、声音控制等)；第二个维度是输入通道，指听觉、视觉和触觉等通道占用的不同资源；第三个维度是编码，指言语的或空间的编码方式(Wickens， 1984)。 多重资源理论和心理负荷是两个经常被混淆的相关概念。它们相互重叠，但又截然不同。多重资源模型体系结构由与需求、资源重叠和分配策略相关的三个部分组成。心理负荷的概念与第一个部分最密切相关，描述了任务对人类有限的心理资源的需求，无论是单一的还是多重的(Moray， 1979)。只有在多任务造成超负荷的时候，多资源理论才能对心理负荷做出重要的贡献，因为它预先预测了在超负荷的情况下会有多少表现出失败(Wickens， 2008)。该理论已被应用于有关心理负荷和人员规模的重要设计决策中(Booher & Minninger， 2005)。 3.1.2. 心理负荷与工作记忆 工作记忆(Working memory)是指在进行推理、理解和学习等复杂认知任务时，需要暂时存储与操作的能力(Baddeley， 2010)。工作记忆这个术语是由早期的短期记忆(short-term memory)概念演变而来的，现在这两个概念有时还可以互换使用。工作记忆表示对信息的临时存储，相对于工作记忆，它意味着存储的组合(Baddeley， 2012)。工作记忆是由多种模型组合而成的，目前学界最推崇的是Baddeley的多成分模型(见图1) (Baddeley， A.， Working memory. Science， 1992)。中央执行系统相当于系统内核，其功能主要包括对工作记忆中各子系统功能的协调、对编码和提取策略的控制、操纵注意系统以及从长时记忆中提取信息。语音回路负责以声音为基础的信息的储存与控制，能通过默读重新激活消退着的语音表征，而且还可以将书面语言转换为语音代码。视空间模板主要负责储存和加工视觉空间信息，包含视觉和空间两个分系统(Baddeley， 2012)。在本文中主要涉及到的工作记忆成分是中央执行系统和视空间模板，因为涉及到视觉的比较和判断。 图1. Baddeley和Hitch (1974)的工作记忆模型 而工作记忆的负荷往往暗示了用户的整体心理负荷。Wickens (2002)在他的四维多资源模型中论证了两者之间的紧密联系，工作记忆与心理负荷之间的区别并不总是那么明显。Wickens的理论指出，两个需要同一维度水平的任务比两个不重叠的任务会产生更多的冲突。因此，需要相同模式的多个工作记忆任务很可能导致资源过载(Wickens， 2002)。如果我们可以实时观察工作记忆(或心理负荷)，那么我们就可以改善用户环境，更好地支持这些过程，改善人机交互和提高性能(Peck et al.， 2014)。 3.2. 心理负荷的研究内容 心理负荷的研究包括负荷预测，设备负荷评价和操作员负荷评价这三方面。比如预测飞行员的心理负荷可以为驾驶员座舱设计人员提供有用的信息，以降低飞行员出错的可能性和训练成本，提高系统的安全性和性能，提高驾驶员满意度(Zhang et al.， 2019)；在人机界面中，Salvucci等人研究发现当用户在处理多任务界面时，在当用户在高工作负载时体验到可延迟中断，他们可能倾向于将中断延迟到低工作负荷时处理(Salvucci & Bogunovich， 2010)；Ayaz等人使用近红外光谱技术(Functional near infrared)监控被试在完成自适应界面时的心理负荷，该研究旨在提高人机系统的效率与安全性(Ayaz et al.， 2012)。然而心理负荷是一个很特殊的概念，令人惊讶的是至今没有一个统一的定义(Smith & Hancock， 1995)。虽然有很多学者提供了许多的定义，但是这些陈述之间并没有达成一致的意见。在这些学者提出的定义中有一个共同点，都会涉及到人们在完成任务时的压力，这些压力来自多方面的，比如时间压力和任务的复杂性(Young et al.， 2015)。 尽管关于心理负荷的性质和定义存在许多分歧，但心理负荷仍然是一个重要的、实际相关的问题和可测量的存在(Hart & Staveland， 1988)。 3.3. 心理负荷的测量方法 心理负荷的测量主要分为这三大类任务绩效测量，主观报告和生理测量(Young et al.， 2015)。 3.3.1. 任务绩效测量心理负荷 任务绩效测量心理负荷是迄今为止使用最多的一种方式。可直接记录操作员在完成主要任务时的绩效(假设能尽可能的降低错误率和提高完成任务的效率)，通过这项任务指标来反映操作员的执行主要任务的能力。以交通心理学研究领域为例，这些任务绩效的测量方法直接与车辆处理有关(既横向和纵向的车辆控制，如转向和车辆追随) (Young et al.， 2015)。 通过评估次要任务的性能，可以监视主要任务的注意力和工作量。在任何实际的双任务场景中，其中一个任务优先于另一个任务，辅助任务的性能(在错误和时间方面)与主要任务未使用的备用容量密切相关。在各种情况下驾驶都是如此(De Waard & Brookhuis， 1997)。当驾驶员同时执行另一项车内视觉任务(例如看手机)时，视觉感知对驾驶员来说至关重要，因为视觉注意力会与主要的驾驶任务相竞争。因此，与主要任务占用相同资源的次要任务可以用作心理负荷的测量。但是必须注意确保次要任务不会干扰或增加主要任务的心理负荷。 3.3.2. 主观报告心理负荷 心理负荷不仅能在行为上观察出来，还能通过主观状态反映出来。被试可以通过语言的表达或者通过后测问卷来反映主观上的心理负荷(Zijlstra， 1993)。目前，主观报告心理负荷的方法有美国国家航天航空局任务负荷指数量表(NASA-TLX) (Hart， 2006)、主观工作量评估技术(SWAT) (Reid & Nygren， 1988)和简易快速智力评估量表(RSME) (Zijlstra， 1993)等等。接下来本文将介绍本研究将要使用的NASA-TLX量表。 NASA-TLX量表 美国国家航天航空局任务负荷指数量表(National Aeronautics and Space Administration Task Load Index)，简称NASA-TLX量表，1988年由Sandra提出(Hart & Staveland， 1988)。NASA-TLX是一个多维度的量表，设计该量表的目的是为了从一个或多个操作人员执行任务时或执行任务之后，立即获取并估计心理负荷(Hart， 2006)。 NASA-TLX量表由六个分量表组成，它们代表某种程度上相互独立的变量：心理(Mental)、身体(Physical)、时间需求(Temporal Demands)、挫折(Frustration)、努力(Effort)和绩效(Performance) (见附录)。将这六个维度中的某些组合在一起，可能代表了多数人在执行大部分任务时所经历的心理负荷。这六个维度的选取是被试完成任务后主观体验到的心理负荷，再进行主要因素的分析后得到的。这些任务从简单的实验室任务到驾驶飞机都有涵盖。在研究过程中，研究人员会根据自己的研究需要，对每个分量表乘以适当的权重，得出一个适用于最适合该研究的心理负荷定义(Hart， 2006)。 NASA-TLX量表至今已经被翻译成十多种语言，通过口头、书面或计算机多种方式进行测试，并进行了各种修订。NASA-TLX量表的中文版具有良好的信效度(杨玚&邓赐平，2010)。 虽然主观报告法也可以测量心理负荷，但是这些主观报告的方法相当的复杂和费时，而且还存在一些方法学问题，例如进行实时评分时会打断被试完成任务以及被试在后测回顾任务时难免带有一些主观性的偏见，这些都会影响到实验数据的准确性(Young et al.， 2015)。 3.3.3. 生理测量心理负荷 近年来随着认知神经科学的发展，越来越多的学者采用生理测量的方法进行研究。生理测量这种非侵入性的传感技术不仅弥补了主观报告法的不足，而且还为研究者提供了在实验室外记录和处理数据的解决方案。目前应用于测量心理负荷的心理学仪器主要有眼动仪，脑电(EEG) (Memar & Esfahani， 2018)和功能性近红外光谱技术(fNIRS) (Causse et al.， 2017)等，在下一小节本文将主要介绍近红外在测量心理负荷所起到的作用。 3.4. 心理负荷的研究范式 N-Back任务 N-back任务是引发心理负荷的经典范式。N-back任务中被试必须连续记住一系列快速闪过的字母的最后N个，要求被试在当前刺激物与前N个刺激物之间做反应，判断这两个字母是否相同。例如，当N = 1时，被试被要求将当前刺激与前一个刺激进行比较，并做出反应，当N = 2时，被试被要求将当前刺激与前面的第二个刺激进行比较，并做出反应，以此类推。当N的值变大时，被试在工作记忆中需要暂时储存的刺激越来越多，于是引发了被试的心理负荷。 3.5. fNIRS测量心理负荷 3.5.1. 功能性近红外光谱技术(fNIRS) 功能性近红外光谱(fNIRS)，这是一种光学大脑传感设备，有可能帮助洞察视觉交互(Chance et al.， 1998)。近红外光谱仪使用近红外光来测量1-3cm深处组织中血液的浓度和氧合情况(Villringer & Chance， 1997)。光线以近红外(650~900纳米)的方式进入前额，在那里被头皮、头骨和大脑皮层漫反射。在这个波长，氧合血红蛋白和脱氧血红蛋白是主要的光吸收物质。一小部分射入头部的光线从大脑皮层返回到fNIRS探测器上的探测器。通过测量返回到检测器的光线，研究人员能够计算出血液中的氧气量，以及组织中的血液量。由于血流和氧合的变化表明大脑的激活水平，我们可以使用近红外光谱来测量大脑局部区域的活动(Peck et al.， 2014)。 一般来说，fNIRS比其他大脑感知技术，如功能性磁共振(fMIR)或脑电图(EEG)能更快的建立和容忍用户的运动，它具有很好的生态效度(Girouard et al.， 2009; Strangman et al.， 2002)。在用户研究中使用fNIRS的时候，Solovey等人发现，fNIRS的信号不受较小的头部运动、呼吸和心跳的影响。此外，轻微的头部运动、呼吸和心跳是可以纠正的，因为它们可以用已知的信号处理技术过滤掉。只有头部和前额的主要运动(可能是由皱眉引起的)才会对信号产生干扰(Girouard et al.， 2009)。因为fNIRS具有非常好的生态效度，所以被试可以在尽可能自然的情况下完成任务。 fNIRS是一个介于EEG和fMIR之间的一个脑传感技术。由于fNIRS测量的是血液对大脑相对较慢的血流动力学响应，信号大约有5~7秒的延迟，并且只能测到大脑皮层下1~3 cm的深度，所以与EEG相比，fNIRS的时间分辨率较低，空间分辨率较高；与fMIR相比，fNIRS的时间分辨率较高，而空间分辨率较低(Peck et al.， 2014)。 综上，fNIRS的优点在于，生态效度高，使用成本低，易用且便携；缺点是由于血氧信号有延迟，对于一些快速的大脑反应无法监测到，并且深度大于3 cm的脑区也无法监测(Peck et al.， 2013， 2014)。 3.5.2. 心理负荷与前额叶 前额叶皮层(The prefrontal cortex)在工作记忆和心理负荷中起着重要的作用(Herff et al.， 2014)。Herff等人在研究中，使用fNIRS对被试的前额叶皮质(PFC)中的心理负荷活动进行采样。作者使用一个n-back任务(n = 123)来诱导不同程度的心理负荷，迫使被试继续记住快速变化的最后一个、两个或三个项目，不断更新工作记忆中的视空间模板。实验结果表明用fNIRS测量前额叶的血流动力学反应，可以有效的量化和分类心理负荷(Herff et al.， 2014)。Ayaz等人的研究表明fNIRS具有较高的生态效度，通过测量被试的前额叶皮质，能让操作者在自然环境下进行由N-back引发的心理负荷任务和空中交通管制(ATC)复杂的认知任务。该研究结果表明，fNIR测量对心理任务负荷和练习水平较为敏感，为现场使用fNIR监测操作者相对心理负荷变化相关的血流动力学变化提供了证据(Ayaz et al.， 2012)。以上研究表明，fNIRS可以通过测量被试前额叶皮质的血流动力学变化，来洞察被试的心理负荷，这为本文的研究奠定了理论依据。 3.6. 信息图形中关于工作负荷的相关研究 Cleveland和McGill进行的条形图和饼图的比较实验，是在信息可视化领域中一个比较经典的实验。Cleveland和McGill的比较任务中，研究人员向被试展示了一个条形图或饼图，并要求他们估计图中较小值与较大值之间差百分之几。他们通过计算被试的反应速度与准确性，得出位置判断(条形图)比角度判断(饼图)更有利于视觉比较的结果(Cleveland & McGill， 1984)。同样选取了速度与准确率作为行为绩效指标的还有Carswell等人的研究。Carswell等人试图探究增加透视装饰(3D图表)后，图表对被试相对大小估计值的准确性的影响。研究结果表明只有3D线形图的准确性会下降，3D的条形图与饼图并没有显著性差异(Melody Carswell et al.， 1991 )。 虽然速度与准确性可以从侧面反映出被试心理负荷的大小，心理负荷大自然速度就慢，准确性会降低，但是缺乏直接测量心理负荷的情况下评估绩效，可能会导致对界面认知效率的错误结论(Bertini et al.， 2010; Huang et al.， 2009; Paas & Van Merrienboer， 1993; Yeh & Wickens， 1988)。Peck等人采用fNIRS脑成像仪器，实时测量被试心理负荷的情况下，探究条形图和饼图哪种图表更易于使用。Peck等人将条形图和饼图编入N-back任务，在完成任务的同时使用fNIRS监测被试大脑前额叶脱氧血红蛋白含量的变化。结果表明条形图和饼图并没有明显区别。该研究还证明了fNIRS这种大脑感知技术，可以用于视觉化的评估，其优点超过任务绩效的测量和问卷测量，还可以测量被试内在的认知状态(Peck et al.， 2013)。