system: [SYSTEM]

user: 3. 眼动技术在语言测试研究中的应用 眼动技术记录和分析被试的眼动轨迹，极大地促进了对潜在认知过程的探究。近年来，语言测试学者逐渐认识到这一技术的优势，开始结合眼动技术和认知过程研究开展创新性尝试，从不同角度揭示语言测试情境下的认知过程。下文将从五个方面对眼动技术在语言测试领域中的应用研究进行综述。 3.1. 考生在测试环境与真实语境中认知过程的相似性 语言测试研究中的效度是一个整体概念，需要多方面的证据予以支持 [ 15 ]。长久以来，效度研究都围绕着考试分数与所测构念之间的关系展开量化分析，忽视了考生的考试过程和语言能力构念本身的认知成分 [ 16 ]。Weir [ 17 ] 从考生的视角出发，提出了认知效度概念，将其作为社会认知效度验证框架的一个重要方面，旨在探究考生在考试环境中所经历的认知过程在多大程度上与真实语境中经历的认知过程相似。 剑桥高级英语证书考试(Cambridge English: Advanced， CAE)是一项全球范围内认可的学术英语能力测试，通过该考试的考生有机会参加英语国家院校的大学课程学习和学术研修，因此考生在CAE考试中经历的认知加工过程理应与真实学术环境下的认知加工过程相似。为了验证CAE的认知效度，Bax & Weir [ 18 ] 结合眼动技术和问卷调查探究了考生在CAE阅读考试中所经历的认知过程。基于眼动数据的可视化分析和量化统计，Bax & Weir识别和比较了被试在每道题项上的作答行为，包括对文本、题干和选项的视觉加工情况。结合问卷调查数据，Bax & Weir对考生的认知加工过程做出了有效推测，发现CAE阅读考试任务成功地引发了考生在真实学术环境中一系列相似的认知过程，包括较高层次(如段落和篇章层次)上的信息加工。该研究结果为CAE阅读测试的认知效度提供了过程证据，一定程度上证明了眼动技术在语言测试效度验证研究中应用的可行性，弥补了以往质性研究方法存在的局限性。 3.2. 得分考生和失分考生认知过程差异 有研究表明，考生的考试表现与认知过程有着密切的联系，考试表现不同的考生在认知过程上存在一定的差异 [ 19 ] [ 20 ] [ 21 ] [ 22 ] [ 23 ]。为了探究考试表现不同的考生在认知过程上的差异，Bax [ 24 ] 结合眼动技术和访谈，分析比较了得分考生和失分考生完成雅思阅读测试的认知过程。基于得分考生和失分考生在回答每个题项时的注视时间和注视次数，Bax发现得分考生和失分考生在多个题项上的注视指标存在差异。与失分考生相比，得分考生在题项对应的原文兴趣区上注视次数更多，注视时间更长。这说明得分考生能够更好地利用快速阅读的策略，迅速定位对应的原文并展开仔细阅读，获取有效信息。此外，该研究利用可视化数据，如注视轨迹图(Gazeplot)和热点图(Heatmap)，直观呈现了被试在答题过程中的注意分配情况，并结合访谈数据对考生当时的认知加工做出准确判断。结果表明雅思阅读测试题项能够有效区分得分考生和失分考生，不过该研究的比较分析仅限于较低层次的阅读认知加工，如词汇层面的匹配和句法层面的歧义处理。 3.3. 特定题型所引发的认知过程 完形填空是语言测试中一种常见的考试题型，要求考生联系上下文补全某一语篇中被删除的词汇。完形填空题型考查了何种语言能力构念？语言测试学界对这一问题并没有达成一致意见。一些研究者认为完形填空能够考查考生较高层次的语言加工能力 [ 25 ] [ 26 ]，而另有研究者认为完形填空受语句范围的制约，只能考查较低层次语言技能，如语法和词汇 [ 27 ] [ 28 ]。对于这一争论，Brown [ 29 ] 提出了自己的假设，认为完形填空题型所考查的语言能力构念与考生本身的语言能力水平相关。对于语言水平低的考生，完形填空题型可能考查低层次的句内认知加工，因为考生会受到语言水平的限制而无法加工复杂的篇章信息。反之，对于语言水平高的考生，完形填空则是考查较高层次认知加工的有效测试方法。 为了验证Brown的假设，McCray & Brunfaut [ 30 ] 运用眼动技术从考生的认知过程角度研究了集库式完形填空题型考查的构念。通过比较高分考生和低分考生在整体加工(包括文本和词库的加工)、文本加工、任务加工(包括词库加工和与文本加工之间的转换)三个维度上的注视指标。该研究发现，与高分考生相比，低分考生在局部阅读和较低层次的加工上需要更多的认知努力，其注视情况与删除词汇所在的句子语境以及词库中词汇的复杂度有着密切相关。由此，McCray & Brunfaut得出结论，考生自身的语言水平是影响集库式完形填空题型引发什么样认知过程的重要因素，一定程度上支持了Brown的假设。 3.4. 任务模态对考生认知过程的影响 听力理解过程涉及的因素非常复杂，其测试的构念很难定义和描述 [ 31 ]。大多数研究者认为视觉输入加工是二语听力技能的重要组成部分，因为真实语境中的听力过程是在多模态形式中进行的，听者需同时接收视觉和听觉信息 [ 32 ]。然而，语言测试学界对于是否将视频材料纳入二语听力测试仍存在争议。有些研究者认为视频材料理应纳入二语听力测试中，这样可以避免构念代表不足，并增加二语听力测试的真实性 [ 33 ] [ 34 ]。然而有些研究者则认为语言测试考查的是考生的语言能力，而非视觉信息理解能力，将视频材料引入二语听力测试中会损害考试的公平性 [ 35 ]。已有研究通过分析考试分数和考生的有声思维数据探究视觉信息对考生二语听力测试表现的影响，但鲜有研究揭示考生在听力测试过程中观看视频的视觉行为 [ 36 ] [ 37 ]。 为了弥补这一研究空白，Suvorov [ 37 ] 采用眼动技术记录了33名受试在完成基于视频的学术听力测试(The Video-based Academic Listening Test)时的眼动指标，以探究考生在听力测试过程中观看两类视频材料(情境视频和内容视频)时的眼动参与以及考生的眼动数据与考试表现之间的关系。通过配对样本t检验，Suvorov发现被试在观看两类视频材料时的注视比率和总停留时间有显著差异，而停留比率无显著差异；被试的眼动指标和考试分数之间并未呈现显著相关。这意味着被试在考试过程中会与视频材料产生密切互动，且加工不同类型视频的视觉行为有所差异，但视频材料的使用并未对考生的考试表现产生明显影响。同时Suvorov强调二语听力测试构念的界定应取决于不同的目标语言使用域 [ 38 ]，如果视觉信息是目标语言使用领域中不可或缺的一部分，相应的听力测试应引入视频材料。就该研究中的测试而言，视觉信息在所考查的学术听力过程中扮演着重要作用，相应的听力测试应引入视频材料。 3.5. 评分员的认知过程 语言测试认知过程研究的对象除考生外，还有评分员。就写作测试这样的主观性测试而言，评分员信度是衡量测试质量、保障测试结果公平、公正的重要指标。然而，由于个体不同的性格和专业背景，评分员在写作文本评分中较易产生差异。为减少这种差异，提高主观评分的信度，测试开发者尝试过多种方法与措施，其中之一就是评分量表的使用。评分量表在主观评分中被视为引导评分员认知过程的导图 [ 39 ]。Barkaoui [ 40 ] 的研究发现评分量表对于评分员决策的影响甚至超过评分员自身的评分经历。在整体评分中，评分员倾向于仅关注他们自身认为重要的评分标准，而在分项评分中，评分员会关注到评分量表中所有的评分标准 [ 40 ] [ 41 ]。 评分员对保证评分质量和测试公平有着举足轻重的影响。那么，评分员在使用评分量表时经历了怎样的认知过程？评分员在评分过程中会关注评分量表中的哪些标准？Winke & Lim [ 42 ] 通过眼动技术探究了评分员在使用评分量表对英语作文进行评分决策的认知过程。基于评分员的注视时间和注视次数，研究发现评分员最关注“结构”和“内容”分项标准，最不关注“写作规范”分项标准。Winke & Lim推测，这有可能是因为评分量表的排列顺序而导致的首因效应(the primacy effect)，即最先出现在评分量表中的分项标准最容易被评分员记住，且对评分员的评分影响最大。由此，他们指出写作评分量表的设计对于评分员的评分以及测试构念的阐释都具有重要意义。