system: [SYSTEM]

user: 3. 计算机辅助二语动态评估：CODA和PELDiaG Poehner & Lantolf利用所设计的“计算机化动态评估系统CODA”对法语、俄语及汉语进行了L2阅读和听力动态评估研究(Poehner & Lantolf， 2013: 323-342; Poehner， Zhang & Lu， 2015: 337-357) [ 18 ] [ 23 ]，试图发现学习者在计算机干预时和无干预时的所表现出的不同学习能力，预测学习潜能，揭示“干预提示”融合在测试中的学习证据。“个性化英语学习诊断指导系统PELDiaG”是以心理测量和二语习得理论为基础，从动态评估和认知诊断的角度出发，所构建的诊断L2听力和阅读学习技能的测试模型(马晓梅等，2012: 59-63) [ 24 ]。该系统的构建是基于动态评估理论之上的，在给予学习技能诊断的前提下，通过计算机技术手段给学习者提供及时的和个性化的反馈和干预，将诊断、评估和网络教学相结合，让学习者在测试和评估的环节中得到“学习和反馈”，在“测试评估–反馈干预–测试评估”的动态交互模式中促进其发挥学习潜能。 3.1. PELDiaG动态评估系统的建立 “个性化英语学习诊断指导系统PELDiaG”是面向大学英语非专业一年级学生的英语视听和阅读学习动态诊断和指导平台。平台由能力诊断、策略指导以及强化训练三个模块构成。学生通过完成在线诊断测试题，可立即获得包括水平分数和技能评估在内的诊断报告。诊断报告同时根据学生在视听和阅读不同认知技能方面所表现的特点通过热链接形式给出进一步策略指导及强化训练。 PELDiaG系统的干预模式构建包括基于诊断试题的动态诊断反馈、视听及阅读技能指导以及技能强化训练。 3.1.1. PELDiaG诊断试题构建 我们首先构建了用于进行诊断测试的试题。以视听测试为例，该系统测试题依据Anderson (1995) [ 25 ] 的认知理解过程三段式：感知–切分–应用理论以及Richards (1983: 219-240) [ 26 ] 对于听力过程中所涉及的微技能分类，参照《简明英语测试教程》(邹申、杨任明，2000：116-117) [ 27 ] 中对听力技能的分类，根据《大学英语课程教学要求》以及大学英语四级考试大纲中对听力理解的要求，构建了适合大学一年级非英语专业学生视听评估诊断测试模型，共有评估诊断试题三套(3 Tests)，每套试题包括短对话、长对话、篇章、视频和听写共24个测试题目。在和测试题目相匹配的前提下，每套测试题包含7个L2技能(即属性 1 ，标记为A加数字)：辨音能力(A1)、词汇知识(A2)、句子结构和语法(A3)、推理能力和文化背景知识(A4)、捕捉细节能力(A5)、主旨能力(A6)、记笔记和听写能力(A7)。每个属性对应于不少于三个测试题(如表1所示)。 试题所测试的认知技能/属性确定步骤如下。首先，由学科专家(英语教师)对试题进行属性标注：共由9人完成，包括6个非命题专家(长期从事L2教学的教师，并且接受了属性定义培训)，3个命题专家(试题构建者)。每个题目根据相关的技能/属性按主次进行标注。此外，对17个L2 (非英语专业和英语专业)学生进行有声思维培训和数据收集，用于辅助判断专家标注的结果。最后根据属性标注结果生成L2学习者视听认知属性权重评估表。如Test 1第17题的属性权重分布为：A5属性3分、A4属性2分、A7属性1分。这样，学生在完成试题(Test 1)的测试后，系统就能按照试题中属性权重分数给出学习者认知属性特征的判断。如某个属性得分比较高，则表明学生对该属性的掌握程度比较好，反之则表明对该认知属性的掌握有欠缺。此外，系统同时也参照大学英语四级考试的得分标准，赋予题目水平测试权重分数，在测试结束后给出直观的水平测试分数。系统中的阅读评估测试模型也按照类似的步骤完成，由于篇幅所限，就不在此赘述。 Table 1 Definitions of the attributes in audio-listening assessmen 序号 属性 编号 属性(技能)解释 对应题目序号 (属性假设) 1 A1 辨音能力：能通过语音知识如辨音、连音、语调等语音知识识别信息 题目：1，2，3 2 A2 词汇辨认理解：听力中低频的单词，口语常用词组和俚语表达的辨认和理解 题目：4，5，6 3 A3 句子结构和语法功能能力：影响句义的句法结构如虚拟倒装否定强调等 题目：7，9，10 4 A4 事实和细节抓取能力：时间、地点、人物关系等 题目：8，11，15，18，21 5 A5 主旨能力：准确认知、归纳材料所传达主要信息 题目：14，17，20 6 A6 通过上下文语境、背景知识和相关文化常识推测说话者动机、目的、原因交际功能和隐含意义 题目：12，13，16，19 7 A7 短时记忆和记笔记：通过笔记和短时记忆抓住信息完成相应任务 题目：22，23，24 表1. 视听评估测试模型中的属性定义 3.1.2. PELDiaG干预模式构建 动态评估中最重要的环节是中介/干预，也就是教师或评估者对学生的干预、指导和帮助。在PELDiaG系统中，根据认知属性和水平能力评估的结果，对学生的指导和干预从以下几个方面介入(如图2所示)： 图2. PELDiaG系统中动态介入和评估模式 i) PELDiaG诊断评估报告 PELDiaG系统为学习者提供的不是简单的分数结果，而是包含认知属性判断的立体综合分析报告，提示学习者的L2认知能力特点，并结合水平测试结果给出相应的建议。综合分析报告以文字、图表和热链接的方式呈现。学习者查看水平分数结果的同时，可以看到正确答案详情、属性评估结果，以及基于以上判断为学习者提供的热链接以使学习者对评估报告内容有进一步的了解。PELDiaG系统中的诊断报告作为一种DA介入方式，在很大程度上克服了传统测试只报告分数，而无法让学习者从测试中获得更多关于学习技能相关信息的弊端。它为学习者提供了初步的动态介入，使得学习者能够了解自己在L2视听和阅读学习方面的强势和弱势。 ii) PELDiaG策略指导 动态评估与传统静态测试的一个重要区别是动态评估强调“评估与教学相结合”(范兆兰，2006；Poehner，2007：323-340) [ 2 ] [ 21 ]，以及如何帮助学习者克服障碍。评估不是同教学相对立的，而是作为教学不可分割的一部分，评估、指导和其他教学活动相结合共同帮助和理解学习者的个体认知发展。因此作为干预手段之一的指导环节对动态评估的最终效果起着至关重要的作用。基于网络的PELDiaG系统利用现代教育技术的优势为学习者提供了以下4种形式的指导内容，包括1) 按照L2认知属性分布并由一线教师结合实际教学经验和二语习得领域的研究成果撰写的二语视听和阅读学习文字策略指导；2) 采访国外二语习得领域知名专家，如Rebecca Oxford，James Lantolf，Rod Ellis等所编辑的视频策略指导；3) 对成功学习者和不成功学习者的采访视频策略指导，4) 以PPT动画呈现的学习策略指导。PELDiaG系统的指导干预同时也是基于多元智能和多模态理论的介入模式，为学习者提供了充分的个性化教学和辅导。 iii) PELDiaG视听/阅读技能强化训练 PELDiaG系统对学习者的第三种干预方式是技能强化训练部分。动态评估的最终目标是希望学习者借助评估和干预这一过程，获得更高的学习能力或达到更高的学习水平，这种能力在缺乏外界帮助下是学习者本身所无法企及的。考察学习者是否已经“内化”了所获得的更高能力，可以通过赋予学习者相同或者类似的任务，来考察这样的学习技能是否已经潜移默化地被学习者掌握。这种完成相同或者类似任务的能力被称之为迁移能力。同时，通过完成这类任务还可以让学习者进一步巩固和强化已掌握的技能。因此，迁移任务的设计对动态评估过程在很多情况下不可或缺，它在考察动态评估教学效果的同时，对促进学习者个体进一步发展从而接近最近发展区(ZPD)也具有非常的意义。 PELDiaG系统中对迁移能力的考察和巩固是通过强化训练模块来实现的。在这个模块中，阅读和听力任务首先按照从易到难分为Level A，Level B，以及Level C三个等级。学习者通过完成不同等级的试题可以更准切地了解自己的学习状态。其次，在听力和阅读的每个等级中，试题的分布是按照属性编排的，即视听强化分为：语音语调(辨音、连音和语调)，词汇、语法和结构，细节，推理和文化背景(上下文推理和文化背景知识)，长对话和短文(主旨、细节、推理)，听写(记忆和记笔记)以及视频(主旨、细节)；阅读强化包括：猜测词义，句子理解，句子推断，段落理解，段落推测，主旨概括，细节捕捉以及阅读速度训练。强化部分的题目虽然也是按照动态评估部分的属性进行编制，但是考虑到题目素材本身归类的便捷问题，有些题目在按照属性排列的同时，也按照题目本身的特点进行归类，比如长对话和短文中包含了主旨、细节和推理三个技能，而这三个技能在别的试题中也有体现。 3.2. CODA的动态评估模式 CODA系统的特点是运用了渐进提示模式(如图3所示)。如果答题者第一次尝试就答对题目，则得到该题满分4分；如果第一次答错，则获得第一次提示(在原文中缩小正确答案的范围)，在此基础上如果答对则得3分，如果打错则继续得到提示直到答对为止，并且据此得到相应的2分，1分和0分。Poehner & Lantolf (2013) [ 18 ] 称这个评估过程为“单回合”(microgensis)，即干预过程是即时性的(moment-to-moment)。CODA的题目中第二语言为汉语和法语，题目分别为汉语听力及阅读以及法语阅读。其中听力是短文理解，在两遍短文播放结束后给出问题。汉语阅读题目仍然是短文理解，而法语阅读题目是长篇阅读理解。问题的形式是标准化测试的多项选择题，为了最大化可提示的次数，每道题目有5个选项。问题和5个选项都用英语给出，以排除因为看不懂题目而造成对原文理解能力评估的偏差。阅读题目的构成包括：词汇，语法，语篇以及文化。听力测试的构念(construct)同阅读类似，但是多了对语音的考察 2 。 图3. CODA系统的动态评估过程示意图 除了利用计算机技术对测试者进行标准化的文本逐步提示，CODA系统还借鉴了学习潜能得分这一概念试图量化动态评估的效果。学习潜能得分(Learning Potential Score， LPS)是由Sternberg and Grigorenko (2002) [ 28 ] 提出的用于量化学习者在干预前和干预之后的表现差异。基于社会文化理论的动态评估关注学习的过程，以及在外部帮助和介入的情况下学习者能够取得的最大成就。学习潜能得分这一概念的提出迎合了这一理念，借助公式计算来量化学习者在获得干预之后可能产生的水平提高。学习潜能得分公式如下： L P S = ( S p o s t − S p r e ) S max + S p o s t S max = 2 S p o s t − S p r e S max 其中Smax表示可能获得的最高分数，Spre是学习者在没有获得干预情况下的分数，即假设学习者只有一次答题机会而获得的分数。Spost表示干预后的分数，也就是学习者在得到提示后正确作答的分数。按照前面的原则，Spost不可能是满分4分，而是相应地根据被提示的次数而只能是3，2或者1分。因此个体的LPS是在学习者自身内部之间所进行的比较，它反映了学习者初始状态和最终能够达到的能力之间的差异。LPS越大表示学习者相比过去所产生的进步越大，也表示干预和指导所产生的作用可能越大。Poehner & Lantolf (2013: 323-342) [ 18 ] 借鉴了学习潜能得分的计算方式，并对不同学习者的个体表现进行了讨论。