system: [SYSTEM]

user: 4. 讨论：CODA和PELDiaG的对比 结合前面对两个系统的分别介绍，不难看出这两个计算机化的动态评估(C-DA)在某些方面有共同之处。比如，无论是CODA还是PELDiaG都同课堂动态评估有所不同。它们都运用了计算机技术参与到测试和介入的过程，并在此基础之上对数据进行收集。这样的评估方式同传统课堂“一对一”模式的动态评估相比，克服了其效率低，无法造福大规模学习者的弊端。但C-DA也有自身的局限性，即这种计算机程式化的介入和干预方式导致DA介入的灵活性大大下降。作为中介者的计算机无法面对面地观察学习者的现场表现，而DA提示的可能性受到这种模式的限制，无法最大化介入干预的可能性。此外，这两个测试评估系统都属于无风险测试，即测试评估的结果并不对某些重要事件(如升学，分级或者就业)产生影响。 然而在目前为数不多的计算机化动态评估模式中，CODA和PELDiaG也呈现出各自的不同特点(见表2)。 Table 2 A comprehensive contrastive analysis between PELDiaG and COD C-DA系统 DA评估过程 PELDiaG CODA 评估的类型 动态评估；诊断性评估；形成性评估 动态评估；诊断性评估；形成性评估 设计试题的目的 提供显性的诊断性评估(诊断测试)；提供补救教学和训练(强化训练试题) 区分学习者在干预下的表现，预测学习潜能，揭示“干预提示”融合在测试中的学习证据 C-DA试题命制 L2教师根据学习技能编制试题； 学科专家参与试题属性标定 题目数量：24 (items) × 3 (tests) = 72 以汉语听力为例： 汉语水平考(HSK)试练习题；增加一个选项使之达到5个；题目数量：23 C-DA项目属性 /试题构念 项目属性(马晓梅等，2012) [ 23 ] 听力：辨音能力、词汇知识、句子结构和语法、推理能力和文化背景知识、细节捕捉、主旨能力、记笔记和听写能力 阅读：猜测词义、句子理解、句子推断、段落理解、段落推测、主旨概括、细节捕捉、阅读速度 试题构念(Poehner， Zhang & Lu， 2015) [ 22 ] 听力：语音，语法(时态)，语用，上下文推理，信息捕获 阅读：词汇，结构，语篇，体裁 动态干预的方式 (介入方式和内容) 互动式动态评估；显性 介入内容：二语学习能力和技能的诊断性报告(文字)；多模态形式的策略指导和干预；按照二语技能编制的强化干预题库 介入式动态评估；隐性 介入内容：答题过程中给予在线文字提示(通过缩小阅读或听力范围来进行提示，每一次提示都让答题者更接近正确答案所在的文本) 动态干预的方式 (介入过程) 1.多回合评估(multi-session assessment) 2.测试完毕，给予两种形式的反馈和干预：多媒体诊断报告(图表，文字，热链接)，多媒体学习策略指导干预(文字、动画、视频(专家访谈、成功学习者案例) 3.不同学习者的诊断报告不同 1.单回合评估(microgenesis) 2.对错误答案进行逐步提示：最大值为三个回合 3.one-size-fit-all学习者获得的提示内容不变 干预目的 帮助学习者诊断英语听力及阅读学习强项和弱项，提供实时反馈和指导，培养学习策略意识 以计算机为手段，观察二语学习者对动态评估中的干预反应，考察计算机逐步干预的学习效果 迁移任务 (Transfer Items) 的设置 在强化训练模块中，按照阅读及听力属性专门编排反映迁移能力的试题，按照难度从低到高 在试题本身靠后的地方，用以考察学习者是否掌握了从动态评估中获取的新技能； 内嵌于测试当中；量化考察 对学习者的训练 (强化) 按照属性/技能编制的不同级别的强化试题 无 学习潜能得分的计算 无 有 测试风险 无风险(用于学习者自测或自主学习) 无风险 目标学习者(用户) 开放性学习平台；在校本科非英语专业一年级大学生，500名以上用户。测试题目是英语，学习者母语是汉语 研究平台；样本量为163名答题者，测试题目为汉语和法语，学习者母语为英语 表2. PELDiaG和CODA系统动态评估模式对比 首先，在相关文献中(Poehner & Lantolf， 2013：Poehner et al.， 2015) [ 18 ] [ 23 ]，CODA系统用于进行动态评估的试题没有进行专家标定，使得试题的构念不够严谨。作为一种诊断性评估，动态评估中试题的构念至关重要。也就是说，每个题目是否测试了相关的语言技能这一指标应得到充分验证。在PELDiaG中，从语言技能/属性的定义到试题属性的标定，及诊断结果的报告，都比较严谨地论证了试题的可靠性。 其次，二者介入方式和目的不同。这也是两个C-DA系统在用户界面最明显的差别所在。在CODA中，介入是按照逐步提示法进行，通过逐步缩小正确答案范围对学习者进行动态干预，并进一步根据被提示的次数来统计学习者潜能得分的。这种介入方式被Poehner & Lantolf (2013) [ 18 ] 称之为“单回合”动态评估，即动态介入是在诊断测试中的一个题目(item)中完成的。同时，这样的干预方式也是一种介入式动态评估，即干预是按照逐步的文本提示进行的。在PELDiaG中，计算机对学习者的动态干预是在一个诊断测试(test)结束之后进行的，体现在文字和图表诊断结果报告和以热链接为形式的进一步学习技能指导中。学习者在整个系统中可以被多次评估，是一种“多回合”的动态评估方式(multi-session assessment)，同时也是以每个学习者得到不同的诊断反馈为特征的互动式动态评估。与传统语言测试(非诊断性语言测试以及静态测试)相区别的是，PELDiaG系统给予学习者在相关学习技能方面详细的文字报告，并对如何进行下一步学习提出补救性建议。 此外，两个平台的构建和干预目的也不完全相同。PELDiaG系统注重第二语言的学习功能，通过帮助学习者诊断英语听力及阅读学习强项和弱项，提供实时反馈(文字诊断报告)和指导(学习策略链接)，培养学习策略和意识。系统中除了诊断功能以外，还包含了大量的语言学习辅助资料，如英语听力和阅读学习策略指导，专家访谈视频，成功学习者和不成功学习者的案例对比等，是一种“显性”的干预方式，学习者可以通过“评估–指导–再评估”的过程有意识地培养自己在学习技能方面的提高。CODA系统更接近一个小规模的实验平台，它试图通过观察二语学习者对计算机化动态评估中的干预反应，考察计算机逐步干预之下的学习效果，计算机对学习者的干预是一种比较“隐性”的干预方式。两种介入方式都被发现是有效的。在CODA中，三组阅读和听力的学习者成绩在干预之下都有不同程度的提高。在PELDiaG中，以视听学习为例，在对255个学习者的网络问卷调查中(见表3)，86.8%的学习者认为该学习干预模式总体对他们的学习能力发展有促进作用(“很有帮助”或者“较有帮助”)。 Table 3 Survey results on PELDiaG learnin 满意程度 视听行为诊断% 策略指导% 总体 很有帮助 21.4 24.8 29.7 较有帮助 56.4 56.4 57.1 一般 17.7 15.8 11.3 没多大帮助 4.1 3 1.9 没有帮助 0.4 0 0 表3. 网络问卷调查：PELDiaG对视听能力发展的促进作用 在迁移任务的安排上，二者也有各自的特点。CODA系统为了让学习潜能可以被量化，将包含迁移任务的试题(transfer items)内置于整个测试之中。学习者在完成前半部分试题后被假设为应该已经获得了相应的语言学习技能，并且能够运用这些技能解决类似的任务。Transfer items的设置是为了量化考察这个假设是否成立。Poehner & Lantolf (2013) [ 18 ] 的研究显示，CODA的计算机化动态评估模式在观察学习行为方面是有效的。根据学习潜能得分可以看出，原始分数相同的学习者在获得同样的提示和干预之后却表现出不同的学习能力(干预分数不同)，这表明具有相同学习水平的人对同样教学的吸收能力可能并不相同，也就是说他们拥有不同的“学习潜力”(Poehner， Zhang & Lu， 2015) [ 23 ]。这样的信息能够为教育者在未来教学中提供更有针对性的决策依据。PELDiaG系统中没有内置迁移试题或任务，而是在独立于动态诊断试题之外构建了训练试题部分，并根据题目的难度程度不同由易到难分成Level A，Level B和Level C三个级别。这些题目和前面的动态诊断试题相呼应，按照二语听力和阅读学习技能编排，使得学习者在获得诊断评估之后能够进一步强化巩固所学技能。可以看出，CODA通过设计内置迁移任务来测量学习潜能；PELDiaG注重通过让学习者完成迁移任务来内化所学知识，帮助个体接近最近发展区(ZPD)。