system: [SYSTEM]

user: 1. 引言 国家社科基金重点项目“基于证据的四六级、雅思、托福考试效度对比研究”(14AYY010)于2014年6月立项。课题组随即开展了长达五年六个月系统深入的调查与研究。本专著为该项目的结题成果。 本专著涉及的大学英语四六级、雅思、托福三项考试是中国乃至全球极具代表性的语言考试。三项考试规模大、风险高、影响广。四六级考试包含四级和六级两个难度级别；雅思分学术类和培训类两种考试用途；托福有纸笔考、机考和网考三种考试形式。在本研究中，我们选择的分别是六级、雅思学术类、托福网考三项考试。因为六级与四级相比在难度上更加接近雅思学术类和托福网考；相较于培训类，雅思学术类更多用于升学考试用途，这与托福考试用途更接近；而网考是托福三种答题形式中最普及、使用最多的考试形式，所以我们选择六级、雅思学术类、托福网考三项考试进行对比。为了表达简洁，在本专著中，六级、雅思学术类和托福网考三项考试分别简称为：六级、雅思、托福。 本引言将首先简要概述国内外效度研究的现状，包括三项考试的研究及存在的不足；然后简要介绍本选题的价值和意义、研究的基本观点及主要内容；最后对结题成果进行概述性说明。 1.1. 国内外研究现状述评 1.1.1. 效度理论 效度(validity)是测试评价中最重要的考虑因素 [ 1 ]。较早的效度定义为“一项测试是否测量了它所要测量的东西” [ 2 ]。自20世纪60年代以来，语言测试与评价的研究一直围绕效度展开 [ 3 ]，效度理论取得了从“分类效度观”到“整体效度观”的重大发展。分类效度观 [ 4 ] 认为效度可分为效标关联效度、内容效度、构念效度等多种类型 [ 5 ]。该效度观证操作性强，但比较零散，且未考虑分数使用和解释等方面的证据。整体效度观给出了具有突破意义的效度定义，即“对经验证据和理论依据在多大程度上支持分数的解释与使用进行的综合评价就是效度” [ 6 ]。这种“一元多维”的效度观确定了构念的核心地位 [ 7 ]，明确了效度验证的对象是测试结果的解释和使用 [ 8 ]。 1.1.2. 效度验证模式 整体效度观给语言测试的开发与研究带来了重大变革，但由于该理论高度概括且过于抽象，使效度验证缺乏可操作性。近年来更多的语言测试学家根据该理论提出了一些具体的效度验证框架。其中较有影响的效度验证框架如下： “交际语言能力模型”和“测试方法层面框架” [ 9 ] 为效度验证开启了新视角。Bachman et al. [ 10 ] 运用该框架对剑桥熟练英语证书考试、第一英语证书考试和托福考试三项考试所考查的能力和测试任务特征做了分析，并对该框架进行了完善。 “测试有用性框架” [ 11 ] 涵盖信度、构念效度、真实性、交互性、考试影响和可行性六个质量属性，进一步阐释了 [ 6 ] 的效度理论。该框架可操作性强，但质量属性之间的关联不甚明确 [ 12 ]。 “基于论证的效验模式” [ 13 ] 与整体效度观一脉相承，包括两个步骤：提出效验观点、收集有关证据。Chapelle et al. [ 14 ] 运用该模式论证了托福的效度。 “测试使用论证框架” [ 15 ] 发展了Kane [ 13 ] 的效度论证观。该框架遵循“事实à主张”的推理机制，包含构建与评价两个过程 [ 16 ]。不过其架构(后果、决策、解释、测试记录)比较抽象，能否成为指导测试开发与使用的新范式尚需检验。 “基于证据的效度验证框架” [ 17 ] 从社会–认知视角出发，涵盖多个方面的效验证据，具有很强的可操作性，在剑桥五级主体英语证书考试的效度对比研究中得到丰富和完善 [ 18 ] [ 19 ] [ 20 ]。 目前关于效度理论和验证模式的研究主要集中在国外，国内类似的研究还处于起步阶段，主要是对国外相关领域的发展进行引介和评述 [ 12 ] [ 21 ]。 1.1.3. 六级、雅思、托福三项考试的研究及存在的不足 三项考试相关研究比较丰富，主要涵盖以下方面(括号中的文献仅为部分举例)： 六级的整体效度研究 [ 22 ] [ 23 ]、各单项技能及题型研究 [ 24 ] [ 25 ] [ 26 ]、评分与网考研究 [ 27 ] [ 28 ] [ 29 ]、反拨效应及考试影响研究 [ 30 ] [ 31 ] [ 32 ]。 雅思的开发及效度验证 [ 33 ] [ 34 ]、考官与评分 [ 35 ] [ 36 ]、反拨效应及考试影响 [ 37 ] [ 38 ]。 托福的效度论证 [ 14 ] [ 39 ] [ 40 ]、网考设计 [ 41 ] [ 42 ]、公平性与可及性 [ 43 ] [ 44 ]、评分与技术应用 [ 45 ] [ 46 ]、信度与可推广性 [ 47 ] [ 48 ]、分数解释 [ 49 ] [ 50 ]。 尽管关于三项考试研究的文献比较丰富，但能够将这些研究组织起来并形成有关联和强有力的论证文献较为缺乏，而且涉及三项考试中任何两项的考试效度对比研究，尤其是实证研究也相当少。现有的对比研究多集中在分数等值方面 [ 51 ]，但事实上还有其他很多方面需要对比，如受试的认知过程、考试的影响等。此外，几乎没有文献将国内的考试与国际权威考试进行较全面的效度对比研究，现有的文献只是就两项或三项考试的某一技能、题型或考试媒介等做初步探讨 [ 52 ] [ 53 ] [ 54 ] [ 55 ]，因此，针对三项考试全面系统的效度对比研究亟待开展。 1.2. 选题的价值和意义 学科理论与实践价值：理论上，验证“基于证据的社会–认知效度验证框架”在考试效度对比研究中的可行性，并进一步构建更加科学合理的语言测试效度对比研究模型。实践上，通过对比三项考试的效度，形成将三项考试关联起来的论证。这不仅可以丰富考试对比研究领域的文献类型，而且能为类似的研究提供思路和方法上的借鉴。 社会和现实意义：一方面，本研究有助于推动我国语言测试开发与研究的国际化水平，有利于提升我国自行开发的英语考试在国际上的认可度，为教育、人事部门及广大利益相关者提供入学、就业、人才流动等决策依据；另一方面，本研究中的雅思和托福考试均已实现与国际公认的语言能力标准CEFR (Common European Framework of Reference for Languages: Learning， Teaching， Assessment) [ 56 ] 和我国的《中国英语能力等级量表》的对接 [ 57 ]，其开发与使用遵循了国际公认的语言测试标准。因此，三项考试的效度对比研究有望为《中国英语能力等级量表》的应用与推广提供参考数据。 1.3. 研究的基本观点 尽管六级、雅思、托福三项考试的目的、性质、构念、分数解释和结果使用等诸多方面存在不同，但三项考试都是以英语为外语或二语的大规模、高风险语言考试，受试将接受或正在接受高等教育，三项考试的效度应该具有可比性，三者的效度应该既有较大的相似性，也有一定的差异。而实际情况是否如此，有待进行全面深入的实证研究。 1.4. 研究的主要内容 本课题的理论基础为“基于证据的社会–认知效度验证框架”(Evidence-based Socio-cognitive Framework for test validation) [ 15 ]，该框架最初认为效度验证需要收集五个方面的效度证据：基于理论的效度、情景效度、评分效度、效标关联效度和后果效度。在剑桥五级主体英语证书考试的效度对比研究中，该框架得到丰富和完善，基于理论的效度更名为认知效度，受试特征也成为效度验证证据的一个重要方面。因此，最新的“基于证据的社会–认知效度验证框架”认为效度验证应该收集六个方面的效度证据：受试特征(test taker characteristics)、情景效度(context validity)、认知效度(cognitive validity、评分效度(scoring validity)、校标关联效度(criterion-related validity)和后果效度(consequential validity) [ 18 ] [ 19 ] [ 20 ]。 受试特征指受试生理、心理和经历特征。情景效度取代的是传统意义上的内容效度，指测试任务在多大程度上代表了该任务所取样的全域(universe)。认知效度指测试任务在多大程度上引发了考生在真实语言使用中相似的认知过程。评分效度被纳入效度整体概念的一部分，代替的是传统的信度，它回答的问题是测试分数在多大程度上是可靠的。校标关联效度指测试本身以外的效度证据，如一项考试与其他测量相同构念且已得到公认的有效测试或测量的相关程度。后果效度指测试过程及测试结果对所有相关人员产生了什么影响，包括宏观的后果(如对机构、社会的影响)和微观的后果(如对考生、教师的影响)。由于本课题主体是基于考生的证据，而且是关于三项考试的效度对比研究，即多方面的效度证据收集将包含受试特征和校标关联效度，因此，受试特征和校标关联效度在本研究中没有单独列出。 本课题研究从“基于证据的社会–认知效度验证框架”出发，从情景效度、认知效度、评分效度和后果效度四个方面对六级、雅思、托福考试进行了全面深入的效度对比研究。这些研究回答了一个总的研究问题：六级、雅思、托福三项考试的效度有何异同？图1为本课题的研究概览。 图1. 基于证据的六级、雅思、托福考试效度对比研究概览 1.5. 结题成果目录 引言 传承性研究 情景效度 第1章 六级、雅思、托福阅读词汇复杂度对比研究 第2章 六级、雅思阅读文本来源与改编对比研究 认知效度 第3章 基于有声思维的六级、雅思、托福听力长对话测试构念效度对比研究 第4章 基于有声思维的六级、雅思、托福阅读测试构念效度对比研究 评分效度 评分效度 第5章 六级、雅思、托福口语考试形式与题型对考官和考生会话特征的影响 第6章 六级、雅思、托福口语考试形式与题型对考官和考生主题发展的影响 后果效度 第7章 基于考生证据的六级、雅思、托福口语测试反拨效应对比研究 第8章 基于考生证据的六级、雅思、托福写作测试反拨效应对比研究创新性研究 创新性研究 情景效度 第9章 数据挖掘技术在语言测试研究中的应用 第10章 六级、雅思、托福阅读文本自动分类——基于数据挖掘技术认知效度 认知效度 第11章 眼动技术在语言测试研究中的应用 第12章 认知效度理据、概念、模型及实证研究综述 第13章 六级、雅思、托福认知过程对比研究——基于眼动和访谈的证据 后果效度 第14章 六级、雅思、托福写作测试的反拨效应机制对比研究——基于结构方程模型 结语 附录1 附录2 附录3