system: [SYSTEM]

user: 2. 结语 本课题以“基于证据的社会–认知效度验证框架” [ 15 ] 为理论指导，从情景效度、认知效度、评分效度和后果效度四个方面，开展了基于证据的六级、雅思、托福考试效度对比研究。一方面，本课题运用语言测试效度研究普遍使用的研究方法(自动文本分析、有声思维、话语分析、问卷调查和半结构式访谈)做了八项传承性研究，主题涉及三项考试阅读文本词汇复杂度、阅读文本选择与改编、听力长对话和阅读测试受试有声思维认知过程、口语测试样本视频考官和考生会话特征和主题发展、三项考试的口语和写作测试对考生的反拨效应；另一方面，又尝试使用语言测试领域近年较新的跨学科研究方法(数据挖掘、眼动技术、结构方程模型)做了三项创新性研究，主题涉及文本自动分类、受试认知加工过程、写作反拨效应机制。 这些研究使用了丰富的数据：测试文本900余篇，受试作答题目777项(听力和阅读)，口语测试样本视频7段；参与问卷调查、访谈、有声思维、眼动的考生和受试共1000余人次。这些丰富的数据充分体现了本课题的宗旨：基于证据的六级、雅思、托福考试效度对比研究。所有这些实证研究旨在回答一个总的研究问题：六级、雅思、托福考试的效度有何异同？ 2.1. 主要研究结论 本课题研究结果表明，六级、雅思、托福三项考试均具有良好的效度。换言之，根据三项考试的成绩对考生英语语言能力做出的推论是可靠合理的。总体而言，雅思与托福的效度在各方面相同点较多，而六级的效度与二者相比差异性更大。三项考试效度的异同具体见表1。 Table 1 Similarities and differences of the validity of CET-6， IELTS and TOEF 效度研究 相同点 不同点 词汇复杂度 s 三项考试词汇复杂度各项指标均有显著差异(BNC型符、类符除外)，托福词汇难度最高，雅思其次，六级最低；相反，六级词汇多样性最高，雅思其次，托福最低。 文本选择与改编 s 六级、雅思阅读测试选材话题覆盖面较广，且都选自原版杂志、报刊、学术书籍，语言真实性强。 s 六级、雅思阅读文本改编方式多样。两项测试文本改编前后在BNC1000词、范围外词、隐性衔接指标、二语可读性指标改革前后均有显著差异。 s 六级选材更青睐英语国家讨论国际时事的主流杂志与报纸，而雅思阅读文本大多选自关注科学技术发展或学术研究问题的书籍与学术性杂志。 s 雅思改编前后多项文本特征指标没有显著性差异，而六级改编后很多文本性特征(词汇、句法、显性衔接、文本抽象性、Flesh易读度)有显著差异。 听力长对话构念 s 三项考试听力长对话主要测量了语法知识和认知策略及部分元认知策略，说明三项考试的构念效度较好。 s 三项考试听力长对话都未测量语用知识和社会语言知识，且都有构念无关知识和构念无关策略使用，对三项听力长对话的构念都形成了一定威胁。 s 托福构念的无关知识比例最高，六级其次，雅思最低。 s 托福听力长对话构念无关因素还涉及阅读策略。 阅读构念 s 三项考试均考查了单句、句间和段落三个信息层面的知识，且考查比例均按单句、句间和段落依次递减；三项考试都考查了受试理解细节、理解大意和推断的能力，表明三项考试均注重考查考生是否理解阅读材料并能读出言外之意。 s 三项考试受试的答题过程与预期答题操作的拟合度高，说明三项阅读测试均有较好的构念效度。 s 三项考试受试都有不同程度的不符合答题预期操作却选对正确答案、或理解错误却选对答案、或推理解释不清却选对答案的情况，说明存在对构念无关信息或技能的使用，这对三项考试的构念形成了一定威胁。 s 托福受试答题过程使用排除法的比例最高，六级理解错误但答对题的比例最高，雅思推理解释不清但答对题的比例最高。 会话特征 s 三项口语测试考官和考生都表现出较为丰富的话轮转换关联位置特征，均能使用多样化的话轮保持方式，且都能提供话轮。 s 三项口语测试都基本按照一问一答的序列结构展开，且大都按照毗邻语对的形式展现。 s 三项口语测试考官和考生都没有体现他人修正和他人启动–自我修正。 s 雅思考官和考生表现出的话轮转换关联位置特征和比邻语对最丰富，六级、托福其次。 s 雅思考官会发起自我启动–自我修正；雅思考生和托福考生同样会发起自我启动–自我修正，但是六级考生未发起自我启动–自我修正。 主题发展 s 三项口语测试的考官都会根据事先给定的题目发起提问，并使用明确指示标志来转移话题。 s 考生都会按照保持主题发展时长和发音准确性、词汇和语法使用多样性和准确性的要求发展主题。 s 雅思考官和考生管理主题发展的策略最丰富，六级、托福其次。 口语反拨效应 s 三项口语测试的考生都有中等偏强的成就性和工具性测试使用认识；有中等偏肯定的测试设计评价；有中等偏高的自我效能；有中等偏积极的反拨效应和中偏负面的反拨效应。 s 都倾向于认为语言技能和测试技能在三项口语测试中都很必要；考生语言技能发展在三项口语测试之间没有显著性差异。 s 六级与雅思、六级与托福在多项上存在显著差异，而雅思与托福之间相似程度很高。 s 六级与托福在工具性使用和对测试设计的评价方面没有显著性差异。 写作反拨效应 s 考生有较强的成就性工具使用和中等的工具性测试使用；对写作测试任务设计比较认可；有比较积极的反拨效应和中等偏弱的消极反拨效应；技能提升和记忆两项备考活动频率均为中等。 s 上述这些方面三项写作的反拨效应没有显著差异。 s 考生在非写作能力和备考管理方面均有显著差异，均为雅思最高，托福、六级其次。 s 六级与雅思、六级与托福在自我能力认知、自我效能、主观任务价值、备考过程投入多方面存在显著差异，但雅思和托福差异不显著。 表1. 六级、雅思、托福考试效度的异同 2.2. 对策建议 除了上述主要研究结论，本课题为三项考试不同利益相关群体提出了以下针对性对策建议。 1) 考生：大力加强真实语言材料输入，阅读六级、雅思、托福考试文本来源报刊杂志、新闻网站、广播电台、学术教材、著作等，如《时代周刊》、《经济学人》、《卫报》、《纽约时报》、《新科学家》、《国家地理》等。加强实践性练习，切实提升语言综合运用能力。要深信“语言学好了，考试没问题”。促进成就性测试使用，增强能力自我认知，提升自我效能，加强社会情感策略和备考管理，加大学习投入等。 2) 教师：通过语言教学，培养学生人生胜任力(life competencies)。充分利用现有教学资源，更新教学内容。关注学生情感因素，如鼓励他们建立学好语言的信心，降低考试焦虑度，实现“三全育人”。 3) 考试设计者/考试机构/决策者：提升命题质量，全面测量受试的语言能力和策略能力，如在听力测试中加强语用知识和社会语言知识的考查，在阅读中加强语篇层次的考查，丰富考试题型。避免构念无关因素影响，如字面匹配、随机猜题、背景知识运用等。改善测试环境，提供高质量、有代表性、连贯性、完整性的样本视频、样题、备考材料等。提供明晰的评分标准，做到标准化与人性化的统一，确保考试的公平性、公信力和透明度。 2.3. 本课题的价值和意义 2.3.1. 学术价值 本研究探索、验证、丰富和发展了效度研究理论，充实、完善和建立了新的效度研究模型，尤其是三项考试效度对比研究的多个子框架或模型，比如听力长对话测试构念描述框架，三项阅读测试分析框架，三项口语考试考生反拨效应理论框架，写作考试考生反拨效应理论框架等，为今后其他大规模、高风险考试的效度研究，尤其是效度对比研究，提供了理论和方法上的借鉴。 2.3.2. 应用价值 本课题为考生的学习、教师的教学提供了富有建设性的意见和建议，为三项考试设计者/考试机构/决策者进一步提高命题质量、施测环境、评分标准等提供了具有针对性和可操作性的方案与决策依据，为语言测试研究者和工作者以及对此感兴趣的广大读者提供了思路和方法上的参考。 2.3.3. 社会影响 由于三项考试涉及的考生人数达数千万，对其效度的对比研究的社会价值难以估量。本研究有理论、有实践，有数据、有分析，论点鲜明、论据充分、论证有力。研究成果具有启迪性、说服力和实用价值，部分成果在国内高校、出版社、科研机构，如上海交通大学、武汉大学、四川大学、大连理工大学、东北师范大学、西安交通大学、外语教学与研究出版社、高教出版社等上百场学术讲座、工作坊上分享，而且在中小学国培计划、中小学外语教学与研究中得以应用，如词汇复杂度、阅读文本选择与改编等的研究思路与方法已经应用于高考、高中英语教材、报刊等的研究与中小学教学实践，并通过个人和机构的微信公众号、出版社网课等得以广泛传播，受益人次达数十万。 2.3.4. 社会效益 人才培养的国际化及可持续发展可能是本课题最大的社会效益。依托该课题研究，我们带动和培养了一批国际化的语言测试工作者和研究者，正在实现可持续发展。在研期间，课题负责人受聘世界一流测试机构(剑桥大学英语考评部)高级学术研究顾问。一位课题组成员应聘到国外高水平大学任专职研究员，四位团队成员获国家留学基金委全额奖学金境外、国外攻读博士学位，两位获得国际英语教育研究基金会首届硕士研究奖。课题部分成果在国际高水平会议上宣读，如国际语言测试界最高级别会议语言测试国际研讨会年会(LTRC)，欧洲语言测试者协会年会(ALTE)，亚洲语言测试者协会年会(AALA)，国际英语教师协会年会(IATEFL)等；在世界一流大学做专题研讨，如剑桥大学、纽约大学、香港理工大学等；部分成果在国际高水平期刊发表，如Applied Linguistics，TESOL Quarterly，Language Testing，Language Assessment Quarterly，Assessment & Evaluation in Higher Education，Innovations in Education and Teaching International，System等。 另外，课题组有三位成员从硕士生导师晋升为博士生导师，一位课题组成员博士论文获省优秀博士论文，两人硕士论文被评为市优秀硕士论文，五名团队成员获国家奖学金，多人次被评为优秀青年教师、优秀研究生、优秀毕业生、优秀共产党员。我们因此建立起了一支成长型和研究型语言测试团队，领衔了中国大百科全书语言测试词条的编制，成为了雅思、托福、普思、剑桥英语系列考试与《中国英语能力等级量表》对接的专家组成员，并申请获得国际合作语言测试研究基金项目、教育部人文社科项目、中央高校基金重大项目和跨学科项目等。因为该项目而建立的跨学科导师团队最近被评为市级研究生导师团队，正在实现可持续发展。课题负责人因其在科学研究和人才培养中的突出成绩，于今年获得国家留学基金委高级访问学者奖，将再赴剑桥大学访问与合作研究。课题组和团队期望通过人才培养的国际化和可持续发展，为我国语言测试与研究的国际化贡献力量。 2.4. 课题成果存在的不足 1) 文献综述和研究方法分布在各章 本课题设计的重心是基于证据的系列实证研究，课题组在设计的时候认为每项实证研究都会涉及相关的文献综述和研究方法，为了避免重复和方便专家审读，专著中没有单独设文献综述和研究方法两章。不过这样的谋篇布局可能给人印象两个部分不够集中或凸显。 2) 差异成因阐释不够深入 课题实证研究数据十分丰富，发现了三个考试效度的异同，尤其是差异，但对差异的成因阐释不够深入。三个考试的目的、构念、考试形式、考试题型、受试的水平等有诸多不同，因此对于考试对比发现的差异，其成因本身很难阐释。 3) 创新性研究还处于起步阶段 创新性研究在本课题中属于延伸性研究，尚处于起步阶段。因为主客观原因，创新性研究推进相当艰难。主观原因在于跨学科难度大，耗时长；客观原因在于有些资源我们无法获取，比如数据挖掘文本分类中三个考试的样本太小。另外，有些设备迟迟不能到位，比如眼动设备因行政、财务管理缺乏灵活性和经费使用严格受限，至今没有到位，课题中的眼动实验设备是2019年暑假课题组临时租借的。 4) 三项考试的社会性影响研究不足 关于三项考试的社会性影响我们也进行了相关的研究，比如考试结果的使用，2015年我们调查了中国财富500强企业对三项考试结果的使用，发现只有12家企业对雅思和托福成绩有要求，而且要求参差不齐，其余全部是对四六级考试成绩的要求。我们很希望跟踪调查在“一带一路”倡议下，在雅思和托福与《中国英语能力等级量表》对接结果公布之后，中国财富500强企业对三项考试结果的使用是否有变化，如果有，变化的成因是什么。另外，我们对知乎问答社区上三个考试的考生上百万词的经验帖进行了初步分析，非常意外地发现三项考试考生的备考模式非常相似。只是这两项研究比较类似于调研报告而非学术研究，尚需更深入的调研，所以未将其收入此专著。 5) 研究受试的代表性不足 虽然课题组尽了最大的努力通过多种渠道(纸质、网络、考试、实验等)收集考生数据，但三项考试考生的样本量和代表性仍然很不足，因此未能将受试分为高中低不同水平组进行研究。此外，本课题研究对象未涉及三项考试其他利益相关者群体，比如教师、培训机构、教育主管部门等。 6) 平行研究成果呈现未能高度统一 本课题研究远比申报时预计的庞大和复杂，需要多个强有力的团队通力合作，而我们只有一个团队，且在成长中。团队由本科、硕士、博士、青年教师、研究员、副教授、教授组成，尽管我们考虑了效度对比研究在每个方面都尽可能有平行研究，以获取充分的证据并实现数据的三角验证，但平行研究相对独立，最后很难保证平行研究的逻辑、内容、思路、方法和结果的呈现高度统一。 2.5. 对未来研究的启示与建议 根据上述研究中存在的不足，我们对未来的考试效度对比研究提供如下启示与建议： 1) 高水平、高质量文献输入，穷尽性文献收集、系统性文献综述是效度对比研究必须完成的第一步，是做好顶层研究设计的基石。 2) 借鉴其他学科的理论、实证研究的方法，挖掘、分析、阐释效度对比研究发现的异同背后的成因。 3) 加强考试的社会性、公平性、考试结果的使用等研究，充分利用大数据方法，挖掘更多类型的语言测试数据，如论坛或贴吧上关于备考和考试的讨论以及经验帖、相关的考试政策和文件、历年考试真题、考生关于备考的日志或学习记录等。 4) 要从不同利益相关者收集证据，尤其要关注不同利益相关者的过程性证据。 5) 坚持不懈提升团队能力，尤其是跨学科团队建设与合作。效度研究是一个持续收集多方面效度证据的过程，一项考试的效度验证已经是一个系统工程，而考试效度对比研究涉及多项考试，其工作量更为庞大，需要强大和强有力的团队，尤其是跨学科团队的通力合作与支持。课题研究是高等教育，尤其是硕士、博士研究生培养必不可少的一部分，是培养学生创新思维、实践能力、团队精神和社会责任感的重要途径；坚持不懈加强团队建设，通过传、帮、带，既要提升团队的整体科研能力，又要培养团队不断创新、无尽求索的科研精神。团队、团队精神和科研精神是出色完成任何考试效度对比研究，甚至任何学术研究的前提条件。