自动作文评分

自动作文评分（automated essay scoring，缩写为AES）是运用统计方法、机器学习和自然语言处理技术预测作文分数的教育评价方法。

自动作文评分系统通常以人工评定的作文为训练或校准资料，从作文中提取语言特征或学习文本表示，再预测整体分数或若干写作分项的得分。部分系统还会提供有关语法、用法、拼写、文体、组织和内容展开的诊断反馈。在高风险考试中，自动评分也可与人工评分共同使用，而不由计算机单独决定考生成绩。

## 发展历史

自动作文评分研究通常追溯至美国教育测量学者埃利斯·巴滕·佩奇。佩奇在1966年发表《计算机评分作文即将到来》，探讨以计算机分析作文并预测人工评分的可能性。后来的综述将佩奇开发的作文评分计划（Project Essay Grade）列为早期自动作文评分系统。

早期系统主要统计作文长度、单词长度、词汇使用、标点和句法等人工设定的特征，再以线性回归等统计模型预测人工分数。这类方法依赖研究者预先决定哪些可量化特征能够代表写作质量。

20世纪90年代至21世纪初，自动评分系统开始采用语义分析和更复杂的自然语言处理方法。教育考试服务中心开发的e-rater会分析词汇、语法、用法、文体、组织和内容展开等方面，并以统计模型组合这些特征。

2003年，《底特律自由新闻》报道，采用e-rater的Criterion在线作文评价服务当时已在535所学校中供约10.4万名学生和2700名教师使用。该报道说明，e-rater并非实际“阅读”文章，而是依据高分作文中常见的语言特征估计分数。

2012年，威廉与弗洛拉·休利特基金会资助了一项自动作文评分研究，研究人员以美国六个州七、八、十年级学生的两万二千余份写作样本评估九家厂商的系统。报道所述研究认为，在接受测试的年级、题目和评分条件下，自动分数与人工分数大体接近。基金会随后通过Kaggle举行自动学生评估奖竞赛（Automated Student Assessment Prize，ASAP），参赛者利用公开的学生作文数据开发评分模型。

2010年代中期，自动作文评分研究开始更多采用人工神经网络。2016年的一项研究使用长短期记忆网络学习作文表示并预测分数，另一项研究则以卷积层和递归网络自动学习作文的层次特征。

2020年，一项中文作文评分研究采用弱监督预训练、跨主题微调和目标题目微调三个阶段，在四个作文题目上测试模型。该研究报告，预训练方法提高了所比较神经评分器的评分效果和领域适应能力，但研究者也指出该方法仍有局限。

## 评分方法

### 评分目标

自动作文评分可以预测一个概括文章质量的整体分数，也可以分别评估内容、组织、词汇、语法、文体、连贯性或论证等写作分项。整体评分语料和研究数量多于分项评分语料，因而多数公开研究仍以整体分数预测为主要任务。

自动作文评分还可按训练作文和待评分作文是否对应同一题目，分为同主题评分和跨主题评分。同主题模型以目标题目的人工评分作文训练，跨主题模型则尝试在缺少目标题目标注作文时，利用其他题目的数据完成评分。

### 人工特征和统计模型

传统系统采用的表层或人工特征包括作文长度、句子和单词数量、单词平均长度、词汇丰富度、拼写错误、语法错误及标点使用。部分系统还分析句法结构、连接词、篇章组织、语义相关程度以及作文与题目之间的关系。

人工特征可以输入线性回归、分类模型、支持向量机或排序学习模型，以人工分数作为预测目标。e-rater会先确定训练作文中各项写作特征与人工分数的关系，再为特征赋予权重并用所得统计模型评定新作文。

教育考试服务中心列出的e-rater特征包括词汇内容、词汇复杂度、语法与机械错误比例、文体、组织和内容展开。系统也会检查特征是否与具体写作题目具有逻辑关系，并标记离题或前后不一致的文章以供复核。

### 神经网络

神经评分模型通常先把单词或句子转换为向量，再由卷积神经网络、循环神经网络、长短期记忆网络或注意力机制学习文章表示。相较完全依靠人工特征的模型，神经网络可以从训练作文中自动学习与分数相关的文本模式。

赵宇迪和徐鲁强提出的跨主题模型把作文单词数、拼写错误、连接词、句长和语法错误等浅层特征，与卷积神经网络和长短期记忆网络提取的连贯性及篇章结构特征相结合。该模型先为目标题目作文生成初步分数和伪标注数据，再以带有注意力机制的层次神经网络预测最终分数。

Cancan Jin等人在2018年提出二阶段深度神经网络，第一阶段利用其他题目的已评分作文筛选目标题目中质量较高或较低的作文作为伪训练数据，第二阶段再以这些数据训练目标题目的深度评分模型。

### 大语言模型

大语言模型可在不另行训练专门评分模型的情况下，根据提示词、评分量表或少量示例给作文评分。一项2024年研究比较零样本和少样本提示，结果显示联合执行作文评分和反馈生成能够改善其试验中的评分表现，但评分步骤对反馈质量的影响较小。

另一项2024年研究在ASAP数据集上比较ChatGPT和Llama，发现适合的提示方式会随模型和评分任务而变化。该研究中的两种大语言模型在分数预测方面仍落后于所比较的专门评分模型，但能够同时生成作文反馈。

朱海霞和陈仕鸿2026年提出由写作智能体和评分智能体组成的中文作文评分方法，写作智能体先生成优、良、中、差四个等级的作文样本，教师为样本人工评分后再将其作为评分智能体的参照资料。该研究只测试了8篇中等职业学校学生作文，研究中的智能体评分在平均绝对误差、均方误差和均方根误差三项指标上低于未使用评分样本参照的ChatGPT-4o。

## 评价方法

自动作文评分研究通常以人工评分作为参照，并比较机器分数与人工分数之间的一致程度或误差。常见指标包括二次加权卡帕系数（quadratic weighted kappa，QWK）、皮尔逊积矩相关系数、斯皮尔曼等级相关系数、平均绝对误差和均方误差。

2012年Kaggle竞赛的ASAP数据集包括八组分别对应不同题目的作文，各组的作文数量、平均长度、评分标准和分值范围均不相同。该竞赛采用QWK评价自动分数与人工分数之间的一致程度。

机器与人工评分之间的高一致度并不表示计算机以人工阅卷员相同的方式理解文章。教育考试服务中心明确说明，e-rater不能像人工阅卷员一样阅读作文，其适用任务是评价写作质量，而不是判断作文所述事实或主张是否正确。

同主题数据上的评价不能直接证明模型能够处理没有训练样本的新题目，因为同主题模型在缺少目标题目标注数据时可能出现明显的性能下降。2024年的跨主题评分研究也把模型对训练阶段未见题目的泛化能力视为该任务的核心要求。

## 应用

自动作文评分可用于在线写作练习、低风险模拟测试和大规模考试评分。Criterion服务利用e-rater为学生提供自动反馈，教师可让学生在人工指导之外独立练习和修改作文。

教育考试服务中心表示，e-rater目前在GRE分析性写作和托福网考写作中与人工评分共同使用。在这种工作流程中，自动评分是人工评分的组成部分，而不是完全取消人工阅卷。

自动评分也被地方教育部门考虑用于基础教育统考。《波士顿环球报》2018年报道，马萨诸塞州教育部门研究过将自动评分用于马萨诸塞州综合评估系统作文，以缩短阅卷和公布成绩所需时间。州教育官员当时表示，即使采用自动评分，也计划以人工抽查核对结果。

## 局限与争议

### 写作构念和语义理解

自动评分模型根据可计算的文本特征与既有人工分数之间的关系作出预测，其分数并不等同于对文章含义的完整理解。教育考试服务中心表示，e-rater尚不能充分评价论证结构和创造性语言的使用，并把这些能力列为继续研究的方向。

美国全国英语教师委员会2013年通过反对机器评分的立场文件，认为写作能力涉及写作任务、语境、读者和有意义的反馈，不能被少数易于量化的指标完全代表。该组织认为，机器难以评价事实准确性、推理、证据充分程度、伦理立场和论证说服力等方面。

### 操纵评分

部分自动评分系统可能把文章长度、复杂词汇和句式特征作为写作水平的代理指标，因而受到学生迎合算法的质疑。《底特律自由新闻》2003年的报道记载，有教师担忧系统会偏爱较长作文，而不是内容更好的短文。

莱斯·珀尔曼曾以内容缺乏意义、但使用复杂词汇和较长句子的文章测试自动评分系统，并据此批评系统可能被刻意操纵。2018年的一项研究也发现，当时的神经自动评分模型不善于识别由语法正确但彼此不连贯的句子组成的对抗性文章。该研究通过另行建立局部连贯性模型，提高了系统识别这类输入的能力。

### 评分偏差和公平性

自动评分模型通常以人工分数作为监督信号，因此人工阅卷员的偏差可能进入训练资料并影响机器评分。一项包含阅卷评语的语料研究发现，阅卷员偏差会对依靠人工特征的自动评分模型产生显著影响。

2024年一项德语中学生作文研究比较浅层学习、深度学习和大语言模型，并分别使用完整及偏斜训练样本测试评分公平性。研究结果显示，只使用认知能力较高或较低学生的偏斜样本训练时，模型对训练样本以外学生的准确度很低，研究者因而主张训练资料应覆盖所有相关使用群体。

### 透明度和教学影响

马萨诸塞州讨论自动评分时，批评者担忧评分算法不公开、学生可能为了提高机器分数而改变写作方式，以及系统可能误判非标准写作。全国英语教师委员会还认为，以机器反馈取代教师、同学和其他真实读者的交流，可能削弱写作教学的社会和交际过程。

2024年的领域回顾指出，近年研究经常集中于在标准数据集上超过已有模型，但仅提高基准指标不足以解决自动作文评分的长期问题。该回顾主张研究还应处理数据集、评分分项、模型泛化和实际应用等问题，而不能只比较单一数据集上的平均评分表现。