自動作文評分

自動作文評分（automated essay scoring，縮寫為AES）是運用統計方法、機器學習和自然語言處理技術預測作文分數的教育評價方法。

自動作文評分系統通常以人工評定的作文為訓練或校準資料，從作文中提取語言特徵或學習文本表示，再預測整體分數或若干寫作分項的得分。部分系統還會提供有關語法、用法、拼寫、文體、組織和內容展開的診斷反饋。在高風險考試中，自動評分也可與人工評分共同使用，而不由電腦單獨決定考生成績。

## 發展歷史

自動作文評分研究通常追溯至美國教育測量學者埃利斯·巴滕·佩奇。佩奇在1966年發表《電腦評分作文即將到來》，探討以電腦分析作文並預測人工評分的可能性。後來的綜述將佩奇開發的作文評分計劃（Project Essay Grade）列為早期自動作文評分系統。

早期系統主要統計作文長度、單詞長度、詞彙使用、標點和句法等人工設定的特徵，再以線性回歸等統計模型預測人工分數。這類方法依賴研究者預先決定哪些可量化特徵能夠代表寫作質量。

20世紀90年代至21世紀初，自動評分系統開始採用語義分析和更複雜的自然語言處理方法。教育考試服務中心開發的e-rater會分析詞彙、語法、用法、文體、組織和內容展開等方面，並以統計模型組合這些特徵。

2003年，《底特律自由新聞》報導，採用e-rater的Criterion在線作文評價服務當時已在535所學校中供約10.4萬名學生和2700名教師使用。該報導說明，e-rater並非實際「閱讀」文章，而是依據高分作文中常見的語言特徵估計分數。

2012年，威廉與弗洛拉·休利特基金會資助了一項自動作文評分研究，研究人員以美國六個州七、八、十年級學生的兩萬二千餘份寫作樣本評估九家廠商的系統。報導所述研究認為，在接受測試的年級、題目和評分條件下，自動分數與人工分數大體接近。基金會隨後通過Kaggle舉行自動學生評估獎競賽（Automated Student Assessment Prize，ASAP），參賽者利用公開的學生作文數據開發評分模型。

2010年代中期，自動作文評分研究開始更多採用人工神經網絡。2016年的一項研究使用長短期記憶網路學習作文表示並預測分數，另一項研究則以卷積層和遞歸網路自動學習作文的層次特徵。

2020年，一項中文作文評分研究採用弱監督預訓練、跨主題微調和目標題目微調三個階段，在四個作文題目上測試模型。該研究報告，預訓練方法提高了所比較神經評分器的評分效果和領域適應能力，但研究者也指出該方法仍有局限。

## 評分方法

### 評分目標

自動作文評分可以預測一個概括文章質量的整體分數，也可以分別評估內容、組織、詞彙、語法、文體、連貫性或論證等寫作分項。整體評分語料和研究數量多於分項評分語料，因而多數公開研究仍以整體分數預測為主要任務。

自動作文評分還可按訓練作文和待評分作文是否對應同一題目，分為同主題評分和跨主題評分。同主題模型以目標題目的人工評分作文訓練，跨主題模型則嘗試在缺少目標題目標註作文時，利用其他題目的數據完成評分。

### 人工特徵和統計模型

傳統系統採用的表層或人工特徵包括作文長度、句子和單詞數量、單詞平均長度、詞彙豐富度、拼寫錯誤、語法錯誤及標點使用。部分系統還分析句法結構、連接詞、篇章組織、語義相關程度以及作文與題目之間的關係。

人工特徵可以輸入線性回歸、分類模型、支持向量機或排序學習模型，以人工分數作為預測目標。e-rater會先確定訓練作文中各項寫作特徵與人工分數的關係，再為特徵賦予權重並用所得統計模型評定新作文。

教育考試服務中心列出的e-rater特徵包括詞彙內容、詞彙複雜度、語法與機械錯誤比例、文體、組織和內容展開。系統也會檢查特徵是否與具體寫作題目具有邏輯關係，並標記離題或前後不一致的文章以供覆核。

### 神經網路

神經評分模型通常先把單詞或句子轉換為向量，再由卷積神經網絡、循環神經網絡、長短期記憶網路或注意力機制學習文章表示。相較完全依靠人工特徵的模型，神經網路可以從訓練作文中自動學習與分數相關的文本模式。

趙宇迪和徐魯強提出的跨主題模型把作文單詞數、拼寫錯誤、連接詞、句長和語法錯誤等淺層特徵，與卷積神經網絡和長短期記憶網路提取的連貫性及篇章結構特徵相結合。該模型先為目標題目作文生成初步分數和偽標註數據，再以帶有注意力機制的層次神經網路預測最終分數。

Cancan Jin等人在2018年提出二階段深度神經網路，第一階段利用其他題目的已評分作文篩選目標題目中質量較高或較低的作文作為偽訓練數據，第二階段再以這些數據訓練目標題目的深度評分模型。

### 大語言模型

大語言模型可在不另行訓練專門評分模型的情況下，根據提示詞、評分量表或少量示例給作文評分。一項2024年研究比較零樣本和少樣本提示，結果顯示聯合執行作文評分和反饋生成能夠改善其試驗中的評分表現，但評分步驟對反饋質量的影響較小。

另一項2024年研究在ASAP數據集上比較ChatGPT和Llama，發現適合的提示方式會隨模型和評分任務而變化。該研究中的兩種大語言模型在分數預測方面仍落後於所比較的專門評分模型，但能夠同時生成作文反饋。

朱海霞和陳仕鴻2026年提出由寫作智能體和評分智能體組成的中文作文評分方法，寫作智能體先生成優、良、中、差四個等級的作文樣本，教師為樣本人工評分後再將其作為評分智能體的參照資料。該研究只測試了8篇中等職業學校學生作文，研究中的智能體評分在平均絕對誤差、均方誤差和均方根誤差三項指標上低於未使用評分樣本參照的ChatGPT-4o。

## 評價方法

自動作文評分研究通常以人工評分作為參照，並比較機器分數與人工分數之間的一致程度或誤差。常見指標包括二次加權卡帕係數（quadratic weighted kappa，QWK）、皮爾遜積矩相關係數、斯皮爾曼等級相關係數、平均絕對誤差和均方誤差。

2012年Kaggle競賽的ASAP數據集包括八組分別對應不同題目的作文，各組的作文數量、平均長度、評分標準和分值範圍均不相同。該競賽採用QWK評價自動分數與人工分數之間的一致程度。

機器與人工評分之間的高一致度並不表示電腦以人工閱卷員相同的方式理解文章。教育考試服務中心明確說明，e-rater不能像人工閱卷員一樣閱讀作文，其適用任務是評價寫作質量，而不是判斷作文所述事實或主張是否正確。

同主題數據上的評價不能直接證明模型能夠處理沒有訓練樣本的新題目，因為同主題模型在缺少目標題目標註數據時可能出現明顯的性能下降。2024年的跨主題評分研究也把模型對訓練階段未見題目的泛化能力視為該任務的核心要求。

## 應用

自動作文評分可用於在線寫作練習、低風險模擬測試和大規模考試評分。Criterion服務利用e-rater為學生提供自動反饋，教師可讓學生在人工指導之外獨立練習和修改作文。

教育考試服務中心表示，e-rater目前在GRE分析性寫作和托福網考寫作中與人工評分共同使用。在這種工作流程中，自動評分是人工評分的組成部分，而不是完全取消人工閱卷。

自動評分也被地方教育部門考慮用於基礎教育統考。《波士頓環球報》2018年報導，麻薩諸塞州教育部門研究過將自動評分用於麻薩諸塞州綜合評估系統作文，以縮短閱卷和公布成績所需時間。州教育官員當時表示，即使採用自動評分，也計劃以人工抽查核對結果。

## 局限與爭議

### 寫作構念和語義理解

自動評分模型根據可計算的文本特徵與既有人工分數之間的關係作出預測，其分數並不等同於對文章含義的完整理解。教育考試服務中心表示，e-rater尚不能充分評價論證結構和創造性語言的使用，並把這些能力列為繼續研究的方向。

美國全國英語教師委員會2013年通過反對機器評分的立場文件，認為寫作能力涉及寫作任務、語境、讀者和有意義的反饋，不能被少數易於量化的指標完全代表。該組織認為，機器難以評價事實準確性、推理、證據充分程度、倫理立場和論證說服力等方面。

### 操縱評分

部分自動評分系統可能把文章長度、複雜詞彙和句式特徵作為寫作水平的代理指標，因而受到學生迎合演算法的質疑。《底特律自由新聞》2003年的報導記載，有教師擔憂系統會偏愛較長作文，而不是內容更好的短文。

萊斯·珀爾曼曾以內容缺乏意義、但使用複雜詞彙和較長句子的文章測試自動評分系統，並據此批評系統可能被刻意操縱。2018年的一項研究也發現，當時的神經自動評分模型不善於識別由語法正確但彼此不連貫的句子組成的對抗性文章。該研究通過另行建立局部連貫性模型，提高了系統識別這類輸入的能力。

### 評分偏差和公平性

自動評分模型通常以人工分數作為監督信號，因此人工閱卷員的偏差可能進入訓練資料並影響機器評分。一項包含閱卷評語的語料研究發現，閱卷員偏差會對依靠人工特徵的自動評分模型產生顯著影響。

2024年一項德語中學生作文研究比較淺層學習、深度學習和大語言模型，並分別使用完整及偏斜訓練樣本測試評分公平性。研究結果顯示，只使用認知能力較高或較低學生的偏斜樣本訓練時，模型對訓練樣本以外學生的準確度很低，研究者因而主張訓練資料應覆蓋所有相關使用群體。

### 透明度和教學影響

麻薩諸塞州討論自動評分時，批評者擔憂評分演算法不公開、學生可能為了提高機器分數而改變寫作方式，以及系統可能誤判非標準寫作。全國英語教師委員會還認為，以機器反饋取代教師、同學和其他真實讀者的交流，可能削弱寫作教學的社會和交際過程。

2024年的領域回顧指出，近年研究經常集中於在標準數據集上超過已有模型，但僅提高基準指標不足以解決自動作文評分的長期問題。該回顧主張研究還應處理數據集、評分分項、模型泛化和實際應用等問題，而不能只比較單一數據集上的平均評分表現。