LLM-as-a-Judge

LLM-as-a-Judge（意為「大型語言模型作為評估器」,亦稱基於大型語言模型的評估）是自然語言處理中的一種技術,即用大型語言模型(LLM)依據預先設定的標準,評估一段文本輸出（通常由另一個模型生成）的質量、相關性或正確性。它被用作人工標註以及 BLEU、ROUGE 等基於參考、只衡量詞面重疊而非語義的指標的一種可擴展、低成本替代方案。

該方法因 Lianmin Zheng 等人 2023 年的一項研究而廣為人知;該研究提出了 MT-Bench 基準,其中像 GPT-4 這樣的強評估模型與人類偏好的一致率超過 80%,作者認為這一水平堪比兩名人類標註者之間的一致程度。到 2024 年,它已成為一個成熟的研究領域,被應用於模型評估、對齊訓練、數據整理、安全審核 以及生產監控。大量文獻也記錄了其系統性偏差、校準問題與可復現性不足,綜述普遍建議 LLM 評估應作為人類評估的補充而非替代。

## 定義

在 LLM-as-a-judge 中,大型語言模型充當評估器:它接收一段評估提示,其中指明目標文本、評判標準以及所需的輸出格式,並返回一個判斷,例如數值分數、類別標籤,或多個候選之間的偏好選擇。由於標準以自然語言表達,同一個評估器只需更換提示、無需重新訓練,即可遷移到不同任務。該方法不再僅依賴人類標註者,而是利用大型語言模型的通用語言能力來充當自動評估器。評估器通常返回一個數值分數或結論,並在許多實現中還為其輸出的回覆給出自然語言解釋。不同文獻也稱該技術為「基於大型語言模型的評估」、「LLM 評估器」或「基於語言模型的評估」。

評判任務通常沿兩個維度劃分。第一個維度區分主觀評估與客觀評估:主觀評估沒有唯一的標準答案,例如為開放式回答的有用性或連貫性打分;客觀評估針對正確性可被核驗的輸出,例如數學或事實性問題的答案。第二個維度區分無參考評判與有參考(或參考引導)評判:前者僅依據所述標準評估輸出,後者則提供一個標準答案或評分量規。

用語言模型評估其他模型開放式文本的做法,由 Zheng 等人在 2023 年的 NeurIPS 上發布的論文推向大眾視野,而此前已有 G-Eval 等基於提示的評估器的研究。所報告的評估器與人類的一致程度堪比兩名人類評分者之間的一致, 這一點推動了該範式的確立;2024 年發表的多篇綜述隨後將其視為一個獨立的研究領域。

## 評估格式

評估格式的差別在於一次向評估器呈現多少個候選輸出;格式的選擇既影響評估成本,也影響其與人類判斷的一致性。

格式｜說明｜已報告的特點

逐點(單答案)評分｜評估器為每個輸出單獨給出一個絕對分數或標籤,不看競爭答案。｜由於每個輸出單獨評分,該格式比成對比較更易擴展。但評估器難以給出穩定的絕對分數,其一致性不如相對比較。

成對比較｜評估器看到針對同一輸入的兩個回答,選出更好的一個或判為平局。｜對 n 個候選兩兩比較的計算代價約為 n2 次判斷,且該格式易受位置偏差影響。

列表式(批量)排序｜評估器一次拿到若干候選,被要求對其排名或排序。｜一次性整體評估並排序全部候選,並考慮候選之間的相互影響,適合文檔檢索等排序任務;不過在列表式、成對與逐點判斷之間相互轉換並不總是可靠。

各格式還可分為無參考或有參考,取決於是否提供標準答案或量規。在上述任一格式中,評估器的行為都由一個提示模板決定,該模板規定評估器的角色、要應用的標準以及期望的輸出。常見的輸出形式包括 1 到 5 或 1 到 10 之類量表上的數值評分、諸如「是」或「否」的類別標籤,以及在比較格式中選出勝出的回答。

## 方法

最簡單的做法是直接以通用模型作為評估器、不做額外訓練,任務、標準與輸出格式全由提示指定。有代表性的基於提示的方法包括 G-Eval(提示模型先產生思維鏈式的評估步驟、再填寫評分表)以及 GPTScore(改為用模型對文本賦予的生成似然來打分)。一種常見模式是用更強的模型評估較弱模型的輸出,例如用 GPT-4 為一個 130 億參數的 LLaMA 模型打分。第二種做法是對可公開獲取的模型專門微調用於評判,期望比通過 API 訪問的專有評估器更廉價、更可復現:PandaLM 用 GPT-3.5 產生的判斷數據進行訓練, JudgeLM 則用 GPT-4 產生的判斷數據進行訓練, 而 Prometheus 系列模型則被訓練為依據明確的量規為回答打分,並據報告，在同時提供參考答案與量規時其性能可接近 GPT-4。

評判不必依賴單一的純文本模型。可以把來自不同模型家族的多個評估器組成一個評審團,使其投票相互抵消各自的偏差,如「LLM 評估器評審團」(panel of LLM evaluators),該方法也被視為緩解偏差的一種手段。更小的、基於編碼器的分類器可以直接輸出標籤、而不生成一段結論,這被認為能降低成本與延遲,如 JurEE,一個由小型專用編碼器模型組成、專為評估而建的模型集成。該方法還被擴展到多模態評估器,以評估文本連同圖像或影片,包括 MLLM-as-a-Judge 基準、開源的 Prometheus-Vision 以及各種「視覺語言模型作為評估器」的方法。

## 可靠性

LLM 評估器的可靠性,是指其判斷與人類判斷相符、並保持穩定、無偏、可復現的程度。LLM 評估器表現出一系列系統性偏差、校準問題以及易受操縱的弱點,這些都使其難以作為人類評估的替代。

### 偏差

位置(順序)偏差是指根據回答在提示中所處位置而偏袒它的傾向。2023 年的一項早期研究發現,評估器往往偏向排在前面的回答,並常在調換順序後改變結論;在其測試的模型中,即便最強的 GPT-4,兩種順序下給出相同結論的比例也僅略高於 60%。後來一項大規模研究發現該效應是系統性的、而非偶然,表明它在不同模型間普遍存在。冗長(長度)偏差是指不論質量高低都偏好更長回答的傾向。當把回答改寫得更長卻不增加任何新資訊時,像 Claude 和 GPT-3.5 這樣的模型仍有超過 90% 的時候偏好更長的版本。自我偏好(自我增強)偏差是指評估器更高地評價自己的模型輸出、或同一模型家族輸出的傾向,有時被稱為「LLM 自戀」。有觀察發現 GPT-4 和 Claude 會給自己的輸出更高評價,但這一早期證據被認為過於有限、不足以確證該效應; 後續一項分析則將該效應歸因於評估器對低困惑度文本的熟悉,而非真正的自我識別。評估器還傾向於偏袒格式規整或聽起來權威的回答, 並有一套更寬泛的框架歸納出十二類不同的偏差。

### 校準與可復現性

評估器的校準(即其自陳置信度與實際準確率之間的吻合程度)一直受到質疑。有研究報告稱,GPT-4o 和 DeepSeek-R1 等模型作為評估器時往往過度自信; 校準通常以期望校準誤差或布里爾分數來衡量。可復現性是另一層顧慮。由於評估器模型在非零溫度(一個控制輸出隨機性的設置)下採樣,並對改寫、格式和選項順序敏感,對相同輸入的重複運行可能產生不同結論。此外,通過頻繁更新的 API 訪問的專有評估器可能隨時間發生變化,從而使結果難以復現。

### 與人類判斷的一致性

LLM 評估器與人類評分者的一致性因任務而差異很大。一項覆蓋 20 類自然語言處理任務的大規模研究得出結論:LLM 評估器尚不足夠可靠,不能系統性地取代人類標註者。在有可核驗答案的任務上,差距可能很大:在 JudgeBench(評估器須從兩個回答中選出更好者、且其中一個客觀上正確的基準)上,包括 GPT-4o 在內的評估器僅略高於隨機水平。表面上很高的一致性也可能具有誤導性,因為評估器可能出於錯誤的理由而與人類評分者一致,即依賴表面線索而非既定標準。在一個極端演示中,一個忽略輸入、始終返回固定「空」回答的模型,在自動基準上也能取得很高的勝率,說明這類分數未必反映答案質量。相比原始的百分比一致率,更推薦使用如科恩kappa係數這類經機遇校正的度量。

### 緩解策略

若干技術能夠減輕(但無法消除)LLM 評估器的偏差與可靠性問題,且各有代價。位置偏差可以這樣應對:以兩種順序分別呈現候選,只有當同一回答在兩次中都被選中時才判其勝出; 長度效應可藉助如 AlpacaEval 2.0(一個自動評估基準)所用的長度受控勝率之類的手段來削弱。成對比較往往比逐點評分給出更可靠的結果, 而提供帶明確量規的參考答案,能讓開源評估器更接近 GPT-4 之類的專有評估器。把多個評估器組成評審團可以抵消任一單一模型的偏差,如「LLM 評估器評審團」, 而思維鏈提示能在增加成本的前提下提升準確性。在信任某個評估器去替代人類評分者之前,可用如「替代標註者檢驗」(alt-test)這類統計檢驗,把它與人類的一致性對照金標準加以核查。沒有任何單一手段能消除偏差,綜述建議 LLM 評估器應作為人類評估的補充而非替代,尤其是在高風險場景中。

## 基準

與 LLM-as-a-judge 相關的基準分為兩類:一類是對候選系統排名的模型排行榜,其中若干依賴 LLM 評估器打分;另一類是評估評估器本身的元評估基準。

排行榜類包括 MT-Bench(2023 年提出的一套 80 道多輪問題,其答案由 LLM 評估器打分) 以及由人類投票的 Chatbot Arena。2025 年一項名為《排行榜幻象》(The Leaderboard Illusion)的研究指出,這類排名可能因未披露的私下測試和競技場提示的重複使用而被扭曲。

另一類基準則評估評估器本身。在把一個客觀正確的回答與一個錯誤回答配對的 JudgeBench 上,許多強評估器識別出正確答案的比例僅略高於隨機。

## 應用

LLM 評估器已被應用於機器學習的整個生命周期,從研究基準測試到生產監控, 儘管其能力與可靠性因任務而異。

一大應用是對模型輸出的自動評估,包括用於公開排行榜。另一種不同的用途是把模型的判斷變成訓練信號而非評估結論,為策略優化提供偏好標籤:在 Constitutional AI 中,模型依據成文的原則對自己的輸出進行批評與修訂, 而基於 AI 反饋的強化學習(RLAIF)——基於人類反饋的強化學習的一種變體——用模型生成的偏好取代人類偏好標註。

除評估與訓練外,LLM 評估器還支撐若干面向生產的用途。在安全審核中,模型依據一套安全風險分類法對提示或回答進行分類,如 Llama Guard 系列。在檢索增強生成中,無參考的評估器檢查生成的答案是否被檢索到的上下文所支持,如 RAGAS 框架。評估器還被用於評判智能體的行動軌跡, 以及為生產監控給記錄下來的模型流量打分。

## 與相關方法的比較

與更早的、基於參考的 n 元語法指標(如 BLEU 和 ROUGE,它們依賴與參考文本之間透明的、基於規則的重疊)相比,LLM 評估器能捕捉更深層的語義一致,但這是經由模型不透明的內部推理實現的,以可解釋性換取對語義的敏感。它也不同於輸出獎勵信號的模型:後者被訓練為輸出一個標量偏好分數、用作訓練信號,而評估器給出的是一個結論或分數,且常附帶解釋。人類評估仍是檢驗評估器的基準標準,綜述也普遍建議 LLM 評估器應作為其補充而非替代。

## 外部連結

- Awesome-LLMs-as-Judges —— LLM-as-a-judge 研究的精選文獻彙編。
- Hugging Face 大語言模型評估指南 —— 一份關於評估語言模型的教學指南。