LLM-as-a-Judge

LLM-as-a-Judge（意为“大型语言模型作为评估器”,亦称基于大型语言模型的评估）是自然语言处理中的一种技术,即用大型语言模型(LLM)依据预先设定的标准,评估一段文本输出（通常由另一个模型生成）的质量、相关性或正确性。它被用作人工标注以及 BLEU、ROUGE 等基于参考、只衡量词面重叠而非语义的指标的一种可扩展、低成本替代方案。

该方法因 Lianmin Zheng 等人 2023 年的一项研究而广为人知;该研究提出了 MT-Bench 基准,其中像 GPT-4 这样的强评估模型与人类偏好的一致率超过 80%,作者认为这一水平堪比两名人类标注者之间的一致程度。到 2024 年,它已成为一个成熟的研究领域,被应用于模型评估、对齐训练、数据整理、安全审核 以及生产监控。大量文献也记录了其系统性偏差、校准问题与可复现性不足,综述普遍建议 LLM 评估应作为人类评估的补充而非替代。

## 定义

在 LLM-as-a-judge 中,大型语言模型充当评估器:它接收一段评估提示,其中指明目标文本、评判标准以及所需的输出格式,并返回一个判断,例如数值分数、类别标签,或多个候选之间的偏好选择。由于标准以自然语言表达,同一个评估器只需更换提示、无需重新训练,即可迁移到不同任务。该方法不再仅依赖人类标注者,而是利用大型语言模型的通用语言能力来充当自动评估器。评估器通常返回一个数值分数或结论,并在许多实现中还为其输出的回复给出自然语言解释。不同文献也称该技术为“基于大型语言模型的评估”、“LLM 评估器” 或“基于语言模型的评估”。

评判任务通常沿两个维度划分。第一个维度区分主观评估与客观评估:主观评估没有唯一的标准答案,例如为开放式回答的有用性或连贯性打分;客观评估针对正确性可被核验的输出,例如数学或事实性问题的答案。第二个维度区分无参考评判与有参考(或参考引导)评判:前者仅依据所述标准评估输出,后者则提供一个标准答案或评分量规。

用语言模型评估其他模型开放式文本的做法,由 Zheng 等人在 2023 年的 NeurIPS 上发布的论文推向大众视野,而此前已有 G-Eval 等基于提示的评估器的研究。所报告的评估器与人类的一致程度堪比两名人类评分者之间的一致, 这一点推动了该范式的确立;2024 年发表的多篇综述随后将其视为一个独立的研究领域。

## 评估格式

评估格式的差别在于一次向评估器呈现多少个候选输出;格式的选择既影响评估成本,也影响其与人类判断的一致性。

格式｜说明｜已报告的特点

逐点(单答案)评分｜评估器为每个输出单独给出一个绝对分数或标签,不看竞争答案。｜由于每个输出单独评分,该格式比成对比较更易扩展。但评估器难以给出稳定的绝对分数,其一致性不如相对比较。

成对比较｜评估器看到针对同一输入的两个回答,选出更好的一个或判为平局。｜对 n 个候选两两比较的计算代价约为 n2 次判断,且该格式易受位置偏差影响。

列表式(批量)排序｜评估器一次拿到若干候选,被要求对其排名或排序。｜一次性整体评估并排序全部候选,并考虑候选之间的相互影响,适合文档检索等排序任务;不过在列表式、成对与逐点判断之间相互转换并不总是可靠。

<image>

各格式还可分为无参考或有参考,取决于是否提供标准答案或量规。在上述任一格式中,评估器的行为都由一个提示模板决定,该模板规定评估器的角色、要应用的标准以及期望的输出。常见的输出形式包括 1 到 5 或 1 到 10 之类量表上的数值评分、诸如“是”或“否”的类别标签,以及在比较格式中选出胜出的回答。

## 方法

最简单的做法是直接以通用模型作为评估器、不做额外训练,任务、标准与输出格式全由提示指定。有代表性的基于提示的方法包括 G-Eval(提示模型先产生思维链式的评估步骤、再填写评分表)以及 GPTScore(改为用模型对文本赋予的生成似然来打分)。一种常见模式是用更强的模型评估较弱模型的输出,例如用 GPT-4 为一个 130 亿参数的 LLaMA 模型打分。第二种做法是对可公开获取的模型专门微调用于评判,期望比通过 API 访问的专有评估器更廉价、更可复现:PandaLM 用 GPT-3.5 产生的判断数据进行训练, JudgeLM 则用 GPT-4 产生的判断数据进行训练, 而 Prometheus 系列模型则被训练为依据明确的量规为回答打分,并据报告，在同时提供参考答案与量规时其性能可接近 GPT-4。

评判不必依赖单一的纯文本模型。可以把来自不同模型家族的多个评估器组成一个评审团,使其投票相互抵消各自的偏差,如“LLM 评估器评审团”(panel of LLM evaluators),该方法也被视为缓解偏差的一种手段。更小的、基于编码器的分类器可以直接输出标签、而不生成一段结论,这被认为能降低成本与延迟,如 JurEE,一个由小型专用编码器模型组成、专为评估而建的模型集成。该方法还被扩展到多模态评估器,以评估文本连同图像或视频,包括 MLLM-as-a-Judge 基准、开源的 Prometheus-Vision 以及各种“视觉语言模型作为评估器”的方法。

## 可靠性

LLM 评估器的可靠性,是指其判断与人类判断相符、并保持稳定、无偏、可复现的程度。LLM 评估器表现出一系列系统性偏差、校准问题以及易受操纵的弱点,这些都使其难以作为人类评估的替代。

### 偏差

位置(顺序)偏差是指根据回答在提示中所处位置而偏袒它的倾向。2023 年的一项早期研究发现,评估器往往偏向排在前面的回答,并常在调换顺序后改变结论;在其测试的模型中,即便最强的 GPT-4,两种顺序下给出相同结论的比例也仅略高于 60%。后来一项大规模研究发现该效应是系统性的、而非偶然,表明它在不同模型间普遍存在。冗长(长度)偏差是指不论质量高低都偏好更长回答的倾向。当把回答改写得更长却不增加任何新信息时,像 Claude 和 GPT-3.5 这样的模型仍有超过 90% 的时候偏好更长的版本。自我偏好(自我增强)偏差是指评估器更高地评价自己的模型输出、或同一模型家族输出的倾向,有时被称为“LLM 自恋”。有观察发现 GPT-4 和 Claude 会给自己的输出更高评价,但这一早期证据被认为过于有限、不足以确证该效应; 后续一项分析则将该效应归因于评估器对低困惑度文本的熟悉,而非真正的自我识别。评估器还倾向于偏袒格式规整或听起来权威的回答, 并有一套更宽泛的框架归纳出十二类不同的偏差。

### 校准与可复现性

评估器的校准(即其自陈置信度与实际准确率之间的吻合程度)一直受到质疑。有研究报告称,GPT-4o 和 DeepSeek-R1 等模型作为评估器时往往过度自信; 校准通常以期望校准误差或布里尔分数来衡量。可复现性是另一层顾虑。由于评估器模型在非零温度(一个控制输出随机性的设置)下采样,并对改写、格式和选项顺序敏感,对相同输入的重复运行可能产生不同结论。此外,通过频繁更新的 API 访问的专有评估器可能随时间发生变化,从而使结果难以复现。

### 与人类判断的一致性

LLM 评估器与人类评分者的一致性因任务而差异很大。一项覆盖 20 类自然语言处理任务的大规模研究得出结论:LLM 评估器尚不足够可靠,不能系统性地取代人类标注者。在有可核验答案的任务上,差距可能很大:在 JudgeBench(评估器须从两个回答中选出更好者、且其中一个客观上正确的基准)上,包括 GPT-4o 在内的评估器仅略高于随机水平。表面上很高的一致性也可能具有误导性,因为评估器可能出于错误的理由而与人类评分者一致,即依赖表面线索而非既定标准。在一个极端演示中,一个忽略输入、始终返回固定“空”回答的模型,在自动基准上也能取得很高的胜率,说明这类分数未必反映答案质量。相比原始的百分比一致率,更推荐使用如科恩kappa系数这类经机遇校正的度量。

### 缓解策略

若干技术能够减轻(但无法消除)LLM 评估器的偏差与可靠性问题,且各有代价。位置偏差可以这样应对:以两种顺序分别呈现候选,只有当同一回答在两次中都被选中时才判其胜出; 长度效应可借助如 AlpacaEval 2.0(一个自动评估基准)所用的长度受控胜率之类的手段来削弱。成对比较往往比逐点评分给出更可靠的结果, 而提供带明确量规的参考答案,能让开源评估器更接近 GPT-4 之类的专有评估器。把多个评估器组成评审团可以抵消任一单一模型的偏差,如“LLM 评估器评审团”, 而思维链提示能在增加成本的前提下提升准确性。在信任某个评估器去替代人类评分者之前,可用如“替代标注者检验”(alt-test)这类统计检验,把它与人类的一致性对照金标准加以核查。没有任何单一手段能消除偏差,综述建议 LLM 评估器应作为人类评估的补充而非替代,尤其是在高风险场景中。

## 基准

与 LLM-as-a-judge 相关的基准分为两类:一类是对候选系统排名的模型排行榜,其中若干依赖 LLM 评估器打分;另一类是评估评估器本身的元评估基准。

排行榜类包括 MT-Bench(2023 年提出的一套 80 道多轮问题,其答案由 LLM 评估器打分) 以及由人类投票的 Chatbot Arena。2025 年一项名为《排行榜幻象》(The Leaderboard Illusion)的研究指出,这类排名可能因未披露的私下测试和竞技场提示的重复使用而被扭曲。

另一类基准则评估评估器本身。在把一个客观正确的回答与一个错误回答配对的 JudgeBench 上,许多强评估器识别出正确答案的比例仅略高于随机。

## 应用

LLM 评估器已被应用于机器学习的整个生命周期,从研究基准测试到生产监控, 尽管其能力与可靠性因任务而异。

一大应用是对模型输出的自动评估,包括用于公开排行榜。另一种不同的用途是把模型的判断变成训练信号而非评估结论,为策略优化提供偏好标签:在 Constitutional AI 中,模型依据成文的原则对自己的输出进行批评与修订, 而基于 AI 反馈的强化学习(RLAIF)——基于人类反馈的强化学习的一种变体——用模型生成的偏好取代人类偏好标注。

除评估与训练外,LLM 评估器还支撑若干面向生产的用途。在安全审核中,模型依据一套安全风险分类法对提示或回答进行分类,如 Llama Guard 系列。在检索增强生成中,无参考的评估器检查生成的答案是否被检索到的上下文所支持,如 RAGAS 框架。评估器还被用于评判智能体的行动轨迹, 以及为生产监控给记录下来的模型流量打分。

## 与相关方法的比较

与更早的、基于参考的 n 元语法指标(如 BLEU 和 ROUGE,它们依赖与参考文本之间透明的、基于规则的重叠)相比,LLM 评估器能捕捉更深层的语义一致,但这是经由模型不透明的内部推理实现的,以可解释性换取对语义的敏感。它也不同于输出奖励信号的模型:后者被训练为输出一个标量偏好分数、用作训练信号,而评估器给出的是一个结论或分数,且常附带解释。人类评估仍是检验评估器的基准标准,综述也普遍建议 LLM 评估器应作为其补充而非替代。

## 外部链接

- Awesome-LLMs-as-Judges —— LLM-as-a-judge 研究的精选文献汇编。
- Hugging Face 大语言模型评估指南 —— 一份关于评估语言模型的教学指南。