基于人类反馈的强化学习 基于人类反馈的强化学习英語reinforcement learning from human feedback简称RLHF包括基于人类偏好的强化学习reinforcement learning from human preferences是一种直接根据人类反馈训练奖励模型的机器学习技术并使用该模型作为强化学习中的奖励函数再通过近端策略优化等算法以优化智能体agent策略奖励模型在进行策略优化之前预先训练以预测给定的输出是好高奖励还是坏低奖励RLHF可以提高强化学习智能体的鲁棒性robustness和探索性exploration尤其适用于奖励函数稀疏或有噪声不确定性的情形 人类反馈最常见的收集方式是要求人类对智能体行为的实例进行偏好排序之后可以通过Elo等级分等方式利用排序结果对输出进行评分虽然这种偏好判断被广泛采用但还有其他类型的人类反馈可以提供更丰富的信息例如数字反馈自然语言反馈和编辑率等 标准RLHF假设人类偏好遵循成对比较的布拉德利特里模型英语BradleyTerry model或者多重比较的普拉斯基特卢斯模型PlackettLuce model并通过最小化交叉熵损失以学习奖励模型在训练完奖励模型之后RLHF根据学习到的奖励模型对语言模型进行进一步微调使模型与人类偏好保持一致 RLHF适用于模型输出的质量难以用算法清晰定义但人类可以轻松判断的任务例如如果模型的任务是生成一个引人入胜的故事人类可以对人工智能生成的不同故事的质量进行评分而模型可以利用人类的反馈来提高其生成新故事的能力 RLHF已应用于自然语言处理的各个领域例如对话文本摘要和自然语言理解在普通的强化学习中智能体根据奖励函数从自己的行为中学习但在自然语言处理任务中奖励通常不容易定义或测量特别是在处理涉及人类价值观或偏好的复杂任务时尤其如此在RLHF的帮助下语言模型能够提供与这些复杂价值观相符的答案生成更为详细的回复同时拒绝不适当或超出模型知识空间的问题 经RLHF训练的语言模型包括OpenAI开发的ChatGPT及其前身InstructGPTDeepMind的Sparrow等 除自然语言处理外RLHF还被应用于视频游戏机器人开发等其他领域例如OpenAI和DeepMind训练的智能体能基于人类喜好来玩Atari游戏这些智能体在多种测试环境中都表现出色经常能超越人类的水平