术语定义
RLHF(Reinforcement Learning from Human Feedback),中文通常称为人类反馈强化学习。利用人类偏好或评价构建反馈信号,再通过强化学习调整模型行为的一类方法。
应用示例
比较同一问题的不同回答,用偏好信息引导模型产生更合适的回答。
理解要点
偏好优化不等于事实核验,评价者偏差也可能被模型学到。
RLHF(Reinforcement Learning from Human Feedback),中文通常称为人类反馈强化学习。利用人类偏好或评价构建反馈信号,再通过强化学习调整模型行为的一类方法。
比较同一问题的不同回答,用偏好信息引导模型产生更合适的回答。
偏好优化不等于事实核验,评价者偏差也可能被模型学到。
跑一轮真实检测,拿到评分和问题清单。