术语定义

RLHF(Reinforcement Learning from Human Feedback),中文通常称为人类反馈强化学习。利用人类偏好或评价构建反馈信号,再通过强化学习调整模型行为的一类方法。

应用示例

比较同一问题的不同回答,用偏好信息引导模型产生更合适的回答。

理解要点

偏好优化不等于事实核验,评价者偏差也可能被模型学到。

相关术语