术语定义
DPO（Direct Preference Optimization），中文通常称为直接偏好优化。利用偏好成对数据直接优化模型，使其相对更倾向于被偏好的输出的一种方法。
应用示例
给定同一提示的优选与较差回答，训练模型提升优选回答的相对概率。
理解要点
DPO使用偏好信号，但不等于传统在线强化学习的完整训练流程。
想知道你自己的品牌被 AI 怎么评价？
跑一轮真实检测，拿到评分和问题清单。
DPO（Direct Preference Optimization），中文通常称为直接偏好优化。利用偏好成对数据直接优化模型，使其相对更倾向于被偏好的输出的一种方法。
给定同一提示的优选与较差回答，训练模型提升优选回答的相对概率。
DPO使用偏好信号，但不等于传统在线强化学习的完整训练流程。
跑一轮真实检测，拿到评分和问题清单。