术语定义
位置编码(Positional Encoding),中文通常称为位置编码。向模型提供词元顺序或相对位置的信息,使其能够区分相同词元的不同排列。
应用示例
模型需要区分“甲超过乙”和“乙超过甲”中的顺序差异。
理解要点
位置表示有多种实现,不能把一种方案推广为所有模型的固定机制。
位置编码(Positional Encoding),中文通常称为位置编码。向模型提供词元顺序或相对位置的信息,使其能够区分相同词元的不同排列。
模型需要区分“甲超过乙”和“乙超过甲”中的顺序差异。
位置表示有多种实现,不能把一种方案推广为所有模型的固定机制。
跑一轮真实检测,拿到评分和问题清单。