术语定义

位置编码(Positional Encoding),中文通常称为位置编码。向模型提供词元顺序或相对位置的信息,使其能够区分相同词元的不同排列。

应用示例

模型需要区分“甲超过乙”和“乙超过甲”中的顺序差异。

理解要点

位置表示有多种实现,不能把一种方案推广为所有模型的固定机制。

相关术语