术语定义

自注意力(Self-Attention),中文通常称为自注意力机制。在同一个序列内部计算元素之间的关联,让每个位置整合其他位置的信息。

应用示例

一句话中的词可以结合整句语境形成不同的表示。

理解要点

自注意力并非人类的自我反思,也不意味着模型具备自我意识。

相关术语