术语定义

Attention(Attention Mechanism),中文通常称为注意力机制。根据相关性为不同信息分配权重,再聚合得到当前计算所需表示的机制。

应用示例

处理代词时,模型可以把更多计算权重分配给相关的前文实体。

理解要点

注意力权重不一定能直接解释模型做出决定的真实原因。

相关术语