术语定义
Attention(Attention Mechanism),中文通常称为注意力机制。根据相关性为不同信息分配权重,再聚合得到当前计算所需表示的机制。
应用示例
处理代词时,模型可以把更多计算权重分配给相关的前文实体。
理解要点
注意力权重不一定能直接解释模型做出决定的真实原因。
Attention(Attention Mechanism),中文通常称为注意力机制。根据相关性为不同信息分配权重,再聚合得到当前计算所需表示的机制。
处理代词时,模型可以把更多计算权重分配给相关的前文实体。
注意力权重不一定能直接解释模型做出决定的真实原因。
跑一轮真实检测,拿到评分和问题清单。