术语定义

学习率(Learning Rate),中文通常称为学习率。控制参数每次更新幅度的超参数,通常由优化器结合梯度使用。

应用示例

微调时使用较小学习率,降低对已有能力的剧烈破坏。

理解要点

过大可能训练不稳定,过小可能收敛缓慢,适合的值依任务而定。

相关术语