术语定义
学习率(Learning Rate),中文通常称为学习率。控制参数每次更新幅度的超参数,通常由优化器结合梯度使用。
应用示例
微调时使用较小学习率,降低对已有能力的剧烈破坏。
理解要点
过大可能训练不稳定,过小可能收敛缓慢,适合的值依任务而定。
学习率(Learning Rate),中文通常称为学习率。控制参数每次更新幅度的超参数,通常由优化器结合梯度使用。
微调时使用较小学习率,降低对已有能力的剧烈破坏。
过大可能训练不稳定,过小可能收敛缓慢,适合的值依任务而定。
跑一轮真实检测,拿到评分和问题清单。