术语定义

梯度下降(Gradient Descent),中文通常称为梯度下降。根据目标函数对参数的梯度,沿减小目标值的方向更新参数的优化方法。

应用示例

训练时按批次计算梯度,再更新网络权重。

理解要点

复杂模型的优化不保证找到全局最优,步长和数据噪声会影响过程。

相关术语