学习率 在机器学习和统计学中学习率英語Learning rate是优化算法中的一个可调参数它决定了每次迭代的步长使得优化向损失函数的最小值前进它影响到新学习到的信息在多大程度上取代了旧信息暗示了机器学习模型 学习 的速度在自适应控制中学习率通常被称为增益Gain 设置学习率需要在收敛速度和过冲Overshooting之间进行权衡学习时的前进方向通常由损失函数的负梯度决定而学习率决定了在这个方向上迈出多大一步过高的学习率会使迈一大步超过最小值但过低的学习率会导致收敛速度变慢或收敛于局部最小值 为了加速收敛防止振荡和陷入不理想的局部极小值学习率在训练过程中往往按照计划或自适应改变