学习率
在機器學習和統計學中，學習率（英語：Learning rate）是優化算法中的一個可調參數，它決定了每次迭代的步長，使得優化向損失函數的最小值前進。它影響到新學習到的信息在多大程度上取代了舊信息，暗示了機器學習模型 "學習" 的速度。在自適應控制中，學習率通常被稱為增益（Gain）。設置學習率需要在收斂速度和過沖（Overshooting）之間進行權衡。學習時的前進方向通常由損失函數的負梯度決定，而學習率決定了在這個方向上邁出多大一步。過高的學習率會使邁一大步，超過最小值；但過低的學習率會導致收斂速度變慢，或收斂於局部最小值。為了加速收斂，防止振盪和陷入不理想的局部極小值，學習率在訓練過程中往往按照計劃或自適應改變。