質問: なぜSGDの学習率を下げると精度が大幅に向上するのでしょうか? this のような論文では、このような形のトレーニングカーブがよく見られます。 ![enter image description here](https://i.stack.imgur.com/UM8Kp.png) この場合、SGDは0.9の係数で使用され、学習率は30エポックごとに10倍減少しました。 * 学習率が変更されたときに、そのような大きな減少があったのはなぜですか? * 訓練エラーが減少し続けているのに対し、最初のドロップ後に検証エラーが増加し始めているのはなぜですか? * 2回目以降の学習率の変化を近づけて同じ結果を得ることはできますか?つまり、なぜさらに遅れるのが遅れますか?
回答: 学習率が小さいほどオプティマイザは鞍点を逃れることができます。これはオーバーシュートではなく、各崖で起こることです。検証エラーは、第2の鞍点に近づいて振動した。このノイズは、統計的有意性を伴って増加すると述べるのは難しいが、もしそうであれば、過剰適合の可能性がある。私は鞍点間の分離に関する結果は知らないので、遅延は恣意的である可能性があります。ある時点で、あなたはもちろん、底に達する。