質問: Deep learningの学習アルゴリズムにおいて ミニバッチの選び出し 勾配の算出 パラメーターの更新 ということを繰り返して 損失関数の値を最も減らす方向を目指すことは理解し、 SGDというパラメータの更新手段については理解できるのですが Momentum,AdaGrad,Adamというパラメータの更新手段については なぜその四つが更新手段として有効なのか? また なぜSGDではダメなのか が分かりません 上の四つの利点とは何なんでしょうか? どうかご教授お願いします
回答: どのような最適化を適用すべきかはケースバイケースと思います。私には回答できませんが。 おそらくまともに取り組めば、それだけで論文書けると思います。 とりあえず以下は参考になるかと思います。 勾配降下法の最適化アルゴリズムを概観する