勾配消失問題
正規化線形関数(ReLUと表記されることもある)は活性化関数の一つで、入力が正の範囲では単調増大するため、勾配消失の影響を受けにくい。2018年現在、深層学習で広く使われている活性化関数である。 単調でない、飽和しない、振動する、といった性質を持つ活性化関数は、勾配消失問題を緩和するとともに、学習時間の削減にも寄与する。振動する活性化関数で、勾配をよく伝播し学習速度を向上させるものの例を、右の図に示している。