正規化線形関数
生物学的妥当性 tanhの反対称性と比較して、片側。
疎な活性化 例えば、無作為に初期化されたネットワークでは、隠れユニットの約50%のみが活性化される(ゼロでない出力を持つ)。
より良い勾配伝搬 両方向に飽和するシグモイド活性化関数と比較して、勾配消失問題が少ない。
効率的計算 比較、加算、乗算のみ。
スケールによって影響を受けない max ( 0 , a x ) = a max ( 0 , x ) f o r a ≥ 0 {\displaystyle \max(0,ax)=a\max(0,x)\quad \mathrm {for} \;a\geq 0} 。
正規化線形関数は、複数のコンピュータビジョン課題を学習するために教師ありで訓練されたニューラル抽象ピラミッド (Neural Abstraction Pyramid) において特異的興奮と非特異的抑制を分離するために用いられた。2011年、非線形関数としての正規化線形関数の使用は、教師なし事前学習を必要とせずに教師ありディープニューラルネットワークの訓練を可能にすることが示されている。正規化線形ユニットは、シグモイド関数または類似の活性化関数と比較して、大きく複雑なデータセット上のディープニューラル構造のより速く、効率的な訓練を可能にする。
Swish関数、もしくはシグモイド重み付き線形ユニット (Sigmoid-weighted linear unit) はReLUに類似した曲線を描くが、その曲線は連続的であり無限階微分可能である。ReLU及び先述した派生形よりも高い分類精度を得ることができると示されている。
f ( x ) = x ∗ σ ( x ) {\displaystyle f(x)=x*\sigma (x)}
なお、ここでは σ ( x ) {\displaystyle \sigma (x)} は以下の数式によって定義される標準シグモイド関数を表す。
σ ( x ) = 1 1 + e − x {\displaystyle \sigma (x)={\tfrac {1}{1+e^{-x}}}}