正規化線形関数
正規化線形ユニットはガウス雑音を含むように拡張できる。これはnoisy(雑音のある)ReLUと呼ばれ、以下の式を与える。
f ( x ) = max ( 0 , x + Y ) {\displaystyle f(x)=\max(0,x+Y)} , with Y ∼ N ( 0 , σ ( x ) ) {\displaystyle Y\sim {\mathcal {N}}(0,\sigma (x))}
Noisy ReLUはコンピュータビジョン問題のための制限ボルツマンマシン(英語版)において使用され、ある程度の成功を挙げている。