正規化線形関数
正規化線形関数に対する平滑化近似が解析関数
f ( x ) = log  ( 1 + e x ) , {\displaystyle f(x)=\log(1+e^{x}),}
であり、ソフトプラス(softplus)関数またはSmoothReLU関数と呼ばれる。ソフトプラスの導関数はロジスティック関数 f ′ ( x ) = e x 1 + e x = 1 1 + e − x {\displaystyle f'(x)={\frac {e^{x}}{1+e^{x}}}={\frac {1}{1+e^{-x}}}} である。ロジスティック関数は、正規化線形関数の導関数であるヘヴィサイドの階段関数の平滑化近似である。
単変数ソフトプラスの多変数一般化は、第一独立変数をゼロとしたLogSumExp関数(英語版)
L S E 0 + ( x 1 , . . . , x n ) := L S E ( 0 , x 1 , . . .