正規化線形関数
パラメトリックReLU (PReLU) はさらにこの着想を発展させ、漏れの係数を他のニューラルネットワークのパラメータと同時に学習する。
f ( x ) = { x if x > 0 a x otherwise {\displaystyle f(x)={\begin{cases}x&{\mbox{if }}x>0\\ax&{\mbox{otherwise}}\end{cases}}}
a ≤ 1 {\displaystyle a\leq 1} について、これは
f ( x ) = max ( x , a x ) {\displaystyle f(x)=\max(x,ax)}
と等価であり、ゆえに「マックスアウト」ネットワークとの関連があることに留意すべきである。
Funnel Activation、もしくはFReLUはコンピュータビジョンに特化した活性化関数であり、二次元の画像に対して適応することを前提として設計されたものである。性質上、Funnel Activationを一つの値を入力とする関数として表すことはできないが、記述の都合上以下の数式で表される。
f ( x ) = max ( x , T ( x ) ) {\displaystyle f(x)=\max(x,\mathbb {T} (x))}
なお、 T ( x ) {\displaystyle \mathbb {T} (x)} は他のニューラルネットワークのパラメータと同時に学習されるDepthwise 畳み込みモジュールである。