活性化関数
活性化関数(かっせいかかんすう、英: activation function)もしくは伝達関数(でんたつかんすう、英: transfer function)とは、ニューラルネットワークのニューロンにおける、入力のなんらかの合計(しばしば、線形な重み付け総和)から、出力を決定するための関数で、非線形な関数とすることが多い。
ランプ関数(ReLU)を一般化すると切断冪関数になり、n次スプライン補間。2乗はクォーターパイプ関数(英: quarter-pipe)とも呼ばれる。
φ ( x ) = x + n = ( x + ) n {\displaystyle \varphi (x)=x_{+}^{n}=(x_{+})^{n}}
1992年に Qinghua Zhang らが活性化関数にウェーブレットを使う物をウェーブレットネットワークと命名した。
ランプ関数(ReLU)にて y = x 2 {\displaystyle y=x^{2}} を近似してみる。