活性化関数
2 φ ( − x − 2 ) + 2 φ ( − x − 1 ) + φ ( − x ) + φ ( x ) + 2 φ ( x − 1 ) + 2 φ ( x − 2 ) {\displaystyle 2\varphi (-x-2)+2\varphi (-x-1)+\varphi (-x)+\varphi (x)+2\varphi (x-1)+2\varphi (x-2)}
これは折れ線によって近似している(線形補間)。これを一般化すると十分な数のニューロンがあれば任意の関数がランプ関数(ReLU)を活性化関数として使って表現できることが分かる。
2次以上の多項式も非線形関数であり、活性化関数に使える。
φ ( x ) = x n , n ≥ 2 {\displaystyle \varphi (x)=x^{n},\ n\geq 2}