活性化関数
下記関数をソフトプラス(英: softplus)と呼び、これが活性化関数として使われることもある。
φ ( x ) = log  ( 1 + e x ) {\displaystyle \varphi (x)=\log(1+e^{x})}
論理演算の実装を、活性化関数が、マカロックとピッツのモデル(ステップ関数)の場合とランプ関数(ReLU)の場合とで示す。よく知られているように、中間層のニューロセルの無い単純パーセプトロンでは、線形分離不可能なものは扱えない。例えばこの例では、2入力のXORを実装できないため、実際に以下に示すようにXORでは中間層が必要になっている。真 = 1で偽 = 0、ReLU は真 = 1で偽 = -1である。ReLUは出力の正負で真偽を判断する。