活性化関数
活性化関数: φ ( u ) = u {\displaystyle \varphi (u)=u}
誤差関数: E ( w ) = 1 2 ∑ n = 1 N ‖ y n − d n ‖ 2 {\displaystyle E(w)={\frac {1}{2}}\sum _{n=1}^{N}\|y_{n}-d_{n}\|^{2}}
誤差関数の偏微分: ∂ E n ( w ) ∂ u = y n − d n {\displaystyle {\frac {\partial E_{n}(w)}{\partial u}}=y_{n}-d_{n}}
よく使われているモデルでは、人工ニューロンは1つ以上の入力を受け取り(1つ以上の樹状突起に相当)、それらの重み付け総和から、活性化関数を通して、出力を生成する。

数式では、以下の φ {\displaystyle \varphi } が活性化関数。
y = φ ( ∑ i = 1 m w i x i + b ) {\displaystyle y=\varphi \left(\sum _{i=1}^{m}w_{i}x_{i}+b\right)}
古典的にはステップ関数が提案された。他にもいろいろと考えることはできる。1986年のバックプロパゲーションの発表以降はシグモイド関数が最も一般的だった。現在はReLU(ランプ関数)の方が良いと言われる。活性化関数は単調増加関数が使われる事が多い。必ずしもそうしなければいけないという物でもなく動径基底関数なども使われる。