多層パーセプトロン
「多層パーセプトロン」という用語は、複数の層を持つ単一のパーセプトロンを意味しない。むしろ、層へと組織化された多くのパーセプトロンを含む。代替用語は「多層パーセプトロンネットワーク」である。さらに、MLP「パーセプトロン」は、最も厳密に言えばパーセプトロンではない。真のパーセプトロンは正式には、ヘヴィサイドの階段関数といった閾値活性化関数を用いる人工ニューロンの特殊な場合である。MLPパーセプトロンは任意の活性化関数を用いることができる。真のパーセプトロンは二項分類を実行する。対して、MLPニューロンは、その活性化関数に依存して分類あるいは回帰のどちらを実行するかは自由である。
「多層パーセプトロン」という用語は後に、ノード/層の特性に関係なく適用されるようになった。ノード/層は、パーセプトロンに限定されず、任意に定義されたニューロンから構成することができる。この解釈は、一般に人工ニューロンを意味するところの「パーセプトロン」の定義の緩和を避けている。
最急降下法を用いると、それぞれの重みにおける変化は以下の式で表わされる。
Δ w j i ( n ) = − η ∂ E ( n ) ∂ v j ( n ) y i ( n ) {\displaystyle \Delta w_{ji}(n)=-\eta {\frac {\partial {\mathcal {E}}(n)}{\partial v_{j}(n)}}y_{i}(n)}
上式において、 y i {\displaystyle y_{i}} は一つ前のニューロンの出力、 η {\displaystyle \eta } は「学習率」である。学習率は、重みが振動することなく反応に対してすばやく収束するように選択される。
計算される導関数はinduced local field v j {\displaystyle v_{j}} に依存し、それ自身も変動する。出力ノードについて、この導関数が
− ∂ E ( n ) ∂ v j ( n ) = e j ( n ) φ ′ ( v j ( n ) ) {\displaystyle -{\frac {\partial {\mathcal {E}}(n)}{\partial v_{j}(n)}}=e_{j}(n)\phi ^{\prime }(v_{j}(n))}
MLPは、非線形的に活性化されるノードの3つ以上の層(入力層と出力層と1つ以上の「隠れ層」)からなり、ディープニューラルネットワークを作り出す。MLPは全結合(fully connected)のため、1つの層中のそれぞれのノードは次の層中の全てのノードと任意の重み w i j {\displaystyle w_{ij}} で結合している。