多層パーセプトロン
学習は、個々のデータが処理された後に、期待される結果と比較した出力中の誤差の大きさに基づいて、結合加重を変化させることによってMLPにおいて起こる。これは教師あり学習の一例であり、誤差逆伝播法(バックプロパゲーション)を用いて実行される。誤差逆伝播法は、線形パーセプトロンにおける最小二乗法アルゴリズムの一般化である。
n {\displaystyle n} 番目のデータポイント(訓練例)における出力ノード j {\displaystyle j} の誤差は、 e j ( n ) = d j ( n ) − y j ( n ) {\displaystyle e_{j}(n)=d_{j}(n)-y_{j}(n)} と表わされる。上式において、 d {\displaystyle d} は目標値、 y {\displaystyle y} はパーセプトロンによって作り出される値である。ノードの重みは、全出力における誤差
E ( n ) = 1 2 ∑ j e j 2 ( n ) {\displaystyle {\mathcal {E}}(n)={\frac {1}{2}}\sum _{j}e_{j}^{2}(n)}
を最小化する補正に基づいて調整される。