多層パーセプトロン
多層パーセプトロンが全てのニューロンにおいて線形活性化関数、すなわち、個々のニューロンの出力に重み付けされた入力(英語版)をマップする線形関数を持つとすると、線形代数から、いかなる数の層も2層からなる入力-出力モデルに削減することができることが示される。MLPでは、一部のニューロンは、生物学的ニューロンの活動電位の頻度および発火をモデル化するために開発された「非線形」活性化関数を用いる。
一般的な2つの活性化関数はどちらもシグモイドであり、以下の式で表わされる。
y ( v i ) = tanh  ( v i ) and y ( v i ) = ( 1 + e − v i ) − 1 {\displaystyle y(v_{i})=\tanh(v_{i})~~{\textrm {and}}~~y(v_{i})=(1+e^{-v_{i}})^{-1}}
1つ目の式は−1から1の範囲の双曲線正接(tanh)関数であり、2つ目の式はロジスティック関数である。ロジスティック関数は双曲線正接関数と形状が似ているが範囲は0から1である。ここで、 y i {\displaystyle y_{i}} は i {\displaystyle i} 番目のノード(ニューロン)の出力であり、 v i {\displaystyle v_{i}} は入力接続の加重和である。他に、Rectifierおよびsoftplus関数を含む活性化関数が提案されている。より専門分野に特化した活性化関数に放射基底関数がある(教師ありニューラルネットワークモデルの一分類である放射基底ネットワーク(英語版)で使われる)。