活性化関数
人工神経の活性化関数は、ネットワークを強化または単純化するような特性を持つものが選ばれる。実際、線型伝達関数を使った多層パーセプトロンには、全く等価な単層ネットワークが必ず存在する。したがって、多層ネットワークの利点を生かすには非線形関数が必須である。
以下ステップ関数と線形結合の説明では、人工神経への全入力の重み付けされた総和を u で表し、入力数を n で表す。
u = ∑ i = 1 n w i x i {\displaystyle u=\sum _{i=1}^{n}w_{i}x_{i}}
ここで w はシナプスの重み付けベクトルであり、x は入力ベクトルである。これはバイアス項を加える前の値。
2013年に Ian J. Goodfellow らが発表した活性化関数。通常の活性化関数は実数から実数への写像であるが、活性化関数 maxout は(線形変換した後の)複数の実数の値に対する最大値を出力とする。発表者は dropout(層内を全結合にしない手法)との併用で論文を書いている。
2011年、Xavier Glorot らは隠れ層の活性化関数としてmax(0, x) を使った方がtanhやソフトプラスよりも改善するということを発表した。一般的にはこれはランプ関数と呼ばれるが、ニューラルネットワークの世界ではReLU (英: Rectified Linear Unit, Rectifier、正規化線形関数)と呼ばれる。ヤン・ルカンやジェフリー・ヒントンらが雑誌ネイチャーに書いた論文では、2015年5月現在これが最善であるとしている。発想としては区分線形関数を使った1次スプライン補間である。線形補間を参照。
φ ( x ) = x + = max ( 0 , x ) {\displaystyle \varphi (x)=x_{+}=\max(0,x)}
2013年にmax(0.01x, x) がLReL (leaky rectified linear) と命名された。ただし、命名者はこの活性化関数を使う意味はなかったと報告している。
2018年にx*sigmoid(x) がSwish (あるいはSiLU, sigmoid weighted linear) と命名された。この関数はReLUよりも高い分類精度を得ることができると示されている。
1988年に David S. Broomhead らが活性化関数に動径基底関数を使う物を動径基底関数ネットワーク(RBFネットワーク, radial basis function network)と命名した。
φ ( x ) = exp  ( − β x 2 ) {\displaystyle \varphi (x)=\exp(-\beta x^{2})}