活性化関数
φ ( x ) = ς 1 ( x ) = 1 1 + e − x = tanh  ( x / 2 ) + 1 2 {\displaystyle \varphi (x)=\varsigma _{1}(x)={\frac {1}{1+e^{-x}}}={\frac {\tanh(x/2)+1}{2}}}
比較的単純な非線形関数であるシグモイド関数は、微分の計算も容易であることから1986年に発表されたバックプロパゲーションを伴うニューラルネットワークで使われる。ネットワークを数学的に扱うことが容易になるため、シミュレーションの計算負荷を減らしたいと思っていた初期の研究者がシグモイド関数をこぞって採用した。
1990年代になり、活性化関数は原点を通すべきと言う考えから、標準シグモイド関数よりもそれを線形変換した tanh の方が良いと提案された。
φ ( x ) = tanh  ( x ) {\displaystyle \varphi (x)=\tanh(x)}
1 2 Yann LeCun; Yoshua Bengio; Geoffrey Hinton (2015-05-28). “Deep learning”. Nature 521 (7553): 436-444. doi:10.1038/nature14539.
↑ Yann LeCun; Leon Bottou; Genevieve B. Orr; Klaus-Robert Muller (1998). Efficient BackProp. http://yann.lecun.com/exdb/publis/pdf/lecun-98b.pdf.
1 2 Xavier Glorot; Yoshua Bengio (2010). Understanding the difficulty of training deep feedforward neural networks. http://jmlr.org/proceedings/papers/v9/glorot10a/glorot10a.pdf.
↑ Xavier Glorot; Antoine Bordes; Yoshua Bengio. “Deep Sparse Rectifier Neural Networks”.
絶対値はReLU(ランプ関数)と同様、線形に近い非線形関数。傾きが0の場所が無いという特徴がある。
φ ( x ) = | x | {\displaystyle \varphi (x)=|x|}