活性化関数
下記関数をソフトサイン(英: softsign)と呼び、2010年の Xavier Glorot らの研究では tanh と同程度に良かった。
φ ( x ) = x 1 + | x | {\displaystyle \varphi (x)={\frac {x}{1+|x|}}}
K 個のクラスに分類する。出力は K 個で、総和は 1 であり、そのクラスに所属する確率と解釈する。 d n , k {\displaystyle d_{n,k}} は 0 または 1 もしくは確率で、n 番目の訓練データがクラス k に所属する時 1。 ∑ k d n , k = 1 {\displaystyle \sum _{k}d_{n,k}=1} 。交差エントロピーを使用している。この活性化関数はソフトマックス関数と呼ばれる。このまま計算すると浮動小数点数に入りきらなく、オーバーフローすることが多いが、 u k {\displaystyle u_{k}} は全て同じ数を引いた場合は結果が同じになる事を利用して、 max k u k {\displaystyle \max _{k}u_{k}} を全てから減算して活性化関数を計算すると良い。