活性化関数
出力層は隠れ層とは区別して設計する。活性化関数と誤差関数をセットで設計する必要がある。そして、問題の種類ごとにそれらは異なる。絶対的なルールはないが、下記の方法が一般的な方法である。ここであげた手法は誤差関数の偏微分が全て出力と目標値の差になっていて扱いやすい。
変数の使い方は以下の通り。
N {\displaystyle N} :訓練データの個数
d n {\displaystyle d_{n}} :n番目の訓練データの目標値
y n {\displaystyle y_{n}} :n番目の訓練データの出力
org/abs/2006.09661.
↑ Broomhead, David S.; Lowe, David (1988). Radial basis functions, multi-variable functional interpolation and adaptive networks. http://www.dtic.mil/cgi-bin/GetTRDoc?AD=ADA196234.
↑ Qinghua Zhang; Albert Benveniste (1992). “Wavelet networks”. IEEE Trans. Neural Networks 3: 889-898. http://people.rennes.inria.fr/Albert.Benveniste/pub/Wavenets.pdf.
↑ Ian J. Goodfellow; David Warde-Farley; Mehdi Mirza; Aaron Courville; Yoshua Bengio (2013). “Maxout Networks”. 30th International Conference on Machine Learning. http://arxiv.org/abs/1302.4389.
2020年に Liu Ziyin らが提案したSnake関数は正弦関数を使用した単調増加の関数であり、ReLU等に比べ周期的な入力に対しより頑健になることが期待される。
φ ( x ) = x + sin 2  x {\displaystyle \varphi (x)=x+\sin ^{2}x}
“Kernel Methods for Deep Learning”. Advances in Neural Information Processing Systems 22: 342-350. http://papers.nips.cc/paper/3628-kernel-methods-for-deep-learning.pdf.
↑ Ziyin, Liu; Hartwig, Tilman; Ueda, Masahito (2020-10-24). “Neural Networks Fail to Learn Periodic Functions and How to Fix It”. arXiv:2006.08195 [cs, stat]. http://arxiv.org/abs/2006.08195.
↑ Sitzmann, Vincent; Martel, Julien N. P.; Bergman, Alexander W.; Lindell, David B.; Wetzstein, Gordon (2020-06-17). “Implicit Neural Representations with Periodic Activation Functions”. arXiv:2006.09661 [cs, eess]. http://arxiv.