活性化関数
2020年に Vincent Sitzmann らが活性化関数に正弦関数を使う物をSIREN(Sinusoidal representation networks)と命名した。画像や音声等の情報をニューラルネットワークへ符号化するタスクにおいて、他の活性化関数よりも高い精度を得られたことが確認されている。
φ ( x ) = sin  x {\displaystyle \varphi (x)=\sin x}
出力は1つで確率と解釈する。 d n {\displaystyle d_{n}} は 0 または 1 もしくは確率。誤差関数は最尤推定で導出できる。
活性化関数: φ ( u ) = ς 1 ( u ) = 1 1 + e − u {\displaystyle \varphi (u)=\varsigma _{1}(u)={\frac {1}{1+e^{-u}}}}
誤差関数: E ( w ) = − ∑ n = 1 N ( d n log  y n + ( 1 − d n ) log  ( 1 − y n ) ) {\displaystyle E(w)=-\sum _{n=1}^{N}(d_{n}\log y_{n}+(1-d_{n})\log(1-y_{n}))}
誤差関数の偏微分: ∂ E n ( w ) ∂ u = y n − d n {\displaystyle {\frac {\partial E_{n}(w)}{\partial u}}=y_{n}-d_{n}}
パーセプトロンでは、前述のモデルから、線型和にバイアス値 b を加えることが提案された。
y = u + b {\displaystyle y=u+b}
φ ( x ) = x {\displaystyle \varphi (x)=x}
一般にこのような純粋な形式の伝達関数は回帰設定の場合のみしか使えない。二値分類設定では出力の符号で 1 または 0 に対応させる。これはすなわち、上述のステップ関数で b の符号を反転した場合と等価であり、学習アルゴリズムで有効である。