回帰型ニューラルネットワーク
h t = σ h ( W h x t + U h y t − 1 + b h ) y t = σ y ( W y h t + b y ) {\displaystyle {\begin{aligned}h_{t}&=\sigma _{h}(W_{h}x_{t}+U_{h}y_{t-1}+b_{h})\\y_{t}&=\sigma _{y}(W_{y}h_{t}+b_{y})\end{aligned}}}
変数および関数
x t {\displaystyle x_{t}} : 入力ベクトル
h t {\displaystyle h_{t}} :隠れ層ベクトル
y t {\displaystyle y_{t}} : 出力ベクトル
W {\displaystyle W} 、 U {\displaystyle U} 、および b {\displaystyle b} : パラメータ行列およびベクトル
σ h {\displaystyle \sigma _{h}} および σ y {\displaystyle \sigma _{y}} : 活性化関数
主要なディープラーニングライブラリ(例: PyTorch/Caffe/Torch(英語版), TensorFlow/Keras, Chainer, Deeplearning4j, DyNet, Microsoft Cognitive Toolkit, MXNet(英語版), Theano(英語版))や機械学習ライブラリ(例: Apache SINGA(英語版))がRNNの学習と推論をサポートしている。