ゲート付き回帰型ユニット
最初、 t = 0 {\displaystyle t=0} に対して、出力ベクトルは h 0 = 0 {\displaystyle h_{0}=0} である。
z t = σ g ( W z x t + U z h t − 1 + b z ) r t = σ g ( W r x t + U r h t − 1 + b r ) h t = ( 1 − z t ) ∘ h t − 1 + z t ∘ σ h ( W h x t + U h ( r t ∘ h t − 1 ) + b h ) {\displaystyle {\begin{aligned}z_{t}&=\sigma _{g}(W_{z}x_{t}+U_{z}h_{t-1}+b_{z})\\r_{t}&=\sigma _{g}(W_{r}x_{t}+U_{r}h_{t-1}+b_{r})\\h_{t}&=(1-z_{t})\circ h_{t-1}+z_{t}\circ \sigma _{h}(W_{h}x_{t}+U_{h}(r_{t}\circ h_{t-1})+b_{h})\end{aligned}}}
変数
x t {\displaystyle x_{t}} : 入力ベクトル