ゲート付き回帰型ユニット
z t = σ g ( U z h t − 1 + b z ) r t = σ g ( U r h t − 1 + b r ) {\displaystyle {\begin{aligned}z_{t}&=\sigma _{g}(U_{z}h_{t-1}+b_{z})\\r_{t}&=\sigma _{g}(U_{r}h_{t-1}+b_{r})\\\end{aligned}}}
タイプ2、それぞれのゲートが以前の隠れ状態にのみ依存する。 z t = σ g ( U z h t − 1 ) r t = σ g ( U r h t − 1 ) {\displaystyle {\begin{aligned}z_{t}&=\sigma _{g}(U_{z}h_{t-1})\\r_{t}&=\sigma _{g}(U_{r}h_{t-1})\\\end{aligned}}}
タイプ3、それぞれのゲートはバイアスのみを使って計算される。 z t = σ g ( b z ) r t = σ g ( b r ) {\displaystyle {\begin{aligned}z_{t}&=\sigma _{g}(b_{z})\\r_{t}&=\sigma _{g}(b_{r})\\\end{aligned}}}