ゲート付き回帰型ユニット
最小ゲート付きユニットは、更新ゲートベクトルおよび初期化ゲートベクトルが忘却ゲートへと統合されたことを除いて、完全ゲート付きユニットと類似している。これは、出力ベクトルに対する方程式が変更されなければならないこと になる。
f t = σ g ( W f x t + U f h t − 1 + b f ) h t = f t ∘ h t − 1 + ( 1 − f t ) ∘ σ h ( W h x t + U h ( f t ∘ h t − 1 ) + b h ) {\displaystyle {\begin{aligned}f_{t}&=\sigma _{g}(W_{f}x_{t}+U_{f}h_{t-1}+b_{f})\\h_{t}&=f_{t}\circ h_{t-1}+(1-f_{t})\circ \sigma _{h}(W_{h}x_{t}+U_{h}(f_{t}\circ h_{t-1})+b_{h})\end{aligned}}}
変数
x t {\displaystyle x_{t}} : 入力ベクトル
h t {\displaystyle h_{t}} : 出力ベクトル
f t {\displaystyle f_{t}} : 忘却ベクトル
W {\displaystyle W} 、 U {\displaystyle U} 、および b {\displaystyle b} : パラメータ行列およびベクトル