ゲート付き回帰型ユニット
h t {\displaystyle h_{t}} : 出力ベクトル
z t {\displaystyle z_{t}} : 更新ゲートベクトル
r t {\displaystyle r_{t}} : 初期化ゲートベクトル
W {\displaystyle W} 、 U {\displaystyle U} 、および b {\displaystyle b} : パラメータ行列およびベクトル
活性化関数
σ g {\displaystyle \sigma _{g}} : オリジナルはシグモイド関数。
σ h {\displaystyle \sigma _{h}} : オリジナルは双曲線正接関数.
σ g ( x ) ∈ [ 0 , 1 ] {\displaystyle \sigma _{g}(x)\in [0,1]} という条件で、別の活性化関数も利用可能である。
z t {\displaystyle z_{t}} および r t {\displaystyle r_{t}} を変更することによって代替形式を作ることができる。
タイプ1、それぞれのゲートが以前の隠れ状態およびバイアスにのみ依存する。