ゲート付き回帰型ユニット
これら z {\displaystyle z} と r {\displaystyle r} もまた x t {\displaystyle x_{t}} と h t − 1 {\displaystyle h_{t-1}} から計算される。
単純なRNNと比較して、GRUは更新ゲート z {\displaystyle z} による隠れ状態の保持とそれによる長期記憶が可能になる。また初期化ゲート r {\displaystyle r} による隠れ状態の削除が可能になることでよりコンパクトな隠れ表現を得られる。
隠れ状態のサイズが1以上であれば複数の z {\displaystyle z} と r {\displaystyle r} ( z t j {\displaystyle z_{t}^{j}} と r t j {\displaystyle r_{t}^{j}} ) を持つことになる。それぞれの j {\displaystyle j} は独立して学習されるため、ある j {\displaystyle j} は更新ゲート z {\displaystyle z} が長期間1に近いすなわち長期記憶を保持し、ほかの j {\displaystyle j} は初期化ゲート r {\displaystyle r} が頻繁に切り替わりながら入力のフィルタリングをおこなうように振る舞う、といったことが可能になっている。すなわちそれぞれの隠れ状態が異なる時間スケールの表現を学習しうる。