ゲート付き回帰型ユニット
様々な組合せで以前の隠れ状態とバイアスを使ってゲーティングを行う完全ゲート付きユニットや最小ゲート付きユニット(minimal gated unit)と呼ばれる単純形など複数の変種が存在する。
以下の式において、演算子 ∘ {\displaystyle \circ } はアダマール積を示す。
GRUのアイデアは次の式で表される(実際の演算とは異なる)。
h t = ( 1 − z ) ⋅ h t − 1 + z ⋅ f ( x t + r ⋅ h t − 1 ) {\displaystyle h_{t}=(1-z)\cdot h_{t-1}+z\cdot f(x_{t}+r\cdot h_{t-1})}
すなわち隠れ状態 h t {\displaystyle h_{t}} は以下の2要素の重み付け和で更新される。
1ステップ前の隠れ状態 h t − 1 {\displaystyle h_{t-1}}
「入力 x t {\displaystyle x_{t}} 」と「重み付けられた隠れ状態 r ⋅ h t − 1 {\displaystyle r\cdot h_{t-1}} 」の f {\displaystyle f} による非線形変換
例えば z = 1 {\displaystyle z=1} であれば入力は無視され隠れ状態がそのまま保持される。逆に z = 0 {\displaystyle z=0} であれば入力と隠れ状態の非線形変換により新たな隠れ状態が計算される。 r {\displaystyle r} は新たな隠れ状態の計算に影響を与える。 r = 0 {\displaystyle r=0} であれば入力のみから新な隠れ状態が計算され、 r = 1 {\displaystyle r=1} であれば入力・隠れ状態の両方が利用される。