ゲート付き回帰型ユニット

ゲート付き回帰型ユニット（ゲートつきかいきがたユニット、、略称: GRU）は、回帰型ニューラルネットワーク（RNN）におけるゲート機構である。2014年にKyunghyun Cho（조 경현）らによって発表された。GRUは忘却ゲートを持つ長・短期記憶（long short-term memory、LSTM）に似ているが、出力ゲートを欠くためLSTMよりもパラメータが少ない。多声音楽モデリングおよび音声シグナルモデリングの特定の課題におけるGRUの性能は、LSTMの性能と類似していることが明らかにされている。GRUは特定のより小さなデータセットではもっと良い性能を示すことが明らかにされている。
しかしながら、Gail Weiss、Yoav Goldberg、およびEran Yahavによって示されているように、LSTMは無制限の計数を容易に実行できるがGRUはできないため、LSTMはGRUよりも「厳密に強力」である。これが、LSTMによって学習可能な単純な言語の学習をGRUが失敗する理由である。
同様に、Google BrainのDenny Britz、Anna Goldie、Minh-Thang Luong、およびQuoc Leによって示されているように、LSTMセルは「ニューラル機械翻訳のためのアーキテクチャ変法の初の大規模分析」においてGRUセルを一貫して上回った。
アイデア.
GRUのアイデアは次の式で表される（実際の演算とは異なる）。
formula_1
すなわち隠れ状態 formula_2 は以下の2要素の重み付け和で更新される。
例えば formula_7 であれば入力は無視され隠れ状態がそのまま保持される。逆に formula_8 であれば入力と隠れ状態の非線形変換により新たな隠れ状態が計算される。formula_9 は新たな隠れ状態の計算に影響を与える。formula_10 であれば入力のみから新な隠れ状態が計算され、formula_11 であれば入力・隠れ状態の両方が利用される。これら formula_12 と formula_9 もまた formula_4 と formula_3 から計算される。
単純なRNNと比較して、GRUは更新ゲート formula_12 による隠れ状態の保持とそれによる長期記憶が可能になる。また初期化ゲート formula_9 による隠れ状態の削除が可能になることでよりコンパクトな隠れ表現を得られる。
隠れ状態のサイズが1以上であれば複数の formula_12 と formula_9 (formula_20 と formula_21) を持つことになる。それぞれの formula_22 は独立して学習されるため、ある formula_22 は更新ゲート formula_12 が長期間1に近いすなわち長期記憶を保持し、ほかの formula_22 は初期化ゲート formula_9 が頻繁に切り替わりながら入力のフィルタリングをおこなうように振る舞う、といったことが可能になっている。すなわちそれぞれの隠れ状態が異なる時間スケールの表現を学習しうる。
アーキテクチャ.
様々な組合せで以前の隠れ状態とバイアスを使ってゲーティングを行う完全ゲート付きユニットや最小ゲート付きユニット（minimal gated unit）と呼ばれる単純形など複数の変種が存在する。
以下の式において、演算子formula_27はアダマール積を示す。
完全ゲート付きユニット.
最初、formula_28に対して、出力ベクトルはformula_29である。
変数
活性化関数
formula_40という条件で、別の活性化関数も利用可能である。
formula_33およびformula_34を変更することによって代替形式を作ることができる。
最小ゲート付きユニット.
最小ゲート付きユニットは、更新ゲートベクトルおよび初期化ゲートベクトルが忘却ゲートへと統合されたことを除いて、完全ゲート付きユニットと類似している。これは、出力ベクトルに対する方程式が変更されなければならないこと になる。
変数