回帰型ニューラルネットワーク
最急降下法は、関数の極小値を探し出すための一次の反復的最適化アルゴリズムである。ニューラルネットワークでは、非線形活性化関数が可微分であるという条件で、重みに関する誤差の微分係数に比例して個々の重みを変化させることによって誤差項を最小化するために使うことができる。これを行うための様々な手法はワーボス(英語版)、ウィリアムス(英語版)、ロビンソン(英語版)、シュミットフーバー(英語版)、ホッフライター(英語版)、パールマターらによって1980年代と1990年代初頭に開発された。
標準的手法は「通時的誤差逆伝播法(英語版)(Backpropagation through time、BPTT)」と呼ばれ、順伝播型ネットワークのための誤差逆伝播法の一般化である。誤差逆伝播法と同様に、BPTTはポントリャーギンの最小値原理(英語版)の後ろ向き連鎖(reverse accumulation)モードにおける自動微分の実例である。計算コストがより高いオンライン版は「実時間リカレント学習(Real-Time Recurrent Learning、RTRL)」と呼ばれる。これは、積み重ねられた接ベクトルを持つ前向き連鎖(forward accumulation)モードにおける自動微分の実例である。
微分可能ニューラルコンピュータ(differentiable neural computer、DNC)はニューラルチューリングマシンの拡張であり、曖昧な量の個々のメモリアドレスと出来事の配列の記憶を使うことができる。
再帰型ニューラルネットまたは循環ニューラルネットと訳されこともある。本項では「Recurrent」ニューラルネットワークの訳語として「回帰型」、「Recursive」ニューラルネットワークの訳語として「再帰型」を用いる。