勾配消失問題
勾配消失問題への対策として、比較的新しく有用度も高いのが、2015年に提案された残差ネットワーク(ResNet)である。 ResNetは、ニューラルネットワークの一部に層を飛び越えるような接続を含む構造を持つ。 こうしたスキップ接続により、通常は直後の層の入力にのみ用いられる出力が、より深い層の出力に加えられその先の層に入力されるため、情報が層を超えて伝播するようになることが期待される。スキップ接続は、深層ニューラルネットワークをうまく学習するための重要な要素になっている。
ResNetでは、消失した情報を補完するために浅い層の出力をより深い層に対して単に加えるだけで、通常の浅いネットワークよりも学習時の損失と評価時の損失を抑えることができた。 なお、ResNetは比較的浅いネットワークのアンサンブルとして捉えることができるとされており、ネットワーク全体にわたって勾配情報を保持することで勾配消失の問題を解決しているのではなく、むしろ、多数の短いネットワークをアンサンブルさせることで勾配消失問題を回避しているとする説がある。
回帰型ニューラルネットワークで用いられる手法として、長期短期記憶ネットワークが挙げられる。LSTMは、1997年にホッフライターとシュミットフーバーによって提案された。RNNは時間方向に展開することで順伝播型のニューラルネットワークと同様に逆伝播を行うことができるが、長時間にわたって展開すると層が深くなり、勾配の誤差が積み重なってしまう可能性がある。一方で、LSTMでは過去の入力特徴を保持する機構を持っているため、時系列が増えても情報の伝達がしやすい。 2009年には、筆記体の文字認識コンペティションにおいて、認識対象となる3つの異なる言語の事前知識なしに学習を行う深層多次元LSTMを用いたモデルが3度優勝し、非線形の層を多数持つ深層学習の性能の高さを示した。
ドイツの計算機科学者であるベーンケは、画像の再構成や顔認識といった問題を解くために、勾配の符号のみを用いてNeural Abstraction Pyramidと呼ばれるネットワークを学習した。
ニューラルネットワークは、ニューラルネットワークの重みが取りうる空間全体を探索するアルゴリズムを用いることでも最適化できる。例えばランダムな探索もここに含まれるし、よりシステマチックなアルゴリズムとしては遺伝的アルゴリズムなどもある。こうしたアプローチは勾配によらず最適化を行うため、勾配消失問題を避けることができる。