バックプロパゲーション
損失超平面が極小値 (英: local minima) を持ちうるため、勾配降下で広域最適解 (英: global minima) に収束する保証がない (Remelhart, 1986)
一カ所でも勾配消失を起こすとそれより下層は学習が進まなくなるため、層数が増えるほど勾配消失を起こす確率が増大していく
勾配が0に近い部分が存在する活性化関数を使っていると勾配消失を起こしやすい
学習が必ず収束するとは限らない
各次元の分散に差がありすぎると分散の小さいところに重みが集中しやすい