大規模なネットワークで安定性の問題が発生する場合、対策として以下の方法が考えられます。
レイヤー間に残差接続やドロップアウトなどの正則化手法を導入して不安定性を軽減する。
学習率スケジューリングや勾配クリッピングなどの最適化手法で学習プロセス全体に安定性を確保する。
チャンネル混合技術や畳み込みカーネル表現など新たなアプローチやテクニックで不安定性へ対処する。