本論文で示された収束性の結果は、主に線形ニューラルネットワークに適用されているが、非線形ネットワークにおける収束性の検討は非常に重要である。非線形ネットワークは、深層学習において一般的に使用されるアーキテクチャであり、複雑な関数近似能力を持つため、収束性の理論を適用する際には新たな課題が生じる。特に、非線形性が導入されることで、目的関数が非凸になる可能性が高く、これにより収束の保証が難しくなる。したがって、非線形ネットワークにおける収束性を確立するためには、追加の仮定や条件を考慮する必要がある。例えば、局所的なリプシッツ条件や、特定の初期条件に基づく収束の保証を探ることが求められる。今後の研究では、非線形ニューラルネットワークにおける確率的勾配降下法の収束性を明らかにするための理論的枠組みを構築することが期待される。