Le bruit est important pour ce modèle car l’initialisation des poids est aléatoire et si lors de la mise à jour des poids au cours de l’entraînement, on a égalité des poids des deux modèles et absence de bruits, notre modèle va s'effondrer. En effet, on aura dans l’expression de J, la minimisation de la différence entre une fonction et elle-même ce qui conduit à une solution triviale du type f=0.