Вероятнее всего они просто  хорошо скрывали, что уходят  "в куда". Вы же свечку не держали круглосуточно над этими мужчинами и их жены не держали. А мужчины изо всех сил хотят остаться в белом пальто при уходе от жены и детей и если есть хоть  малейшая возможность скрыть -  скрывают. Да и женам легче  многим верить или говорить  знакомым/ родственникам, что просто  закончилась любовь, чем  рассказывать, что  их сменили на другую.