Мне кажется, что вам надо все-таки с мужем поговорить. Обьяснить свою позицию, что вам детей надо поднимать. Послушать что ОН скажет, как видит себе ситуацию и что планирует дальше. Если он вами дорожит, то выдвинуть условия - никакой мамО под боком, минимум общения с детьми и вами. Ну и дальше смотреть по ситуации.