Вы можете их самих отправлять гулять. Если муж вас втягивает, то возможно хочет либо назад, либо держать вас на крючке, чтобы другой мужчина не влез. Раз вы хотите новую жизнь, мягко отказывайтесь с ними ходить все чаще под разными предлогами. То, что он с детьми общается, очень хорошо. Может закрепится у него эта привычка? Попробовать поддержать это стоит.