Если семья есть, ее разрушить нельзя. Разрушить можно быт, налаженное течение жизни. Если есть желание уйти к другому мужчине - значит семьи нет, есть сожительство ради детей. Нужно вам это сожительство или вы бы хотели в жизни чего-то большего - только вам решать.