Чего-й то я не поняла. Откуда вы уходили? Муж, как я понимаю, жил в ВАШЕЙ квартире. Вы ушли с детьми из собственного дома? Или он остался в вашей квартире,  деньги тратил на "свой карман", а теперь зовет Вас в этот карман сомнительной комфортности жить?Я бы не переехала однозначно. Напомнила бы ему его слова про "его карман" и сказала бы, что ни я, ни мои дети по чужим углам жить не будут. И в чем вы являетесь разрушительницей семьи? Разводом-то как я понимаю, он угрожает, а не вы.