Единственный ваш шанс сохранить семью это уйти от него срочно. Без всех этих дурацких разговоров, с улыбкой, с фразой "Ну что ж, милый, не буду тебе мешать с твоей любовью, пока". Без скандалов и истерик. И тут либо вернется либо нет. Все остальные варианты не помогут вам вернуть семью. По крайней мере нормальную семью, которую вы хотите. И не звонить ему и не писать по собственной инициативе. Сам позвонит - отвечать доброжелательно.И надо это быстро сделать, резко, чтобы он был ошарашен. Сейчас он чувствует полную свою безнаказанность и вседозволенность. И вас он считает тряпкой. Надо это изменить. Уходить вы должны с мыслью, что навсегда. Тем более, что вполне вероятно, что это на самом деле будет навсегда. Но других вариантов нет, к сожалению.