А сохранять семью не просто, никто не говорит, что будет легко. Есть второй вариант, самый простейший - это уход от ситуации (разрыв отношений). Но это не решение. Я понимаю если б он пил, бил, лежал на диване, но к вашей ситуации данные перечисления не имеют никакого отношения на сколько я поняла. Подумайте: как, на что вы будите содержать ваших детей. Он, как отец имеет полное право видеться с ними (т.е. встречаться все равно придется, да и дети про папу рассказывать будут). Вам сейчас нужно постараться успокоится, отвлечься и посмотреть на все со стороны, лишь только после этого  принимать решение.