Для начала нужно определиться, сами чего хотите. Хотите сохранить семью или готовы уйти.  И тогда исходя из этих минимальных данных и строить жизнь. Где дети прописаны в вашей или его квартире? Если в его то вы имеете проживать там до 18 лет детей или говорите ему, что готовы съехать если он от ремонтирует Вам квартиру.