Всего 4 года? Эх. А вот прикиньте 20+ лет живешь, квартира общая, дети есть,  вот это выкинуть гораздо тяжелее, а настроение и ощущения точно как Вы описываете.(  А у Вас непонятно что мешает. Квартира Ваша, Вы обеспечены. Всего 4 года это не срок. Послать и нового подыскать.