Ну прекратите с ним отношения, раз и навсегда. Либо он оформит развод и предложит Вам совместное жилье, Вы начнете все с чистого листа и ничего не потеряете. Либо, хотя бы, хоть как-то исправите то, что уже наворили, тем, что оторвете от себя кусок.