Раз он так говорит, никуда он Вас не выгоняет. Ему нравится издеваться. А Вы если серьёзно собрались покупать - квартиру не с ним обсуждайте (тк сейчас в браке купите, потом делить будете), а думайте как разводиться или как через маму/папу (если есть) и дарение оформлять