Именно так и жить. Поменьше общаться с ним и только по делу.  Поменьше бывать дома,  когда он там. Уходите к подругам, в спортзал, с детьми по мероприятиям и пр. Планируйте свой досуг,  не учитывая его. И бюджет тоже.