Разводитесь с ним, и пусть он платит алименты. А сейчас он выгодно устроился, и манипулирует специально, чтобы вы постоянно были в подвешенном состоянии. Чья квартира? Если ваша, то шлите его нах с пляжа.  Лучше точно не будет, только нервов больше потеряете.