Если тяжело сразу рубить, отрубайте кусками. Напрягитесь, снимите жилье, скажите себе и ему, что хотите пожить отдельно. Вам сразу легче дышать станет, если не надо будет каждый день замирать в ожидании, в каком состоянии он явится. И адрес ему не давайте пока.