Если вы - как вы пишите - человек сильный по характеру, то что вам мешает сказать спокойно - "Э, нет дорогой! Жизнь твоя отныне меняется, как ты и хотел - приходить ты сюда не будешь, и уж тем более тут ночевать. Будешь мне звонить заранее и время уточнять, когда тебе можно прийти, а когда нет!"Это для начала.