Не начинайте с ним совместное проживание. Встречи да, секс да, но даже если с чемоданом придет, не делайте глупостей. Мое  подозрение - ему нужно от вас жилье, и это основной мотив, т е возможность куда-то уйти от жены, не платя за аренду жилья.