Вам надо уже начинать выстраивать их общение так, чтобы вам тоже было комфортно. Во- первых, договариваться о днях и времени. Он должен вас предупреждать и не имеет право теперь приезжать, когда ему вздумается. Это больше не его дом. Во-вторых, да, уходить, когда когда он приходит. У меня БМ приходит каждое воскресенье, у меня к этому времени уже куча дел напланировано - кино, друзья, спорт и много чего еще. Считайте, что это у вас няня почасовая)