Ну как бы да, нарушаете. Вы же жильцов не в рабство взяли и не в одиничное заклучение посадили, чтоб запрещать зайти-выйти-провести какое-то время посторонним людям в этой квартире.  У вас есть доказательства проживания этого человека на продорлжительной основе?