Начать лезть он может когда угодно. Откуда такая уверенность что не мог полезть спустя время? Обычно как раз и начинают что то делать, когда вы думаете что о вас уже забыли. Ну вот у вас же ощущение что пытаются проникнуть, значит пытаются проникнуть в поле ваше. Забор это может быть ваша природная защита, родовая, к примеру. Но это не значит что ее нельзя порушить. Рано или поздно можно даже магическую защиту вскрыть, не то что личную.