А вот нашелся же в ваших трех домах на двух улицах совершенно незнакомый ни ребенку, ни Вам человек? Плевать на все эти домики и гипотетические последствия: сломал бы домик, Вы бы оплатили ремонт, а упадет-не упадет - вопрос философский. Важно то, что  Ваш ребенок ДОВЕРЯЕТ посторонним. Я бы в первую очередь поговорила с ребенком о том, что если рядом нет никого поблизости из знакомых при обращении к ребенку незнакомца, а ТЕМ БОЛЕЕ - при приближении с агрессивными намерениями, имеет он право играть или нет - первое действие - прыгать, поднимать крик "Помогите!" и давать деру в сторону, и не к подъезду, а в людное место или в сторону известных бабушек на лавке (на школьный двор и т.д.). Потому что это огромное счастье, что чужой мужик привел ребенка Вам домой, а не потащил бог знает куда и зачем.