На мой взгляд, вы все сделали правильно. Даже если конкретно этот сосед ничего дурного не хотел, завтра вашего ребенка могут отпустить с кем-то, кто будет не столь безобиден. Воспитатель должна была связаться с вами и уточнить. Когда мой ребенок должен был уходить с продленки вместе с кем-то из других детей, я всегда оставляла об этом сообщение для воспитателей, иначе его не отпустили бы.