При вашем раскладе, я бы не возражала, что ребенок тусуется в непосредственной близости от меня, но старалась бы находиться не там, где ему интересно. Т.е. на прогулке, я сидела бы на лавочке, хочет ребенок в песочницу - пусть отойдет на пару шагов и т.п.