А Вами что движет? Я бы подошла и сказала сначала "Не волнуйтесь, он со мной, я слежу". Если бы бабушка не унялась формулировка стала бы более грубая. Зачем Вы позволяете чужим людям портить своему ребенку настроение без повода с его стороны?