Отдых не отменяется, но, вероятно, превращается в сущий ад. Брать с собой малолетку и постоянно думать, чем его занять, как покормить, как развлечь - очень напряжно и однозначно изрядно испортит отдых (если вообще об отдыхе можно говорить в этом случае). И учитывать чьи-либо интересы бабушка не обязана, она вполне имеет право отдохнуть так, как ей нравится (что, похоже, не включает присмотр за малолетним внуком)