В тот момент, когда дама усадила внука рядом с собой, несмотря на его протест, однозначно стало понятно: ваше общество ей неприятно (вообще-то это стало ясно гораздо раньше, но не было слишком демонстративно). Ну и чего навязываться? Тихонечко подозвала бы сына и объяснила ситуацию. Вы были неправы в том, что проигнорировали явные признаки агрессии по отношению к своему ребёнку и не подсказали способ его избежать, не объяснили.