Hans besök i slottet var en förströelse för morfar.