Su sucesor Jorge VI también prefirió habitar en su residencia anterior, el Royal Lodge en el Gran Parque, pero acabó mudándose al castillo con su esposa Isabel.