På 1800-tallet ble huset utbygget, og den britiske kongefamilien tok det i bruk. Fra 1863 til 1901 var det hjemmet til prinsen og prinsessen av Wales, de senere kong Edvard VII og dronning Alexandra av Storbritannia. Dronning Maud av Norge ble født her.