Huset ble så brukt av William Frederick, hertug av Gloucester og Edinburgh, en nevø og svigersønn av Georg III. Han kjøpte opp flere naboeiendommer mellom Bagshot og Sunningdale. Hans enke, prinsesse Mary, ble boende der etter hans død, og flyttet ut først i 1847. Det opprinnelige huset ble så revet i 1877–1878.