Mye av steinen for å bygge palasset ble tatt fra klosteret Chertsey Abbey som var blitt forlatt grunnet Henrik VIIIs politikk med å oppløse og nedlegge klostrene i England mellom 1538 og 1541. Deres eiendommer tilfalt da den engelske kronen.