Det første huset på stedet var Bagshot Lodge fra 1631–1633, en av flere mindre hus som ble bygget for Karl I av Inigo Jones. I årene 1766–1772 ble huset bygget om av James Paine for George Keppel, 3. jarl av Albemarle. I 1798 ble det igjen endret, denne gang av John Soane for William, hertug av Clarence, som bodde der til 1816.