Under den engelske borgerkrig, i 1640, tok Oliver Cromwell over eiendommen for fem skilling. Etter restaurasjonen ble huset gitt tilbake til George Villiers, 2. hertug av Buckingham. Det ble så solgt til George Monk, 1. hertug av Albemarle, som ofte hadde besøk at Karl IIs hoff. I 1669 besøkte Cosimo III av Toscana palasset.