Herregården var hovedsetet til Bankesfamilien, som hadde bodd i Corfe slott inntil dette ble ødelagt under borgerkrigen. Bygningen ble tegnet av sir Roger Pratt for Ralph Bankes, og bygget 1663–1665. Interiøret ble tegnet av Inigo Jones, og utført av hans etterfølger John Webb. Sir Charles Barry utførte store forandringer 1835–1838, blant annet nye, høye piper i hvert hjørne og senkning av bakkenivået på baksiden slik at kjelleretasjen ble synlig.