Det huset ble senere overtatt og utvidet av Edward Herbert, rettspresident, som er det høyeste dommerembetet i landet, men han mistet rettighetene til stedet da han fulgte Karl II i landflyktighet. Huset ble senere gitt i belønning til hans bror, Arthur Herbert, 1. jarl av Torrington, som senere ble admiral som kommanderte de engelske og nederlandske flåtene mot Frankrike i slaget ved Beachy Head.