Retornó a manos reales en la década de 1590, permaneciendo como propiedad real hasta 1670, cuando Carlos II lo regaló a su amante Bárbara, Condesa de Castlemaine.