I 1631 anklaget Audleys sønn James sin far for «unaturlig praksis», det vil si seksuelt avvik. Resultatet var at faren ble henrettet. James solgte huset til Richard Boyle, 1. jarl av Cork. Etter sir Richards død arvet vitenskapsmannen Robert Boyle tittelen og huset, og han bodde der mellom 1644 og 1655. Mange av hans eksperimenter ble utført i huset.